使用 Selenium 循环浏览网页的 <a> 标签

Question

我正在使用 Selenium 使用 Python 构建一个网络爬虫。这是我正在从中抓取数据的网页：https://fnet.bmfbovespa.com.br/fnet/publico/abrirGerenciadorDocumentosCVM?cnpjFundo=11026627000138&idCategoriaDocumento=6&idTipoDocumento=45正如您所看到的，当我们单击标有数字的按钮时，该页面内的表格会发生变化。该页面是巴西基金报告。“Anterior” 的意思是“前一个”，“seguinte” 的意思是“下一个”。我想遍历所有这些数字，但我尝试过的方法都不起作用。我正在尝试使用 Selenium 的方法单击标识<a>按钮的标签。Seguinteclick()我尝试过的browser = Firefox()button = browser.find_element_by_id('tblDocumentosEnviados_next')while button.is_enabled():                    page = browser.find_element_by_xpath('//a[contains(@class, "paginate_button current")]').text    print(page)    button = browser.find_element_by_id('tblDocumentosEnviados_next')    time.sleep(3)    button.click()我如何迭代这些数字？

Answer 1

我分析了网站发出的请求，发现您可以通过一个请求获取所有数据，即 json 内容：

import requests as r

from bs4 import BeautifulSoup

import json

url = "https://fnet.bmfbovespa.com.br/fnet/publico/abrirGerenciadorDocumentosCVM?cnpjFundo=11026627000138&idCategoriaDocumento=6&idTipoDocumento=45"

res = r.get("http://fnet.bmfbovespa.com.br/fnet/publico/pesquisarGerenciadorDocumentosDados?d=0&s=0&l=200&"+url.split("?")[1])

json_result = json.loads(res.text)

print(json_result)

注意：如果“recordsTotal”超过200，则需要再次请求，参数为“?d=0&s=200&l=200”，s代表start，l代表limit，始终保持200以一次抓取最大值要求。

Answer 2

正如你所看到的，两个按钮之间的区别只是按钮的数量

//*[@id="tblDocumentosEnviados_paginate"]/span/a[1]

//*[@id="tblDocumentosEnviados_paginate"]/span/a[2]

如果你想迭代它，你可以简单地更改 xpath 中的数字

例如

 for i in range(1, numberOfPages):

browser.find_element_by_xpath("//[@id="tblDocumentosEnviados_paginate"]/span/a["+str(i)+"]")

希望这能解决您想要做的事情

Answer 3

正如你所看到的，两个按钮之间的区别只是按钮的数量

//*[@id="tblDocumentosEnviados_paginate"]/span/a[1]

//*[@id="tblDocumentosEnviados_paginate"]/span/a[2]

如果你想迭代它，你可以简单地更改 xpath 中的数字

例如

 for i in range(1, numberOfPages):

browser.find_element_by_xpath("//[@id="tblDocumentosEnviados_paginate"]/span/a["+str(i)+"]")

希望这能解决您想要做的事情