为了账号安全,请及时绑定邮箱和手机立即绑定

Python 网页抓取多个页面

Python 网页抓取多个页面

千巷猫影 2023-12-12 15:51:48
我正在从韦氏网站上抓取所有文字。我想抓取从 az 开始的所有页面以及其中的所有页面并将它们保存到文本文件中。我遇到的问题是我只得到表的第一个结果而不是全部结果。我知道这是大量文本(大约 500k),但我这样做是为了自我教育。代码:import requestsfrom bs4 import BeautifulSoup as bsURL = 'https://www.merriam-webster.com/browse/dictionary/a/'page = 1# for page in range(1, 75):req = requests.get(URL + str(page))soup = bs(req.text, 'html.parser')containers = soup.find('div', attrs={'class', 'entries'})table = containers.find_all('ul')for entries in table:    links = entries.find_all('a')    name = links[0].text    print(name)现在我想要的是从该表中获取所有条目,但我只获取第一个条目。我有点被困在这里所以任何帮助将不胜感激。谢谢https://www.merriam-webster.com/browse/medical/a-zhttps://www.merriam-webster.com/browse/legal/a-zhttps://www.merriam-webster.com/browse/dictionary/a-zhttps://www.merriam-webster.com/browse/thesaurus/a-z
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 97 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信