为了账号安全,请及时绑定邮箱和手机立即绑定

使用 Python 从网页中提取链接

使用 Python 从网页中提取链接

隔江千里 2021-08-11 20:05:39
我有这个问题:我想从此页面中提取每个项目的 URL,但我不知道该怎么做。我试图通过projects = main_page.find_all_next('div', attrs={'class':'relative self-start'})但我没有得到链接。我怎样才能度过难关?预先感谢您帮助我。本网站动态加载内容。所以你需要一些可以运行 javascript 的东西。有一个使用 selenium 访问站点的简单示例。from selenium import webdriverfrom bs4 import BeautifulSoupurl = "https://www.kickstarter.com/discover/categories/music"dr = webdriver.Chrome() # or PhantomJS,Firefoxtry:    dr.get(url)    main_page = BeautifulSoup(dr.page_source,"lxml")    projects = main_page.find_all('div', {'class':'relative self-start'})    project_showed = main_page.find_all("div",class_="bg-white black relative border-grey-500 border")    print(len(projects))except Exception as e:    raise efinally:    dr.close()但是如果你不能及时加载数据,你应该使用WebDriverWait或Implicit等待它加载完成。WebDriverWait 和隐式
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 235 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信