为了账号安全,请及时绑定邮箱和手机立即绑定

使用 Python 从网页中提取链接

使用 Python 从网页中提取链接

隔江千里 2021-08-11 20:05:39
我有这个问题:我想从此页面中提取每个项目的 URL,但我不知道该怎么做。我试图通过projects = main_page.find_all_next('div', attrs={'class':'relative self-start'})但我没有得到链接。我怎样才能度过难关?预先感谢您帮助我。本网站动态加载内容。所以你需要一些可以运行 javascript 的东西。有一个使用 selenium 访问站点的简单示例。from selenium import webdriverfrom bs4 import BeautifulSoupurl = "https://www.kickstarter.com/discover/categories/music"dr = webdriver.Chrome() # or PhantomJS,Firefoxtry:    dr.get(url)    main_page = BeautifulSoup(dr.page_source,"lxml")    projects = main_page.find_all('div', {'class':'relative self-start'})    project_showed = main_page.find_all("div",class_="bg-white black relative border-grey-500 border")    print(len(projects))except Exception as e:    raise efinally:    dr.close()但是如果你不能及时加载数据,你应该使用WebDriverWait或Implicit等待它加载完成。WebDriverWait 和隐式
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 294 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号