为了账号安全,请及时绑定邮箱和手机立即绑定

Python爬js加载的页面数据,已试过selenium可用,求其他高效方法?

Python爬js加载的页面数据,已试过selenium可用,求其他高效方法?

沧海一幻觉 2018-09-07 09:09:31
问题:爬虫某小茶叶电商平台网网站的商品数据网址: http://donghetea.com/category...频道:行情参考)爬虫计划>1、在类目下,获取所有商品的url(已获取行情参考下所有商品url链接)2、请求每个url,爬取详细的产品年份,规格,价格等。目前遇到问题~看到商品资料是用js加载。工具:用python3 requests 和beautifulsoup 解析 无法解析产品url里面js加载的产品信息 我用了下下策,用selenium来模拟打开浏览器,再用beautfulsoup解析获取商品详情页面里的资料。但是效率太低了,想请教是否有更好的方法~试过抓包,但是因为太菜,没找到api。
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 947 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信