为了账号安全,请及时绑定邮箱和手机立即绑定

node爬取微博

node爬取微博

拉莫斯之舞 2018-11-21 18:14:35
刚接触node,想写个爬虫,爬取新浪微博评论,但是发现页面是由JS动态生成的,用http模块爬取不到,然后用phantomjs爬取,(听说会比较慢,运行了近15分钟,这也太慢了,不知是否写错),还是不行,问一下有什么办法能够爬取类似于新浪微博的网页吗?
查看完整描述

1 回答

?
慕村225694

TA贡献1880条经验 获得超4个赞

自己写过微博的爬取,有两种思路

  1. 仔细看一下应该是有接口去获取相应数据的然后用正则去匹配

  2. 微博提供了开发者API接口的,虽然用着比较麻烦


查看完整回答
反对 回复 2018-12-28
  • 1 回答
  • 0 关注
  • 485 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号