为了账号安全,请及时绑定邮箱和手机立即绑定

nodejs怎么爬post请求?

nodejs怎么爬post请求?

汪汪一只猫 2018-10-17 17:15:45
1、爬虫: nodejs怎么爬ajax的post请求的异步加载的内容?一个页面异步加载新出的内容怎么抓取?一般的get请求: www.xxxx.com/page=xxxget请求可以通过page+1这样加。比如控制页数,抓10页get异步请求比如张大妈的发现http://faxian.smzdm.com/json_more?type=new&timesort=1487861419通过前几页,替换计算最后一个数字,实现抓取N页情况2、post方式而post请求,比如知乎的,一个问题下,‘更多’那个button是个post请求https://www.zhihu.com/node/QuestionAnswerListV2post也有url,但是无参数,直接访问可能就404。我尝试过分析 response返回的 json字符,{"r":0, "msg": (里面是新增的div的html代码,没有规律) }3、请问第2点说的post方式有没有办法抓?
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 384 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信