为了账号安全,请及时绑定邮箱和手机立即绑定

superagent爬取网站出现重定向问题

superagent爬取网站出现重定向问题

收到一只叮咚 2018-11-24 19:16:21
用superagent爬网页,遇到重定向,拿不到重定向后的响应体,该如何解决,如何获取重定向后的网页我想获取501页面的res,但是他跳转到37018页面,导致我拿到501页面的空res。测试了爬取不到的网页,发现有2种情况一开始进入网页响应码是200,过一小会刷新变成304一进入响应码从301重定向到200,过一小会刷新变成304测试了能爬取到的网页,发现有2种情况一进入响应码从301重定向到200,过一小会刷新变成304一开始进入网页响应码是200,过一小会刷新变成304啊,我擦,那就没什么区别啦,小白不知道这跟我爬不到内容有没有关系,orz再再补充问题不在重定向,而在于我的正则表达式匹配问题
查看完整描述

1 回答

?
POPMUISE

TA贡献1765条经验 获得超5个赞

你都不看官方文档的吗?

By default up to 5 redirects will be followed, however you may specify
this with the res.redirects(n) method:

request
  .get('/some.png')
  .redirects(2)
  .end(callback);


查看完整回答
反对 回复 2018-12-17
  • 1 回答
  • 0 关注
  • 1128 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信