为了账号安全,请及时绑定邮箱和手机立即绑定

谈谈喜马拉雅的反爬机制?

谈谈喜马拉雅的反爬机制?

慕工程0101907 2019-02-17 15:37:36
最近想做大数据分析; 所以想爬取了喜马拉雅的所有用户信息;那么重点来了,我发现,喜马拉雅有单模块防御机制; 比如个人用户主页,我爬取了大概2000+左右,反爬机制就生效了, 不管访问哪一个用户的主页,都是返回 503,连我自己的个人中心都无法登录了;我试过 cookie 变换,但是得出结论绝对是 IP 被禁了。 请问各位,有没有相关经验。 到底是不是禁了 IP。。。。。
查看完整描述

3 回答

?
幕布斯6054654

TA贡献1876条经验 获得超7个赞

喜马拉雅是双封,先在你的 cookies 写入封禁的字段,然后封禁 IP ;
如果你换了 IP,不清理 cookies,一样死;所以解封的办法是,先清理 cookie,然后换 IP。然后访问就 OK 了。

查看完整回答
反对 回复 2019-03-01
?
有只小跳蛙

TA贡献1824条经验 获得超8个赞

我是做代理 IP 的,有的客户,成立了一个攻坚反爬部门,专门研究怎么绕过风控抓取数据,建议大家采用这个方法尝试一下

查看完整回答
反对 回复 2019-03-01
  • 3 回答
  • 0 关注
  • 756 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信