我的问题如下：我需要抓取一个网站的数据来做一些统计研究，但是这个网站有严格的反抓取策略。
目前看来，利用pyspider框架进行一段时间的抓取后，网站就会禁止我访问。有没有什么好的
办法使得pyspider能够抓取一段时间后停止抓取，然后隔一段时间有恢复抓取的策略呢？
2 回答
largeQ
TA贡献2039条经验 获得超7个赞
1.self.crawl中增加auto_crawl=True，并设置好间隔时间，比如age=60*60
这样一个小时后，pyspdier会去自动抓取网页
2.修改webui中的rate/burst，默认是1.0/3,可以改成0.2/3试试， 降低抓取频率
3.可以在crawl_config中增加proxy.
添加回答
举报
0/150
提交
取消