为了账号安全,请及时绑定邮箱和手机立即绑定

scrapy-redis 采集失败如何将url移出DupeFilter

scrapy-redis 采集失败如何将url移出DupeFilter

慕桂英4014372 2019-02-10 13:17:30
问题:采集页面时由于网络原因可能返回为空内容,但这条采集记录被记录在redis的DupeFilter中,导致不能二次采集。请问:在spider 的编写过程中如何将采集失败的url手动移出redis的xx:DupeFilter。
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 681 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号