为了账号安全,请及时绑定邮箱和手机立即绑定

scrapy-redis 采集失败如何将url移出DupeFilter

scrapy-redis 采集失败如何将url移出DupeFilter

慕桂英4014372 2019-02-10 13:17:30
问题:采集页面时由于网络原因可能返回为空内容,但这条采集记录被记录在redis的DupeFilter中,导致不能二次采集。请问:在spider 的编写过程中如何将采集失败的url手动移出redis的xx:DupeFilter。
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 650 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信