scrapy抓取网页返回的是404页面会停止

Question

scrapy抓取网页返回的是404页面应该怎么做？ http://www.example.com/artiles/1http://www.example.com/artiles/2.........http://www.example.com/artile...比如要抓取上面共20页的内容，些第2页面不存在，返回的是404页面，然后scrapy就停止了### 问题描述 问题出现的环境背景及自己尝试过哪些方法 相关代码 http://www.example.com/artiles/1http://www.example.com/artiles/2.........http://www.example.com/artile... 你期待的结果是什么？实际看到的错误信息又是什么？ 如何解决停止问题

Answer 1

你可以尝试使用 try 和expect 抛出异常，然后就可以跳过这个404的网址。

Answer 2

handle_httpstatus_list-官方文档

class MySpider(CrawlSpider):
    handle_httpstatus_list = [404]

这样你就能处理你的404请求，在你自己定义的Request的call_back函数中。