我正在使用命令行运行多个刮刀，这是一个自动化过程。Python：2.7.12Scrapy：1.4.0操作系统：Ubuntu 16.04.4 LTS我想知道scrapy如何处理这种情况没有足够的内存/cpu 带宽来启动刮刀。在爬虫运行期间没有足够的内存/cpu 带宽。我已经浏览了文档，但找不到任何东西。任何回答这个问题的人，你都不必知道正确的答案，如果你能指出我知道的任何资源的大致方向，这会有所帮助，那也将不胜感激
添加回答
举报
0/150
提交
取消