使用scrapy组织csv导出

Question

为了将我的数据导出到 CSV 文件，我目前正在使用（主要是因为我从来没有很好地理解管道）：custom_settings = {    'FEED_FORMAT': 'csv',    'FEED_URI' : 'datosAmazon.csv'}这个自定义设置在我的蜘蛛里面。现在，我正在抓取不同类别的物品，例如笔记本电脑和手机。问题是，当我去查看我的数据时，事情并没有组织起来，可能会出现一台笔记本电脑，然后是一部手机，然后是 2 台笔记本电脑，手机等等。我目前以这种方式进入不同的类别def start_requests(self):    keywords = ['laptop', 'cellphone']    for keyword in keywords:        yield Request(self.search_url.format(keyword))有没有办法让数据更有条理（2个文件会更好），或者一个简单的管道解决方案。

Answer 1

没有仅设置的方法来实现您想要的。

也就是说，从自定义管道导出到多个文件非常简单：

• scrapy.exporters.CSVItemExporter在open_spider方法中创建多个导出器 ( ) （可能将它们存储在 dict 中）

• 在方法中选择正确的导出器（基于项目）process_item并调用其export_item

• 关闭close_spider方法中的文件

不要忘记激活您的管道:)