在 Scrapy 中一次生成多个项目

Question

我怎样才能同时产生多个项目？我正在抓取一个 URL 列表，其中每个 URL 都有大约 10-20 个嵌套 URL。我从每个嵌套的 URL 中抓取 10 条我需要提供的信息。有没有办法同时产出 10 件物品？也许通过列表或我附加每个项目的东西然后在最后全部产生它们？我不完全确定该怎么做。有什么建议么？代码示例：class OdSpider(scrapy.Spider):    name = 'od'    allowed_domains = []    start_urls = ["url1, url2, . . . . ."]    def parse(self, response):        # scrape nested urls        yield scrapy.Request(nested_url, callback=self.parsenestedgame)    def parsenestedgame(self, response):        i1 = item1()        i2 = item2()        # 9 other items then adding info to items        yield item1(**i1)        yield item2(**i2)        # how can I yield all of these items at the same time?

Answer 1

鉴于评论中提供的信息：

您可以拥有任意数量的项目，并在填充每个项目时以任何顺序生成它们。由于该yield语句不会终止代码执行，它们甚至可以像您在示例代码中显示的那样相互跟随。

它们都将到达 ItemPipelines，如果需要，您可以在那里区分并区别对待它们。

如果那不能回答您的问题，我可能还没有完全理解。请解释您想要实现的目标以及您尝试过但没有奏效的内容，以便我提供更多帮助。

Answer 2

我实际上想通了，我只是将所有项目附加到一个列表中，例如：

item_list.append(item1(**i1)). . . 。ETC

然后我迭代了以下项目：

for item in item_list:
    yield item