如何将两只蜘蛛合二为一？

Question

有两个蜘蛛使用相同的资源文件和几乎相同的结构。SpiderA 包含：import scrapyimport pkgutilclass StockSpider(scrapy.Spider):    name = "spiderA"    data = pkgutil.get_data("tutorial", "resources/webs.txt")    data = data.decode()    urls = data.split("\r\n")    start_urls = [url + "string1"  for url in urls]    def parse(self, response):        passSpiderB 包含：import scrapyimport pkgutilclass StockSpider(scrapy.Spider):    name = "spiderB"    data = pkgutil.get_data("tutorial", "resources/webs.txt")    data = data.decode()    urls = data.split("\r\n")    start_urls = [url + "string2"  for url in urls]    def parse(self, response):        pass如何结合spiderA和spiderB，并添加一个开关变量来crapy scral根据我的需要调用不同的spider？

Answer 1

尝试为蜘蛛类型添加单独的参数。您可以通过调用来设置它scrapy crawl myspider -a spider_type=second。检查此代码示例：

import scrapy

import pkgutil

class StockSpider(scrapy.Spider):

    name = "myspider"

    def start_requests(self):

        if not hasattr(self, 'spider_type'):

            self.logger.error('No spider_type specified')

            return

        data = pkgutil.get_data("tutorial", "resources/webs.txt")

        data = data.decode()

        for url in data.split("\r\n"):

            if self.spider_type == 'first':

                url += 'first'

            if self.spider_type == 'second':

                url += 'second'

            yield scrapy.Request(url)

    def parse(self, response):

        pass

而且您始终可以创建基主类，然后从它继承，仅重载一个变量（添加到 url）和名称（用于单独调用）。

Answer 2

spider_type 导致错误

NameError: name 'spider_type' is not defined.

它是蜘蛛类中的 self.spider_type。

import scrapy

import pkgutil

class StockSpider(scrapy.Spider):

    name = "myspider"

    def start_requests(self):

        if not hasattr(self, 'spider_type'):

            self.logger.error('No spider_type specified')

            return

        data = pkgutil.get_data("tutorial", "resources/webs.txt")

        data = data.decode()

        for url in data.split("\r\n"):

            if self.spider_type == 'first':

                url += 'first'

            if self.spider_type == 'second':

                url += 'second'

            yield scrapy.Request(url)

    def parse(self, response):

        pass

使其更加严格和准确。

scrapy crawl myspider -a spider_type='second'