在 Scrapy 中使用 For 循环将 Xpath 值附加到列表

Question

我想尝试在 Scrapy 中自动化我的 html 表格抓取。这是我到目前为止所拥有的：import scrapyimport pandas as pdclass XGSpider(scrapy.Spider):    name = 'expectedGoals'    start_urls = [        'https://fbref.com/en/comps/9/schedule/Premier-League-Scores-and-Fixtures',    ]    def parse(self, response):        matches = []        for row in response.xpath('//*[@id="sched_ks_3232_1"]//tbody/tr'):            match = {                'home': row.xpath('td[4]//text()').extract_first(),                'homeXg': row.xpath('td[5]//text()').extract_first(),                'score': row.xpath('td[6]//text()').extract_first(),                'awayXg': row.xpath('td[7]//text()').extract_first(),                'away': row.xpath('td[8]//text()').extract_first()            }            matches.append(match)        x = pd.DataFrame(            matches, columns=['home', 'homeXg', 'score', 'awayXg', 'away'])        yield x.to_csv("xG.csv", sep=",", index=False)它工作正常，但是如您所见，我正在对对象的键（home、homeXg等）进行硬编码match。我想自动将键抓取到列表中，然后用所述列表中的键初始化字典。问题是，我不知道如何按索引遍历 xpath。举个例子， headers = []         for row in response.xpath('//*[@id="sched_ks_3260_1"]/thead/tr'):             yield{                'first': row.xpath('th[1]/text()').extract_first(),                'second': row.xpath('th[2]/text()').extract_first()            }是否可以将th[1]、th[2]等th[3]插入 for 循环，将数字作为索引，并将值附加到列表中？例如row.xpath('th[i]/text()').extract_first() ?

Answer 1

未经测试但应该可以工作：

column_index = 1

columns = {}

for column_node in response.xpath('//*[@id="sched_ks_3260_1"]/thead/tr/th'):

    column_name = column_node.xpath('./text()').extract_first()

    columns[column_name] = column_index

    column_index += 1

    matches = []

for row in response.xpath('//*[@id="sched_ks_3232_1"]//tbody/tr'):

    match = {}        

    for column_name in columns.keys():

        match[column_name] = row.xpath('./td[{index}]//text()'.format(index=columns[column_name])).extract_first()

    matches.append(match)