scrapy：添加一些数学条件

Question

使用 python 3.8 和 scrapy 1.6，我想检查产品的星级是否等于或大于 3.5，然后检查另一个条件（如果 discount_percent 等于或大于 10%），然后抓取该产品的一些元素。问题是，我猜，scraped star 和 discount_percent 元素是非英文数字并且包含“%”。因此，虽然我使用的是 utf8，但当我将代码行包装在 float() 和 int() 函数中时，我得到了这个日志：这是我的蜘蛛代码：    def parse(self, response):        for product in response.xpath("//ul[@class='c-listing__items']/li"):            title= product.xpath(".//a[@class='js-product-url']/text()").get()            star= float(product.xpath(".//div[@class='c-product-box__engagement-rating']/text()").get())            discounted_percent= int(product.xpath(".//div[@class='c-price__discount-oval']/span/text()").get())            discounted_price= int(product.xpath(".//div[@class='c-price__value-wrapper']/text()").get())            original_price= int(product.xpath(".//div[@class='c-price__value c-price__value--plp']/del/text()").get())            url= response.urljoin(product.xpath(".//a[@class='js-product-url']/@href").get())            if star>=3.5 and discounted_percent>=10:                yield{                    'title':title,                    'star':star,                    'discounted_percent':discounted_percent,                    'discounted_price':discounted_price,                    'original_price':original_price,                    'url':url                }       我该如何解决这个问题？感谢您的帮助！

Answer 1

问题来自您正在使用的以下几行int()：

discounted_percent= int(product.xpath(".//div[@class='c-price__discount-oval']/span/text()").get())

discounted_price= int(product.xpath(".//div[@class='c-price__value-wrapper']/text()").get())

original_price= int(product.xpath(".//div[@class='c-price__value c-price__value--plp']/del/text()").get())

           

但是，您还必须为discounted_priceand执行此original_price操作，确保没有非数字字符，例如%或 货币符号。

这是因为您不能int()在使用非数字字符的字符串上使用，例如int("20%")

一个快速的解决方案是删除这些字符。在以下情况下discounted_percent：

discounted_percent = int(str(product.xpath(".//div[@class='c-price__discount-oval']/span/text()").get().strip()).replace('٪', ''))