Scrapy无法选择班级

Question

我正在尝试删除一个网站，但是每当我使用class =“ something”时，我都会得到一个空列表...hxs.select('//div[@class="bucket"]').extract()我做错什么了吗但这是有效的...hxs.select("//div[@id='ctl00_ContentPlaceHolder1_ctl00_ctl02_divMain']").extract()

Answer 1

我认为您的搜寻蜘蛛会获得不同版本的页面，而不是浏览器中看到的版本。您可以运行scrapy shell进行确认。