请问一下，爬虫小白问个不知道关于scrapy爬取json动态生成列表的问题？

Question

爬虫小白问个不知道关于scrapy爬取json动态生成列表的问题

Answer 1

对于只是读取某几个网站更新内容的爬虫完全没必要在python代码中实现增量的功能，直接在item中增加Url字段。 item['Url'] = response.url 然后在数据端把储存url的column设置成unique。 之后在python代码中捕获数据库commit

Answer 2

试试这个
def start_requests(self):
script = """
function main(splash)
splash:set_viewport_size(1028, 10000)
splash:go(splash.args.url)
local scroll_to = splash:jsfunc("window.scrollTo")
scroll_to(0, 2000)
splash:wait(15)
return {
html = splash:html()
}
end
"""

for url in self.start_urls:
yield Request(url,callback=self.parse_info_index,meta = {
'dont_redirect': True,
'splash':{
'args':{'lua_source':script,'images':0},
'endpoint':'execute',

}
})