已采纳回答 / qq_蔚蓝色的天空_3
这个是scrapy中回调时被过滤了 解决方法在 allowed_domains 中加入 url 在 scrapy.Request() 函数中将参数 dont_filter=True 设置为 True修改这一行代码如下,我个人采取第二种方式dont_filter=Ture:
yield scrapy.Request("https://movie.douban.com/top250"+next_link, callback=self.parse, dont_filter=True)
2018-08-31
已采纳回答 / Accidie漠然
只显示“1994 / 美国 / 犯罪 剧情”是因为在for循环里,douban_item['introduce']的值被覆盖了,如果想全部爬取的话,可以声明douban_item['introduce']为一个数组,把i_content循环append到数组里就可以了
2018-08-19
讲师回答 / 大壮老师
list_1后面不要写extract_first() ,extract_first()和extract()[1]结果相同,是取列表的第一个元素。list_1后直接写XPATH即可,不需要获取其中元素,在下面的for循环里获取元素。
2018-07-26