这边解析代码中有一个小bug,解析内容的时候如果按老师的写法,只能获得最后一行的内容,可考虑做以下修改:
content_s = ""
for i_content in content:
content_s = content_s + "".join(i_content.split())
douban_item['introduce'] = content_s
content_s = ""
for i_content in content:
content_s = content_s + "".join(i_content.split())
douban_item['introduce'] = content_s
2018-09-06
已采纳回答 / qq_蔚蓝色的天空_3
这个是scrapy中回调时被过滤了 解决方法在 allowed_domains 中加入 url 在 scrapy.Request() 函数中将参数 dont_filter=True 设置为 True修改这一行代码如下,我个人采取第二种方式dont_filter=Ture:
yield scrapy.Request("https://movie.douban.com/top250"+next_link, callback=self.parse, dont_filter=True)
2018-08-31