为了账号安全,请及时绑定邮箱和手机立即绑定
老师讲的灰常好,很适合新手学习,俺还是用mysql,不想装太多数据库
这边解析代码中有一个小bug,解析内容的时候如果按老师的写法,只能获得最后一行的内容,可考虑做以下修改:
content_s = ""
for i_content in content:
content_s = content_s + "".join(i_content.split())
douban_item['introduce'] = content_s
很棒的免费课程啊,免费课程也干货慢慢!感谢大壮老师!
老师声音磁性,精炼666

已采纳回答 / 大壮老师
如果就安装在win10上,可以写127.0.0.1,如果安装在远程服务器上,就写远程服务器的IP
说的很好,没有框架基础直接听也不会觉得晦涩难懂,每个部分的作用说的很详细,但是我相信这只是冰山一角

已采纳回答 / qq_蔚蓝色的天空_3
这个是scrapy中回调时被过滤了  解决方法在 allowed_domains 中加入 url 在 scrapy.Request() 函数中将参数 dont_filter=True 设置为 True修改这一行代码如下,我个人采取第二种方式dont_filter=Ture:
yield scrapy.Request("https://movie.douban.com/top250"+next_link, callback=self.parse, dont_filter=True)

已采纳回答 / qq_MakiseKurisu_0432
你用virtualenv的时候,运行文件时,是否workon切换到正确的解释器了

讲师回答 / 大壮老师
settings里设置
ROBOTSTXT_OBEY = False
课程须知
1、具有一定的Python基础 2、具有一定的linux系统管理基础,编译安装软件,yum包管理工具等 3、具有一定的Mongdb数据库管理基础,增删改查
老师告诉你能学到什么?
1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消