为了账号安全，请及时绑定邮箱和手机立即绑定
首页 免费课 Python最火爬虫框架Scrapy入门与实践 问答

Python最火爬虫框架Scrapy入门与实践

大壮老师 Python工程师
查看讲师更多课程 大壮老师讲师的其他课程
难度初级
时长 1小时31分
学习人数
综合评分9.53
55人评价 查看评价
9.7 内容实用
9.4 简洁易懂
9.5 逻辑清晰
全部 评论 问答 未解决 精华

print（response.text）时报错如图。导致打印不了正确的信息ERROR: Spider error processing <GET https://movie.douban.com/top250> (referer: None)

+ 我来回答 回答最高可+2积分
1 回答 2392 浏览 2-6 spider文件的编写（1）
2020-09-02

设置代理用户名和密码的时候为什么要先加密再解密

+ 我来回答 回答最高可+2积分
1 回答 641 浏览 2-9 ip代理中间件编写
2020-08-26

可以直接用pipenv install scrapy安装吗?

最新回答 / MC小虫虫
“无法将“pipenv”项识别为 cmdlet、函数、脚本文件或可运行程序的名称”，不行
1 回答 678 浏览 2-1 scrapy的安装、和安装中遇到的问题
2020-08-03
厦门的小菜鸟
讲的太好了，很接地气呀！！！这张图描述的很棒！
0 2-2 scrapy的介绍、组件、数据流
2020-07-30

scrapy crawl douban_spider -o test.json 执行后没有存入json,也找不到json文件

+ 我来回答 回答最高可+2积分
0 回答 601 浏览 2-8 保存数据
2020-07-06

老师前面没提过xpass,就开始用了,mac还装不上

最新回答 / cui晨
在谷歌的扩展应用中直接搜索xpath就可以了
1 回答 611 浏览 2-7 spider文件的编写（2）
2020-07-06

老师你这用的是什么在进行环境设置啊？不是用的系统的管理器吗？

最新回答 / 慕斯4125880
软件包安装管理工具 YUM，类似于应用商店的东西。开发环境是CentOS，基于Linux的系统。不是在window系统环境
1 回答 593 浏览 2-1 scrapy的安装、和安装中遇到的问题
2020-07-04

没有账号和密码

最新回答 / 郭文睿
这里是设置代理访问的，你可以去网上找找免费或者收费的代理。照猫画虎就可以了。不写这里的话，那就是根据你运行环境的ip去爬取的
1 回答 589 浏览 2-9 ip代理中间件编写
2020-06-29

mac系统下 /etc目录下没有init.d

+ 我来回答 回答最高可+2积分
0 回答 787 浏览 2-3 mongodb数据库的安装
2020-06-22

main.py文件在ssh里面可以执行，但是到了pycharm就不行了

最新回答 / ArryLuo
你好，请问你这边解决了嘛
1 回答 740 浏览 2-7 spider文件的编写（2）
2020-06-17

main.py文件在ssh里面可以执行，但是到了pycharm就不行了

最新回答 / 刘向坡
"C:\Program Files\Python38\python.exe" C:/Users/Administrator/Desktop/study_python/douban/douban/main.pyTraceback (most recent call last):  File "C:/Users/Administrator/Desktop/study_python/douban/douban/main.py", line 2, in <module>    cmdline.exec...
2 回答 898 浏览 2-7 spider文件的编写（2）
2020-06-17

ModuleNotFoundError: No module named 'douban.settings'

+ 我来回答 回答最高可+2积分
0 回答 1496 浏览 2-7 spider文件的编写（2）
2020-06-17

您好，请问浏览器上的×图标是怎么装上的？

最新回答 / qq_慕前端2393538
应该是个crx扩展，可以自行搜索一下。在元素标签ctrl F 可以直接搜索xpath语法<...图片...>
3 回答 647 浏览 2-7 spider文件的编写（2）
2020-04-26

如何用 :w保存修改的settings.py

最新回答 / 宝慕林2091161
从编辑模式切换到命令模式，方法：按下ESC键，即可在编辑屏幕上开一个命令行小窗，然后:w回车。返回编辑模式，在命令模式下按下a键。
1 回答 792 浏览 2-6 spider文件的编写（1）
2020-04-17

存入json文件中是unicode怎么解决

最新回答 / 慕粉3389052 
在settings.py中添加以下配置，再重新导出

FEED_EXPORT_ENCODING = 'UTF-8'
2 回答 1291 浏览 2-8 保存数据
2020-04-07

程序运行失败

+ 我来回答 回答最高可+2积分
2 回答 545 浏览 2-7 spider文件的编写（2）
2020-04-06
首页上一页1234567下一页尾页
开始学习
课程须知
1、具有一定的Python基础 2、具有一定的linux系统管理基础，编译安装软件，yum包管理工具等 3、具有一定的Mongdb数据库管理基础，增删改查
老师告诉你能学到什么？
1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式

微信扫码，参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示：

您好，此课程属于迁移课程，您已购买该课程，无需重复购买，感谢您对慕课网的支持！

查看已购买的课程

本次提问将花费2个积分

你的积分不足，无法发表

为什么扣积分？
确认 取消

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分？
确认 取消

举报

0/150
提交
取消