为了账号安全,请及时绑定邮箱和手机立即绑定
window10 python3.6下安装 scrapy
一步到位
cmd-->pip install scrapy
我安装的时候提示 Twisted安装失败,然后在这个网站https://www.lfd.uci.edu/~gohlke/pythonlibs/#scipy
下载了Twisted的whl文件,然后将这个文件放在python的scripts下,然后pip install+ (whl文件的完整文件名),最后重新pip install scrapy一下就完成了,可以cmd-->scrapy -h ,成功的话,会提示Scrapy 1.5.1 - no active project

最赞回答 / 慕容0352477
request.meta['Proxy'] = 'http-pro.abuyun.com:9010'
我是把‘proxy'改为'Proxy'后好像可以了

最新回答 / qq_半字浅眉_1
有,/      从根节点选取  //    从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。

已采纳回答 / 慕尼黑7825836
在python 代码中加入```sys.path.append(os.path.abspath(os.path.join(os.getcwd(), "..")))  # 当前项目路径加入```可尝试解决办法:配置文件的工作路径   working directory

最新回答 / 葱油拌面
已解决,
request.headers['Proxy-Authorization'] = 'Basic' + encode_pass_name.decode()

'Basic'  -----加空格------>  'Basic '

最新回答 / 慕仔3469222
重新写个main函数,里面写from scrapy import cmdlinecmdline.execute(‘scrapy crawl mydodin’.split()),然后运行main文件即可或者用命令行来运行你成功生成了spider项目说明安装没问题,只是你运行的文件错了。
3.7.0就有这个坑,3.6.6正常

最赞回答 / touch_the_dream
不是de是en,看清楚方法,比较容易弄错你写的是
base64.b64decode(proxy_name_pass)
正确的是
base64.b64encode(proxy_name_pass)
已学完,感谢分享,有机会亲手试验下
课程须知
1、具有一定的Python基础 2、具有一定的linux系统管理基础,编译安装软件,yum包管理工具等 3、具有一定的Mongdb数据库管理基础,增删改查
老师告诉你能学到什么?
1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消