Python最火爬虫框架Scrapy入门与实践_技术问答

首页免费课 Python最火爬虫框架Scrapy入门与实践问答

Python最火爬虫框架Scrapy入门与实践

                
                大壮老师
            Python工程师

                    查看讲师更多课程 
                    大壮老师讲师的其他课程
                
移动端Python爬虫实战 数据抓取+数据可视化
实战·中级·1823

                                                                                                                                    ￥348.00
                                            
网络安全高薪人才培养计划-8大网络攻防场景实战
实战·中级·86

                                                                                                                                    ￥499.00
                                            
0基础开发简单爬虫
慕课微课·入门·3188

                                                                                                                                    ￥88.00
                                            
Python爬虫实战数据可视化分析
慕课微课·初级·4276

                                                                                                                                    ￥69.00
                                            
                难度初级
            
                时长 1小时31分
            
                学习人数
            
综合评分9.53
                            55人评价
                        查看评价
                                9.7
                                内容实用
                            
                                9.4
                                简洁易懂
                            
                                9.5
                                逻辑清晰

全部评论问答未解决精华

没有报错,但是没有抓取到任何网页信息

+ 我来回答回答最高可+2积分

2 回答 918 浏览 2-7 spider文件的编写（2）

2018-08-01

mongo存储

最新回答 / Purplefly

...你是怎么插入数据的，我总会有这个错误AttributeError: 'DoubanPipeline' object has no attribute 'post'

2 回答 983 浏览 2-8 保存数据

2018-07-30

分页做不了

最赞回答 / qq_执著_2

可以了

yield scrapy.Request("https://movie.douban.com/top250"+next_link, callback=self.parse)

多了括号

1 回答 939 浏览 2-7 spider文件的编写（2）

2018-07-28

老师，我根据你的教程，在阿布云哪里出错了。麻烦看一下。

讲师回答 / 大壮老师

第二章贴的log不全，你把所有的log贴出来

2 回答 1075 浏览

2018-07-27

scrapy crawl douban_spider这个出错

最赞回答 / 灰灰grey

将async随便换一个字段，例如：shark就可以了

6 回答 2072 浏览 2-6 spider文件的编写（1）

2018-07-26

请问我为什么会有这样的问题

讲师回答 / 大壮老师

list_1后面不要写extract_first() ，extract_first()和extract()[1]结果相同，是取列表的第一个元素。list_1后直接写XPATH即可，不需要获取其中元素，在下面的for循环里获取元素。

3 回答 1688 浏览 2-7 spider文件的编写（2）

2018-07-26

感谢！！！！

最赞回答 / 大壮老师

正在备课进阶视频

1 回答 898 浏览 2-11 最后的注意事项

2018-07-24

errot

+ 我来回答回答最高可+2积分

2 回答 668 浏览 2-9 ip代理中间件编写

2018-07-23

老师，请问一下，linux下建立的项目，怎么在windows上打开并同步的？咋实现的？

最赞回答 / 岳麓丹枫2013

老师是在centos中创建的scrapy项目，然后直接在windows中打开项目，我没弄明白怎么实现的

4 回答 1519 浏览 2-4 新建scrapy项目

2018-07-22

端口必须是int的实例。

最新回答 / MH__Linux

不要加引号就是int这样

mongo_port = 27017

2 回答 1362 浏览 2-8 保存数据

2018-07-20

KeyError: 'Spider not found: douban_spider'

最新回答 / Lianger_zhou

这个主要是因为你在加载项目的时候，把上一层目录作为文件夹导入进来了，重新导入，选择具体项目的那个文件夹即可

2 回答 8414 浏览 2-7 spider文件的编写（2）

2018-07-15

安装Twisted执行python3 setup.py install报错

最新回答 / yuzhewo

权限问题 sudo试试

2 回答 2380 浏览 2-1 scrapy的安装、和安装中遇到的问题

2018-07-14

AttributeError: 'Selector' object has no attribute 'split'

最新回答 / 人在梦游中

找到问题了，后面少了 .extract()

1 回答 4629 浏览 2-7 spider文件的编写（2）

2018-07-13

ImportError: No module named scrapy

最新回答 / 慕运维6347980

楼主解决了吗，怎么处理的

4 回答 3801 浏览 2-7 spider文件的编写（2）

2018-07-12

必须用mongoDB吗？

最新回答 / 慕少0268976

MySQL oracle 等都可以只是不同的数据库连接的方式不一样

2 回答 1275 浏览 2-3 mongodb数据库的安装

2018-07-12

首页上一页 12 13 14 15 16 下一页尾页

开始学习

课程须知: 1、具有一定的Python基础 2、具有一定的linux系统管理基础，编译安装软件，yum包管理工具等 3、具有一定的Mongdb数据库管理基础，增删改查

老师告诉你能学到什么？: 1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式

微信扫码，参与3人拼团

热搜

最近搜索清空

Python最火爬虫框架Scrapy入门与实践