Python最火爬虫框架Scrapy入门与实践_技术问答

首页免费课 Python最火爬虫框架Scrapy入门与实践问答

Python最火爬虫框架Scrapy入门与实践

                
                大壮老师
            Python工程师

                    查看讲师更多课程 
                    大壮老师讲师的其他课程
                
移动端Python爬虫实战 数据抓取+数据可视化
实战·中级·1823

                                                                                                                                    ￥348.00
                                            
网络安全高薪人才培养计划-8大网络攻防场景实战
实战·中级·86

                                                                                                                                    ￥499.00
                                            
0基础开发简单爬虫
慕课微课·入门·3188

                                                                                                                                    ￥88.00
                                            
Python爬虫实战数据可视化分析
慕课微课·初级·4276

                                                                                                                                    ￥69.00
                                            
                难度初级
            
                时长 1小时31分
            
                学习人数
            
综合评分9.53
                            55人评价
                        查看评价
                                9.7
                                内容实用
                            
                                9.4
                                简洁易懂
                            
                                9.5
                                逻辑清晰

全部评论问答未解决精华

环境装在虚拟机，为什么新建工程会在本地呢？

最新回答 / 奮乧

Pycharm专业版配置远程服务器并自动同步代码搜索

1 回答 783 浏览 2-7 spider文件的编写（2）

2019-01-04

qq_記憶蔷薇_0

我这配置文件里如果修改成当前服务器ip的话,重启mongod报错.不修改的话,外部工具又连接不上.只有改成了0.0.0.0就可以了,有什么吗?

1 2-3 mongodb数据库的安装

2019-01-03

wyang

讲的太棒啦，赞赞赞。

5 2-2 scrapy的介绍、组件、数据流

2019-01-03

SeaRhyme

老师辛苦辛苦了

2 2-11 最后的注意事项

2018-12-28

请问老师运行结果怎么直接显示中文啊

+ 我来回答回答最高可+2积分

3 回答 940 浏览 2-7 spider文件的编写（2）

2018-12-27

qq_慕九州5439856

老师用的这个怎么弄啊，这个白色的命令栏

0 2-4 新建scrapy项目

2018-12-23

由于目标计算机积极拒绝，无法连接。

最赞回答 / 慕侠6337067

mongodb服务未开启

1 回答 1981 浏览 2-8 保存数据

2018-12-20

我怎么解析出来就是最后一条数据

讲师回答 / 大壮老师

字典写在for外面了吧

3 回答 1039 浏览 2-7 spider文件的编写（2）

2018-12-20

peppas

524820009@qq.com 谢谢您，老师！

0 2-4 新建scrapy项目

2018-12-18

CasparMa

小bug
在content=i_item.xpath(".//div[@class='info']//div[@class='bd']/p[1]/text").extract()

for i_content in content:

content_s = "".join(i_content.split())，，，后面省略

在视频中没有.extract()，本机ubuntu16+python3环境，运行提示没有split属性。必须加上extract()才可以。不知道视频中为什么没提示没有该attribute。

3 2-7 spider文件的编写（2）

2018-12-18

请叫我川子哥

影片介绍那里循环两行数据只有最后一行的年份可以用数组add两行进去
emptyArr = []
for i_content in content:
content_s = "".join(i_content.split())
emptyArr.append(content_s)
data_item['introduce'] = "".join(emptyArr)

1 2-7 spider文件的编写（2）

2018-12-18

如果是Windows或Mac平台直接在PyCharm的命令行中输入scrapy startproject douban就可以创建了(前提是PyCharm的命令行是当前项目的目录)

最新回答 / MmILYToo

应该在哪个目录里啊，是不是在Python的安装路径里面

1 回答 1605 浏览 2-4 新建scrapy项目

2018-12-17

请叫我川子哥

如果是Windows或Mac平台直接在PyCharm的命令行中输入scrapy startproject douban就可以创建了(前提是PyCharm的命令行是当前项目的目录)

1 2-4 新建scrapy项目

2018-12-17

Hugo_Hu

从小白到入门，此课是干货。

1 2-7 spider文件的编写（2）

2018-12-17

慕慕3107691

思路清晰，辛苦老师！！！

2 2-11 最后的注意事项

2018-12-14

首页上一页 12 13 14 15 16 17 18 下一页尾页

开始学习

课程须知: 1、具有一定的Python基础 2、具有一定的linux系统管理基础，编译安装软件，yum包管理工具等 3、具有一定的Mongdb数据库管理基础，增删改查

老师告诉你能学到什么？: 1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式

微信扫码，参与3人拼团

热搜

最近搜索清空