Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

慕粉3287174

@慕粉4289539 我一开始也和你一样的错误，我的原因是在url_manager.py中get_new_url()方法忘了return new_url，我知道我很蠢~

0 7-7 开始运行爬虫和爬取结果展示

2016-12-01

宝慕林0621648

Nice

2016-12-01

慕粉3287174

讲得很好，真心的。

1 6-3 BeautifulSoup的语法

2016-12-01

python 3.5 解析器代码问题

最新回答 / 猪猪的笨笨

感觉你是最近才学的吧。如果是，建议你学习一下基础，然后一个一个模块的学习使用。最后再一次使用多个模块。而且，这个视频的python和模块有点老，你要小心有很多坑，我就是被坑了很多次！！！

12 回答 2438 浏览 7-5 HTML解析器html_parser

2016-12-01

ImCheney

1. 先看url的格式, 这个不太难, F12观察一下链接的形式就行了;
2. 再看目标文本信息的标签格式, 比如文本数据为div class=xxx,
3. 容易看到编码为utf-8

目标: 百度百科python词条
入口页: baike.baidu/view/xxxxx
url格式:
数据格式:
-标题: dd class="lemmawgxxxxxx"
-简介 div class = "xxxxx"
页面编码: utf-8

1 7-1 Python爬虫实例-分析目标

2016-11-30

ImCheney

网页下载器: urlLib2, python官方模块;
requests, 第三方, 第三方包, 更强大

0 5-1 Python爬虫网页下载器简介

2016-11-30

ImCheney

url: 添加新url到爬取集合中, 判断待添加url是否在容器中, 判断是否还有待爬取的url, 获取待爬取url, 将url从待爬移动到已爬

1 4-1 Python爬虫URL管理

2016-11-30

yahier

哪里有源代码呢

0 6-4 BeautifulSoup实例测试

2016-11-29

yahier

我的 2.7.10里 request的add_data方法只能接收一个参数

4 5-2 Python爬虫urlib2下载器网页的三种方法

2016-11-29

yahier

到目前为止都好浅。期待高深一些的

4 5-1 Python爬虫网页下载器简介

2016-11-29

Cookie报错

最新回答 / Hedya

应该是你使用的工具的原因，我在sublime打印不出来，但是在Pycharm打印出来了

1 回答 1793 浏览 5-3 Python爬虫urlib2实例代码演示

2016-11-29

king437117

课程讲的非常好，谢谢老师。我看了两遍，第一遍，了解爬虫运行的流程及本课涉及的知识点。第二遍只看了实战章节，边看视频边敲代码，把细节弄懂，做了笔记。通过学习，已完成对某网站电影下载资源的抓取。

2016-11-29

SKT_T1_OuO

有人试过0.5倍语速吗？有意外惊喜~~

6 6-3 BeautifulSoup的语法

2016-11-28

只输出craw1 后面就craw failed

+ 我来回答回答最高可+2积分

6 回答 1411 浏览 7-7 开始运行爬虫和爬取结果展示

2016-11-28

pythun是哪个版本的

最新回答 / branwel

Python2.7

1 回答 746 浏览 7-2 调度程序

2016-11-28

慕粉1348526818

老师这个软件是哪个版本的

0 7-7 开始运行爬虫和爬取结果展示

2016-11-28

首页上一页 125 126 127 128 129 130 131 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空