Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

ImCheney

1. 先看url的格式, 这个不太难, F12观察一下链接的形式就行了;
2. 再看目标文本信息的标签格式, 比如文本数据为div class=xxx,
3. 容易看到编码为utf-8

目标: 百度百科python词条
入口页: baike.baidu/view/xxxxx
url格式:
数据格式:
-标题: dd class="lemmawgxxxxxx"
-简介 div class = "xxxxx"
页面编码: utf-8

1 7-1 Python爬虫实例-分析目标

2016-11-30

ImCheney

网页下载器: urlLib2, python官方模块;
requests, 第三方, 第三方包, 更强大

0 5-1 Python爬虫网页下载器简介

2016-11-30

ImCheney

url: 添加新url到爬取集合中, 判断待添加url是否在容器中, 判断是否还有待爬取的url, 获取待爬取url, 将url从待爬移动到已爬

1 4-1 Python爬虫URL管理

2016-11-30

yahier

哪里有源代码呢

0 6-4 BeautifulSoup实例测试

2016-11-29

yahier

我的 2.7.10里 request的add_data方法只能接收一个参数

4 5-2 Python爬虫urlib2下载器网页的三种方法

2016-11-29

yahier

到目前为止都好浅。期待高深一些的

4 5-1 Python爬虫网页下载器简介

2016-11-29

king437117

课程讲的非常好，谢谢老师。我看了两遍，第一遍，了解爬虫运行的流程及本课涉及的知识点。第二遍只看了实战章节，边看视频边敲代码，把细节弄懂，做了笔记。通过学习，已完成对某网站电影下载资源的抓取。

2016-11-29

SKT_T1_OuO

有人试过0.5倍语速吗？有意外惊喜~~

6 6-3 BeautifulSoup的语法

2016-11-28

慕粉1348526818

老师这个软件是哪个版本的

0 7-7 开始运行爬虫和爬取结果展示

2016-11-28

靠谱的小小刚

第二行就出错，搞了一下午，发现就是把那个root_url给写错了，原来是root_url="http://baike.baidu.com/view/21087.htm" 让我给写成了root_url="http:baike.baidu.com/view/21087.htm" 少了两个“/”

0 7-7 开始运行爬虫和爬取结果展示

2016-11-26

hao小子

挺不错的，给点个赞。

0 8-1 课程总结

2016-11-25

hunter_first

最后一句特别喜欢

0 8-1 课程总结

2016-11-25

Mr_ling

楼下高潮的那位，你的G点有点低啊

1 4-1 Python爬虫URL管理

2016-11-25

qq_本人法海_03750695

from bs4 import BeautifulSoup; "BeautifulSoup"冒红线，但是我确定我已经成功安装了BeautifulSoup4

19 6-4 BeautifulSoup实例测试

2016-11-24

hunter_first

讲的非常好啊，清晰易懂，之前都是零零散散的学了一些，这里相当于归纳总结了一遍，更加巩固了

2 6-3 BeautifulSoup的语法

2016-11-24

首页上一页 66 67 68 69 70 71 72 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫