Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

heruns

感谢老师带我们入门，感觉学到了很多

1 8-1 课程总结

2016-08-23

海贼王我要了

很好，很喜欢

0 6-1 Python爬虫网页解析器简介

2016-08-21

红博3419678

爬了一个之后就不爬了,错误提示:__init__() got an unexpected keyword argument 'from_Encoding'

1 7-7 开始运行爬虫和爬取结果展示

2016-08-21

慕用1916611

getcode() 200页面请求的状态值，分别有：200请求成功、303重定向、400请求错误、401未授权、403禁止访问、404文件未找到、500服务器错误

15 7-4 HTML下载器html_downloader

2016-08-21

薛定谔的虎

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc,'html.parser')
print('所有链接')
links = soup.find_all('a')
for link in links:
print(link.name,link["href"],link.get_text())

1 6-4 BeautifulSoup实例测试

2016-08-20

Oliver0047

没报错，但只输出了一条记录，第二条就failed，然后就没了

2 7-7 开始运行爬虫和爬取结果展示

2016-08-19

被作业淹没的人

Traceback (most recent call last):
File "C:\Users\cjj\workspace\imooc\test\test_bs4.py", line 39, in <module>
print p_node.name, p_node.get_text()
AttributeError: 'NoneType' object has no attribute 'name'

这到底是错在哪里了

5 6-4 BeautifulSoup实例测试

2016-08-19

qq_王兰书_03786073

百度经验置顶那个下载安装包到Python3.5目录的方法死活都识别你在把BeautifulSoup4往Python2.7里安，换4.4.1，4.4.5都这么坑，不知道什么原理。还是照着视频里老老实实来，给安好了

1 6-2 BeautifulSoup模块介绍和安装

2016-08-18

PNA

老师讲的很好，看完还有点不舍

1 8-1 课程总结

2016-08-17

慕用1916611

https://www.crummy.com/software/BeautifulSoup/bs4/doc/#installing-beautiful-soup

1 6-2 BeautifulSoup模块介绍和安装

2016-08-17

paukey

1234567890120.0

0 1-1 Python开发简单爬虫课程介绍

2016-08-17

qq_不二_0

赞一个，第一次运行在beautifulsoup里面吧html.parser写错了，第二次正常运行

0 7-7 开始运行爬虫和爬取结果展示

2016-08-17

PNA

1.25X 速度听起来带劲

16 6-1 Python爬虫网页解析器简介

2016-08-17

qq_不二_0

有点广度优先搜索算法的意思，不过处理比较粗糙，已爬取过的url没有标记，会导致重复爬取

0 7-2 调度程序

2016-08-16

Yi罐可乐

用 python 3.x 写的例子，能正常运行：

https://github.com/zaxlct/baike_spider

加了不少注释，帮助理解，稍微优化了一点：如果页面 404 ，那么就跳过这次抓取，这样就不报错，提示 failed 了。

欢迎 star，有问题可以发 Issues 我会回答；）

4 8-1 课程总结

2016-08-16

首页上一页 77 78 79 80 81 82 83 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫