Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

蓝色眼眸

Python3.5 最新可运行版本。主要改变：解析器正则匹配现在的百科超链接
https://github.com/wen-small/baike

1 7-7 开始运行爬虫和爬取结果展示

2017-03-24

qq_人生的意义_0

大家的路还长着呢

3 8-1 课程总结

2017-03-24

__Unparalle_

出现一条记录，第二条就failed的原因是
links = soup.find_all('a', href=re.compile(r'/view/\d+\.htm'))
百度百科修改了页面
咱们只需修改爬取规则把view改成item 再把/\d+\.htm 去掉就能匹配新的url了

35 7-7 开始运行爬虫和爬取结果展示

2017-03-23

Code_Boy

大家可以在
https://github.com/codeboywang/SpiderMan
中参考的我的代码。
运行环境python2.7.10

1 8-1 课程总结

2017-03-22

小城云游

666666666666666666666666666666666

0 6-1 Python爬虫网页解析器简介

2017-03-22

橙橙同学爱编程

老师棒棒哒~

1 7-1 Python爬虫实例-分析目标

2017-03-22

weibo_Vickyever_0

老师最后一句话太可爱了；整个课程蛮细致，只是自己基础薄弱啊

1 8-1 课程总结

2017-03-21

慕粉1856065770

import ullib2

resp = urllib2.urlopen('http://www.baidu.com').read() #得到源代码

0 5-2 Python爬虫urlib2下载器网页的三种方法

2017-03-20

连续一定可积

派普~ 呃得颗粒噗死~

0 6-2 BeautifulSoup模块介绍和安装

2017-03-19

geziustc

该方法可行！！！感谢“IT男的成长记录 ”

如果出现乱码的话，将fout.write('<td>%s<td>' % data['title'] ) 改为

fout.write("<td>")

fout.write(data['title'])

fout.write("</td>")

并且在文件打开语句改为：fout = open('output.html', 'w', encoding='utf-8')

这样就不会出现乱码了

3 7-5 HTML解析器html_parser

2017-03-19

geziustc

试了各种办法，还是有乱码。。。

1 7-5 HTML解析器html_parser

2017-03-18

mr1024

2017年3月18日，基于python3，根据老师+评论完成：https://github.com/liang1024/FirstSpider (仅供参考)

2 8-1 课程总结

2017-03-18

慕设计7953951

终于成功了，感谢老师

0 8-1 课程总结

2017-03-17

小付3650475

https://github.com/mayJJ/urllib_spider
python3.5.2 的此课程代码。3.5版本下还是走了很多坑的，分享一点学习经验给大家。都有认认真真的注释，后续会继续更新requests库，和一些反爬虫的知识。

2017-03-16

二毛毛

报错：UserWarning: You provided Unicode markup but also provided a value for from_encoding. Your from_encoding will be ignored.
解决方法：
soup = BeautifulSoup(html_doc,"html.parser")这一句中删除【from_encoding="utf-8"】
原因：python3 缺省的编码是unicode, 再在from_encoding设置为utf8, 会被忽视掉，去掉【from_encoding="utf-8"】这一个好了

7 6-4 BeautifulSoup实例测试

2017-03-16

首页上一页 53 54 55 56 57 58 59 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫