Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

精慕门_阿涛哥

感谢老师，对于想要入门的人来说一个很简单的例子，通过老师的一步步讲解，把代码写出来，这是新手最好的学习，同时迅速得到结果，大家也更有动力，大家加油！~

2017-11-10

刘九毛_0

感觉要掉进爬虫的坑里了

0 7-7 开始运行爬虫和爬取结果展示

2017-11-09

哈利波特

3、输出时不需要转utf-8编码
根据老师在课堂里讲的在输出时是需要转成utf-8的，
但是我测试之后，在本地反而得到的HTML文件用浏览器打开之后全部是乱码，后来调整成下面面这个方式，再次输出就是OK的。
用下面的方式输出HTML文件是OK的
HtmlOutputer类的output_html()方法里面，输出html文件时增加<meta charset="UTF-8">
fout.write("<html><head><meta charset=\"UTF-8\"></head>\n")

2017-11-09

哈利波特

2、获取title的方式有调整
res_data['title'] = title_node.find('h1').get_text()
这样就得到的数据是干净的标题，否则抓取到的数据后面会有“编辑”“收藏”这俩词

2017-11-09

哈利波特

非常感谢这位老师的讲解，根据老师的讲解，自己敲代码实现了这个人生中第一个Python爬虫，确实非常有意思，再次感谢老师，
根据自己的测试，有3个地方需要调整整之后才可以顺利执行
1、词条页面URL: /item/%E8%AE
原先是/view/41122.htm这种格式，但是百度百度百科已经升级了，原先的无法使用，
对应的代码修改为：
links = soup.find_all('a',href=re.compile(r'/item/.*'))

2017-11-09

jankerli

腻害，终于写出了寄几人生中第一个Python爬虫

3 7-7 开始运行爬虫和爬取结果展示

2017-11-09

OctSuncyan

有和我一样...每次一到一分钟以后就声音断断续续的么？？？时而有声时而没声...

0 4-1 Python爬虫URL管理

2017-11-08

xihuanyuye

python入门新手，感觉跟着写一下这个例子对入门挺好的！

0 8-1 课程总结

2017-11-08

你们在import url_manager这里没有出现过问题吗

最新回答 / qq_一口一个小朋友_0

可能是你url_manager文件名有问题。没看清楚图

2 回答 1070 浏览 7-2 调度程序

2017-11-08

HtmlOutputer' object has no attribute 'datas'

最新回答 / qq_一口一个小朋友_0

你把HtmlOutput部分代码贴一下。看下哪里错了

2 回答 799 浏览 7-7 开始运行爬虫和爬取结果展示

2017-11-07

Kay_lau

有所有课件的ppt么

3 6-1 Python爬虫网页解析器简介

2017-11-07

慕盖茨8338210

不错不错不错

0 7-1 Python爬虫实例-分析目标

2017-11-07

我在这里按ctrl 1引入对象为什么提示出错

+ 我来回答回答最高可+2积分

3 回答 1018 浏览 7-2 调度程序

2017-11-07

_半夏微凉不成殇_

输出给的网址其他不输出啊

1 7-7 开始运行爬虫和爬取结果展示

2017-11-06

qq_时光别停留_0

真的不错，对于刚刚学Python的人来说太好的课程了，理解爬虫

0 8-1 课程总结

2017-11-06

HAHAHA_10

有没有最近入坑一起学的，加个扣交流吧~597223276

0 7-2 调度程序

2017-11-06

首页上一页 56 57 58 59 60 61 62 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空