Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

萌萌哒鸣鸣

已经看完回到前面评论一下,

能把一个不简单的内容讲到简单, 能让一个对爬虫0基础的人入手

可见讲师功力之深厚,

十分感谢慕课这个爬虫课程和讲师的细细讲解

讲师用的Python2, 如果有童鞋用的Python3, 发现导包和方法不适用的话可以看对应下面课程的评论, 我把需要Python3 转换的都写评论里了

大家加油

7 1-1 Python开发简单爬虫课程介绍

2017-11-21

嵌入式视觉

URL管理器：管理待抓取URL集合和已抓取URL集合

0 4-1 Python爬虫URL管理

2017-11-20

小蟒蛇

所以为什么老师没有 import re 可以运行。。。。？

3 6-4 BeautifulSoup实例测试

2017-11-16

喵喵三三

eclipse自动导入包，前提，是选择。。。记住，是选择的提示文字才会自动导入包，所以正则不出来的可以导一下包，4:49秒的时候可以看到老师的程序里是有re这个包的

0 6-4 BeautifulSoup实例测试

2017-11-15

qq_杂色方糖

不得不说真的太赞了非常清晰的思路

1 3-2 Python简单爬虫架构的动态运行流程

2017-11-14

周方凯

python2.7
TypeError: 'module' object is not callable 使用import urlparse
NoneType' object has no attribute 'get_text' 少打一个括号title_node=soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find("h1")
res_data['title']=title_node.get_text()
中文乱码添加fout.write('<meta charset="utf-8">')

0 7-7 开始运行爬虫和爬取结果展示

2017-11-13

周方凯

python2.7 要使用 import urlparse

title_node=soup.find('dd',class_="lemmaWgt-lemmaTitle-title".find("h1"))
if title_node is None:
return
res_data['title']=title_node.get_text()
同理summary_node也要判断是否为空

2 7-5 HTML解析器html_parser

2017-11-13

月满轩尼诗

敲了半天的 pip install beautifulsoup 报错了google了一番还是没解决原来后面还有一个4 [捂脸]

2 6-2 BeautifulSoup模块介绍和安装

2017-11-13

qq_餮醞_0

也看了其他的爬虫教学，这是我觉得目前很清晰明了的一个

2 8-1 课程总结

2017-11-12

Youda

输出一堆看不懂东西的同学试试这样，将数据转换为UTF-8字符串就能正常显示网页源代码了

print(str(response3.read(), 'utf-8'))

5 5-3 Python爬虫urlib2实例代码演示

2017-11-11

哈利波特

根据老师讲的爬虫基本思路和结构，实现了一个爬取中华网：http://www.china.com/ 上的新闻文章的功能，好玩到停不下来

1 8-1 课程总结

2017-11-10

精慕门_阿涛哥

感谢老师，对于想要入门的人来说一个很简单的例子，通过老师的一步步讲解，把代码写出来，这是新手最好的学习，同时迅速得到结果，大家也更有动力，大家加油！~

2017-11-10

刘九毛_0

感觉要掉进爬虫的坑里了

0 7-7 开始运行爬虫和爬取结果展示

2017-11-09

哈利波特

3、输出时不需要转utf-8编码
根据老师在课堂里讲的在输出时是需要转成utf-8的，
但是我测试之后，在本地反而得到的HTML文件用浏览器打开之后全部是乱码，后来调整成下面面这个方式，再次输出就是OK的。
用下面的方式输出HTML文件是OK的
HtmlOutputer类的output_html()方法里面，输出html文件时增加<meta charset="UTF-8">
fout.write("<html><head><meta charset=\"UTF-8\"></head>\n")

2017-11-09

哈利波特

2、获取title的方式有调整
res_data['title'] = title_node.find('h1').get_text()
这样就得到的数据是干净的标题，否则抓取到的数据后面会有“编辑”“收藏”这俩词

2017-11-09

首页上一页 23 24 25 26 27 28 29 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫