Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

慕桂英8256984

老师讲得太好了！作为小白通过课程对爬虫有了一个清楚的认知，也点燃了继续学习的热情~~谢谢老师~~

2017-11-02

慕尼黑4543992

老师的的教程还是很详细的，而且分块也很清晰，基本可以作为后续开发的模板，感谢感谢

1 7-6 HTML输出器

2017-11-01

劝君惜取少年时

class HtmlDownloader(object):

def download(self,url):
if url is None:
return None

reponse=urllib2.urlopen(url)

if response.getcode() != 200:
return None

return response.read()

1 7-4 HTML下载器html_downloader

2017-10-30

劝君惜取少年时

getcode() 200页面请求的状态值，
分别有：
200请求成功、
303重定向、
400请求错误、
401未授权、
403禁止访问、
404文件未找到、
500服务器错误

3 7-4 HTML下载器html_downloader

2017-10-30

劝君惜取少年时

except:
print'craw failed'

0 7-2 调度程序

2017-10-30

劝君惜取少年时

count = 1
print 'craw %d : %s ' % (count,new_url)

if count ==1000:
break

count = count +1

0 7-2 调度程序

2017-10-30

风的旋律3572868

编辑器推荐PyCharm很好上手，代码有提示，比eclipse还方便

3 7-2 调度程序

2017-10-30

qq_千手_0

import urllib2
import cookielib

print '第三种方法'
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
response3 = urllib2.urlopen(url)
print response3.getcode()
print cj
print response3.read()

1 5-3 Python爬虫urlib2实例代码演示

2017-10-30

慕粉3611884

有没有课件下载

0 7-2 调度程序

2017-10-29

劝君惜取少年时

Crlt1 创建方法

0 7-2 调度程序

2017-10-29

劝君惜取少年时

入口URL：root_url
应用spider.craw(root_url)来启动爬虫

if _name_=='_main_':
root_url='...'
obj_spider=spidermain()
obj_spider.craw(root_url)

1 7-2 调度程序

2017-10-29

劝君惜取少年时

add_new_url : 向管理器中添加一个新的url
add_new_urls:向管理器中添加批量的url

异常处理：
except:
print 'craw failed'

1 7-2 调度程序

2017-10-29

劝君惜取少年时

测试五个模块下载输出解析器爬虫 url管理

1 7-2 调度程序

2017-10-29

劝君惜取少年时

spider_main (爬虫总调度程序) url_manager(url管理器) html_downloader(下载器)
html_parser(html解析器) html_outputer(将数据处理好的数据写出到 html 的页面)

1 7-2 调度程序

2017-10-29

劝君惜取少年时

抓取内容：
url格式
数据格式
网页编码

一、URL格式：
词条页面URL:/view/125370.htm
这不是一个完整的URL 在代码中我们需要加上baidubke使其成为完整的URL才能爬取

二，数据格式：
标题： dd class h1
简介：div class lemma- summary

三，页面编码：utf-8

1 7-1 Python爬虫实例-分析目标

2017-10-29

首页上一页 25 26 27 28 29 30 31 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫