-
urllib2下载网页方法2：
代码示例：
查看全部 -
urllib2下载网页方法2：
查看全部 -
urllib2下载网页方法1：
# Python3.0之后urllib2改为urllib.request
代码示例：
查看全部 -
网页下载器
查看全部 -
简单爬虫架构-运行流程
查看全部 -
简单爬虫架构
查看全部 -
简单爬虫架构
查看全部 -
xvhffvb查看全部
-
老师讲解的逻辑清晰，程序设计巧妙，唯一不足的时python2.7。
自己先python3.6的环境上已经成功运行，一下几点是我在调试的时候遇到的坑：
1.首先是在Html_downloader类中，需要修改response获取方式为： response = urllib.request.urlopen(url)。本打算使用requests库，但是获取内容失败，感觉是百度屏蔽了requests的爬取，后续再研究研究。
2.在Html_parser类中，获取links时需要先指定获取百科页面中的body，然后在使用正则表达式获取body内的链接，这样可以屏蔽一些非词条的链接：links = soup.find(class_="body-wrapper").findAll('a', href=re.compile(r'/item/*'))
3.在Html_parser 类中，由于词条涉及到中文，获取的链接需要转义为中文显示：res_data['url'] = parse.unquote(page_url)
4.在html_outputer类中，由于开发环境是基于windows平台，新建文件默认编码格式为非‘utf-8',需要在代码中指定’utf-8',这样可以保证输出不是乱码。
查看全部 -
#coding=utf-8
import urllib
import cookielib
import urllib2
url = 'http://www.baidu.com'
print('第一种方法')
response1 = urllib.urlopen(url)
print(response1.getcode())
print(len(response1.read()))
print("第二种方法")
request = urllib2.Request(url)
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib2.urlopen(url)
print(response2.getcode())
print(len(response2.read()))
print("第三种方法")
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
response3 = urllib2.urlopen(url)
print(response3.getcode())
print(cj)
print("网页内容如下：")
print(response3.read())
查看全部 -
MySQL
urls(url,is_crawled)
查看全部 -
调度器 URL管理器 下载器 解析器 应用
查看全部 -
爬虫调度端
URL管理器>网页下载器>网页解析器》价值数据
查看全部 -
爬取数据 文章、价格、阅读器、图片、报销故事
查看全部 -
import urllib2
url = "www.baidu.com"
response1 = urllib1.urlopen(url)
print response1.getcode()
print len(response1.read())
print "第二种方法"
request = urllib2.Request(url)
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib2.urlopen(request)
print response1.getcode()
print len(response1.read())
查看全部
举报