-
URL管理器
查看全部 -
方法3
查看全部 -
方法2
查看全部 -
方法一
查看全部 -
node soup ()
查看全部 -
getcode() 200页面请求的状态值，分别有：200请求成功、303重定向、400请求错误、401未授权、403禁止访问、404文件未找到、500服务器错误
查看全部 -
安装beautiful soup
查看全部 -
python 3.x中urllib库和urilib2库合并成了urllib库。。
其中urllib2.urlopen()变成了urllib.request.urlopen()
urllib2.Request()变成了urllib.request.Request()查看全部 -
网页下载器-urllib2
urllib2下载网页方法1：最简洁方法
import urllib2
#直接请求
response = urllib2.urlopen('http://www.baidu.com')
#获取状态码，如果是200表示获取成功
print response.getcode()
#读取内容
cont = response.read()
方法2：添加data http header
import urllib2
#创建Request对象
request = urllib2.Request(url)
#添加数据
request.add_data('a','1')
#添加http的header
request.add_header('User-Agent','Mozilla/5.0')
#发送请求获取结果
response = urllib2.urlopen(request)
对应代码如下：
import urllib2, cookkielib
#创建cookie容器
cj = cookielib.CookieJar()
#创建1个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#给urllib2安装opener
urllib2.install_opener(opener)
#使用带有cookie的urllib2访问网页
response = urllib2.urlopen("http://www.baidu.com/")
查看全部 -
1
查看全部 -
爬虫:一段自动抓取互联网信息的程序。
查看全部 -
bu zhou
查看全部 -
网页下载器-urllib2<p>urllib2下载网页方法1：最简洁方法 <br /></p><p>import urllib2<br /></p><p>#直接请求<br /></p><p>response = urllib2.urlopen('<a href="">http://www.baidu.com')</a><br /></p><p>#获取状态码，如果是200表示获取成功</p><p>print response.getcode()</p><p>#读取内容</p><p>cont = response.read()</p><p>方法2：添加data http header</p><p>import urllib2</p><p>#创建Request对象</p><p>request = urllib2.Request(url)</p><p>#添加数据</p><p>request.add_data('a','1')</p><p>#添加http的header</p><p>request.add_header('User-Agent','Mozilla/5.0')</p><p>#发送请求获取结果 <br /></p><p>response = urllib2.urlopen(request)</p><p><br /></p><p><img src="https://img1.sycdn.imooc.com//5acadb060001ddf705000233.jpg" title="" alt="https://img1.sycdn.imooc.com//5acadb060001ddf712290572.jpg" /></p><p>对应代码如下：</p><p>import urllib2, cookkielib</p><p>#创建cookie容器</p><p>cj = cookielib.CookieJar()</p><p>#创建1个opener</p><p>opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))</p><p>#给urllib2安装opener</p><p>urllib2.install_opener(opener)</p><p>#使用带有cookie的urllib2访问网页</p><p>response = urllib2.urlopen("http://www.baidu.com/")</p>查看全部
-
wangyejiexiqi
查看全部 -
urllib2 3
查看全部
举报