【Python3~爬虫工具】使用urllib库

urllib是python自带的一个库，其实也是分版本的，所以使用的时候注意版本。本文用的例子是Python3，python3内置的是Urllib2和Urllib两个库的组合。

Urllib分为四个模块，但是常用的是三个模块。

• request：基本的请求模块，也就是发出请求的。

• error：错误模块，比如请求超时模块，404等，#URLError和HTTPError，HTTPError是URLError的子类，专门处理Http异常消息的，比如404,500等信息。

• parse：解析模块，解析请求成功偶返回的结果进行解析。

• robotparser：这个模块不常用，这里不做解释。

#!/usr/local/env python#  coding:utf-8import urllib.requestimport urllib.parseimport urllib.error#下面开始介绍urllib的使用，环境语言是python3，使用下面的网址作为参考#http://www.sse.com.cn/market/bonddata/data/tb/#设置属性user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'referer = 'http://www.sse.com.cn/market/bonddata/data/ltb/'#设置headersheaders = {'User-Agent': user_agent, 'Referer': referer}#请求参数request_param = {'jsonCallBack': 'jsonpCallback6588',            'isPagination': 'true',            'sqlId': 'COMMON_BOND_XXPL_ZQXX_L',            'BONDTYPE': '地×××府债券',            'pageHelp.pageSize': '25',            'pageHelp.pageNo': '2',            'pageHelp.beginPage': '2',            'pageHelp.cacheSize': '1',            'pageHelp.endPage': '21'}request_param_encode = urllib.parse.urlencode(request_param).encode(encoding='UTF8')# 需要请求的URL地址request_url = 'http://query.sse.com.cn/commonQuery.do?'# 使用Request来设置Headersrequest = urllib.request.Request(request_url, request_param_encode, headers)#设置代理服务器proxy = urllib.request.ProxyHandler({'http':'113.214.13.1:8000'})#挂载和安装一下opener = urllib.request.build_opener(proxy)urllib.request.install_opener(opener)#具体细节开始使用try:    #这个是没有超时时间的，如果想要超时时间，可进行设置    response = urllib.request.urlopen(request)    data = response.read()    print(data.decode('utf-8'))# 异常处理模块，urllib有一个模块是error模块，是处理这块问题的#URLError和HTTPError，HTTPError是URLError的子类，专门处理Http异常消息的，比如404,500等信息except urllib.error.URLError as e:    if hasattr(e, 'code'):        print('HttpError')        print(e.code)    elif hasattr(e, 'reason'):        print("URLError")        print(e.reason)

正常这个网址，http://www.sse.com.cn/market/bonddata/data/tb/
这个网址是债券市场，正常url是直接可访问的。其实爬虫就是反复尝试，对了，就爬了。先介绍以下遇到的几种常见情况，后期会专门写一篇文章弄爬虫常见的遇到问题以及解决方式。
1、需要请求头，爬虫的时候设置请求头。
2、需要cookie，请求的时候设置cookie。
3、上一个动作来源哪里，有些接口数据可以指定来源哪个页面，如果是直接页面输入url，平台会直接返回错误，认为不是在客户正常操作。
这个网站基本就碰到了1和3这两种情况。