-
爬虫三大组成部分： 1、URL管理器； 2、网页下载器； 3、网页解析器；查看全部
-
urllib2增加特殊场景的实现代码，导入包、创建cookie容器、创建一个opener、给urllib2安装opener、使用带cookies的urllib2访问网页。查看全部
-
添加特殊场景的处理器，如需要cookies登陆时、需要代理时、需要https加密访问、具有自动跳转的网页。将这些类进行打包并安装，同样适用urlopen的方式进行url或request。查看全部
-
创建request对象，添加data数据，添加http request数据，发送请求获取结果查看全部
-
data提供需要用户输入的信息，header提供头信息， url、data、header生成一个request类，然后以request作为参数发送网页请求查看全部
-
代码实现，包括直接请求、获取状态码、读取内容查看全部
-
最简单的方法，给URL，用URL_OPENER查看全部
-
urllib2官方网页下载库，request第三方插件功能更强大。查看全部
-
网页下载器通过URL请求从互联网上下载html页面，以本地文件或内存字符串形式存储在本地。查看全部
-
URL管理器的三种实现方式，Python适合小量数据，redis大公司常用，MySQL适合较复杂的存储。查看全部
-
URL管理器的作用及五个最小功能范围查看全部
-
爬虫的运行流程查看全部
-
爬虫：自动访问互联网，提取有价值的数据查看全部
-
网页下载器 urllib2 网页解析器 beautifulSoup查看全部
-
爬虫运行流程查看全部
举报
0/150
提交
取消