-
今天的学习成果，编写主程序，url管理器，网页解析，下载，输出器。
使用的是python3.6 遇到的问题以下是使用到的导包
import re，import urllib.request，from urllib.parse import urljoin，from bs4 import BeautifulSoup
output.html 使用encode("utf-8")乱码，去掉后可以添加指定网页编码。解决乱码问题
查看全部 -
二：添加data、http header生产urllib2.Request（）
查看全部 -
一：简洁的办法
查看全部 -
网页下载器：urllib2查看全部
-
下载网页方法~查看全部
-
1（最简洁）：
查看全部 -
python下载器：
查看全部 -
网页下载器：
查看全部 -
URL管理器：
查看全部 -
URL管理器：
查看全部 -
发出请求、获得反馈
查看全部 -
爬虫调度端：开启、监控
URL管理器将URL传输给网页下载器，下载器将URL存储成字符串，并将字符串传送给解析器。解析器将有价值的数据保留，并将解析出来的URL传输给URL管理器。
查看全部 -
爬虫的价值：整理、全面
查看全部 -
爬虫是抓取互联网信息的程序。
查看全部 -
爬虫是什么？
爬虫架构包含：
（URL管理器、网页下载器（urllib2）、网页解析器（BeautifulSoup））
查看全部
举报
0/150
提交
取消