-
爬虫调度器:启动、停止、监视爬虫运行情况; URL管理器:将要爬取的URL和已经爬取的URL 网页下载器:URL管理器将将要爬取的URL传送给网页下载器下载下来; 网页解析器:将网页下载器下载的网页的内容传递给网页解析器解析; (1)、解析出新的URL传递给URL管理器; (2)、解析出有价值的数据; 上面三个形成了一个循环,只要网页解析器有找到新的URL,就一直执行下去;查看全部
-
访问结点信息查看全部
-
搜索结点查看全部
-
beautifulsoup例子查看全部
-
bs例子查看全部
-
beautifulsoup用法查看全部
-
网页解析器2查看全部
-
网页解析器查看全部
-
urllib2(5)查看全部
-
urllib2(4)查看全部
-
urllib2(3)查看全部
-
urllib2(2)查看全部
-
urllib2(1)查看全部
-
网页下载器2查看全部
-
网页下载器查看全部
举报
0/150
提交
取消