-
网页解析查看全部
-
三种实现URL管理的方法查看全部
-
URL管理器的功能查看全部
-
爬虫架构运行流程查看全部
-
爬虫架构查看全部
-
爬虫简介查看全部
-
网页解析器类型查看全部
-
三种方法查看全部
-
第三种查看全部
-
def _get_new_data(self, page_url, soup): res_data = {} #url res_data['url'] = page_url #标题 #<dd class="lemmaWgt-lemmaTitle-title"> #<h1>Python</h1> title_node = soup.find('dd', class_="lemmaWgt-lemmaTitle-title").find("h1") res_data['title'] = title_node.get_text() #简介 #<div class="lemma-summary" label-module="lemmaSummary"> summary_node = soup.find('div', class_="lemma-summary") res_data['summary'] = summary_node.get_text() return res_data def parse(self, page_url, html_cont): if page_url is None or html_cont is None: return soup = BeautifulSoup(html_cont, 'html.parse', \ from_encoding='utf-8') new_urls = self._get_new_urls(page_url, soup) new_data = self._get_new_data(page_url, soup) return new_urls, new_data查看全部
-
from bs4 import BeautifulSoup import re import urlparse #用于url拼接 class HtmlParser(object): from bs4 import BeautifulSoup import re import urlparse #用于url拼接 class HtmlParser(object): def _get_new_urls(self, page_url, soup): new_urls = set() #/view/2561555.htm links = soup.find_all('a', href=re.compile(r"/view/\d+\.htm")) for link in links: new_url = link['href'] new_full_url = urlparse.urljoin(page_url, new_url) new_urls.add(new_full_url) return new_urls查看全部
-
class UrlManager(object): #初始化两个集合 def __init__(self): self.new_urls = set() self.old_urls = set() def add_new_url(self, url): ''' 向URL管理器中添加一个新的URL ''' if url is None: return if url not in self.add_new_urls and url not in self.old_urls: self.new_urls.add(url) def add_new_urls(self, urls): ''' 向URL管理器中批量添加新的URL ''' if urls is None or len(urls) == 0: return for url in urls: self.add_new_url(url) def has_new_url(self): ''' 判断URL管理器中是否有新的待爬取的URL ''' return len(self.new_urls) != 0 def get_new_url(self): ''' 从URL管理器中获取一个新的带爬取的URL ''' #返回一个URL并从中移除这条URL new_url = self.new_urls.pop() self.old_urls.add(new_url) return new_url查看全部
-
#创建bs4对象 from bs4 import BeautifulSoup #根据html网页字符串创建bs对象 soup = BeautifulSoup( html_doc, #html文档字符串 'html.parser' #html解析器 from_encoding='utf8' #html文档的编码 ) #搜索节点find_all, find #方法:find_all(name, attrs, string) #查找所有标签为a的节点 soup.find_all('a') #查找所有标签为a，链接符合/view/123.html形式的节点 soup.find_all('a', href='/view/123.html') soup.find_all('a', href=re.compile(r'/view/\d+\.html')) #查找所有标签为a，class为abc，文字为python的节点 soup.find_all('div', class_='abc', string='python') #访问节点信息 #获取节点标签名称 node.name #链接 node['href'] #文字 node.get_text()查看全部
-
#python爬虫 #urllib2下载网页方法1： import urllib2 #直接请求 response = urllib2.urlopen('http://www.baidu.com') #获取状态码，是200表示获取成功 print response.getcode() #读取内容 cont = response.read() #方法2 import urllib2 #创建request对象 request = urllib2.Request(url) #添加数据 request.add_data('a', '1')#eg #添加http的header request.add_header('User-Agent', 'Mozilla/5.0') #发送请求读取结果 response = urllib2.urlopen(request) #方法3：特殊情形，如cookies，重定向 import urllib2, cookielib #创建cookie容器 cj = cookielib.CookieJar() #创建1个opener opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) #给urllib2安装opener urllib2.install_opener(opener) #使用带有cookie的urllib2访问网页 response = urllib2.urlopen("http:/www.baidu.com")查看全部
-
urllib3下载网页 特殊情景查看全部
举报
0/150
提交
取消