import requests
from lxml import html
import json
etree = html.etree
class BaoxiaoSpider:
# url_list
def __init__(self):
self.url_temp = "http://www.2bmv.com/index_{}.html"
self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"}
# 获取url_list中的网址数据
def get_url_list(self):
# 返回的是网址后面index{}的页数的循环,共50页
return [self.url_temp.format(i) for i in range(3)]
# 发送请求,获取响应
def parse_url(self,url):
response = requests.get(url, headers=self.headers)
return response.content
# 提取数据
def get_content_list(self,html_str):
htmlDIV = etree.HTML(html_str)
# 根据div分组
div_list = htmlDIV.xpath("//div[@class='post']")
content_list = []
# 创建div的循环
for div in div_list:
# 如果每一个div下只有一个数据的话(如:发布者头像head_portrait),加上循环;如果每个div下含有多个数据(如:text),不加循环
item = {}
# 获取发布者的头像
# item["head_portrait"] = div.xpath("./p/img/@src")[0] if len(div.xpath("./p/img/@src"))>0 else None
# 发布时间和浏览数
# item["time"] = div.xpath("./div/div/text()")[0] if len(div.xpath("./div/text()"))>0 else None
# p标签下的文本
item["text"] = div.xpath(".//div[contains(@class,'pic_text')]/p/text()")
# 获取图片
# item["img"] = div.xpath("./div/div/center/img/@src")
content_list.append(item)
return content_list
# 保存数据
def save_content_list(self,content_list):
for i in content_list:
print(i)
# 实现主要逻辑
def run(self):
# 1. url_list
url_list = self.get_url_list()
# 2.遍历,发送请求,获取响应
for url in url_list:
html_str = self.parse_url(url)
# 3.提取数据
content_list = self.get_content_list(html_str)
# 4.保存数据
self.save_content_list(content_list)
if __name__ == '__main__':
baoxiao = BaoxiaoSpider()
baoxiao.run()爬取的网站是:http://www.2bmv.com/index_1.html使用Xpath Helper工具查询,同样的路径下内容很多,但是爬取出来的内容就非常少。希望老师和各位大神可以解答一下疑惑。
添加回答
举报
0/150
提交
取消