首页手记 python爬虫批量获取最新电影资源

python爬虫批量获取最新电影资源

标签：

Python

目标网站：http://www.dy2018.com/
这是我们要下载的最新资源在这个页面：http://www.dy2018.com/html/gndy/dyzz/index.html

前提

安装 python, 版本 3.5 以上
安装 pip （有些 python 安装包里面已经自带了）
然后用 pip 安装 requests，在命令行输入命令：pip install requests
用 pip 安装 requests_cache: pip install requests_cache

初步尝试

好了，我们新建个脚本文件叫 t.py:

import requestsimport requests_cache

requests_cache.install_cache('demo_cache') # 为 requests 建立缓存，避免每次执行都去请求一次网页，造成时间浪费# 把我们的爬虫伪装成浏览器，否则服务器会拒绝你的请求headers = {    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',
}

response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)
html_doc = response.content.decode('gbk') # 由于此网页是 gb2312 编码的，需要转码成 utf8，但 python 貌似不支持 gb2312，所以用 gbkprint(html_doc)

在命令行运行一次 python t.py，我们就可以看到它输出了网页源码，第一步算是完成了。

提取列表页URL

打开刚才的网页，因为一开始会有广告，所以我们先在任意位置点击一下这个页面，让广告弹出来就可以了。

然后鼠标移向电影标题 --> 右键点击 --> 点击【检查元素】或【Inspect】（如果你的游览器没有这个功能，请下载基于 Chrome 的浏览器，如 360浏览器等）

然后我们会看到这样的界面：

image.png

红箭头所指就是本页所有电影标题都有的类名，待会我们就可以根据这个类名一次性提取出所有电影标题了，见代码：

import requestsimport osimport requests_cachefrom bs4 import BeautifulSoup

requests_cache.install_cache('demo_cache')

headers = {    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',
}

response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)
html_doc = response.content.decode('gbk')# print(html_doc)soup = BeautifulSoup(html_doc, 'lxml')
links = []for a in soup.select('.ulink'):
    href = 'http://www.dy2018.com' + a['href']
    title = a.string
    links.append(href)
    print(href, title)

要想正确运行这段代码，你还得先安装一些 python 库：

pip install lxml 
pip install beautifulsoup4

然后再次执行 python t.py 就会看到如下输出：

http://www.dy2018.com/i/98372.html 2017年国产喜剧片《父子雄兵》HD国语中字http://www.dy2018.com/i/98369.html 2017年国产奇幻片《鲛珠传》HD高清国语中英双字http://www.dy2018.com/i/98364.html 2017年欧美科幻片《变形金刚5最后的骑士》HD韩版中英双字......更多的就不列出来了

从列表页进入电影页，并提取下载链接

我们先鼠标点进电影页，然后通过检查元素（上一步有介绍），得到下载链接的元素选择器，当然这次的有点复杂，不像上一步那么直观，还需要自己推导，具体过程就不说了，直接给出结果：#Zoom table a

这一次在代码中，我们需要通过上一步获得的 links 数组分别进入每个电影页，然后拿到下载链接，部分代码如下：

for link in links:
    response = requests.get(link, headers=headers)
    html_doc = response.content.decode('gbk')
    soup = BeautifulSoup(html_doc, 'lxml')
    ftp_element = soup.select('#Zoom table a')[0] ### 注释1
    download_link = ftp_element['href']    print(download_link)
    time.sleep(random.randint(1, 2)) ### 注释2

注意：
注释1，由于 select() 的结果是一个数组，所以我们需要选择第一个元素
注释2，每次请求一次就让程序睡眠1~2秒，是为了不给对方服务器造成太大压力

再次执行 python t.py 就可以看到我们要的下载链接了：

ftp://d:d@dygodj8.com:12311/[电影天堂www.dy2018.com]父子雄兵HD国语中字.mkvftp://d:d@dygodj8.com:12311/[电影天堂www.dy2018.com]鲛珠传HD高清国语中英双字.mkvftp://d:d@dygodj8.com:12311/[电影天堂www.dy2018.com]变形金刚5最后的骑士HD韩版中英双字.mkvftp://y:y@dygod18.com:15132/[电影天堂www.dy2018.com]加勒比海盗5：死无对证HD高清中英双字.rmvb......更多的就不贴出来了

当然上面那段代码直接拿去是执行不了的，

完整代码如下：

import requestsimport osimport randomimport timeimport requests_cachefrom bs4 import BeautifulSoup

requests_cache.install_cache('demo_cache')

headers = {    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',
}

response = requests.get("http://www.dy2018.com/html/gndy/dyzz/index.html", headers=headers)
html_doc = response.content.decode('gbk')# print(html_doc)soup = BeautifulSoup(html_doc, 'lxml')
links = []for a in soup.select('.ulink'):
    href = 'http://www.dy2018.com' + a['href']
    title = a.string
    links.append(href)    # print(href, title)for link in links:
    response = requests.get(link, headers=headers)
    html_doc = response.content.decode('gbk')
    soup = BeautifulSoup(html_doc, 'lxml')
    ftp_element = soup.select('#Zoom table a')[0]
    download_link = ftp_element['href']
    print(download_link)
    time.sleep(random.randint(1, 2))

作者：panyanyany
链接：https://www.jianshu.com/p/51e36d0391cd

点击查看更多内容