Python爬虫基础教程：从入门到实战

1.1 概念解释

网络爬虫是一种自动抓取互联网信息的程序，通过模拟浏览器发送网络请求，接收响应，来获取和抓取互联网上的信息。网络爬虫在获取大量、有效数据方面具有独特的优势，它能够自动化地收集信息，是互联网大数据时代数据获取的重要工具。

1.2 为什么使用爬虫

互联网提供了海量的信息资源，但这些信息往往繁杂且不加筛选，而爬虫正是筛选、整合和分析这些信息的利器。通过爬虫技术，可以收集特定领域的数据，为研究、分析、决策提供有力支持。爬虫在大数据分析、市场调研、信息聚合等领域有着广泛的应用。

2.1 Python环境配置

• 下载Python：确保安装最新版本的 Python，本文采用 Python 3.8.3。
• IDE选择：安装并配置 PyCharm 或其他集成开发环境 (IDE)，用于编写和运行 Python 代码。

2.2 安装库

• requests：用于发送 HTTP 请求和接收响应。
• BeautifulSoup：用于解析 HTML 和 XML 文档，提取网页中的有用信息。
• pip：安装 Python 库的命令行工具。

3.1 项目选择

以豆瓣电影 Top250 为例，该项目旨在收集电影的相关信息，包括电影详情链接、图片链接、电影名称、评分、评价数等。

3.2 代码分析

• 数据组织与解析：使用正则表达式和 Beautiful Soup 对 HTML 文档进行解析，提取所需信息。
  • findLink, findImgSrc, findTitle, findRating, findJudge, findInq, findBd：定义正则表达式，用于匹配和提取特定信息。
• 请求与响应：使用 requests 库发送 HTTP 请求，获取网页内容。
• 数据存储：将提取的数据存储至 Excel 文件。

4.1 准备阶段

• 项目结构：创建包含代码、数据文件和配置文件的高效项目目录结构。
• 文件命名：合理命名文件和目录，便于后续维护和扩展。

4.2 具体实现

from bs4 import BeautifulSoup
import requests
import re
import xlwt

# 数据存储路径
savepath = "豆瓣电影Top250.xls"

def getData(baseurl):
    datalist = []
    for i in range(0, 10):
        url = baseurl + str(i * 25)
        html = askURL(url)
        soup = BeautifulSoup(html, "html.parser")
        for item in soup.find_all('div', class_='item'):
            data = []
            item = str(item)
            # 电影详情链接
            link = re.findall(r'<a href="(.*?)">', item)[0]
            data.append(link)
            # 图片链接
            imgSrc = re.findall(r'<img.*class="lazyload" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsQAAA7EAZUrDhsAAAANSURBVBhXYzh8+PB/AAffA0nNPuCLAAAAAElFTkSuQmCC" data-original="(.*?)"', item)[0]
            data.append(imgSrc)
            # 电影名称
            data.append(re.findall(r'<span class="title">(.*?)</span>', item)[0])
            # 评分
            rating = re.findall(r'<span class="rating_num">(.*?)</span>', item)
            data.append(rating[0])
            # 评价人数
            judge = re.findall(r'<span>(\d*)人评价</span>', item)
            data.append(judge[0])
            # 简介
            inq = re.findall(r'<span class="inq">(.*?)</span>', item)
            if len(inq) != 0:
                data.append(inq[0])
            else:
                data.append(" ")
            # 相关信息
            info = re.findall(r'<br class="c-font-gray">(.*?)</p>', item)
            if len(info) != 0:
                data.append(info[0])
            else:
                data.append(" ")
            datalist.append(data)
    return datalist

def askURL(url):
    head = {
        "User-Agent": "Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122  Safari / 537.36"
    }
    request = requests.get(url, headers=head)
    html = request.text
    return html

def saveData(datalist):
    print("保存数据...")
    book = xlwt.Workbook(encoding="utf-8", style_compression=0)
    sheet = book.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True)

    col = ["电影详情链接", "图片链接", "电影名称", "评分", "评价人数", "简介", "相关信息"]
    for i in range(0, 7):
        sheet.write(0, i, col[i])

    for i in range(0, 250):
        data = datalist[i]
        for j in range(0, 7):
            sheet.write(i + 1, j, data[j])

    book.save(savepath)
    print("爬取完毕！")

if __name__ == "__main__":
    baseurl = "https://movie.douban.com/top250?start="

    datalist = getData(baseurl)
    saveData(datalist)

5.1 常见问题

• 反爬策略：网站可能通过设置验证码、限制访问频率等方式阻止爬虫。
• 动态加载：部分网站数据动态加载，需通过 JavaScript 技术如 Selenium 来解析。
• 数据格式不一致：网页结构变化可能影响信息提取。

5.2 解决方法

• 使用代理：通过设置代理 IP，绕过网站的反爬机制。
• 调整请求间隔：通过休眠或使用特定的请求间隔，减少被检测为爬虫的几率。
• 处理动态页面：使用 Selenium 等工具模拟浏览器行为，处理动态加载的数据。

6.1 进阶技术

• Selenium：用于处理动态加载的网页，实现更复杂的页面爬取。
• 深度解析库：如 lxml，提供更强大的 HTML 和 XML 解析能力。

6.2 遵守法律与伦理

• 尊重版权：合理使用数据，不侵犯版权。
• 合法合规：遵守网站的 robots.txt 协议，尊重网站的爬取规则。

爬虫技术是数据获取的重要手段，本文通过案例分析了从基本概念到实战应用的全过程。通过 Python 和相关库，你可以构建自己的爬虫程序，获取互联网上的数据资源。在实际应用中，要始终遵守法律和伦理规范，合理使用数据，保证技术的正向价值。希望本文能够帮助你入门 Python 爬虫，开启数据探索之旅。