首页手记 Scrapy爬虫框架项目实战入门教程

Scrapy爬虫框架项目实战入门教程

标签：

爬虫

概述

Scrapy爬虫框架项目实战涵盖了从环境搭建到基本使用，再到进阶功能和实战案例的全方位教程。文章详细介绍了Scrapy爬虫框架的基本架构、优势以及应用场景，并通过具体示例展示了如何创建爬虫项目和编写Spider。此外，还讲解了Scrapy中XPath和CSS选择器的使用、中间件与管道的设置，以及如何进行数据存储和持久化操作。

Scrapy爬虫框架简介

Scrapy是什么

Scrapy是一个强大的、开源的爬虫框架，用于从网站抓取数据，它能够处理大量的数据抓取任务，适用于数据挖掘、信息采集等场景。Scrapy具有高度灵活性和可扩展性，能够高效地抓取、解析和处理数据。

示例：简单的Scrapy爬虫

以下是一个简单的Scrapy爬虫示例，用于抓取网页内容：

import scrapy

class SimpleSpider(scrapy.Spider):
    name = 'simple_spider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def parse(self, response):
        # 解析页面内容
        print(response.css('h1::text').get())

Scrapy的基本架构与特点

Scrapy框架由多个组件构成，主要包括：

引擎 (Scrapy Engine)：Scrapy的核心，负责控制整个爬虫的流程。
调度器 (Scheduler)：负责管理和调度请求。
下载器 (Downloader)：负责发送HTTP/HTTPS请求，并下载响应内容。
中间件 (Middleware)：提供扩展点，用于处理请求或响应。
Spiders：用户自定义的爬虫，用于解析响应内容。
管道 (Item Pipeline)：用于处理从spider发出的数据。
请求 (Requests)：定义了HTTP请求的URL、参数、头信息等。
响应 (Responses)：包含下载的内容及元数据。
选择器 (Selectors)：用于解析HTML和XML文档。
项 (Item)：定义抓取数据的结构。

Scrapy的特点包括：

高并发性：采用异步模型，能够同时处理多个请求。
灵活的数据抓取：支持XPath和CSS选择器，可以轻松抓取所需数据。
扩展性强：内置中间件和管道，支持自定义扩展。
模块化：各个组件可单独配置，易于维护和扩展。

Scrapy的优势与应用场景

优势

高效：Scrapy利用异步处理和并行下载提高了抓取速度。
易用：使用Python编写，语法简洁，上手容易。
强大：提供丰富的内置功能，如XPath、CSS选择器等。
灵活：支持自定义中间件和管道，满足复杂需求。

应用场景

数据抓取：新闻网站、论坛、博客等。
信息收集：价格信息、产品详情、用户评论等。
数据清理：从HTML中提取有用信息。
搜索索引：为搜索引擎抓取网页内容。
网站监控：定期检查网站状态和更新。

Scrapy环境搭建

Python环境安装与配置

Python是Scrapy的基础，确保已安装Python 3.6或更高版本。可以通过Python官网下载安装包或使用包管理器安装。以下是安装Python的命令示例：

# 在Linux或macOS上，使用包管理器安装Python
sudo apt-get update     # 更新软件包索引
sudo apt-get install python3.6  # 安装Python 3.6

# 在Windows上，下载Python安装包
# https://www.python.org/downloads/windows/

安装完成后，验证Python安装是否成功，打开命令行（Windows）或终端（macOS/Linux）并输入：

python --version

若输出当前的Python版本信息，表示安装成功。

设置Python环境变量

确保Python安装路径已添加到环境变量中，以便命令行或终端能够找到Python解释器。

Scrapy的安装与验证

安装Scrapy可以使用pip工具。在命令行或终端中，输入以下命令：

pip install scrapy

安装完成后，通过创建一个简单的Scrapy项目来验证安装是否成功：

scrapy startproject test_project
cd test_project
scrapy crawlspider -h

如果输出Scrapy的命令帮助信息，表示安装成功。

Scrapy项目的基本结构介绍

使用scrapy startproject命令创建一个新的Scrapy项目时，会自动生成一些目录和文件。结构如下：

test_project/
    scrapy.cfg              # Scrapy项目的配置文件
    test_project/
        __init__.py        # 空文件，用于Python包的初始化
        items.py           # 定义抓取数据的结构
        middlewares.py     # 定义中间件
        pipelines.py       # 定义数据处理管道
        settings.py        # 全局配置文件
        spiders/           # 存放爬虫文件
            __init__.py    # 空文件，用于Python包的初始化
            example_spider.py  # 示例爬虫文件

每个文件和目录都有其特定的用途，例如items.py定义了数据模型，settings.py提供了全局配置，spiders目录存放具体的爬虫。

示例：创建Scrapy项目

使用scrapy startproject命令创建一个新的Scrapy项目。例如，创建一个名为myproject的项目：

scrapy startproject myproject
cd myproject

这将生成一个基本的项目结构。

Scrapy爬虫的基本使用

创建Scrapy项目

使用scrapy startproject命令创建一个新的Scrapy项目。例如创建一个名为myproject的项目：

scrapy startproject myproject
cd myproject

这将生成一个基本的项目结构。

编写Spider爬虫

编写爬虫需要在spiders目录下创建一个Python文件。例如创建一个myspider.py：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def parse(self, response):
        # 解析页面内容
        pass

在这个例子中，定义了一个名为myspider的爬虫，允许的域名是example.com，初始待抓取的URL是http://example.com/。parse方法定义了如何处理下载的响应内容。

示例：处理不同的响应

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        # 提取数据
        items = response.xpath('//div[@class="list"]/li/text()').getall()
        for item in items:
            yield {'item': item}

使用Scrapy的命令行工具

Scrapy提供了丰富的命令行工具来启动和管理爬虫。例如启动爬虫：

scrapy crawl myspider

scrapy crawlspider命令会根据myspider的定义，自动下载start_urls中的页面，并执行parse方法解析页面内容。

示例：查看爬虫输出

scrapy crawl myspider

执行上述命令后，可以看到命令行输出，显示爬虫抓取到的数据。

Scrapy进阶功能详解

XPath与CSS选择器使用

XPath和CSS选择器是Scrapy用于提取数据的关键工具。它们可以适配不同的HTML结构，灵活选择和提取数据。

示例：使用XPath提取数据

假设有一个简单的HTML页面，包含一个列表：

<div class="list">
    <li class="item">Item 1</li>
    <li class="item">Item 2</li>
    <li class="item">Item 3</li>
</div>

使用XPath提取每个列表项：

from scrapy import Selector

html_content = '''
<div class="list">
    <li class="item">Item 1</li>
    <li class="item">Item 2</li>
    <li class="item">Item 3</li>
</div>
'''

sel = Selector(text=html_content)
items = sel.xpath('//div[@class="list"]/li/text()').getall()
print(items)

示例：使用CSS选择器提取数据

同样的HTML页面，使用CSS选择器提取每个列表项：

from scrapy import Selector

html_content = '''
<div class="list">
    <li class="item">Item 1</li>
    <li class="item">Item 2</li>
    <li class="item">Item 3</li>
</div>
'''

sel = Selector(text=html_content)
items = sel.css('div.list li::text').getall()
print(items)

中间件与管道的设置

中间件和管道是Scrapy处理请求和响应的关键机制。

中间件：允许在请求发送和响应接收之间插入自定义处理逻辑。
管道：处理数据的抓取，进行数据清洗、验证、存储等操作。

示例：自定义中间件

在settings.py中启用中间件：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.MyCustomMiddleware': 543,
}

在myproject/middlewares.py中实现中间件：

class MyCustomMiddleware(object):
    def process_request(self, request, spider):
        print("Processing request:", request.url)
        return None

    def process_response(self, request, response, spider):
        print("Processing response:", response.url)
        return response

示例：自定义管道

在settings.py中启用管道：

ITEM_PIPELINES = {
    'myproject.pipelines.MyCustomPipeline': 300,
}

在myproject/pipelines.py中实现管道：

class MyCustomPipeline(object):
    def process_item(self, item, spider):
        print("Processing item:", item)
        return item

请求与响应的处理

Scrapy允许自定义请求和响应的处理逻辑。例如，可以添加请求参数、设置请求头等。

示例：自定义请求

在Spider中自定义请求：

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        # 解析页面内容
        pass

示例：处理响应

在Spider中处理响应：

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def parse(self, response):
        # 提取数据
        items = response.xpath('//div[@class="list"]/li/text()').getall()
        for item in items:
            yield {'item': item}

实战项目案例

从网页抓取新闻标题与链接

假设抓取新闻网站的首页新闻标题和链接。

示例：定义项目结构

创建一个新的Scrapy项目：

scrapy startproject news_scraper
cd news_scraper

示例：定义Item

在items.py中定义新闻的结构：

import scrapy

class NewsItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()

示例：编写Spider

在spiders目录下创建爬虫news_spider.py：

import scrapy
from news_scraper.items import NewsItem

class NewsSpider(scrapy.Spider):
    name = 'news_spider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def parse(self, response):
        for title, link in zip(response.css('.title::text').getall(), response.css('.title::attr(href)').getall()):
            item = NewsItem(title=title, link=link)
            yield item

示例：配置Pipeline

在settings.py中启用管道：

ITEM_PIPELINES = {
    'news_scraper.pipelines.NewsPipeline': 300,
}

在pipelines.py中实现管道：

class NewsPipeline(object):
    def process_item(self, item, spider):
        print("Processing item:", item)
        return item

抓取电商网站商品信息

假设抓取电商网站的商品信息。

示例：定义项目结构

创建一个新的Scrapy项目：

scrapy startproject e_commerce_scraper
cd e_commerce_scraper

示例：定义Item

在items.py中定义商品的结构：

import scrapy

class ProductItem(scrapy.Item):
    name = scrapy.Field()
    price = scrapy.Field()
    description = scrapy.Field()

示例：编写Spider

在spiders目录下创建爬虫product_spider.py：

import scrapy
from e_commerce_scraper.items import ProductItem

class ProductSpider(scrapy.Spider):
    name = 'product_spider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/products']

    def parse(self, response):
        for product in response.css('.product'):
            item = ProductItem(
                name=product.css('.name::text').get(),
                price=product.css('.price::text').get(),
                description=product.css('.description::text').get(),
            )
            yield item

示例：配置Pipeline

在settings.py中启用管道：

ITEM_PIPELINES = {
    'e_commerce_scraper.pipelines.ProductPipeline': 300,
}

在pipelines.py中实现管道：

class ProductPipeline(object):
    def process_item(self, item, spider):
        print("Processing item:", item)
        return item

数据存储与持久化操作

Scrapy不仅抓取数据，还可以将数据存储到数据库中，例如MySQL、MongoDB等。

示例：配置数据库

在settings.py中添加数据库连接配置：

ITEM_PIPELINES = {
    'e_commerce_scraper.pipelines.ProductPipeline': 300,
}

MYSQL_HOST = 'localhost'
MYSQL_USER = 'root'
MYSQL_PASSWORD = 'password'
MYSQL_DB = 'ecommerce'

示例：实现Pipeline存储到MySQL

在pipelines.py中实现Pipeline，将数据存储到MySQL：

import mysql.connector

class ProductPipeline(object):
    def open_spider(self, spider):
        self.connection = mysql.connector.connect(
            host='localhost',
            user='root',
            password='password',
            database='ecommerce'
        )
        self.cursor = self.connection.cursor()

    def close_spider(self, spider):
        self.cursor.close()
        self.connection.close()

    def process_item(self, item, spider):
        if 'name' in item:
            self.insert_product(item)
        return item

    def insert_product(self, item):
        query = "INSERT INTO products (name, price, description) VALUES (%s, %s, %s)"
        values = (item['name'], item['price'], item['description'])
        self.cursor.execute(query, values)
        self.connection.commit()

Scrapy爬虫调试与维护

常见错误与解决方法

Scrapy爬虫在运行过程中可能会遇到各种问题，以下是一些常见错误及其解决方法：

常见错误

403 Forbidden：网站拒绝访问，可能需要设置User-Agent或使用代理。
404 Not Found：请求的URL不存在，检查URL是否正确。
503 Service Unavailable：服务器暂时无法提供服务，可能需要等待一段时间再试。
XPath/CSS选择器无法匹配：检查选择器是否正确。
数据提取错误：检查解析逻辑是否正确，确保数据提取无误。

解决方法

User-Agent和代理：设置合理的User-Agent，使用代理IP池来避免被封禁。
检查URL：确保URL正确无误。
等待和重试：使用Scrapy的重试机制处理暂时性错误。
调试选择器：使用Scrapy Shell调试XPath和CSS选择器。

示例：使用Scrapy Shell调试选择器

在命令行中启动Scrapy Shell：

scrapy shell "http://example.com/"

在Shell中调试选择器：

response.css('.title::text').getall()
response.xpath('//div[@class="list"]/li/text()').getall()

爬虫性能优化技巧

优化Scrapy爬虫性能可以从多个方面进行：

使用并发请求

Scrapy默认使用异步请求，可以调整CONCURRENT_REQUESTS和CONCURRENT_REQUESTS_PER_DOMAIN等设置来优化并发数量。

控制数据提取

减少不必要的数据提取，只提取需要的数据，减少解析时间。

使用缓存

对于静态内容，可以使用缓存来减少重复请求。

使用代理和User-Agent

使用代理IP池和随机User-Agent避免被封禁，提高抓取效率。

示例：调整并发请求设置

在settings.py中调整并发请求设置：

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8

Scrapy项目部署与定时任务

部署Scrapy项目可以使用Docker进行环境隔离，同时可以使用定时任务来定期执行爬虫。

示例：使用Docker部署

编写Dockerfile：

FROM python:3.6-slim

WORKDIR /app

COPY requirements.txt requirements.txt
RUN pip install -r requirements.txt

COPY . .

CMD ["scrapy", "crawl", "myspider"]

构建并启动Docker容器：

docker build -t myproject .
docker run -it myproject

示例：使用定时任务

使用cron定时任务执行Scrapy命令：

编辑定时任务文件crontab -e：

# 每天凌晨1点执行爬虫
0 1 * * * /usr/bin/python3 /path/to/your/project/crawl.py

编写crawl.py脚本：

import os
import sys
import time

sys.path.append(os.path.dirname(os.path.abspath(__file__)))
os.environ.setdefault('SCRAPY_SETTINGS_MODULE', 'myproject.settings')

from scrapy import crawler, settings, util

def main():
    os.environ['SCRAPY_SETTINGS_MODULE'] = 'myproject.settings'
    crawler = crawler.CrawlerProcess()
    crawler.crawl('myspider')
    crawler.start()

if __name__ == '__main__':
    main()

以上是Scrapy爬虫框架的入门教程，涵盖了从环境搭建到进阶功能，再到实战案例和调试维护的各个方面。希望对您有所帮助。

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

胡说叔叔

手记
篇

粉丝

130

获赞与收藏

581

关注作者，订阅最新文章

阅读免费教程

Python 原生爬虫教程

19个小节 51409 1115

Scrapy 入门教程

27个小节 10493 251

后端通用面试教程

41个小节 30583 343

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空

Scrapy爬虫框架项目实战入门教程

示例：简单的Scrapy爬虫

优势

应用场景

设置Python环境变量

示例：创建Scrapy项目

示例：处理不同的响应

示例：查看爬虫输出

示例：使用XPath提取数据

示例：使用CSS选择器提取数据

示例：自定义中间件

示例：自定义管道

示例：自定义请求

示例：处理响应

示例：定义项目结构

示例：定义Item

示例：编写Spider

示例：配置Pipeline

示例：定义项目结构

示例：定义Item

示例：编写Spider

示例：配置Pipeline

示例：配置数据库

示例：实现Pipeline存储到MySQL

常见错误

解决方法

示例：使用Scrapy Shell调试选择器

使用并发请求

控制数据提取

使用缓存

使用代理和User-Agent

示例：调整并发请求设置

示例：使用Docker部署

示例：使用定时任务

阅读免费教程