首页手记 Scrapy爬虫框架学习：初学者入门指南

Scrapy爬虫框架学习：初学者入门指南

标签：

Python 爬虫

概述

本文详细介绍了Scrapy爬虫框架的学习内容，涵盖环境搭建、项目结构、爬虫编写、高级功能及实战案例。通过学习，读者可以掌握Scrapy的基本使用方法并编写高效的爬虫程序。

Scrapy 简介与环境搭建

Scrapy 是什么

Scrapy 是一个强大的Python框架，用于网站抓取和数据提取。它是一个快速、高效、灵活的爬虫框架，广泛应用于数据抓取、信息采集和Web抓取等领域。Scrapy 采用异步编程模型，能够支持同时处理多个请求，极大地提高了抓取效率。Scrapy的核心特点包括：

异步和并发：Scrapy 使用Twisted异步网络库进行网络请求，支持并行处理多个请求，提高抓取速度。
强大的数据提取：Scrapy 提供了XPath、CSS选择器等工具，可以方便地从HTML中提取数据。
灵活的扩展性：Scrapy框架提供了中间件、管道、下载器等组件，可以灵活扩展和定制爬虫行为。
强大的错误处理：Scrapy提供了丰富的错误处理机制，支持重试、超时、延时等多种策略。

Scrapy 的核心概念

在开始使用Scrapy之前，了解一些核心概念是必要的。

1. 项目 (Project)

一个Scrapy项目是一个包含所有爬虫的目录。项目中通常包含多个爬虫文件，每个爬虫文件对应一个独立的爬虫任务。

2. 爬虫 (Spider)

爬虫是Scrapy项目中最重要的组件之一，负责定义抓取逻辑。爬虫定义了哪些URL要抓取，如何抓取这些URL，以及如何从响应中提取数据。每个爬虫通常对应一个或多个网站，或者网站的一部分。

3. 请求 (Request)

请求是Scrapy发送到服务器的HTTP请求。每个请求都会返回一个响应，响应包含了服务器返回的数据。

4. 响应 (Response)

响应是服务器对请求的响应。响应包含了从服务器返回的数据，这些数据可以是HTML、JSON、XML等格式。

5. Item

Item是用来存储爬取到的数据的容器。Item是一个简单的Python字典，用于存储数据。Item对象用于将爬取的数据结构化，并可以方便地将其序列化为JSON或其他格式。

6. 中间件 (Middleware)

中间件是一系列可以对请求和响应进行预处理或后处理的组件。中间件可以在请求发送之前或响应返回之后对数据进行修改，或者添加额外的请求头等操作。

7. 管道 (Pipeline)

管道用于数据处理和存储。管道是一系列组件，每个组件都是一个Python类，可以对Item对象进行处理。例如，你可以使用管道将数据保存到数据库、文件或其他存储系统中。

8. 信号 (Signals)

信号是一种通知机制，用于在Scrapy系统内部传递事件。信号可以用于在爬虫的不同阶段执行操作，例如在爬虫启动时发送一个信号。

9. 调试 (Debug)

调试是用于检查和测试爬虫行为的过程。Scrapy提供了多种调试工具，如日志记录、断点调试等，帮助用户调试和优化爬虫。

10. 任务调度 (Scheduler)

任务调度用于管理请求队列。Scrapy使用一个任务调度器来管理待处理的请求。请求会被放入队列中，并按照一定的顺序进行处理。

开发环境搭建

Python 环境搭建

首先，确保你已经安装了Python。Scrapy要求Python版本为3.6或更高版本。可以通过以下命令检查Python版本：

python --version

如果没有安装Python，可以通过以下步骤安装：

访问Python官方网站（https://www.python.org/）下载最新版本的Python。
按照安装向导进行安装。

安装完成后，可以继续安装Scrapy和其他依赖库。

安装 Scrapy

使用pip工具安装Scrapy：

pip install scrapy

安装完成后，可以通过以下命令验证Scrapy是否安装成功：

scrapy --version

这将显示Scrapy的版本信息。

安装其他依赖库

Scrapy可能会依赖一些其他库，例如lxml和requests等。可以使用以下命令安装这些库：

pip install lxml requests

创建虚拟环境（可选）

为了更好地管理项目依赖，建议为每个Scrapy项目创建一个独立的虚拟环境。可以使用Python的virtualenv工具创建虚拟环境：

pip install virtualenv
virtualenv myenv
source myenv/bin/activate
pip install scrapy

这样可以确保每个项目依赖的库版本保持一致，避免冲突。

Scrapy 项目创建及基本结构

使用 Scrapy 创建项目

创建一个Scrapy项目的步骤如下：

使用scrapy startproject命令创建一个新的Scrapy项目。

scrapy startproject myproject

这将创建一个名为myproject的目录，该目录包含Scrapy项目的基本结构。

cd myproject

项目目录结构详解

Scrapy项目的目录结构如下：

myproject/
    scrapy.cfg             # Scrapy项目的配置文件
    myproject/
        __init__.py
        items.py           # 定义Item对象
        middlewares.py     # 定义中间件
        pipelines.py       # 定义管道
        settings.py        # 项目配置文件
        spiders/
            __init__.py
            myspider.py    # 定义爬虫

scrapy.cfg：这是Scrapy项目的配置文件，用于指定项目的名称和其他全局设置。
myproject/__init__.py：初始化文件，标识这是一个Python包。
myproject/items.py：定义数据模型（Item对象）。
myproject/middlewares.py：定义中间件，用于处理请求和响应。
myproject/pipelines.py：定义管道，用于处理和存储数据。
myproject/settings.py：项目的配置文件，包括各种设置。
myproject/spiders/：存放爬虫文件的目录。
myproject/spiders/__init__.py：初始化文件，标识这是一个Python包。
myproject/spiders/myspider.py：一个示例爬虫文件。

定义 Item 对象

Item对象用于存储爬取的数据，类似于一个字典，具有类型检查功能。

在items.py文件中定义一个简单的Item对象：

import scrapy

class MyItem(scrapy.Item):
    name = scrapy.Field()
    description = scrapy.Field()
    url = scrapy.Field()

这里定义了一个MyItem类，包含三个字段：name、description和url。每个字段都是一个scrapy.Field对象，可以用于存储不同类型的数据。

更复杂的Item定义示例：

import scrapy

class MyItem(scrapy.Item):
    title = scrapy.Field()
    author = scrapy.Field()
    content = scrapy.Field()
    date = scrapy.Field()
    tags = scrapy.Field()

在实际应用中，Item对象还可以用于存储更复杂的数据结构，如嵌套字典或列表。

Scrapy 爬虫编写入门

编写第一个爬虫

接下来，我们编写一个简单的爬虫来抓取一个网站的数据。

打开myproject/spiders/myspider.py文件，创建一个爬虫类：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = [
        'http://example.com',
    ]

    def parse(self, response):
        for item in response.css('div.item'):
            yield {
                'name': item.css('a::text').get(),
                'description': item.css('p::text').get(),
                'url': item.css('a::attr(href)').get(),
            }

在settings.py文件中配置DOWNLOAD_DELAY，以避免请求过于频繁：

DOWNLOAD_DELAY = 1

运行爬虫：

scrapy crawl myspider

解析响应数据

Scrapy提供了多种方式解析响应数据，包括XPath、CSS选择器、正则表达式等。

使用 XPath

假设我们想要从HTML中提取所有链接：

response.xpath('//a/@href').getall()

使用 CSS 选择器

CSS选择器是另一种常用的解析方式，语法简单直观：

response.css('a::attr(href)').getall()

提取数据并保存

提取数据并保存通常使用Item对象来完成。可以在parse方法中创建Item对象并返回：

def parse(self, response):
    for item in response.css('div.item'):
        yield MyItem(
            name=item.css('a::text').get(),
            description=item.css('p::text').get(),
            url=item.css('a::attr(href)').get(),
        )

使用管道处理数据

管道用于处理和存储Item对象的数据。在pipelines.py文件中定义管道类：

class MyPipeline(object):
    def process_item(self, item, spider):
        # 处理 Item 数据
        return item

然后在settings.py文件中启用管道：

ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

Scrapy 高级功能简介

使用中间件

中间件（Middleware）可以拦截和修改请求或响应。例如，可以使用中间件来添加请求头、处理cookies等。

请求中间件

在middlewares.py文件中定义请求中间件：

import scrapy

class MyRequestMiddleware(object):
    def process_request(self, request, spider):
        # 修改请求头
        request.headers['User-Agent'] = 'My Custom User-Agent'
        return request

然后在settings.py文件中启用请求中间件：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.MyRequestMiddleware': 543,
}

响应中间件

在middlewares.py文件中定义响应中间件：

import scrapy

class MyResponseMiddleware(object):
    def process_response(self, request, response, spider):
        # 修改响应数据
        response.body = response.body.replace(b'old', b'new')
        return response

然后在settings.py文件中启用响应中间件：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.MyResponseMiddleware': 543,
}

使用管道处理数据

管道用于处理和存储Item对象的数据。在pipelines.py文件中定义管道类：

class MyPipeline(object):
    def process_item(self, item, spider):
        # 处理 Item 数据
        return item

然后在settings.py文件中启用管道：

ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

请求与响应处理

Scrapy提供了多种方式处理请求和响应。例如，可以使用链接提取器（Link Extractor）从HTML中提取链接：

from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule

class MySpider(CrawlSpider):
    name = 'mycrawler'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com']

    rules = (
        Rule(LinkExtractor(allow=('/page/\d+'))),
    )

Scrapy 爬虫调试与优化

调试爬虫技巧

调试是最常见的步骤之一，以确保爬虫行为符合预期。Scrapy提供了多种调试工具：

使用日志

Scrapy使用Python的logging模块记录日志。可以在爬虫代码中添加日志语句来调试：

import logging

logging.warning('This is a warning')
logging.error('This is an error')

在settings.py文件中配置日志级别：

LOG_LEVEL = 'WARNING'

使用断点调试

Scrapy支持断点调试，可以使用pdb模块设置断点：

import scrapy
import pdb

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def parse(self, response):
        pdb.set_trace()
        # 在这里暂停执行，可以检查变量和调用栈

性能优化方法

优化爬虫性能可以提高抓取效率。以下是一些常见的优化方法：

并发请求

增加并发请求的数量可以提高抓取速度。在settings.py文件中设置CONCURRENT_REQUESTS：

CONCURRENT_REQUESTS = 16

延迟请求

通过设置DOWNLOAD_DELAY来增加请求之间的延迟，避免因过度请求而被封。

DOWNLOAD_DELAY = 0.25

使用缓存

使用缓存可以减少对同一资源的重复请求。Scrapy支持多种缓存策略，例如使用Redis缓存。

DOWNLOADER_MIDDLEWARES = {
    'scrapy_redis.middlewares.RedisCacheMiddleware': 400,
}

解决编码问题

编码问题通常是由于服务器端和客户端之间的编码不一致导致的。Scrapy提供了一些方法来解决编码问题。

设置字符编码

在请求中设置字符编码：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, headers={'Accept-Charset': 'utf-8'})

使用响应的字符编码

在提取数据时，可以使用响应的字符编码：

response.encoding = 'utf-8'
response.css('p::text').get()

Scrapy 爬虫实战案例

爬取网页数据案例

本节将通过一个具体的案例来演示如何使用Scrapy爬取网页数据。假设我们要抓取一个新闻网站的新闻列表。

创建项目

首先，创建一个新的Scrapy项目：

scrapy startproject news_spider
cd news_spider

定义 Item

在news_spider/items.py文件中定义Item对象：

import scrapy

class NewsItem(scrapy.Item):
    title = scrapy.Field()
    author = scrapy.Field()
    date = scrapy.Field()
    content = scrapy.Field()
    url = scrapy.Field()

编写爬虫

在news_spider/spiders目录下创建一个新的爬虫文件newsspider.py：

import scrapy

class NewsSpider(scrapy.Spider):
    name = 'news_spider'
    start_urls = ['http://example.com/news']

    def parse(self, response):
        for article in response.css('div.article'):
            item = NewsItem()
            item['title'] = article.css('h1::text').get()
            item['author'] = article.css('span.author::text').get()
            item['date'] = article.css('span.date::text').get()
            item['content'] = article.css('p::text').get()
            item['url'] = article.css('a::attr(href)').get()
            yield item

运行爬虫

运行爬虫：

scrapy crawl news_spider

存储数据

在news_spider/pipelines.py文件中定义一个管道类，将数据保存到文件：

import json

class NewsPipeline(object):
    def __init__(self):
        self.file = open('news.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + ",\n"
        self.file.write(line)
        return item

    def close_spider(self, spider):
        self.file.close()

在settings.py文件中启用管道：

ITEM_PIPELINES = {
    'news_spider.pipelines.NewsPipeline': 300,
}

爬取动态网页案例

动态网页通常使用JavaScript来加载内容，这给爬虫抓取带来了挑战。Scrapy本身不支持JavaScript，但可以通过其他方式处理动态内容。

使用 Selenium

Selenium是一个用于Web测试和抓取的工具，支持JavaScript。可以通过Selenium与Scrapy结合使用来抓取动态网页。

安装Selenium：

pip install selenium

在news_spider/middlewares.py文件中定义一个中间件，使用Selenium抓取动态网页：

from scrapy.http import HtmlResponse
from selenium import webdriver

class SeleniumMiddleware(object):
    def __init__(self):
        self.driver = webdriver.Chrome()

    def process_request(self, request, spider):
        self.driver.get(request.url)
        body = self.driver.page_source
        return HtmlResponse(self.driver.current_url, body=body, encoding='utf-8')

    def __del__(self):
        self.driver.quit()

在settings.py文件中启用中间件：

DOWNLOADER_MIDDLEWARES = {
    'news_spider.middlewares.SeleniumMiddleware': 700,
}

编写爬虫

在news_spider/spiders/dynamic_spider.py文件中编写爬虫：

import scrapy

class DynamicSpider(scrapy.Spider):
    name = 'dynamic_spider'
    start_urls = ['http://example.com/dynamic']

    def parse(self, response):
        for article in response.css('div.article'):
            item = NewsItem()
            item['title'] = article.css('h1::text').get()
            item['author'] = article.css('span.author::text').get()
            item['date'] = article.css('span.date::text').get()
            item['content'] = article.css('p::text').get()
            item['url'] = article.css('a::attr(href)').get()
            yield item

爬虫项目部署

部署Scrapy爬虫通常涉及将爬虫代码部署到服务器并定期运行。以下是将Scrapy项目部署到服务器的步骤：

使用 Docker 部署

Docker是一个流行的容器化技术，可以轻松地将Scrapy项目部署到任何服务器。

创建Dockerfile文件：

FROM python:3.6-slim
WORKDIR /app
COPY requirements.txt requirements.txt
RUN pip install -r requirements.txt
COPY . .
CMD ["scrapy", "crawl", "news_spider"]

创建requirements.txt文件：

scrapy==2.4.1
selenium==3.141.0

构建Docker镜像：

docker build -t scrapy_news .

运行Docker容器：

docker run -d --name scrapy_news scrapy_news

使用 Cron 定期运行

在服务器上使用Cron来定期运行Scrapy爬虫。例如，每天运行一次：

编辑crontab文件：

crontab -e

添加以下行：

0 0 * * * cd /path/to/myproject && scrapy crawl news_spider

这将每天凌晨0点运行一次爬虫。

总结

本文详细介绍了Scrapy爬虫框架的使用方法，包括环境搭建、项目创建、爬虫编写、高级功能、调试优化以及实战案例。通过学习这些内容，你可以掌握Scrapy的基本使用方法，并能够编写高效的爬虫程序。希望本文对你有所帮助！

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

慕森王

手记
篇

粉丝

108

获赞与收藏

552

关注作者，订阅最新文章

阅读免费教程

Python 办公自动化教程

17个小节 25712 869

Python 算法入门教程

15个小节 27428 1072

Python 进阶应用教程

38个小节 65752 1032

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空

Scrapy爬虫框架学习：初学者入门指南

Scrapy 是什么

Scrapy 的核心概念

1. 项目 (Project)

2. 爬虫 (Spider)

3. 请求 (Request)

4. 响应 (Response)

5. Item

6. 中间件 (Middleware)

7. 管道 (Pipeline)

8. 信号 (Signals)

9. 调试 (Debug)

10. 任务调度 (Scheduler)

开发环境搭建

Python 环境搭建

安装 Scrapy

安装其他依赖库

创建虚拟环境（可选）

使用 Scrapy 创建项目

项目目录结构详解

定义 Item 对象

编写第一个爬虫

解析响应数据

使用 XPath

使用 CSS 选择器

提取数据并保存

使用管道处理数据

使用中间件

请求中间件

响应中间件

使用管道处理数据

请求与响应处理

调试爬虫技巧

使用日志

使用断点调试

性能优化方法

并发请求

延迟请求

使用缓存

解决编码问题

设置字符编码

使用响应的字符编码

爬取网页数据案例

创建项目

定义 Item

编写爬虫

运行爬虫

存储数据

爬取动态网页案例

使用 Selenium

编写爬虫

爬虫项目部署

使用 Docker 部署

使用 Cron 定期运行

总结

阅读免费教程