Scrapy爬虫入门教程：轻松搭建你的第一个爬虫项目

概述

Scrapy是一个强大的Python库，用于构建复杂的Web数据抓取和提取应用。它提供了异步下载、选择器等丰富功能，支持多种输出格式，并且拥有高效的性能和灵活的配置选项。

Scrapy简介 Scrapy是什么

Scrapy 是一个用于抓取网站数据并生成有用信息的强大爬虫框架。它是一个异步、非阻塞的 Python 库，用于构建复杂的 Web 数据抓取和提取应用。Scrapy 提供了丰富的功能，包括强大的爬虫引擎、选择器、调度器、下载器和多种输出接口，使得开发人员能够高效地抓取和处理数据。

Scrapy 是开源软件，使用 MIT 许可证发布。它的设计初衷是为了从网站中提取结构化数据，但同时也非常适合用于抓取大量数据。Scrapy 支持多个输出格式，如 JSON、CSV、XML 等，可以轻松地将抓取的数据导出到不同的格式。

Scrapy的特点与优势

Scrapy 拥有许多特点和优势，使其成为开发爬虫应用的首选框架。

高效的性能

• 异步下载：Scrapy 使用 Twisted 异步网络库进行网络请求，从而实现高效的异步下载。
• 并发执行：Scrapy 允许同时下载多个页面，从而加快数据抓取的速度。
• 请求调度器：Scrapy 提供了一个强大的请求调度器，可以根据需要安排和管理请求。

丰富的功能

• 选择器：Scrapy 提供了XPath 和 CSS 选择器，可以方便地从 HTML 或 XML 文档中提取数据。
• 中间件：中间件允许定制爬虫的行为，如请求处理、响应处理、异常处理等。
• 管道：管道允许对抓取的数据进行处理和存储，如清洗数据、保存到数据库等。
• 信号：Scrapy 提供了信号机制，方便开发人员在不同组件之间传递消息。
• 扩展：Scrapy 支持扩展插件，可以轻松集成第三方库和工具。

灵活的配置

• 可配置性：Scrapy 提供了丰富的配置选项，可以根据需求进行定制。
• 项目结构：Scrapy 项目结构清晰，方便维护和扩展。
• 社区支持：Scrapy 有一个活跃的社区，提供了大量的教程、文档和支持。

易于使用

• 命令行工具：Scrapy 提供了强大的命令行工具，可以方便地创建和管理项目。
• 文档丰富：Scrapy 的文档详细且易于理解，提供了大量的示例和教程。
• 学习资源：Scrapy 在线提供了大量的学习资源和教程，使得开发者能够快速上手。

环境搭建 安装Scrapy

在开始使用 Scrapy 之前，需要先安装 Python 环境和 Scrapy 本身。以下是安装步骤：

1. 安装 Python。Scrapy 支持 Python 3.6 及以上版本。可以在 Python 官方网站下载最新版本的 Python，然后按照安装指南进行安装。
2. 安装 Scrapy。打开命令行工具，输入以下命令安装 Scrapy：

pip install Scrapy

安装完成后，可以使用 scrapy --version 命令检查 Scrapy 是否安装成功。

安装相关依赖包

Scrapy 还需要一些依赖库来支持其功能。这些库包括：

• lxml：用于解析 HTML 和 XML 文档。
• cssselect：提供 CSS 选择器支持。

安装这些依赖库，可以使用以下命令：

pip install lxml cssselect

这些依赖库也会自动安装，因此在安装 Scrapy 时，通常不需要单独安装它们。

如果需要安装其他扩展或第三方库，可以使用 pip 命令进行安装。例如安装 Scrapy 的扩展 scrapy-splash，可以使用：

pip install scrapy-splash

创建Scrapy项目 使用命令行创建项目

在创建 Scrapy 项目之前，需要确保已经安装了 Scrapy 和相关依赖库。以下是如何使用命令行创建 Scrapy 项目的步骤：

1. 打开命令行工具（Windows 使用 cmd 或 PowerShell，macOS 和 Linux 使用 Terminal）。
2. 输入以下命令创建一个新的 Scrapy 项目：

scrapy startproject myproject

以上命令会在当前目录下创建一个名为 myproject 的目录，该目录即为 Scrapy 项目目录。

1. 进入项目目录：

cd myproject

此时，项目目录的结构如下：

myproject/
    scrapy.cfg          # 项目的配置文件
    myproject/
        __init__.py
        items.py        # 定义项目中的数据结构
        pipelines.py    # 定义数据处理管道
        settings.py     # 项目配置文件
        spiders/        # 存放爬虫文件的目录
            __init__.py

项目结构解析

Scrapy 项目的结构清晰且易于理解。以下是项目各部分的简要说明：

• myproject/：项目的根目录，包含项目的配置文件和子目录。

  • scrapy.cfg：项目的配置文件，用于定义项目的名称和路径。
  • myproject/：项目的主目录，包含项目的源代码文件。
  • __init__.py：空文件，用于定义 Python 包。
  • items.py：定义项目中的数据结构，通常定义为一个类。例如，一个简单的 Item 类定义如下：

  # items.py
  import scrapy
  
  class MyItem(scrapy.Item):
      name = scrapy.Field()
      description = scrapy.Field()
      price = scrapy.Field()

  • pipelines.py：定义数据处理管道，用于对抓取的数据进行清洗和存储。例如，一个简单的管道定义如下：

  # pipelines.py
  from scrapy.exceptions import DropItem
  
  class MyPipeline(object):
      def process_item(self, item, spider):
          if not item['name']:
              raise DropItem("Missing name in %s" % item)
          return item

  • settings.py：项目的配置文件，用于定义项目的配置参数，如请求头、下载延迟等。例如，一个简单的配置文件定义如下：

  # settings.py
  BOT_NAME = 'myproject'
  SPIDER_MODULES = ['myproject.spiders']
  NEWSPIDER_MODULE = 'myproject.spiders'
  DOWNLOAD_DELAY = 1  # 下载延迟
  CONCURRENT_REQUESTS_PER_DOMAIN = 8  # 对每个域名同时发起的请求数量

  • spiders/：存放爬虫文件的目录。每个爬虫文件都是一个 Python 文件，定义了一个爬虫类。例如，一个简单的爬虫类定义如下：

  # spiders/my_spider.py
  import scrapy
  
  class MySpider(scrapy.Spider):
      name = 'myspider'
      start_urls = ['http://example.com']
  
      def parse(self, response):
          for title in response.css('h1'):
              yield {'title': title.get()}

编写爬虫代码 爬虫的基本结构

Scrapy 爬虫的基本结构包括以下几个部分：

1. 定义爬虫类：定义一个继承自 scrapy.Spider 的类，用于描述爬虫的行为。
2. 定义爬虫名称：指定爬虫的名称，用于唯一标识爬虫。
3. 定义起始 URL：指定爬虫要抓取的第一个 URL。
4. 定义解析函数：解析响应回调函数，用于从页面中提取数据。默认解析函数为 parse。

以下是一个简单的爬虫示例：

# spiders/my_spider.py
import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'  # 爬虫名称
    start_urls = ['http://example.com']  # 起始 URL

    def parse(self, response):
        for title in response.css('h1'):
            yield {'title': title.get()}  # 提取数据

解析与提取数据

Scrapy 提供了强大的选择器来从 HTML 或 XML 文档中提取数据。选择器支持 XPath 和 CSS 两种语法。以下是一些常用的解析方法：

使用XPath

XPath 是一种强大的路径语言，用于在 XML 和 HTML 文档中查找节点和属性。例如，可以使用 XPath 来提取页面中的标题：

# 提取标题
titles = response.xpath('//h1/text()').getall()

使用CSS选择器

CSS 选择器是一种用于选择 HTML 文档中的元素的简洁语法。例如，可以使用 CSS 选择器来提取页面中的链接：

# 提取链接
links = response.css('a::attr(href)').getall()

提取数据并生成Item

使用 Item 类定义的结构来提取和组织数据。例如，定义一个 ArticleItem 类并使用它来组织文章数据：

# items.py
import scrapy

class ArticleItem(scrapy.Item):
    title = scrapy.Field()
    author = scrapy.Field()
    content = scrapy.Field()

在解析函数中，使用 Item 类的实例来提取数据：

# 在解析函数中使用 Item 类
def parse(self, response):
    article = ArticleItem()
    article['title'] = response.css('h1::text').get()
    article['author'] = response.css('.author::text').get()
    article['content'] = response.css('.content::text').getall()
    yield article

运行与调试爬虫 如何运行爬虫

运行 Scrapy 爬虫需要使用 Scrapy 提供的命令行工具。以下是如何运行爬虫的步骤：

1. 确保已经在项目目录下。
2. 使用 scrapy crawl 命令运行爬虫。例如，运行 myspider 爬虫：

scrapy crawl myspider

以上命令会启动 myspider 爬虫，并开始抓取数据。抓取的数据会被输出到命令行，同时也可以通过配置管道将其保存到文件或数据库。

常见问题与调试技巧

在开发和运行爬虫的过程中，可能会遇到一些常见的问题。以下是一些调试技巧：

问题：爬虫运行缓慢

• 检查下载延迟：在 settings.py 中调整 DOWNLOAD_DELAY 参数，以减少下载延迟。
• 增加并行请求：调整 CONCURRENT_REQUESTS_PER_DOMAIN 参数，以增加对每个域名同时发起的请求数量。

问题：解析函数出错

• 检查 XPath 或 CSS 选择器：确保选择器正确无误，可以在浏览器开发者工具中测试选择器。
• 打印调试信息：在解析函数中添加 print 语句，输出数据以进行调试。

问题：数据提取不完整

• 检查 HTML 结构：确保要提取的数据存在于目标页面中。
• 使用正确的选择器：确保使用正确的选择器语法和路径。

问题：数据格式不正确

• 检查 Item 定义：确保 Item 类定义正确，并且所有字段都有相应的值。
• 使用 yield 返回：确保使用 yield 返回 Item 实例，而不是直接返回数据。

实战案例

本节将通过一个简单的示例来展示如何使用 Scrapy 进行网站数据抓取。示例网站为一个简单的博客网站，抓取该网站的文章标题、作者和内容。

简单网站数据抓取

假设目标网站的 URL 为 http://example.com，我们需要抓取该网站的文章标题、作者和内容。

创建Item类

首先，创建一个 Item 类来定义数据结构：

# items.py
import scrapy

class ArticleItem(scrapy.Item):
    title = scrapy.Field()
    author = scrapy.Field()
    content = scrapy.Field()

编写爬虫代码

接下来，编写爬虫代码来抓取数据：

# spiders/my_spider.py
import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def parse(self, response):
        for article in response.css('div.article'):
            item = ArticleItem()
            item['title'] = article.css('h1::text').get()
            item['author'] = article.css('.author::text').get()
            item['content'] = article.css('.content::text').getall()
            yield item

运行爬虫

在命令行中运行爬虫：

scrapy crawl myspider

输出结果

运行后，输出结果如下：

{"title": "文章标题1", "author": "作者1", "content": ["段落1", "段落2"]}
{"title": "文章标题2", "author": "作者2", "content": ["段落1", "段落2"]}
...

数据存储与导出

默认情况下，Scrapy 会将抓取的数据输出到命令行。但是，可以通过配置管道将数据保存到文件或数据库中。

配置管道

修改 settings.py 文件，启用管道：

# settings.py
ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 1,
}

编写管道代码

在 pipelines.py 文件中编写管道代码：

# pipelines.py
import json

class MyPipeline(object):
    def open_spider(self, spider):
        self.file = open('output.json', 'w')

    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + '\n'
        self.file.write(line)
        return item

    def close_spider(self, spider):
        self.file.close()

导出数据

运行爬虫后，数据会被保存到 output.json 文件中：

{"title": "文章标题1", "author": "作者1", "content": ["段落1", "段落2"]}
{"title": "文章标题2", "author": "作者2", "content": ["段落1", "段落2"]}
...

总结

通过以上步骤，可以轻松搭建并运行一个 Scrapy 爬虫项目，从简单的网站抓取数据，并将其导出到文件或数据库中。Scrapy 的强大功能和灵活配置使得它成为开发爬虫应用的首选框架。希望这篇教程能够帮助你快速入门 Scrapy，开始你的爬虫之旅。