首页手记 Scrapyd资料入门教程：新手必读

Scrapyd资料入门教程：新手必读

标签：

爬虫

概述

本文将详细介绍Scrapyd的安装、配置和使用方法，涵盖Scrapyd的API介绍、故障排查以及性能优化策略，帮助读者更好地理解和使用scrapyd资料。

Scrapyd简介与安装

Scrapyd是什么

Scrapyd是一个用于部署和管理Scrapy爬虫的Web服务。它允许用户通过HTTP API启动、停止、取消以及获取爬虫的状态。Scrapyd通常用于分布式爬虫部署和管理，能够控制多个Scrapy爬虫实例，实现高效的分布式抓取。

安装Scrapyd的方法

使用Scrapyd需要先安装Scrapy框架。Scrapy是一个用Python编写的强大爬虫框架，用于抓取网站数据并解析HTML。Scrapyd则可以看作是Scrapy的补充，提供了一个Web服务来管理和调度这些爬虫。

安装Scrapy

首先，安装Scrapy。Scrapy可以通过pip安装，命令如下：

pip install scrapy

安装Scrapy后，可以安装Scrapyd。Scrapyd同样可以通过pip直接安装：

pip install scrapyd

为了确保Scrapyd正常运行，还需要安装一个HTTP服务器。Scrapyd默认使用内置的SimpleHTTPServer，也可以选择其他HTTP服务器，如Gunicorn或uWSGI。

安装Gunicorn：

pip install gunicorn

安装uWSGI：

pip install uwsgi

配置Scrapyd

Scrapyd可以在命令行中运行，也可以在配置文件中进行更多的定制。配置文件通常是scrapyd.conf，默认位于/etc/scrapyd/scrapyd.conf。以下是配置文件中的主要设置：

dbscheme: 数据库类型，通常为sqlite或mysql。
db: 数据库连接字符串，格式为<dbscheme>://<username>:<password>@<host>:<port>/<db_name>。
egghost: 生成的egg文件的存储位置，默认是本地存储。
loglevel: 日志级别，如INFO或DEBUG。
num_proc: 使用的进程数。

例如，配置文件scrapyd.conf可能如下：

[scrapyd]
dbscheme = sqlite
db = sqlite:///scrapyd.db
egghost = local
loglevel = INFO
num_proc = 1

检查安装是否成功

安装完成后，可以通过启动Scrapyd服务来检查是否成功安装。Scrapyd可以通过以下命令启动：

scrapyd

启动后，可以通过访问http://localhost:6800来检查是否正常运行。如果看到一个简单的Web界面，则说明Scrapyd已经成功安装。

使用Scrapyd部署Scrapy项目

准备Scrapy项目

在使用Scrapyd之前，需要有一个Scrapy项目。Scrapy项目通常包含一个或多个爬虫，每个爬虫负责抓取特定的数据。例如，创建一个新的Scrapy项目，可以使用以下命令：

scrapy startproject myproject

进入项目目录：

cd myproject

在这个项目中，可以创建一个简单的爬虫，如myspider.py，用于抓取网站上的标题：

# myproject/spiders/myspider.py
import scrapy

class MySpider(scrapy.Spider):
    name = "myspider"
    start_urls = [
        'http://example.com',
    ]

    def parse(self, response):
        for title in response.css('title'):
            yield {
                'title': title.get()
            }

项目部署至Scrapyd

部署Scrapy项目到Scrapyd需要将项目打包成一个egg文件。可以使用Scrapy命令行工具scrapy来打包项目：

scrapy egg --project=myproject --target=myproject-0.1.0.egg

打包完成后，可以使用Scrapyd的HTTP API将egg文件上传到Scrapyd服务：

curl http://localhost:6800/addversion.json -d project=myproject -d version=0.1.0 -d egg=@myproject-0.1.0.egg

部署验证

为了验证项目是否成功部署，可以使用Scrapyd的Web界面查看已部署的项目。另外，也可以通过HTTP API来启动项目中的爬虫：

curl http://localhost:6800/schedule.json -d project=myproject -d spider=myspider

这将启动名为myspider的爬虫，并开始抓取数据。可以通过Scrapyd的Web界面查看爬虫的状态和日志。

Scrapyd的API介绍

API基本使用方法

Scrapyd提供了一系列HTTP API来管理和调度Scrapy爬虫。这些API可以通过HTTP请求调用，支持POST和GET方法。以下是常用API的介绍：

listprojects.json: 列出所有已部署的项目。
listversions.json: 列出项目的所有版本。
listspiders.json: 列出项目中的所有爬虫。
schedule.json: 启动一个爬虫。
daemonstatus.json: 获取Scrapyd的状态信息。
cancel.json: 取消一个正在运行的爬虫实例。
delproject.json: 删除一个项目。
delversion.json: 删除项目的一个版本。
delspider.json: 删除项目中的一个爬虫。
addversion.json: 添加一个新的版本到项目中。
log.json: 获取爬虫的运行日志。
listjobs.json: 列出项目的运行作业。

常用API列表

以下是常用API的详细说明：

listprojects.json: 返回所有已部署项目的列表。
```
{
"status": "ok",
"projects": ["project1", "project2"]
}
```

listversions.json: 返回给定项目的所有版本。

curl http://localhost:6800/listversions.json -d project=myproject

{
"status": "ok",
"versions": ["0.1.0", "0.1.1"]
}

listspiders.json: 返回给定项目中的所有爬虫。

curl http://localhost:6800/listspiders.json -d project=myproject

{
"status": "ok",
"spiders": ["myspider", "another_spider"]
}

schedule.json: 启动指定版本的爬虫。

curl http://localhost:6800/schedule.json -d project=myproject -d spider=myspider -d setting=DOWNLOAD_DELAY=2

daemonstatus.json: 返回Scrapyd的状态信息。

curl http://localhost:6800/daemonstatus.json

{
"status": "ok",
"version": "1.2.0",
"free": 3,
"running": 1,
"pending": 0,
"finished": 0
}

cancel.json: 取消一个正在运行的爬虫实例。

curl http://localhost:6800/cancel.json -d project=myproject -d job=1234

delproject.json: 删除一个项目。

curl http://localhost:6800/delproject.json -d project=myproject

delversion.json: 删除项目的一个版本。

curl http://localhost:6800/delversion.json -d project=myproject -d version=0.1.0

delspider.json: 删除项目中的一个爬虫。

curl http://localhost:6800/delspider.json -d project=myproject -d spider=myspider

addversion.json: 添加一个新的版本到项目中。

curl http://localhost:6800/addversion.json -d project=myproject -d version=0.1.1 -d egg=@myproject-0.1.1.egg

log.json: 获取爬虫的运行日志。

curl http://localhost:6800/log.json -d project=myproject -d job=1234

listjobs.json: 列出项目的运行作业。

curl http://localhost:6800/listjobs.json -d project=myproject

{
"status": "ok",
"jobs": [
  {
    "id": "1234",
    "spider": "myspider",
    "start_time": "2023-01-01 12:00:00",
    "status": "running",
    "logs": ["2023-01-01 12:00:01", "2023-01-01 12:00:02"]
  }
]
}

故障排查与常见问题

常见错误与解决方法

Scrapyd启动失败

检查安装的Python环境和依赖包是否正确。确保scrapy和scrapyd都已正确安装，并且没有版本不兼容的问题。
部署失败

检查egg文件是否打包正确，确认项目路径和版本号是否正确。可以尝试重新打包egg文件，并重新上传。

爬虫运行失败

检查爬虫代码是否有语法错误或逻辑错误。确保爬虫可以在本地正常运行后再部署到Scrapyd。

# 错误示例
class MySpider(scrapy.Spider):
  name = "myspider"
  start_urls = [
      'http://example.com',
  ]

  def parse(self, response):
      for title in response.css('title'):
          yield {
              'title': title.get()
          }

上面的代码中，title.get()方法没有接收任何参数，会导致运行失败。修正后的代码：

class MySpider(scrapy.Spider):
  name = "myspider"
  start_urls = [
      'http://example.com',
  ]

  def parse(self, response):
      for title in response.css('title'):
          yield {
              'title': title.get().strip()
          }

确保爬虫抓取的数据格式正确，防止数据解析错误。

日志信息不足

检查Scrapyd的日志设置是否正确。可以通过修改scrapyd.conf文件来调整日志级别。例如，将loglevel设置为DEBUG可以获取更多的调试信息。
Scrapyd占用资源过高

检查Scrapy项目的配置文件，确保没有不必要的资源消耗。可以通过调整CONCURRENT_REQUESTS、DOWNLOAD_DELAY等设置来限制并发请求。
```
# settings.py
CONCURRENT_REQUESTS = 32
DOWNLOAD_DELAY = 0.5
```

调试技巧

使用Scrapy日志

Scrapy提供了详细日志记录功能，可以用来调试爬虫。可以通过设置LOG_LEVEL来调整日志级别。

# settings.py
LOG_LEVEL = 'DEBUG'

这将输出更多详细的日志信息，有助于定位问题。

# 调试Scrapy项目示例
class MySpider(scrapy.Spider):
  name = "myspider"
  start_urls = [
      'http://example.com',
  ]

  def parse(self, response):
      for title in response.css('title'):
          yield {
              'title': title.get().strip()
          }

调试Scrapy项目

在本地环境中调试Scrapy项目，确保项目在本地可以正常运行。可以使用Scrapy的命令行工具scrapy来启动和停止爬虫。
```
scrapy crawl myspider
```
这将启动myspider爬虫并开始抓取数据。
使用Scrapyd的Web界面

Scrapyd提供了Web界面来管理和监控爬虫。可以通过访问http://localhost:6800来查看爬虫的状态和日志。
- 查看项目列表：
```
curl http://localhost:6800/listprojects.json
```
- 查看爬虫状态：
```
curl http://localhost:6800/listjobs.json -d project=myproject
```

Scrapyd日志与监控

查看日志的方法

Scrapyd提供了多种查看日志的方法，包括通过Web界面和HTTP API。

通过Web界面查看日志

在Scrapyd的Web界面中，可以通过点击项目和爬虫来查看具体的日志信息。点击Log按钮可以查看爬虫的日志。
```
# 访问Scrapyd Web界面
http://localhost:6800
```

通过HTTP API查看日志

使用log.json API可以查看指定爬虫的日志。

curl http://localhost:6800/log.json -d project=myproject -d job=1234

返回值示例：

{
"status": "ok",
"log": "2023-01-01 12:00:01 [scrapy.core.engine] INFO: Spider opened\n2023-01-01 12:00:02 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://example.com>
}

监控项目状态

Scrapyd提供HTTP API来监控项目的状态，包括运行的爬虫实例、队列中的作业等。

查看项目状态

使用daemonstatus.json API可以获取Scrapyd的状态信息。

curl http://localhost:6800/daemonstatus.json

返回值示例：

{
"status": "ok",
"version": "1.2.0",
"free": 3,
"running": 1,
"pending": 0,
"finished": 0
}

监控运行作业

使用listjobs.json API可以列出项目的运行作业。

curl http://localhost:6800/listjobs.json -d project=myproject

返回值示例：

{
"status": "ok",
"jobs": [
  {
    "id": "1234",
    "spider": "myspider",
    "start_time": "2023-01-01 12:00:00",
    "status": "running",
    "logs": ["2023-01-01 12:00:01", "2023-01-01 12:00:02"]
  }
]
}

Scrapyd配置与优化

配置文件详解

Scrapyd的配置文件scrapyd.conf用于设置Scrapyd的行为和参数。以下是配置文件中的主要设置：

dbscheme: 数据库类型，通常为sqlite或mysql。
db: 数据库连接字符串，格式为<dbscheme>://<username>:<password>@<host>:<port>/<db_name>。
egghost: 生成的egg文件的存储位置，默认是本地存储。
loglevel: 日志级别，如INFO或DEBUG。
num_proc: 使用的进程数。

例如，配置文件scrapyd.conf可能如下：

[scrapyd]
dbscheme = sqlite
db = sqlite:///scrapyd.db
egghost = local
loglevel = INFO
num_proc = 1

性能优化策略

为了提升Scrapyd和Scrapy项目的性能，可以采取以下措施：

降低并发请求

通过调整CONCURRENT_REQUESTS设置来限制并发请求的数量。减少并发请求可以降低对目标网站的压力。
```
# settings.py
CONCURRENT_REQUESTS = 32
```
增加下载延迟

通过设置DOWNLOAD_DELAY来增加请求之间的延迟，防止频繁请求导致被目标网站封禁。
```
# settings.py
DOWNLOAD_DELAY = 0.5
```
启用缓存

使用缓存机制来减少重复请求。Scrapy提供了CacheMiddleware来实现缓存。
```
# settings.py
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 24 * 60 * 60
```
使用代理

通过代理IP来分散请求来源，防止被目标网站识别为爬虫。可以使用第三方代理服务，如ProxyMiddleware。
```
# settings.py
DOWNLOADER_MIDDLEWARES = {
  'myproject.middlewares.ProxyMiddleware': 700,
}
```

优化数据解析

改善数据解析逻辑，减少不必要的数据抓取。使用更高效的数据选择器（如XPath和CSS选择器）来提取数据。

# myspider.py
def parse(self, response):
  for item in response.css('div.item'):
      yield {
          'title': item.css('h1::text').get(),
          'price': item.css('span.price::text').get(),
      }

分布式部署

部署多个Scrapyd实例来实现分布式抓取。可以通过多个Scrapyd实例来分担抓取任务，提高抓取效率。

# 启动多个Scrapyd实例
scrapyd --port=6800 --log=/var/log/scrapyd1.log --eggpath=/var/eggs1
scrapyd --port=6801 --log=/var/log/scrapyd2.log --eggpath=/var/eggs2

通过以上配置和优化，可以有效提升Scrapyd和Scrapy项目的性能和稳定性。

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

慕侠2389804

手记
篇

粉丝

55

获赞与收藏

156

关注作者，订阅最新文章

阅读免费教程

Python 原生爬虫教程

19个小节 51409 1115

Scrapy 入门教程

27个小节 10493 251

后端通用面试教程

41个小节 30583 343

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空

Scrapyd资料入门教程：新手必读

Scrapyd是什么

安装Scrapyd的方法

安装Scrapy

配置Scrapyd

检查安装是否成功

准备Scrapy项目

项目部署至Scrapyd

部署验证

API基本使用方法

常用API列表

常见错误与解决方法

调试技巧

查看日志的方法

监控项目状态

配置文件详解

性能优化策略

阅读免费教程