功能比Scrapy强大但使用却最方便的分布式爬虫管理框架——Gerapy

Gerapy 简介

Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发，Gerapy 可以帮助我们：

 这个python学习(q-u-n)：227-435-450 期待大家一起进裙交流讨论，讲实话还是一个非常适合学习的地方的。各种入门资料啊，进阶资料啊，框架资料啊 爬虫等等

更方便地控制爬虫运行

更直观地查看爬虫状态

更实时地查看爬取结果

更简单地实现项目部署

更统一地实现主机管理

更轻松地编写爬虫代码

Gerapy的安装

安装非常简单，只需要运行 pip3 命令即可：

安装完成之后我们就可以使用 gerapy 命令了，输入 gerapy 便可以获取它的基本使用方法：

初始化

接下来我们来开始使用 Gerapy，首先利用如下命令进行一下初始化，在任意路径下均可执行如下命令：

执行完毕之后，本地便会生成一个名字为 gerapy 的文件夹，接着进入该文件夹，可以看到有一个 projects 文件夹，我们后面会用到。

紧接着执行数据库初始化命令：

接着我们只需要再运行命令启动服务就好了：

这样我们就可以看到 Gerapy 已经在 8000 端口上运行了。

作者：Python资料
链接：https://www.jianshu.com/p/77558c802615