Python3网络爬虫实战-14、部署相

发布时间：2019-09-25 08:15:05编辑：auto阅读（1667）

    Scrapyrt的安装

    Scrapyrt 为 Scrapy 提供了一个调度的 HTTP 接口，有了它我们不需要再执行 Scrapy 命令而是通过请求一个 HTTP 接口即可调度 Scrapy 任务，Scrapyrt 比 Scrapyd 轻量级，如果不需要分布式多任务的话可以简单使用 Scrapyrt 实现远程 Scrapy 任务的调度。

    1. 相关链接

    2. Pip安装

    推荐使用 Pip 安装，命令如下：

    pip3 install scrapyrt

    命令执行完毕之后即可完成安装。

    接下来在任意一个 Scrapy 项目中运行如下命令即可启动 HTTP 服务：

    scrapyrt
Python资源分享qun 784758214 ,内有安装包，PDF，学习视频，这里是Python学习者的聚集地，零基础，进阶，都欢迎

    运行之后会默认在 9080 端口上启动服务，类似的输出结果如下：

    scrapyrt
2017-07-12 22:31:03+0800 [-] Log opened.
2017-07-12 22:31:03+0800 [-] Site starting on 9080
2017-07-12 22:31:03+0800 [-] Starting factory <twisted.web.server.Site object at 0x10294b160>

    如果想更换运行端口可以使用 -p 参数，如：

    scrapyrt -p 9081

    这样就会在 9081 端口上运行了。

    3. Docker安装

    另外 Scrapyrt 也支持 Docker，如想要在 9080 端口上运行，且本地 Scrapy 项目的路径为 /home/quotesbot，可以使用如下命令运行：

    docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt

    这样同样可以在 9080 端口上监听指定的 Scrapy 项目。

    Gerapy的安装

    Gerapy 是一个 Scrapy 分布式管理模块，本节来介绍一下 Gerapy 的安装方式。

    1. 相关链接

    GitHub：https://github.com/Gerapy

    2. Pip安装

    推荐使用 Pip 安装，命令如下：

    pip3 install gerapy

    3. 测试安装

    安装完成之后，可以在 Python 命令行下测试。

    $ python3
>>> import gerapy
Python资源分享qun 784758214 ,内有安装包，PDF，学习视频，这里是Python学习者的聚集地，零基础，进阶，都欢迎

    如果没有错误报出，则证明库已经安装好了。

关键字：

上一篇： Python3网络爬虫实战-10、爬虫框

下一篇： python3内置函数详解