服务器上部署scrapy爬虫项目

发布时间:2019-10-17 09:07:42编辑:auto阅读(2239)

    爬爬们,如果你已经开始部署项目了,那么你肯定也已经写好了完整的爬虫项目,恭喜你,你很优秀!
    **今天忙了小半天的服务器部署,跟大家分享一些心得~

    1. 首先我们要有一台服务器,不好意思,这是废话,略过。。。。。
    2. 安装python

         # 下载安装包,好习惯可以自己创建文件夹/home/download/
         $ wget https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tgz
         # 解压
         $ tar zxvf Python-3.4.1.tgz /us
         3进入解压后的目录,执行安装配置
         $ ./configure
         #或指定安装目录
         $ ./configure --prefix=/opt/python3
         $ make
         $ make install
         #安装后建立一个链接,这样我们可以用python3直接运行程序,和python2区别开来。
         $ ln -s /opt/python3/bin/python3 /usr/bin/python3

    注意:1.在安装之前最好要安装各种依赖包

    yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

    若已经安装python3并改软链接了,请修改/usr/bin/yum文件中的第一行python后加2.?版本号,还有一个文件需要修改叫什么我忘记了,同理

    注意:2.pip3安装之前要建立pip3软连接

    $ ln -s /opt/python3/bin/pip3 /usr/bin/pip3

    3.安装scrapy

    在这里我们先安装scrapyd避免手动安装scrapy需要的插件
    pip3 install scrapyd
    pip3 install scrapy
    

    注意:若没有在第二步安装依赖环境 sqlite-devel,那么在启动scrapyd的时候会报错。
    安装各种依赖包最好创建虚拟环境,

    #安装
    pip3 install virtualenv
    #建立软连接
    $ ln -s /opt/python3/bin/virtualenv /usr/bin/virtualenv
    #进入项目目录创建虚拟环境
    $ virtualenv venv
    # 在venv/bin目录下
    source activate
    
    
    
    
    

关键字