爬虫-windows下安装Scrapy及

发布时间:2019-05-09 21:56:18编辑:auto阅读(2230)

    一:安装wheel

       wheel介绍 

    二:安装twisted

      twisted是由python编写的一款基于事件驱动的网络引擎,使用twisted模块将python的异步请求(异步模型介绍)成为可能且简单易用。Twisted介绍  

    三:创建scrapy文件

       使用命令窗口进入目标目录后 使用命令 

     scrapy startproject  project_name

        工程目录结构如图

      

     

      

         四:启动爬虫程序

      

    scrapy crawl first --nolog #启动时,不输出日志文件
    scrapy crawl first #带有日志的输出

     

      

      

      

关键字