最近开始学习爬虫,于是准备安装一个Scrapy框架,本着自己长期以来安装任何东西都会遇到特殊情况的心理,一开始就做好了准备,可是还是有一些方。
python3.5以后是默认安装好的pip和esay_install(setuptool),最初在使用python安装scrapy一开始在官网上下载好压缩文件,直接在cmd下进入存放目录利用如下命令本地安装:
python setup.py install
这时在安装快要完成时弹出一个错误
error: unable to find vcvarsall.bat
中途我百度了很多方法:
- 下载vs2008,或者2010之后再修改SET VS90COMNTOOLS=%VS100COMNTOOLS%或者修改lib中distutils文件中的msvc9compiler的文件(亲测不行)
- 以及一种安装MinGW指定编译器为mingw32这种方法(没试过,比较复杂,见有人改了不行)
但都没有很好的解决问题,于是我采用了pip快捷安装的方式,最终也会曝出一连串莫名其妙的错误,后来我在网上找到了一种方法成功解决了问题,步骤如下:
- 在http://www.lfd.uci.edu/~gohlk...(建议放入python安装目录,根据自己编译器的版本及架构数选择:其中cp后面代表python版本数,如cp35及代表对应pthon3.5;win32或64根据你安装的python位数决定,最好一致,我当时没安装上就是因为位数不同)
-
在cmd进入存放目录安装lxml和Twisted:
pip install wheel pip install lxml.whl pip install Twisted.whl
- 之后再进入scrapy的安装目录,运用一开始的easy_install安装,如果不报错,则安装完成。之后import scrapy scrapy.__version__()测试
-
如果遇到pyasnl no found...错误,按如下解决:
pip install pyopenssl ndg-httpsclient pyasn1