Scrapy安装

windows10  安装scrapy, windows 下的scrapy 目前暂时不支持python3,因为scrapy 依赖的 Twisted  暂不支持python3,所以只能用python2,并且是win32版本。

目前已支持Windows X64版本 20160928 更新

安装

安装scrapy 前需要如下环境内容:

python2-7-12(win32):

https://www.python.org/ftp/python/2.7.12/python-2.7.12.msi

lxml: https://pypi.python.org/packages/ce/23/e734f2f1a4e3efb40ec60a2cfa6daa08e5d46240c256f9fb146a5b64a9c0/lxml-3.3.5.win32-py2.7.exe#md5=2c10ce9cab81e0155a019fb6c0c3e2e9

libxml2:

http://xmlsoft.org/sources/win32/python/libxml2-python-2.7.7.win32-py2.7.exe

VCForPython27.msi

https://download.microsoft.com/download/7/9/6/796EF2E4-801B-4FC4-AB28-B59FBF6D907B/VCForPython27.msi

安装上诉之后,整个环境已经准备妥当,直接用如下pip 即可将Scrapy 安装好了

[bath]py -2 -m pip install Scrapy[/bath]

python3.5 Scrapy1.1.3安装 20160928

需要使用wheel格式的文件直接本地安装lxml ,Twisted. 这个几个包可恶意从http://www.lfd.uci.edu/~gohlke/pythonlibs/  找到。

lxml:http://www.lfd.uci.edu/~gohlke/pythonlibs/dp2ng7en/lxml-3.6.4-cp35-cp35m-win_amd64.whl

Twisted:http://www.lfd.uci.edu/~gohlke/pythonlibs/dp2ng7en/Twisted-16.4.1-cp35-cp35m-win_amd64.whl

scrapy:https://pypi.python.org/packages/1f/91/81b32afce9676a0542ee42e8755ff1d61a80acd0101035929d7355b8cc50/Scrapy-1.1.3-py2.py3-none-any.whl#md5=eb35996066a3802dd9d2b2070098bdbb

依次安装上述下载的wheel 文件:

[bath]py -3 -m pip install lxml-3.6.4-cp35-cp35m-win_amd64.whl

py -3 -m pip install Twisted-16.4.1-cp35-cp35m-win_amd64.whl

py -3 -m pip install Scrapy-1.1.3-py2.py3-none-any.whl[/bath]

 

运行调试

创建项目

scrapy startproject tutorial

编写spider

运行

scrapy crawl spider_name

scrapy crawl dmoz

在pycharm 环境中,则通过配置 run configuration实现,

%_H8K{A)339[P2A67%V7J}P

 

配置完成后,直接run 就行了,可断点调试

python安装

python2 python3 windows 下共存

关于Windows平台上Python2与Python3共存,使用过程中可能会遇到一些问题。关于网上其他的修改python.exe名字的做法都是不合适的。
下面是我从网上搜集过来的正确使用方法,可以完美使用,具体也可以参考官方说明3.4小节有详细说明

关于调用不同版本Python

如果同时安装了Python2和Python3,在安装Python3的时候勾选Install launcher for all users选项,这个选项默认会生成一个Python引导程序。同时最好也加入系统环境变量。

那么在使用的时候可以这样:

  • 使用py -2 hello.py即可调用Python2执行hello.py。py -3 hello.py即可调用Python3来执行hello.py。

  • 在hello.py文件的开头进行标记(可能叫法不对)在文件第一行写上#!python2,或者#!python3这样标记以后,在执行的时候只需要输入py hello.py,会自动调用相应的解释器来执行文件。
    记得#!python2一定要放在第一行。

关于pip的使用
  • 若需要安装Python2的库,执行py -2 -m pip install xxxx即可,xxxx是库的名字。
    若需要安装Python3的库,执行py -3 -m pip install xxxx即可。