Scrapy安装

windows10  安装scrapy, windows 下的scrapy 目前暂时不支持python3,因为scrapy 依赖的 Twisted  暂不支持python3,所以只能用python2,并且是win32版本。

目前已支持Windows X64版本 20160928 更新

安装

安装scrapy 前需要如下环境内容:

python2-7-12(win32):

https://www.python.org/ftp/python/2.7.12/python-2.7.12.msi

lxml: https://pypi.python.org/packages/ce/23/e734f2f1a4e3efb40ec60a2cfa6daa08e5d46240c256f9fb146a5b64a9c0/lxml-3.3.5.win32-py2.7.exe#md5=2c10ce9cab81e0155a019fb6c0c3e2e9

libxml2:

http://xmlsoft.org/sources/win32/python/libxml2-python-2.7.7.win32-py2.7.exe

VCForPython27.msi

https://download.microsoft.com/download/7/9/6/796EF2E4-801B-4FC4-AB28-B59FBF6D907B/VCForPython27.msi

安装上诉之后,整个环境已经准备妥当,直接用如下pip 即可将Scrapy 安装好了

[bath]py -2 -m pip install Scrapy[/bath]

python3.5 Scrapy1.1.3安装 20160928

需要使用wheel格式的文件直接本地安装lxml ,Twisted. 这个几个包可恶意从http://www.lfd.uci.edu/~gohlke/pythonlibs/  找到。

lxml:http://www.lfd.uci.edu/~gohlke/pythonlibs/dp2ng7en/lxml-3.6.4-cp35-cp35m-win_amd64.whl

Twisted:http://www.lfd.uci.edu/~gohlke/pythonlibs/dp2ng7en/Twisted-16.4.1-cp35-cp35m-win_amd64.whl

scrapy:https://pypi.python.org/packages/1f/91/81b32afce9676a0542ee42e8755ff1d61a80acd0101035929d7355b8cc50/Scrapy-1.1.3-py2.py3-none-any.whl#md5=eb35996066a3802dd9d2b2070098bdbb

依次安装上述下载的wheel 文件:

[bath]py -3 -m pip install lxml-3.6.4-cp35-cp35m-win_amd64.whl

py -3 -m pip install Twisted-16.4.1-cp35-cp35m-win_amd64.whl

py -3 -m pip install Scrapy-1.1.3-py2.py3-none-any.whl[/bath]

 

运行调试

创建项目

scrapy startproject tutorial

编写spider

运行

scrapy crawl spider_name

scrapy crawl dmoz

在pycharm 环境中,则通过配置 run configuration实现,

%_H8K{A)339[P2A67%V7J}P

 

配置完成后,直接run 就行了,可断点调试

mysql5.6安装

RPM方式安装MySQL5.6

a. 检查MySQL及相关RPM包,是否安装,如果有安装,则移除(rpm –e 名称)

1
[root@localhost ~]# rpm -qa | grep -i mysql

2
mysql-libs-5.1.66-2.el6_3.x86_64

3
[root@localhost ~]# yum -y remove mysql-libs*

b. 下载Linux对应的RPM包,如:CentOS6.4_64对应的RPM包,如下:

1
[root@localhost rpm]# ll

2
total 74364

3
-rw-r--r--. 1 root root 18442536 Dec 11 20:19 MySQL-client-5.6.15-1.el6.x86_64.rpm

4
-rw-r--r--. 1 root root  3340660 Dec 11 20:06 MySQL-devel-5.6.15-1.el6.x86_64.rpm

5
-rw-r--r--. 1 root root 54360600 Dec 11 20:03 MySQL-server-5.6.15-1.el6.x86_64.rpm

c. 安装MySQL

1
[root@localhost rpm]# rpm -ivh MySQL-server-5.6.15-1.el6.x86_64.rpm

2
[root@localhost rpm]# rpm -ivh MySQL-devel-5.6.15-1.el6.x86_64.rpm

3
[root@localhost rpm]# rpm -ivh MySQL-client-5.6.15-1.el6.x86_64.rpm

4
#修改配置文件位置

5
[root@localhost rpm]# cp /usr/share/mysql/my-default.cnf /etc/my.cnf

d. 初始化MySQL及设置密码

1
[root@localhost rpm]# /usr/bin/mysql_install_db

2
[root@localhost rpm]# service mysql start

3
[root@localhost rpm]# cat /root/.mysql_secret  #查看root账号密码

4
# The random password set for the root user at Wed Dec 11 23:32:50 2013 (local time): qKTaFZnl

5
[root@localhost ~]# mysql -uroot –pqKTaFZnl

6
mysql> SET PASSWORD = PASSWORD('123456');    #设置密码为123456

7
mysql> exit

8
[root@localhost ~]# mysql -uroot -p123456

e. 允许远程登陆

01
mysql> use mysql;

02
mysql> select host,user,password from user;

03
+-----------------------+------+-------------------------------------------+

04
| host                  | user | password                                  |

05
+-----------------------+------+-------------------------------------------+

06
| localhost             | root | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |

07
| localhost.localdomain | root | *1237E2CE819C427B0D8174456DD83C47480D37E8 |

08
| 127.0.0.1             | root | *1237E2CE819C427B0D8174456DD83C47480D37E8 |

09
| ::1                   | root | *1237E2CE819C427B0D8174456DD83C47480D37E8 |

10
+-----------------------+------+-------------------------------------------+

11

12
mysql> update user set password=password('123456') where user='root';

13
mysql> update user set host='%' where user='root' and host='localhost';

14
mysql> flush privileges;

15
mysql> exit

f. 设置开机自启动

1
[root@localhost ~]# chkconfig mysql on

2
[root@localhost ~]# chkconfig --list | grep mysql

3
mysql           0:off   1:off   2:on    3:on    4:on    5:on    6:off

g. MySQL的默认安装位置

1
/var/lib/mysql/               #数据库目录

2
/usr/share/mysql              #配置文件目录

3
/usr/bin                     #相关命令目录

4
/etc/init.d/mysql              #启动脚本

修改字符集和数据存储路径

配置/etc/my.cnf文件,修改数据存放路径、mysql.sock路径以及默认编码utf-8.

view plain copy

在CODE上查看代码片派生到我的代码片

  1. [client]  
  2. password        = 123456  
  3. port            = 3306  
  4. default-character-set=utf8
  5. [mysqld]  
  6. port            = 3306  
  7. character_set_server=utf8
  8. character_set_client=utf8
  9. collation-server=utf8_general_ci
  10. #(注意linux下mysql安装完后是默认:表名区分大小写,列名不区分大小写; 0:区分大小写,1:不区分大小写)  
  11. lower_case_table_names=1
  12. #(设置最大连接数,默认为 151,MySQL服务器允许的最大连接数16384; )  
  13. max_connections=1000
  14. [mysql]  
  15. default-character-set = utf8

查看字符集

python安装

python2 python3 windows 下共存

关于Windows平台上Python2与Python3共存,使用过程中可能会遇到一些问题。关于网上其他的修改python.exe名字的做法都是不合适的。
下面是我从网上搜集过来的正确使用方法,可以完美使用,具体也可以参考官方说明3.4小节有详细说明<