1、setuptools的安装:
使用ez_setup.py安装setuptools包。使用方式:python ez_setup.py
2、安装pip:
使用 get-pip.py 安装pip工具。使用方式:python get-pip.py
3、安装MySQLdb:
安装需要的库:
yum -y install rpm-build gcc-c++ mysql-devel python-devel
下载MySQLdb的安装包,解压缩,然后运行里面的setup.py: python setup.py install
4、安装selenium:
使用命令直接安装:pip install selenium
5、安装phantomjs:
先安装需要的库:
yum install fontconfig freetype libfreetype.so.6 libfontconfig.so.1 libstdc++.so.6
下载phantomjs的压缩包,解压缩,直接把bin目录下的phantomjs拷贝到用户当前的path环境路径下即可。
6、如果想要用phantomjs抓屏防止中文乱码要安装一些字库:
在centos中执行:yum install bitmap-fonts bitmap-fonts-cjk
在ubuntu中执行:sudo apt-get install xfonts-wqy
7、安装scrapy:
注意》新版本的scrapy在安装的时候会报错误。对于python2.6.6 安装 scrapy0.18.4
首先要安装两个lib包: yum install libxslt-devel libffi-devel
然后就可以用pip安装scrapy,记得版本号: pip install scrapy==0.18.4