scrapy爬虫基础配置

一、选择python

​ 找到python安装包进行安装，推荐安装python3.6x版本的

二、安装python

​ 注意：安装python时，勾选add python3.6 to path 否则安装第三方库会报错

三、安装第三方库问题解决

​ 1）、Fn+R进入到运行界面

​ 2）、输入cmd回车进入

​ 3）、安装第三方库报错

​ a 如果“pip install +第三方库” 会报以下错误

​ b 右键我的电脑【属性】-- 【高级系统设置】–【高级】–【环境变量】

​ c 找到添加环境路径

​ d 复制路径（根据自己的目录全选绝对路径）

​ C:UsersxxxAppDataLocalProgramsPythonPython36

​ e 在系统变量下点选【新建】

​ f 重新打开cmd安装第三方库

四、安装第三方库方法

​ 因为scrapy是一个twisted应用，所以要先安装Twisted第三方包，然后scrapy执行相同动作

​ 1）pip install + 第三方包名称

pip install Twisted

​ 2）到此网页：https://www.lfd.uci.edu/~gohlke/pythonlibs/#genshi 下载第三方库本地安装

​ 如果找不到第三方库 ctrl+f 搜索

​ cp 版本 “根据python版本选择”

​ win32/ 64 系统 “根据电脑系统版本选择” 注：右键我的电脑可以查看

​ 将下载好的文件放置到pip文件夹下

​ 在cmd下安装，无需切换文件夹 pip install [将下载好的文件拖进来]

​ 3）、使用python setup.py install 安装 (如果前两个步骤成功，不推荐走这一步)

​ 在github或者https://pypi.python.org/pypi 上下载了Twisted文件到本地。解压到桌面

​ cmd切换到文件带有setup.py的目录下

​ 先执行 python setup.py build

​ 再执行python setup.py install

​

最后

以上就是轻松板凳最近收集整理的关于西北乱跑娃 --- python基础环境安装以及第三方库的配置方法scrapy爬虫基础配置的全部内容，更多相关西北乱跑娃内容请搜索靠谱客的其他文章。