首页 > 编程知识 正文

派森爬虫,python安装虚拟环境

时间:2023-05-04 11:58:56 阅读:130166 作者:1751

Scrapy是Python开发的一个快速、高级的屏幕捕获和web捕获框架,用于捕获网站并从页面中提取结构化数据。 Scrapy的魅力在于它是一个框架,任何人都可以轻松修改以满足自己的需要。 Scrapy用途广泛,可用于数据挖掘、监视和自动化测试。

1、关于虚拟环境的创建,请参考以前发表的两篇博文,了解如何创建Windows指定的虚拟环境,以及如何在Windows上创建虚拟环境(默认)。 在以下指定的文件夹下直接创建环境,在命令行中输入环境创建命令virtualenv-- python=c : python 34 python.exes crapy _ demo,然后输入python版本

2、然后进入scrapy_demo文件夹下,找到Scripts文件夹,键入activate.bat以激活虚拟环境。 步骤如下图所示。 然后,您可以看到scrapy_demo括在括号中。 这标志着我们进入了环境。 如果在命令行中输入python,则可以看到Python3直接弹出的环境。

3、新建虚拟环境后,下一步开始安装Scrapy,安装命令“pip install Scrapy”或“pip install-I https://pypi.douban.com/simple /”

4、Scrapy的安装速度非常快。 因为是用镜像下载的。 但是,等一会儿可能会发生timeout问题。 这是因为在Scrapy安装过程中需要很多依赖软件包,并且在下载过程中会出现网络延迟问题。 在这种情况下,只需重新输入安装命令进行安装即可。 除了timeout问题外,还可能会遇到下图所示的问题。

5、出现这个问题是因为缺少受信任的软件包。 此时,可能通过“pip install twisted”有问题。 这里介绍一个非常实用的Python软件包网站。 中的Python软件包专门用于在Windows上安装。 在网页上找到Twisted安装包,选择本地支持Python的版本和电脑系统位数的安装包。 小编的电脑是64位,而且Python版本是Python3.4,所以下载的软件包如下图中的红框所示。

6、下载结束后,进入直接下载的目录。 现在进入命令行窗口,输入安装命令“pipinstalltwisted-18.7.0-cp34-cp34m-win _ amd64.whl”。 一般可以安装。 但是,可能会出现以下错误信息“twisted-18.7.0-cp34-cp34m-win _ amd64.whlisnotasupportedwheelonthisplatform .” 请参照下图。

7、这个时候不用慌张。 在这里,编辑将介绍处理这类问题的诀窍。 进入twisted-18.7.0-cp34-cp34m-win _ amd64.whl安装软件包目录,一般下载,然后放在虚拟环境的site-packages文件夹下你觉得有木很了解吗? 是的,那是压缩文件。 将压缩包的所有内容解压缩到当前文件夹中,如下图所示。

8、然后在虚拟环境中输入pip list命令查看安装包,可以看到已有扭曲的安装包,如下图所示。 在第一个pip list命令时,Twisted安装包尚未解压缩,此时没有Twisted库。第二个pip list命令在Twisted安装包解压缩后运行,并在Twisted安装包解压缩后运行

9、然后我们再次输入Scrapy安装命令,输入" pip install-I https://pypi.douban.com/simple/scrapy ",等待安装完成

10、最后通过pip list查看Scrapy安装是否成功,可以看到Scrapy已经在list中,如下图所示。

至此,Scrapy安装顺利完成。 本文中记录的一些错误解决方案是许多伙伴面临的问题,希望今后安装Scrapy时能有章可循。 最后,祝Scrapy安装顺利~

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。