首页 > 编程知识 正文

python分布式爬虫,python爬虫经典例子

时间:2023-05-06 21:26:08 阅读:130195 作者:4628

首先,我们将介绍Windows64/32位操作系统上的安装教程。 其他linux和Ubuntu环境中的安装尚未组织。 请自己找教程。

安装Scrapy主要包括以下九个步骤:

安装python (我相信大家都安装好了)

设置python环境变量。 (因为担心大家没有被安排,所以在这里很烦人)

下载并安装pywin32。

4 .下载并安装pip和设置工具。 (为了便于以后使用pip安装scrapy )

安装扭曲。

安装Zope.Interface和pyOpenSSL。

安装lxml。

Microsoft Visual C库:下载VCForPython27.msi。

安装scrapy。

接下来,详细说明各个步骤。

1.安装python。官网上选择要下载的python版本。 官网: https://www.python.org/downloads/或这里有python 2.7版的安装包:

3358 download.csdn.net/download/mt baby/9898753直接下载即可。 建议下载并直接双击进行安装,然后安装到系统目录中。 剩下的是默认值。 例如,如果安装在c驱动器上,则在c驱动器下查看c :python 27.http://www.Sina.com /将python安装目录复制到环境变量中。 右键单击“我的电脑”“属性”“高级系统设置”“高级”“环境变量”,在“系统变量”中找到path

c : (python 27 c :python 27scripts; 这两条路径将添加在后面。 验证python是否已成功安装。 打开cmd,键入python,然后单击,

如果没有报告错误,安装将成功。 误报表明你的环境变量是错误的。 请重新检查。2.配置环境变量下载地址https://SourceForge.net/projects/py win32/files/py win32 /官网上很难找到,这里是python2.7的版本

3358 download.csdn.net/detail/mt baby/989883可直接下载。 下载后,直接双击进行安装。 安装完成后进行验证。

在python命令行中输入import win32com

如果未显示错误消息,则表示安装成功

3358 www.Sina.com/https://pypi.python.org/pypi/pip # downloads或http://download.csdn.net/detail/mt baby/989898

python setup.py install

安装验证成功:

pip依赖于setuptools,安装pip后会自动安装setuptools,因此在此不进行说明。3.安装pywin32。注意:其中Twisted安装支持的版本Twisted-13.1.0

进入python目录,然后输入命令

pip安装受wisted==13.1.0

33558 www.Sina.com/1.Zope.interface下载地址:

3359 pypi.python.org/pypi/Zope.interface # downloads

2.pyOpenSSL下载位置:

3359 pypi.python.org/pypi/py OpenSSL # downloads

选择并下载与python版本对应的. egg软件包。 如果你的Python版本和我的一样是2.7,这里有我下载的两个软件包。 直接去取:

3358 download.csdn.net/detail/mt baby/9898934

3 .此时,将这两个. egg文件复制到python根目录下的scripts目录中,并放置在与easy_installs等文件相同的目录位置。 然后进入cmd模式,以cmd模式进入此脚本目录,运行easy_install.py egg文件名,并执行此egg文件的安装。

图:

安装后验证:

没有错误指示安装成功。

4.安装pip和setuptools。lxml是一个用Python编写的库,可以快速灵活地处理XML

直接运行以下命令

使用pip install lxml完成安装。 如果指示未安装Microsoft Visual C库,请参阅步骤8。

5.安装Twisted。下载地址: https://www.Microsoft.com/en-us/download/details.aspx? id=44266

下载并双击以运行。

6.安装Zope.Interface和pyOpenSSL最后是激动人心的时刻。 有了上面的铺位,我们终于可以享受胜利的果实了。

进入python下的lib目录,然后运行以下命令

pip安装脚本

安装后验证:

通过提示以下命令,证明安装成功。 如果失败了,请检查上述步骤有无遗漏。

安装错误我文章里写的安装不是那么顺利,其实安装的时候踩了很多漏洞,下面说一下。

1 .步骤5、Twisted安装时,我下载了Twisted版本为Twisted 11.1,最后下载安装完毕,进行步骤9时,给出提示

.

requirementalreadysatisfied 3360 twisted=13.1.0 in/usr/lib 64/python 2.7/site-packages (

.

TLS version.TLS v1 _ 1: SSL.op _ no _ TLS v1 _ 1,

attribute error :‘module’objecthasnoattribute‘op _ no _ TLS v1 _ 1’

经网上查询,发现Twisted版本错误,需要下载13.1版本

这里有地址https://twisted matrix.com/releases/twisted/13.1 /

真的,心里有http://www.Sina.com/Pentium。 是的,用命令下载

pip install twisted==13.1.0这样就可以了。

2 .我不记得其他的错误了。 如果大家相遇的话会和我分享哦。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。