实现了许多捕获网站的代码，考虑到捕获和下载大量内容，scrapy框架无疑是一个很好的工具。 以下是安装步骤的简要说明。 PS :请务必按照Python的版本下载。 否则，它会警告您在安装过程中找不到Python。
安装Python
安装完成后，请配置环境，将python目录和python目录下的Scripts目录添加到系统环境变量的Path中。 (在python2.7或更高版本中，安装期间可以选择将python添加到Path。 (请打开。 在cmd中键入python，当显示版本信息时，表示配置已完成。 如下所示。 python下载地址：https://www.python.org/downloads /
安装安装工具或pip
Ubuntu Linux : sudo apt-getinstallpython-pip
解压缩并进入文件夹运行： python setup.py install
安装lxml
LML是用Python编写的库，可以快速灵活地处理XML。 选择并安装相应的Python版本。
安装命令： pip install lxml
检查安装是否成功： import lxml
安装zope.interface并安装命令：
pip install zope.interface
Twisted安装
Twisted是在Python上实现的事件驱动的网络引擎框架，用于安装命令。
pip安装受信任
安装pyOpenSSL
pyOpenSSL是Python的OpenSSL界面，用于安装命令。
pip install pyopenssl
8 .脚本安装
easy_install scrapy
或者，pip安装脚本
测试scrapy是否可以使用：
scrapy bench
安装完成。 开始使用吧。