你认为学习selenium就可以了吗？ scrapy简直是上帝来的笔吗！ 用一句y总的话：
安装Scrapy Scrapy是python爬行器的框架。 使用框架编写爬行器可以减少代码的编写，提高攀登效率。
pip安装会自动安装scrapy爬行器框架依赖的各种软件包，因此安装速度慢，错误概率高，因此建议增加-i参数，然后使用清华镜像进行安装。
pipinstallscrapy-I https://pypi.tuna.Tsinghua.edu.cn/simple
在prompt中输入scrapy以验证安装是否成功。
安装过程中发生各种错误时，按照错误信息安装对应的库文件即可。
依赖于软件包： lxml、pyOpenSSL、Twisted和pywin32。 当然，您也可以在下载scrapy之前安装各种以前依赖的软件包。