正如我之前写的,我最近在学习爬行动物。 熟悉Python语言和BeautifulSoup4后,我打算尝试以下爬虫框架:
没想到啊,这个洞太深了。
浏览相关介绍并选择Scrapy框架后,因为很有趣,所以打开控制台,
pip安装脚本
出现了漏洞。
报告错误
error : unabletofindvcvarsall.bat开始在互联网上研究解决方法。
从大多数方法来看,基本的解决方案是下载支持版本的visual studio,但它太大了。 而且看不到网速啊。
最后花了将近一天,终于找到了解决方法。
使用wheel进行安装。
这个网站中有各种编译的库
33558 www.lfd.UCI.edu/~ Goh lke/python libs/# lxml
同时,推荐一篇我的Scrapy入门实例博客:
scrapy爬虫框架简介范例
我想对刚接触python和scrapy的同学有帮助。
安装方法是先安装wheel
确保pip安装wheel安装完成后成功
wheel安装成功
去上面的网站下载Scrapy库,
进入网站=搜索’scrapy’=下载
将下载的. whl文件放在便于查找的地址。 (我放在D:(上了。
然后在控制台上进入那个地址
在此地址下输入
pip install [whl]注: [whl]表示您的. whl文件。 请务必输入全名,XXXX.whl
而且,还没有结束。
安装过程可能会失败
可能会出现
故障到构建xxxx等提示闪烁,最后安装失败还是提示
error : unabletofindvcvarsall.bat为什么会这样,是因为Scrapy框架基于Twisted
所以,要做的就是去网站下载Twisted等安装文件,首先安装它们。 安装方法和上边一样。
终于成功了。
做个项目测试一下吧
scrapy startproject pyjy注: pyjy是项目名称
成功了,撒花~~。