1 .请求
但是,安装不是很顺利。可以看到最后一行报告了一个错误,要求最低版本是19.0.3,但是当前的pip版本是18.1。只需根据提示使用命令升级pip命令即可。
您使用的是pip版本18.1,但是版本19.0.3是可用的。
您应该考虑通过“python -m pip install - upgrade pip”命令进行升级。
#只需升级命令。
python -m pip安装-升级pip
查看安装是否成功。
导入请求
requests . get(' https://www . python . org ')
#如果返回响应[200],则请求成功。
2 .硒
脚本驱动浏览器。如果你想驱动浏览器,你必须安装一个
Chromedriver下载和安装
下载地址:http://chromedriver.chromium.org/downloads
根据您的浏览器版本下载相应版本的驱动程序驱动程序文件。
我的是72,所以想下载驱动2.46版本。
https://chromedriver.storage.googleapis.com/index.html?路径=2.46/
解压缩后,将此文件放在带有环境变量的文件夹中,或者您可以为其配置环境变量。目的是能够在任何地方调用控制台。
我把它放在我的python目录下,D:PythonScripts。
#执行命令。如果Chrome可以自动打开,那就说明安装成功了。
来自selenium import webdriver
驱动程序=webdriver。Chrome()
让我们索要网页,看到网页已经打开。
Driver.get('https://cn smile g.com ')
使用
driver.page_source
#命令可以打印出网页的源代码。
3.phantomjs(过时)
功能:没有界面请求,Chrome浏览器窗口不会每次都打开。本项目维修于2019年3月4日停止。所以不建议下载。我在尝试安装后报告了一个错误。
下载地址:http://phantomjs.org/download.html
下载后解压配置环境变量:d: 幻影js-2.1.1-Windows 悲笑。
再次打开cmd窗口,如下所示配置成功
果然,出现了一条错误信息:
在我还没有通过四级的水平上,我可以看到Selenium不再支持PhantomJS。请使用火狐或Chrome的无头模式。
d : Python lib site-packages selenium web driver phantomjs web driver . py :49: UserWa
rning: Selenium对PhantomJS的支持已被否决,请使用无头v
取而代之的是Chrome或火狐版本
warnings . warnings('对PhantomJS的Selenium支持已被否决,请使用
“无头”
他妈是什么
那么问题来了,Chrome如何使用无头模式呢?
来自selenium import webdriver
来自selenium . web driver . chrome . Options导入选项
chrome_options=Options()
chrome_options.add_argument(' -无头')
chrome _ options . add _ argument('-disable-GPU ')
驱动程序=webdriver。镀铬(镀铬选项=镀铬选项)
Driver.get('https://cn smile g.com ')
driver.page_source
Driver.close()#完成后记得关闭。
4.lxml
功能:解析网页。
5 .美丽的组合4
依赖于Lxml
6.pyquery
类似于jQuery
7.pymysql
连接mysql
8.pymongo
mongodb
9.redis
烧瓶
Web服务器代理
11.django
Web框架
12.jupyter
在线运行代码,笔记本功能
默认情况下,它将在端口8888上启动,并自动打开浏览器。
如果安装在Mac或linux下,就更简单了: