selenium爬行动物个人对selenium的理解selenium的使用
以前拍Iwara的视频时,动态加载了视频的发送源地址,所以学习了selenium。 后来,我忘了,所以装作很文雅。
对selenium的个人理解
我个人认为:
与用普通的requests获取网页数据不同,selenium调用了电脑上安装的浏览器APP应用程序,因此可以更加真实地模拟人类对网页的操作。 此外,还可以取动态加载到网页中的数据。 就像摆放道具的人一个个下载网站的数据一样。 虽然功能强大、使用方便,但是资源消耗大、效率低,经常被测试和像我这样刚进入爬虫类的人使用,真正的jkdxg不用这个。
使用selenium selenium官方网站:
必须在33559www.selenium.dev/web页面下载web驱动程序/浏览器驱动程序
在官网下载中找到您浏览器的驱动程序下载页面。 例如,Chrome的驱动程序下载地址如下所示:
3359 sites.Google.com/a/chromium.org/chrome driver /下载解压缩中有“chromedriver.exe”的APP,记住那个地方
在python上安装selenium模块:
pip install selenium现在可以使用它了:
导入selenium模块:
from selenium import web驱动程序可导入一些实用功能。
创建并打开from selenium.web driver.com mon.byimportbyfromselenium.web driver.support.waitimportwebdriverwaitchrome浏览器:
chrome=web driver.chrome (executable _ path=' c :/py charm/chrome driver.exe ' ) chrome.get ) web _其中
实用功能:
设置浏览器窗口的大小:
chrome.set _ window _ size (900,500 )浏览器后退前进
chrome.back(chrome.forward )浏览器更新
chrome.refresh ) )等待元素出现。
webdriverwait(chrome,30 ).until ) EC.presence _ of _ element _ located (by.XPath,'//video ' ) ) )
在chrome.find _ element _ by _ XPath (/a [ @ class=' username ' ] ) XPath中查找所有元素并返回一个list :
chrome.find _ elements _ by _ XPath (/a [ @ class=' username ' ) ]将搜索元素的属性。
element.get_attribute(href ) )导出cookie。
chrome.get_cookies ()加载cookie。
chrome.add_cookie(cookie ) )。