首页 > 编程知识 正文

selenium爬虫流程图,python selenium教程

时间:2023-05-06 12:13:12 阅读:161323 作者:4385

selenium爬行动物个人对selenium的理解selenium的使用

以前拍Iwara的视频时,动态加载了视频的发送源地址,所以学习了selenium。 后来,我忘了,所以装作很文雅。

对selenium的个人理解

我个人认为:

与用普通的requests获取网页数据不同,selenium调用了电脑上安装的浏览器APP应用程序,因此可以更加真实地模拟人类对网页的操作。 此外,还可以取动态加载到网页中的数据。 就像摆放道具的人一个个下载网站的数据一样。 虽然功能强大、使用方便,但是资源消耗大、效率低,经常被测试和像我这样刚进入爬虫类的人使用,真正的jkdxg不用这个。

使用selenium selenium官方网站:

必须在33559www.selenium.dev/web页面下载web驱动程序/浏览器驱动程序

在官网下载中找到您浏览器的驱动程序下载页面。 例如,Chrome的驱动程序下载地址如下所示:

3359 sites.Google.com/a/chromium.org/chrome driver /下载解压缩中有“chromedriver.exe”的APP,记住那个地方

在python上安装selenium模块:

pip install selenium现在可以使用它了:

导入selenium模块:

from selenium import web驱动程序可导入一些实用功能。

创建并打开from selenium.web driver.com mon.byimportbyfromselenium.web driver.support.waitimportwebdriverwaitchrome浏览器:

chrome=web driver.chrome (executable _ path=' c :/py charm/chrome driver.exe ' ) chrome.get ) web _其中

实用功能:

设置浏览器窗口的大小:

chrome.set _ window _ size (900,500 )浏览器后退前进

chrome.back(chrome.forward )浏览器更新

chrome.refresh ) )等待元素出现。

webdriverwait(chrome,30 ).until ) EC.presence _ of _ element _ located (by.XPath,'//video ' ) ) )

在chrome.find _ element _ by _ XPath (/a [ @ class=' username ' ] ) XPath中查找所有元素并返回一个list :

chrome.find _ elements _ by _ XPath (/a [ @ class=' username ' ) ]将搜索元素的属性。

element.get_attribute(href ) )导出cookie。

chrome.get_cookies ()加载cookie。

chrome.add_cookie(cookie ) )。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。