selenium爬虫教程,selenium爬取

selenium 是一个自动化的web 浏览器的测试工具，我们可以用selenium 来模拟人对浏览器（browser）的操作，我们也可以使用这个工具来做爬虫。

具体的情况可以参考相关的官网： https://selenium.dev

我用python 来做开发，因此这里我们下载相关的文件，用这个网站 https://selenium.dev/downloads/

安装Selenium

安装 selenium 3.141.0 ， 具体的方法你也可以参考官网 https://pypi.org/project/selenium/

方法就是

pip install selenium 安装驱动 （Drivers）

使用我们的Selenium 我们需要选择对应浏览器相关的驱动， 我用的是chrome,
现在它支持的是

浏览器链接FireFoxhttps://github.com/mozilla/geckodriver/releasesChromehttps://sites.google.com/a/chromium.org/chromedriver/downloadsEdgehttps://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/Safarihttps://webkit.org/blog/6900/webdriver-support-in-safari-10/

我们只需要根据我们自己想要的浏览器，来下载相关的驱动， 我用的是chrome,因此我 到对应的link 去下载我的驱动： https://sites.google.com/a/chromium.org/chromedriver/downloads

它给出的可以选择的浏览器驱动有78,77,79 这三个可以选择

根据它的官网，你可以看到：

所以具体要选择哪个，要看一看你的浏览器的是哪个版本，怎么看，我们先点击我chrome右上角的那三个小的点点。

选择chrome 的Help ，之后可以看见 about chrome,点击进去就可以看到了， 或者直接输入 chrome://settings/help， 也可以看到

上图就是我的浏览器的型号， 是 Version 77.0.3865.90 (Official Build) (64-bit)

我只要选择那个77 ，到相关的网站 https://chromedriver.storage.googleapis.com/index.html?path=77.0.3865.40/ 就可以了。

如下图所示：

使用说明

以Firefox 为例子，我们来看一下

from selenium import webdriverbrowser = webdriver.Firefox()browser.get('http://seleniumhq.org/')

chrome 的例子

from selenium import webdriverdriver = webdriver.Chrome()driver.get('https://www.google.cz')

来吧～～～