一.背景
1. Selenium
Selenium 是一个用于web应用程序自动化测试的工具，直接运行在浏览器当中，支持chrome、firefox等主流浏览器。可以通过代码控制与页面上元素进行交互（点击、输入等），也可以获取指定元素的内容。
2.优劣
劣势：
相比于抓包→构造请求→解析返回值的爬虫，由于Selenium需要生成一个浏览器环境，所有操作（与元素交互、获取元素内容等）均需要等待页面加载完毕后才可以继续进行，所以速度相比构造请求的慢很多。
对于为了反爬做了特殊处理的展示内容，如字体加密（参考猫眼）、图片替换数字（参考自如）等，可能取不到想要的数据。
使用图片替换数字的自如：
image-20190107215702089
优势：
不需要做复杂的抓包、构造请求、解析数据等，开发难度相对要低一些。
其访问参数跟使用浏览器的正常用户一模一样，访问行为也相对更像正常用户，不容易被反爬虫策略命中。
生成的浏览器环境可以自动运行 JS 文件，所以不用担心如何逆向混淆过的JS文件生成用作人机校验的参数，如马蜂窝酒店评论的人机校验参数_sn，网易云音乐评论的人机校验参数params、encSecKey。可以自行抓包查看。
如果需要抓取同一个前端页面上面来自不同后端接口的信息，如OTA酒店详情页的酒店基础信息、价格、评论等，使用Selenium可以在一次请求中同时完成对三个接口的调用，相对方便。
二、实现
1.环境
python3.6 + Macos
2.依赖包
Selenium
安装的时候是大写的 S ，import的时候是 小写 s。
pip install Selenium
3.浏览器驱动（webdriver）
加载浏览器环境需要下载对应的浏览器驱动，此处选择 Chrome。
下载地址：http://npm.taobao.org/mirrors/chromedriver/ ，
选择合适的版本下载解压后放在随便一个位置即可。
4.hello world
这时候可以通过webdriver自带的一些的一些方法获取元素内容或者与元素进行交互。
也可以通过方法 find_elements查找符合某条件的一组元素，以列表的形式返回。
5.关闭图片加载
在不需要抓取图片的情况下，可以设置不加载图片，节约时间，这样属于调整本地设置，在传参上并不会有异常。
三、使用webdriver与元素进行交互
1.模拟鼠标点击
2.模拟键盘输入
3.模拟下拉
webdriver中对鼠标的操作的方法封装在ActionChains类中 ，使用前要先导入ActionChains类：
此外，webdiver还提供丰富的交互功能，比如鼠标悬停、双击、按住左键等等，此处不展开介绍。
四、一个完整的模拟浏览器爬虫
五、使用截图+OCR抓取关键数据
对于做了特殊处理的信息，如上述的猫眼电影的票房信息、自如的价格等，不适用于直接获取制定元素的信息进行抓取，可以使用截图+OCR的方式抓取此类数据。
以自如的房租为例：
安装ocr工具：
Tesseract是一个开源的OCR引擎，能识别100多种语言（中，英，韩，日，德，法…等等），但是Tesseract对手写的识别能力较差，仅适用于打印字体。
使用Tesseract：
在python下使用Tesseract：
首先安装依赖包：pip install pytesseract