[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SwhkezqT-1612408734733)(http://127.0.0.1#pic_center)]
写下近期爬虫遇到的一些问题和想法。
1. 智联招聘web端不登录会有限制，最多访问5页
2. 还是智联，app端会对安卓模拟器有限制，在打开代理或者fiddler时会报网络错误的提示，这个主要是做了ssl pinning检测的缘故（京东也有这个问题）
解决办法：
1. 安卓模拟器下载安装包，使用drony绕过ssl pinning检测
2. fiddler抓包
3. 找到接口，补全请求的参数
图文说明(用拉勾演示)
1.安卓模拟器下载、安装拉勾的app和drony
2.测试lg可不可以正常打开以及使用
3.设置drony
4.右划到setting,点击wifi
5.点击模拟器的wifi
6.设置fiddler所在的主机ip地址和fiddler监听的端口（fiddler和模拟器要是在同一台就是本机ip）
7.继续往下设置
8.设置rules
在application中选中抓包的app，然后保存
9.回到drony的首页，打开on
10.打开fiddler，清空列表
11.打开模拟器上的app
添加链接描述