首页 > 编程知识 正文

手机能用爬虫抓取数据吗,网络爬虫可以自动抓取网络数据

时间:2023-05-04 15:39:13 阅读:223602 作者:4854

有些网站的数据在PC端很复杂,参数加密很严重,但是移动APP端的就没那么多加密,所以在遇到有些瓶颈的情况下,可以考虑从网页端转到移动端去抓包,爬取数据。这里有两种方法:

一. 使用模拟器下载APP 如果该网站有APP的话,推荐使用逍遥安卓模拟器,可以设置代理,使用fiddler进行抓包。 二.使用谷歌浏览器伪装安卓/苹果用户 这种方式就比较简单方便,直接修改chrome浏览器的user-agent为指定的机型即可。

这里主要介绍一下第二种方法。

乐桃航空PC端

乐桃航空移动端

可以看出移动端的界面比PC端的简洁很多,抓包的时候也方便许多,可以过滤掉很多杂乱无章的js或者其他加载的数据。

如何设置修改chrome浏览器的user-agent

1.下载好最新版本的谷歌浏览器(我这里的版本是v63)
2.将Google Chrome复制粘贴一份,一个用来做正常PC端浏览器,一个用来模拟手机浏览器
3.右键单击复制后的Google Chrome浏览器,选择属性
4.在Google Chrome的目标后添加以下代码(以我桌面的浏览器为例 注意–user前面有一个空格)

安卓

"C:Program Files (x86)GoogleChromeApplicationchrome.exe" --user-agent="Mozilla/5.0 (Linux; U; Android 2.2; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"

苹果

"C:Program Files (x86)GoogleChromeApplicationchrome.exe" --user-agent="Mozilla/5.0 (iPad; U; CPU OS 3_2_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B500 Safari/531.21.10"

5.给该浏览器重命名为安卓/苹果浏览器(这一步可以忽略,主要是用来区分普通浏览器和伪装浏览器)

接下来打开浏览器 可以发现已经变成安卓/苹果浏览器界面了,有些网站没有设置自适应屏幕,所以自行打开开发者工具调试一下分辨率就OK了。

PS
这里我还得吐槽一下乐桃航空,下订单的时候必须支付完成之后才有订单,说有支付宝方式支付但是找了半天,PC端和移动端都是没有的!这让我抓完包之后进行测试的时候如何是好~ 毕竟不敢真的将自己的信用卡号填上去

如何使用CSS设置div半透明的效果

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。