在当今移动互联网盛行的时代,网络形态不仅是有线连接,还有2G/3G/4G/5G/WiFi等多种手机网络连接方式。 不同的协议、不同的方式、不同的速度,让移动APP应用程序的运行场景更加丰富多彩。 目前,移动终端产品用户所在的网络并不是一个完全顺畅的网络环境,进入地铁、乘坐公交车、进入电梯等移动终端产品的使用场景都会发生变化,因此弱网测试显得尤为重要。 毕竟,考虑到不同场景的客户端展示和容错,可以大大提高产品的印象和用户体验。 本文与大家分享弱网测试、弱网测试工具的使用方法。
1 .什么是弱网测试? 弱网测试作为健壮性测试的重要部分,在移动端测试中不可缺少。 从测试的角度来说,需要额外注意的场景不仅仅是网络断开、网络故障等情况。 对于弱网的数据定义,不同APP应用定义的含义不同、不明确,不仅要考虑各类型网络的最低速度,还要结合业务场景和APP应用类型进行划分。 根据移动的特性,所有低于2G速度的APP应用一般都属于弱网,并且还可以将3G划分成弱网。 此外,弱信号的WiFi通常也包含在弱网测试场景中。
1.1弱网功能测试这一部分主要是在各种不稳定的网络环境下进行的功能测试,同时模拟高延迟、高丢包的异常网络进行健壮性测试。 2G/3G/4G/5G网络可以使用电话卡移动/联通/电信等网络进行模拟,关注游戏接口的响应时间、接口是否完全匹配等。
弱网功能测试建议在弱网环境下测试一次整体功能测试用例,同一模块下的功能可以分为多个网络条件进行测试。 本部分发现的问题有:弱网环境下不加载接口图像(需要优化图像加载逻辑)、接口排版结构混乱)、弱网环境下接口加载需要优化)
1.2无网状态测试无网状态测试是切换网络时进行的测试,主要关注界面显示、用户交互、本地数据存储断开功能的使用等。 这一部分也经常需要与网络切换部分联合进行。 一般来说:
互联网断开、请求非本地数据时,需要设置一定的时间等待上限,及时提示玩家网络异常和重试机制;
如果internet断开,请求部分本地数据的接口将成功加载并显示部分本地数据,并且需要观察请求的部分是否符合用户交互提供的默认样式。
如果internet断开,则请求完整本地数据的接口是否正常显示。 在此,还必须考虑本地数据存储的情况。 连接到网络后,还必须考虑需要报告给服务器的数据本地是否有正确的存储,以及连接到网络后这些数据是否可以成功报告。
建议逐页进行无网状态测试,逐页分别测试无网状态的显示、界面间跳转的显示、界面功能的点击和显示,同时从无网变为有网时恢复页面的显示状态、显示状态
1.3网络切换测试本部分主要从WiFi到2G/3G/4G/5G、从WiFi到无网、从2G/3G/4G/5G到WiFi、从无网到2G/3G/4G/5G、从无网到WiFi 主要关注页面显示和交互,特别是弱网到WiFi、WiFi到弱网的情况下,crash、显示混乱、客户端-服务器数据完整性、请求堆积处理等。
1.4关注用户体验弱网测试的最重要目的是尽可能保证用户体验。 值得注意的重点包括:
接口响应时间是否可接受,包括热启动、冷启动时间、接口切换、前台切换、初始显示时间、第一屏幕显示时间等;
接口是否完全匹配
超时副本是否符合定义,异常信息是否正常显示;
是否存在超时重新连接机制;
安全观点:登录ip频繁更换、单点登录异常等
大流量事件风险:弱网下是否进行apk软件包更新、文件下载等大流量动作。
2 .如何做弱网测试? 对测试人员来说,要有效地进行弱网测试,必须使用第三方工具创建各种弱网环境来模拟弱网环境。
2.1弱网工具介绍目前在测试移动设备方面进行弱网专业测试的方案主要有三种。
第一,通过设备连接到PC,进行Fiddler、Charles、网络仿真器工具包等弱网络测试。 以Charles为例,基本思想是在PC上安装Charles网络快照工具,将设备的网络代理发送到PC,通过给PC上的Charles设置延迟时间进行弱网络模拟
如下图所示,打开设置画面
进行常用网速的模拟设定
二是在专用服务器上构建弱网络WiFi,移动设备连接该WiFi进行弱网络测试。 作为相关技术方案有脸书的ATC和腾讯的Wetest-WiFi。 以自动化传输控制(ATC )为例,原理实际上是利用Linux流量控制系统,通过纯Python的网络库pyroute2调用netlink的API控制
如下图所示,打开网页选择网络测试环境
三是以独立的APP方式,为用户提供弱网仿真服务。 例如,腾讯的wetest服务平台推出的弱网测试工具QNET直接安装在安卓设备上使用。
如下图所示,用户根据自己的测试需求定制弱网参数模板
2.2弱网工具的优缺点
点对比第一种通过设备连接到PC上进行弱网络测试的抓包工具Charles、Fiddler。
优点:抓包工具PC端安装方便,支持网络协议抓包;根据自己的测试需求自定义弱网参数,配置更为灵活;支持多系统平台。
缺点:移动设备网络代理连接PC时需要安装相应证书,较麻烦;Fiddler不支持丢包、抖动等弱网环境。
第二种在专有服务器上构建弱网络WiFi的方式。
优点:在手机上通过Web界面就可以随时切换不同的网络环境;多个手机可以连接到同一个WIFI下,相互之间模拟的网络环境各不影响。
缺点:搭建成本高,需要准备支持AP模式且有驱动的网卡和Linux服务器,有专门的技术人员支持;切换到网络模拟界面改参数,然后再切回被测APP,影响被测APP的操作连贯性。
第三种以独立 app 的方式提供弱网络模拟服务。
优点:安装简便,应用界面简洁易上手;支持用户根据自己的测试需求自定义弱网参数模板,有比较好的灵活性。
缺点:目前只支持Android平台设备。
以上各方案都是比较成熟的弱网测试工具的使用,可根据实际情况进行选择。
下方是不同网络环境下速度的图片,测试时可参照设置:
PS:
我们是行者AI,我们在“AI+游戏”中不断前行。
如果你也对游戏感兴趣,对AI充满好奇,那就快来加入我们(hr@xingzhe.ai)。