首页 > 编程知识 正文

性能测试的几个指标,性能测试常见问题

时间:2023-05-06 17:29:23 阅读:159536 作者:4017

1、性能指标分类

系统性能指标

资源性能指标

中间件指标

指标数据库

稳定性指标

可扩展性指标

可靠性指标

2、系统性能指标

响应时间

系统处理能力

吞吐量

同时用户数

错误率

2.1 响应时间

响应时间简称RT,是系统响应请求的时间(处理请求的时间);

由于功能不同,响应时间也不同,讨论一个系统的响应时间时,通常是指该系统所有功能的平均响应时间或所有功能的最大响应时间

各行业参考标准:

互联网: 500毫秒以下,比如淘宝业务10毫秒左右

金融: 1秒以下为宜,复杂业务3秒以下

保险:最好不超过3秒

制造业:最好不超过5秒

响应时间的绝对值并不能直接反映软件的性能的高低,软件性能的高低实际上取决于用户对该响应时间的接受程度

2.2 系统处理能力

系统处理能力是指系统利用系统硬件平台和软件平台进行信息处理的能力。 这些指标包括:

HPS(hitspersecond ) :每秒点击次数,每秒

传输持续代码(TPS ) :系统每秒处理的事务数(事务数),笔/秒

QPS(querypersecond ) :系统每秒处理查询的次数

一般情况下用TPS来衡量整个业务流程,用QPS来衡量接口查询次数,用HPS来表示对服务器点击请求(越大越好)

各行业参考标准:

金融: 1000TPS—50000TPS

保险----100TPS----100000TPS

制造----5000TPS

互联网业务: 10000TPS----1000000TPS

中型站点: 1000TPS—50000TPS

互联网小型网站: 500t PS10000 TPS

2.3 吞吐量

吞吐量是指系统在单位时间内处理的请求数

对于单用户系统,响应时间可以很好地衡量系统性能,而对于并发(多用户)系统,吞吐量通常用作性能指标

2.4 并发用户数

同时用户数是指在同一时刻登录系统并进行业务操作的用户数

2.5 错误率

错误率简称FR,指系统为负荷时,交易失败的概率,错误率=(失败交易数/交易总数) ) *100%

参考标准:一般成功率99.4%以上

3.资源性能指标

中央处理器

存储器

磁盘吞吐量

网络吞吐量

3.1 CPU

CPU又称为中央处理器,是一种超大规模集成电路,并形成计算机的运算核心(core )和控制中心(Control Unit )。 主要功能是解释计算机指令,处理计算机软件中的数据。

行业参考标准:

CPU指标主要是指CPU使用率,包括用户状态(user )、系统状态(sys )、待机状态(wait )、空闲状态(idle )

CPU使用率=75%

CPU sys%=30%

CPU wait%=5%

3.2 内存

内存是与CPU的桥梁,计算机所有程序的执行都在内存中完成,内存的性能对系统的影响非常大。

行业参考标准:

为了充分利用内存,内存中有高速缓存,因此100%的内存使用率并不意味着内存存在瓶颈,而主要衡量系统内存中是否存在瓶颈的是交换虚拟内存(SWAP )

3.3 磁盘吞吐量

磁盘吞吐量简称磁盘吞吐量,是指在没有磁盘故障的情况下每单位时间通过磁盘的数据量

行业参考标准:

包括磁盘读写次数、磁盘繁忙程度、磁盘队列数量、平均服务时间、平均等待时间和空间利用率等指标。 其中,磁盘的忙率是直接反映磁盘是否存在瓶颈的重要依据,磁盘的忙率小于70%

3.4 网络吞吐量

Network Throughput是指在没有网络故障的情况下,每单位时间通过的网络数据数。 单位: Byte/s .网络吞吐量指标用于衡量系统对网络设备或链路传输能力的需求。 如果网络吞吐量指标接近网络设备或链路的最大传输能力,则应考虑升级网络设备。 通常不超过设备或链路最大传输能力的70%

4. 中间件指标

常用的中间件如Tomcat、weblogic等指标主要包括JVM、ThreadPool、JDBC

|GC频率|次/s | java虚拟机垃圾部分回收

频率
|Full GC频率| 次/h | Java虚拟机垃圾完全回收频率
| Full GC平均时长 | 秒 | 用于垃圾完全回收的平均时长
| Full GC最大时长 | 秒 | 用于垃圾完全回收的最大时长
|GC堆使用率 | 百分比 | 堆使用率
|Active Thread Count| 个 | 活动的线程数
| Pending User Request |个 | 处于排队的用户请求个数
|JDBC Active Connection| 个| JDBC活动连接数

5.数据库指标
常用的数据库如MySQL指标主要包括SQL、吞吐量、缓存命中率、连接数
SQL 耗时 微妙 执行SQL耗时
吞吐量 QPS 个 每秒查询次数
吞吐量 TPS 个 每秒事务次数
命中率 Key Buffer命中率 百分比 索引缓冲区命中率
命中率 InnoDB Buffer命中率 百分比 InnoDB缓冲命中率
命中率 QueryCache命中率 百分比 查询缓存命中率
命中率 TableCache命中率 百分比 表缓存命中率
命中率 ThreadCache命中率 百分比 线程缓存命中率
锁 等待次数 次 锁等待次数
锁 等待时间 微妙 锁等待时间

行业参考标准:
SQL耗时越小越好,一般微秒级别
命中率越高越好,一般不能低于95%
锁等待次数越低越好,锁等待时间越短越好

6.稳定性指标
最短稳定时间:系统按照最大容量的80%或标准压力情况下运行,能够稳定运行的最短时间。
一般来说 对于正常工作日(8小时)运行的系统,至少应该能保证系统稳定运行8小时以上。
对于7*24小时运行的系统,至少保证稳定运行24小时以上
参考标准:
TPS曲线稳定,没有大幅度的波动
各项资源指标没有泄露或异常情况

7.可扩展性指标
是指应用软件或操作系统以群集方式部署,增加的硬件资源与增加的处理能力之间的关系。
计算公式:
(增加性能/原始性能)/(增加资源/ 原始资源) *100%
参考标准:
理想的扩展能力是资源增加几倍,性能就提升几倍。扩展能力至少在70%以上。

8.可靠性指标
对于服务端性能测试,从系统可靠性指标度量分析时,常见从三类来入手:
双机热备
集群
备份和恢复

8.1 双机热备
指标如下:
节点切换是否成功及其消耗时间。
双机切换是否有业务中断。
节点回切是否成功及其耗时。
双机回切是否有业务中断。
节点回切过程中的数据丢失量在进行双机切换的同时,使用压力发生工具模拟实际业务发生情况,对应用保持一定的性能压力,保证测试结果符合生产实际情况。

8.2 集群
对于使用集群方式的系统,主要通过以下方式考量其集群可靠性:

集群中某个节点出现故障时,系统是否有业务中断情况出现
在集群中新增一个节点时,是否需要重启系统
当故障节点恢复后,加入集群,是否需要重启系统
当故障节点恢复后,加入集群,系统是否有业务中断情况出现
节点切换需要多长时间在验证集群可靠性的同时,需根据具体情况使用压力工具模拟实际业务发生相关情况,对应用保持一定的性能压力,确保测试结果符合生产实际情况。

8.3 备份和恢复
本指标为了验证系统的备份/恢复机制是否有效可靠,包括系统的备份和恢复、数据库的备份和恢复、应用的备份和恢复,包括以下测试内容:

备份是否成功及其消耗时间。
备份是否使用脚本自动化完成。
恢复是否成功及其消耗时间。
恢复是否使用脚本自动化完成指标体系的运用原则。
指标项的采用和考察取决于对相应系统的测试目的和测试需求。被测系统不一样,测试目的不一样,测试需求也不一样,考察的指标项也有很大差别。
部分系统涉及额外的前端用户接入能力的,需要考察用户接入并发能力指标。
对于批量处理过程的性能验证,主要考虑批量处理效率并估算批量处理时间窗口。
如测试目标涉及到系统性能容量,测试需求中应根据相关指标项的定义,明确描述性能指标需求。
测试指标获取后,需说明相关的前提条件(如在多少的业务量、系统资源情况等)。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。