一、质量测试
基于应用性能测试标准,提供一套包含智能遍历算法和性能指标分析,用于评估应用性能。通过模拟用户操作行为,对应用进行长时间、高频次的页面遍历,实时采集性能数据,生成全面、专业的测试报告。
质量测试提供五大类性能指标的检测能力:
| 指标类型 | 指标名称 | 单位 | 指标说明 |
|---|---|---|---|
| 响应时延 | 点击响应时延 | 毫秒 | 时间起点:点击离手;时间终点:界面发生变化 |
| 滑动响应时延 | 毫秒 | 时间起点:手指滑动;时间终点:界面发生变化 | |
| 完成时延 | 加载完成时延 | 毫秒 | 时间起点:应用首页铺满全屏;终点:所有占位符加载完成 |
| 点击完成时延 | 毫秒 | 时间起点:点击离手;终点:转场页面占位符加载完成 | |
| 卡顿 | 最大丢帧 | 次 | 动效时间内,连续丢失的最大帧数 |
| 卡顿率 | 毫秒/秒 | 动效时间内,累计丢帧时间/动效时长 | |
| 音视频 | 起播时延 | 毫秒 | 时间起点:点击/滑动离手;终点:视频播放首帧 |
| 视频卡顿 | 次 | 视频播放中卡顿>100ms计为1次 | |
| 黑白块 | 启动白屏时长 | 毫秒 | 时间起点:启动动效开始;终点:白屏消失 |
| 滑动占位符加载指数 | 毫秒/秒 | 页面滑动过程中占位符存在的累计时间 |
创建任务
任务参数配置:
| 配置项 | 说明 |
|---|---|
| 启动测试次数 | 执行冷启动操作的次数,重复执行冷启动和退出 |
| 遍历时长 | 应用内操作总时长,默认1小时,最大120分钟 |
| 应用选择 | 支持已安装应用或安装新应用(.hap/.zip) |
说明:
冷启动测试:支持所有应用
应用内操作测试:支持ArkUI原生控件(含ReactNative)应用、Flutter 3.7.12+开发的应用
高级配置:
| 配置项 | 选项 | 说明 |
|---|---|---|
| 检测标准 | 极优体验/较好体验(默认)/一般体验 | 影响问题检出标准和数量 |
| 指标监控 | CPU+内存(固定)/ GPU/网络/电量/温度 | 系统资源指标采集 |
| 后台负载测试 | 开启/关闭(默认) | 后台状态下的CPU和内存占用 |
| 保存全部数据 | 开启/关闭(默认) | 保存所有视频/trace/图片 |
| 生成IDE分析文件 | 开启/关闭(默认) | 可导入DevEco Studio体检工具诊断 |
检测标准说明
| 标准 | 说明 |
|---|---|
| 极优体验 | 操作体验快速、流畅,发现更多性能体验问题(磁盘空间占用增加) |
| 较好体验(默认) | 操作体验良好,发现可感知的性能体验问题 |
| 一般体验(默认) | 操作体验较差,发现感知明显的性能体验问题,需重点关注 |
测试报告
报告结构:
| 部分 | 内容 |
|---|---|
| 整体评估 | 测试结论、问题分布环形图、问题表单 |
| 遍历统计 | 遍历时长、启动次数、点击/滑动/观看视频次数、图片列表 |
| 资源数据 | CPU、内存、GPU、网络、电量、温度等 |
| 操作详情 | 应用启动测试步骤、应用内遍历测试步骤 |
报告对比与导出:
报告对比:一键跳转到性能测试报告对比工具
性能报告自动分析:一键跳转到自动分析服务
导出IDE体检文件:生成体检文件导入DevEco Studio诊断
问题排查维测数据:
图片和视频:步骤执行全过程的截图和录像
perfdata数据:可用DevEco Profiler打开,内含trace和调用栈信息
问题定位
| 维测数据 | 说明 |
|---|---|
| 图片和视频 | 步骤执行全过程的截图和录像 |
| perfdata数据 | 可用DevEco Profiler 5.0.3.300+打开;也可解压后使用SmartPerf工具打开 |
二、场景化性能测试
提供一套包含自动化脚本执行和性能指标分析,涵盖响应时延、完成时延、卡顿、音视频和黑白块五大类性能指标的检测。
2.2 脚本写作
参考官方:自定义性能脚本测试(基于Python)
2.3 创建任务
| 配置项 | 说明 |
|---|---|
| 执行轮次 | 用例可重复执行多轮提升可靠性,最多10轮 |
| 用例工程路径 | 存放自动化用例的工程路径(testcases目录下) |
| 高级配置 | 检测标准、指标监控、保存全部数据、生成IDE分析文件 |
2.4 任务执行
所有用例按照顺序和轮次依次执行,并行分析;任务完成后自动生成报告。
2.5 测试报告
整体评估:
| 内容 | 说明 |
|---|---|
| 测试结论 | 执行用例个数、轮数、操作次数、发现问题数 |
| 执行状态 | 成功/部分成功/失败/未执行 |
| 问题分布 | 环形图展示各指标性能问题分布 |
| 报告对比 | 一键跳转对比工具 |
用例详情:
用例资源数据:CPU、内存等资源数据
测试步骤:多轮测试中的测试数据,超标标红
轮次信息:操作前后截图、指标检测结果、维测数据
三、性能指标监控测试
为用户提供指定业务场景性能测试能力,选择待测应用后手动操作应用,输出测试过程中应用和整机的性能指标数据。
创建任务
| 配置项 | 说明 |
|---|---|
| 任务名称 | 支持自定义 |
| 测试设备 | 建议HarmonyOS 5.0+ |
| 选择应用 | 已安装应用或安装新应用 |
| 指标监控 | CPU+内存(固定),GPU/网络/电量/温度(可选) |
测试执行
创建任务 → 初始化 → 应用启动 → 监控页面 ↓ 点击"开始采集" → 开始统计分析 ↓ 点击"记录"标识场景 → 标识"场景开始" ↓ 场景结束后再次点击 → 完成标识 ↓ (可选)点击"采集trace" → 采集30秒trace(最多10个) ↓ 结束采集 → 生成报告测试报告
指标数据:
| 指标 | 说明 |
|---|---|
| FPS | 应用界面每秒刷新次数 |
| 帧间隔 | 两帧画面刷新时间的间隔 |
| CPU频率 | 各CPU核心实时频率 |
| 内存占用 | 应用及整机各内存指标 |
| GPU频率/负载 | GPU核心实时频率和负载 |
| 温度 | 壳温、前壳温、后壳温、soc温度 |
| 网络速率 | 应用测试过程中的上下行速率 |
| Trace | 可通过"打开Trace文件"按钮跳转到目录 |