度量与运营 - 版本质量报告

swtywang2022年12月12日大约 5 分钟

概述

What

挖掘版本过程中暴露出的质量问题,并且制定相应地改进计划,从而达到解决当前痛点问题,提升交付质量
与效率的目的。每个版本都会去做,这是一个持续迭代运营的过程。

两个误区 ❌

版本质量总结 = 版本复盘会：复盘会是质量总结中非常关键一环，起到了承前启后的作用。但是不能忽视
其他环节的作用，整个版本选代流程是我们的研究对象,在这个过程中会产生非常多的质量数据供我们分析
归因;在复盘会后的改进是我们真正的目的，定期回顾进度也是质量运营的关键步骤。

版本质量总结只是 QA 做的事情:质量总结依赖 QA/PM/RD 的各方协作,需要拉动产研同学一起参与,共同提
升版本质量

质量度量是对软件开发项目进行指标定义、数据收集以及分析的约持续性定量化过程。

质量度量的作用:
提供了一系列直观客观的数据指标,能够一定程度上对质量进行定量评价
通过度量指标发现当前存在的问题,不断促进质量的改善,这是质量度量最终目的
对暴露出的质量问题,客观的质量度量更能让各方在认知上达成一一致,有利于问题的推动解决

需求阶段：变更率、打回率...
研发阶段：千行代码 bug 数、提测打回、严重 bug 率、准入门禁项
测试阶段：线下问题拦截率、覆盖率、准入准出项、无效 bug 率、reopen
发布阶段：发布成功率、回滚率
线上：事故数、Crash 率、热修数、MTTR 等

需求交付周期、研发交付周期、需求吞吐、测试/研发资源投入、bug 发现/修复时长

流水线构建频率/时间/成功率、自动化耗时/成功率/拦截率、发布耗时等

在版本选代过程中,我们要做的就是客观、真实记录过程以及结果数据,保证后续质量分析的有效性

【准】统一度量标准：尽量采用公司/部门统一标准，保证数据置信度
- 缺陷标准目 Bug 优先级标准统一
- 事故定级方案
- 度量口径统一
【全】严格执行各阶段规范流程：尽量不遗漏版本过程中的各个环节，保证数据全面
- 提测准入阶段:冒烟用例不通过 => 打回
- 每一个 bug 都创建 meego,尽量避免口头提 bug
- 用户反馈 OR 线上问题及时录入 Meego
【细】版本质量数据留存：重要数据及时跟踪、方便追溯
- 版本测试计划
  - 需求明细:是否跟版本、是否延期、测试功能点、测试用例 review 结论、自测通过率、打回次数、打回原
    因、每日测试进度、缺陷情况
  - 关键时间节点:细评截止时间、最晚提测时间、封板时间、回归完成时间、提审时间
  - 提审进度
- 严重 bug：Meego 填写原因
- 测试过程中遇到的问题尽量在项目群同步周知，方便回溯

收集数据 => 初步分析 => 质量报告初稿

数据指标收集(Meego Fatal Oncall=>Measure)，根据度量结果初步判断是否符合预期，分别标注
数据下钻：了解每一个单例的过程(5W1H)，并判断是否符合预期
针对研发质量相关指标,比如严重 bug 率、提测准入打回等,在在问题处@需求对应 RD，写明归因和改进方案；针
对测试质量指标，明确每一个单例问题的过程和原因，给出归因和改进方案

复盘是对整个事件的发展过程进行目标回顾、结果评估、差异分和经验总结的过程。

1.复盘主持人 - QA 版本负责人:

目标: 1.各方对齐版本质量结果 2.针对版本过程中暴露出的问题是出有效解决方案