查看原文
其他

谷歌的测试认证:目的与进程

国文 持续交付2.0 2022-11-14

原文发表于 TestHome 社区, 作者:国文   名称谈谈 Google 的 Test Certified

Test Certified(后文简称 TC) 是 Google 内部的一个认证项目。

在 8 年的时间里取得了多个里程碑,有 1700+ 的项目注册,其中 1200+ 获得了 1 到 5 级的认证,578 名导师参与。

Test Certified 最早起源于 2006 年,通过多年的实践,在 Google 的很多项目中起到了积极的作用。

Test Certified 使用 5 个级别的规范来定义一个项目的测试健康度,以此来促进开发人员将测试当作软件开发的一部分,尤其是单元测试。

如今,**这个目标已经达成,TC 在今年光荣的退休了** (注:2016年退休),启用了新的标准——Project Health(下一篇介绍),也许将来有机会能聊一聊。

什么是 Test Certified?

测试认证项目包含一系列递增的认证级别,每个级别定义了一个可衡量的测试目标。参与的团队达成的目标越多,获得的级别越高 (是不是有 CMMI 的感觉,不过这是一个鼓励开发测试的项目),它是一个改进测试实践的项目。

为什么 Test Certified?

测试认证计划基于以下一些前提:

  • 越晚发现 bug,修复的成本越高

  • Google 没有大规模的手工测试团队,即使有,也更愿意通过自动化来解决问题

  • 开发人员测试来提前发现 bug 是一个相对便宜和有效的方式

  • 没有一个 Google 自己的测试标准来让工程团队遵守

我们相信良好的测试方法是有效的软件开发的重要组成部分。测试认证计划是促进测试作为工程团队的一种文化,通过指导来养成工程团队的测试习惯。

你尝试解决哪些问题?

我们想定位出 Google 是否有如下问题:

  • 缺乏工程测试文化。参与测试认证计划团队的增加,可以让其他团队提高对测试的重视。

  • 缺乏标准,团队不知道从哪里开始。通过测试认证的阶梯,我们给团队一个清晰的实现目标的层级结构。

  • 缺乏指导,如何提高团队的测试技能。测试导师、文档和列表提供指南。

  • 我们希望每个团队自己来决定如何以及何时测试他们的代码。

有什么好处?

Bugs 是横在开发者和用户之间的一大障碍,我们花了时间和金钱来创造 Bug ,还要花更多的时间和金钱来定位、研究和修复 Bug 。而测试是已知减少缺陷的良好方式。

改进开发过程,更低的成本,更少的缺陷,更快的发布,更快乐的工程师。

可衡量的改进

下面是参与计划的团队可以获得改进的地方:

  • 更少的紧急发布

  • 更少的失败构建:冒烟测试可以减少发生

  • 更高的产品信心:通过调查反馈测量

  • 更高的变化率:团队克服对变化的恐惧 (拥抱变化,某司的口号)

  • 更少的损坏:404,未处理异常等

  • 降低复杂性

  • 更高的缺陷修复率

测试认证标准 (分为五级)

Level 1

  • Set up test coverage bundles

  • Set up a continuous build

  • Classify your tests as Small, Medium, and Large

  • Identify nondeterministic tests

  • Create a smoke test suite

Level 2

  • No releases with red tests

  • Require smoke test suite to pass before a submit

  • Incremental coverage by all tests >= 50%

  • Incremental coverage by small tests >= 10%

  • At least one feature tested by an integration test

Level 3

  • Require tests for all nontrivial changes

  • Incremental coverage by small tests >= 50%

  • New significant features are tested by integration tests

Level 4

  • Automate running of smoke tests before submitting new code

  • Smoke tests should take less than 30 minutes to run

  • No nondeterministic tests

  • Total test coverage should be at least 40%

  • Test coverage from small tests alone should be at least 25%

  • All significant features are tested by integration tests

Level 5

  • Add a test for each non-trivial bug fix

  • Actively use available analysis tools

  • Total test coverage should be at least 60%

  • Test coverage from small tests alone should be at least 40%

TC 为什么退休

  • 团队成员的测试习惯已经养成

  • 标准是静态的,级别达成后团队可能没有再进一步的动力,甚至项目实际情况已经降级了

  • 大部分项目到了 level 3 就不动了

  • Project Health 出现了,全自动(无需人工干预)且动态的(每天)考量项目的健康度,覆盖整个生命周期的考量,设计到开发、测试、发布和部署。

参考:https://mike-bland.com/2011/10/18/test-certified.html


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存