字节跳动技术质量
其他
自动化左移实战
背景先说一组数据,2022年1、2双月,财经-聚合支付团队需求左移率平均69.57%(近3个双月平稳在70%左右),其中SL-L2占比56.25%,即有一半的需求可以在提测前编写自动化用例,并通过自动化完成完成冒烟测试的准入工作。当然,自动化召回除了与需求左移率有关外,与需求左移程度和自动化用例质量强相关。本文将从平台支持,流程规范,过程数据收集与分析,将需求左移工作闭环。实施路径一、建立关键指标和面板首先,我的思路是尽可能的先细化过程数据,将数据收集和分析的工作尽可能的自动化,当整体看不清楚的时候,细化可以帮助我们暴露问题,有针对性的立标杆,抓短板。我脑海中理想的场景是精细化到需求的粒度,通过各平台数据打通,将人工用例和自动化用例以及BUG关联起来自动分析,关键设置阈值,利于我们发现问题。在此之前,我们想统计目标场景覆盖率,需要定期梳理增量需求的目标场景用例和存量目标场景的覆盖覆盖情况,耗费大量的人力和时间。如果我们能够在需求用例设计阶段将该目标场景识别出来,打好标签,在自动化用例编写时关联好需求,就可以实现需求的人工用例和该需求用例目标场景的自动收集,并与自动化用例关联,即可实时掌握目标场景覆盖率的情况以及当某个需求的目标场景未做自动化时,给出提示,可以有针对性的补充。【需求左移面板】【关键指标】Case总数:该需求关联的所有文本用例数量目标场景数:该需求所有文本用例中识别出的目标场景数量(期望自动化覆盖的数量)自动化Case数量:实际完成的该需求的自动化用例数量目标场景覆盖率:自动化Case数量/目标场景数*100%(阈值可以根据实际情况设置,我这里阈值是100%,当不足100%时说明原因。比如1个自动化case中可能包含2个人工用例,但实际已经覆盖,或者当前不满自动化条件,还无法覆盖,后期待满足条件时补充,也方便跟踪)Case左移动占比:评价自动化左移程度,自动化Case数量/Case总数*100%,与自动化召回率相关(阈值可以根据实际情况设置,我这里阈值是60%,期望人工用例中60%的用例可以自动化覆盖)服务端BUG总数:该需求发现的server端BUG总数自动化BUG数量:该需求自动化手段发现的server端BUG数量自动化召回率:自动化BUG数量/服务端BUG总数*100%二、数据的自动收集与分析数据源:API形式对接Bis需求管理平台、Bis缺陷管理平台,Bis用例管理平台工具选型上,用例管理工具使用公司的BIS用例管理平台,使用思维导图维护用例。通过打标签的方式识别该文本用例中需要统计的节点。case
2022年4月8日
其他
ByQI服务端接口测试智能解决方案
测试问题,则无法大幅提升接口测试的覆盖度及准确率。ByQI提出基于调用链路DAG图的场景化用例构造方案1.全流量case采集及存储:采集全量API层流量数据,存储前,完成数据安全/
2022年2月25日
其他
醒图基于数据驱动的性能防劣化实践
执行流程可灵活编排,增删节点可按需调整eTest自动化测试流程支持测试任务灵活编排子任务节点,可以根据任务需要,进行任务节点的增删,灵活适配不同的自动化测试场景。四、Enormous
2021年11月5日
其他
CQ: 字节系创作质量中台实践
平台会对所有检测点按照以下三个维度打分:历史结果的准确率:准确率越低,得分越高上次被抽取的时间:越久未被抽到,得分越高随机因子:随机分数,保证样本的多样性针对于通过的样例,分数
2021年9月3日
其他
对比与理解:模糊测试(fuzzing)与变异测试(mutation)
1、前言谈到模糊测试(fuzzing)与变异测试(mutation),在很多场合下这两个概念会被混为一谈,可能很多人分不清它们究竟有什么区别。他们之间的相同点在于,这两种方法都是通过来引入变化,从而实现检测的稳定性与有效性。Fuzzing的维基百科定义如下:模糊测试
2021年8月20日