iOS代码染色原理及技术实践

背景

随着业务的迅速发展，业务代码逻辑的复杂度增加。QA测试的质量对于产品上线后的稳定性更加重要。一般QA测试的工作流程分为两大项：自动化测试和人工测试。这两种测试后都需要得到代码覆盖率。自动化测试的覆盖率，在双端都有比较成熟的方案。

本文着重介绍人工测试过程中，怎么得到对应的代码覆盖率。涉及到的技术主要是代码染色。以下会先介绍整体的工作流程，再对涉及到的技术一一阐述。

染色流程

流程图中涉及到了双端的关键节点以及技术点。我们重点介绍编译阶段。

• 编译阶段：生成染色包 (对IR文件插桩)

需要在编译中增加编译选项，编译后会为每个可执行文件生成对应的 .gcno文件。

• 运行阶段：生成二进制覆盖率文件。

在测试代码中调用覆盖率分发函数，会生成对应的 .gcda文件。

• 解析阶段：将二进制覆盖率文件可视化。

编译阶段

在上文可以看出，编译阶段最核心的操作是对IR文件进行插桩。

什么是IR文件？插桩逻辑是什么？我们往下看。

语言处理系统

一个完整的语言处理系统中，从源程序到可执行的机器代码，如下图所示，历经几个重要模块。而我们上文提到的IR文件，是编译器模块中的产物，插桩处理也是在这个模块中进行。这里重点讨论下编译器。

编译器

说起编译器，我们了解到的传统编译器架构分为前端、优化器和后端。

传统编译器的劣势是：前端和后端没有完全分离，耦合在了一起，因而如果要支持一门新的语言或硬件平台，需要做大量的工作。一种更加灵活，适应性更好的编译器套件应运而生——LLVM.

LLVM

官网：http://www.aosabook.org/en/llvm.html

LLVM是一个开源的，模块化和可重用的编译器和工具链技术的集合，或者说是一个编译器套件。

可以使用LLVM来编译Kotlin，Ruby，Python，Haskell，Java，D，PHP，Pure，Lua和许多其他语言。

LLVM核心库还提供一个优化器，对流行的CPU做代码生成支持。

LLVM同时支持AOT预先编译和JIT即时编译。

2012年，LLVM获得美国计算机协会ACM的软件系统大奖，和UNIX，WWW，TCP/IP，Tex，JAVA等齐名。

LLVM和传统编译器最大的不同点在于，前端输入的任何语言，在经过编译器前端处理后，生成的中间码都是IR格式的。接下来看下LLVM架构下的巨大优势，iOS&MacOS平台的编译器。

iOS&MacOS平台编译器

iOS、MacOS平台开发用的IDE:Xcode。在 Xcode 5版本前使用的是GCC编译器，在 Xcode 5中将GCC彻底抛弃，替换为LLVM 。LLVM包含了编译器前端、优化器和编译器后端三大模块。

其中Swift除了在编译器前端和Objective-C稍有不同，其他模块都是相同的。

如下图所示，能看出LLVM的优势，对于一门新的编程语言，只需要提供对应的编译前端，生成IR。就可以完成整个新语言的处理。

聊过了IR文件在整个语言处理过程中的位置，下面我们看下IR文件生成逻辑以及插桩相关的逻辑。这不得不提到Clang。

Clang

Clang是LLVM的子项目，是C、C++和Objective-C的编译器。Clang在整个Objective-C编译过程中扮演了编译器前端的角色，同时也参与到了Swift编译过程中的Objective-C API映射阶段。 

Clang的特点是编译速度快，模块化，代码简单易懂，诊断信息可读性强，占用内存小以及容易扩展和重用等。

Clang的主要功能是输出代码对应的抽象语法树（AST），针对用户发生的编译错误准确地给出建议，并将代码编译成LLVM IR。

以Xcode为例，Clang编译Objective-C代码的速度是Xcode 5版本前使用的GCC的3倍，其生成的AST所耗用掉的内存仅仅是GCC的五分之一左右。

关于iOS项目可以使用对应的命令获取，本文不作详细介绍。

关于编译器前端的主要工作项，感兴趣的读者阅读《编译原理》——龙书。

介绍完了IR的“生成器”。接下来我们详细介绍IR文件。

LLVM IR

LLVM Intermediate Representation。LLVM的中间代码，是编译器前端的输出，和编译器后端的输入。是连接编译器前端与LLVM后端的一个桥梁。

通常常见的文件格式为ll 和bt 。做过iOS开发的读者应该了解bitcode。bt就是编译器开启bitcode后的一种中间代码格式。

IR提供了独立于任何特定机器架构的源语，因此它是LLVM优化和进行代码生成的关键，也是LLVM有别于其他编译器的最大特点。LLVM的核心功能都是围绕IR建立的。

通常中间代码的表示形式分为：语法树（syntax tree）、三地址指令序列。为了更好的了解IR文件。这里介绍下三地址指令。

三地址指令

也可以称为三地址代码。之所以被称为三地址指令，是源于它的指令形式：x = y op z ，其中op是一个二目运算符，y和z是运算分量的地址，x是运算结果的存放地址。三地址指令最多只执行一个运算，通常是计算，比较或者分支跳转运算。

三地址代码拆分了多运算符算术表达式以及控制流语句的嵌套结构，所以适用于目标代码的生成和优化。

//像 x+y*z 这样的源代码被翻译成三地址指令序列：
t1=y*z
t2=x+t1

//源码：do i = i + 1; while(a[i] < 10); 被翻译成如下的三地址指令
i = i + 1
t1 = a[i]
if t1 < 10 goto 6
其中t1，t2是编译器产生的临时名字。

但是程序运行过程中，每个模块并不是完全独立的。存在着模块间的跳转。这些被翻译出的三地址指令，又被组合成另一种便于理解的形式——BB块。

基本块

基本块(Basic Block)是满足下列条件的最大的连续三地址指令序列：

• 控制流只能从基本块中的第一个指令进入该块。

• 除了基本块的最后一个指令，控制流在离开基本块之前不会停机或者跳转。

• 只要基本块中的第一个指令被执行，那么基本块中的所有指令都会得到执行

其中中间代码指令序列生成BB块的算法如下：

• 确定中间代码序列中哪些指令是首指令

• 中间代码的第一个三地址指令是一个首指令。

• 任意一个条件或无条件转移指令之后的目标指令是一个首指令。

• 紧跟在一个条件或无条件转移指令之后的指令是一个首指令。

• 每个首指令对应的基本块包括了从它自己开始，直到下一个首指令（不含）或者中间代码的结尾指令之间的所有指令。

举例：

i = 1 //第一个三地址指令，所以作为首指令
j = 1 //第11行，跳转语句的目标指令。所以作为首指令
t1 = 10*i
t2 = t1+j
t3 = 8*t2
t4 = t3-88
a[t4] = 0.0
j = j+1
if j<=10 goto (3) //本身作为跳转指令，所以是首指令
i = i+1
if i<=10 goto (2) //本身作为跳转指令，所以是首指令
i = 1
t5 = i – 1 //第17行，跳转语句的目标指令。所以是首指令
t6 = 88*t5
a[t6] = 1.0
i = i+1
if i<=10 goto (13)//本身作为跳转指令，所以是首指令

//把一个10x10的矩阵设置成单位矩阵中的中间代码
for(i=1;i<=10;i++){
    for(j=1;j<=10;j++){
        a[i,j] = 0.0;
    }
}
for(i=1;i<=10;i++){
    a[i,j] = 1.0;
}

对应被划分的BB块：

在了解了BB块之后。我们距离怎么对IR文件进行插桩的真相已经越来越近了，下面我们来看下最后一个最重要的环节。

流图

当将一个中间代码程序划分成为基本块之后，我们用一个流图来表示它们之间的控制流。流图(flow graph)的结点就是这些基本块。流图就是通常的图，它可以用任何适合表示图的数据结构来表示。

从基本块B到基本块C之间有一条边当且仅当基本块C的第一个指令紧跟在B的最后一个指令之后执行。存在这样一条边的原因有两种：

• 有一个从B的结尾跳转到C的开头的条件或无条件跳转语句。

• 按照原来的三地址语句序列中的顺序，C紧跟在B之后，且B的结尾不存在无条件跳转语句。

我们说B是C的前驱(predecessor), 而C是B的一个后继(successor)。

通常会增加两个分部称为入口（entry）和出口（exit）的结点。它们不和任何可执行的中间指令对应。从入口到流图的第一个可执行结点有一条边（edges）。从任何包含了可能是程序的最后执行指令的基本块到出口有一条边。如果程序的最后指令不是一个无条件转移指令，那么包含了程序的最后一条指令的基本块是出口结点的一个前驱。但任何包含了跳转到程序之外的跳转指令的基本块也是出口结点的前驱。

其中B0-B7是BB块。E0-E7是边（edges）

插桩逻辑

覆盖率计数指令的插入会进行两次循环，外层循环遍历编译单元中的函数，内层循环遍历函数的基本块。函数遍历用来向gcno文件中写入函数位置信息。

一个函数中基本块的插桩方法如下：

• 统计所有BB的后继数n，创建和后继数大小相同的数组ctr[n]。

• 以后继数编号为序号将执行次数依次记录在 ctr[i] 位置，对于多后继情况根据条件判断插入。

根据生成流图的规则，可以很容易得到桩点位置，[]处就是插入的桩点序号。

关于工程配置可以参考GCOV的官网：

https://gcc.gnu.org/onlinedocs/gcc/Gcov.html

下面简单介绍下gcov，gcno，gcda这三个gcc家族的关键成员。

GCOV

GCOV是一个GNU的本地覆盖测试工具, 伴随GCC发布，配合GCC共同实现对C或者C++文件的语句覆盖和分支覆盖测试。是一个命令行方式的控制台程序。需要工具链的支持。

GCNO

利用Clang分别生成源文件的AST和IR文件，对比发现，AST中不存在计数指令，而IR中存在用来记录执行次数的代码。

覆盖率映射关系生成源码是LLVM的一个Pass，用来向IR中插入计数代码并生成.gcno文件（关联计数指令和源文件）。

上图右侧。即为gcno的可视化格式。

本质上gcno是二进制内容。需要借助gcov工具(gcov -dump xxx.gcno)将文件转换为这种可视的格式。

其中每个字段的含义

• 函数所在文件的绝对路径（如上图红框所示）。

• Block ：0-7 代表BB文件的编号。

• Counter为插桩后生成的存储执行次数的字段。

• Source Edges是前继。

• Destination是后继。

• Lines是指令在代码文件中行数。

GCDA

gcda是由加了-fprofile-arcs编译参数的编译后的文件运行所产生的，它包含了弧跳变的次数和其他的概要信息。

借助gcov工具可以查看gcda文件的大致内容：

gcda文件已经是一个包括了函数执行情况的文件。剩余的工作就是将执行情况更加可视化，和源码进行匹配。

了解了三个gc的重要成员。借助一些前端工具，我们就可以得到一份详细的覆盖率报告了。关于前端工具，大家可以自行搜索。

最后附上覆盖率的一个报告片段

技术扩展

了解上述基础知识后，我们更加容易理解LLVM中的架构及各个模块的功能。我们可以在插桩过程中，修改原有的插桩逻辑。我们可以编写XCode编译器插件。总之，借助LLVM的源码及我们了解到的知识。在一个语言的任意处理阶段，我们都可以对其进行定制，甚至我们可以创造一个自己的专属语言。

源码参考：

https://github.com/llvm-mirror/llvm/blob/release_70/lib/Transforms/Instrumentation/GCOVProfiling.cpp

https://llvm.org/doxygen/group__LLVMCCoreValueBasicBlock.html#ga444a4024b92a990e9ab311c336e74633

https://gcc.gnu.org/onlinedocs/gcc/Gcov.html

也许你还想看