干货 | 携程旅行App iOS工程编译优化实践

作者简介

 

天超，携程资深软件工程师，关注iOS研发，喜欢用脚本语言解决各种难题。

引言

开发效率的提升，是开发者关注的一个永恒的话题。对于iOS而言，编译速度一直是影响iOS开发和集成测试效率关键的一环。

携程旅行App iOS工程编译，经历了从全源码编译到工程组件化，细分Bundle，再到细分Bundle基础上的进一步优化四个阶段。每次的优化改造都是不断结合业务反馈，深入了解xcode编译过程后的成果。

一、背景

简单回顾一下在做Bundle拆分之前的情况，当时整个iOS工程的所有代码都在一起，并未做工程拆分和解耦，编译时全都是源码编译，数百万行代码全部编译完成要将近一个小时。所有的开发人员都在一个工程里开发，如果因为某个人提交的代码有问题（这是常常会发生的），导致编译了很长时间之后才报错，更是耽误时间，严重影响开发效率。对于测试人员来说，每次需要验证一个功能时打包测试都需要至少等待几十分钟，这是极大的资源浪费。

这个时候的Build过程是全源码complie，几千上万个文件都需要编译、链接，效率可想而知。

所以为了提高开发和测试的效率，提高iOS工程的编译速度刻不容缓。

二、优化方案

2.1 工程组件化

第一个优化是把整个工程的编译过程打散，把代码按照业务线拆分成一个个独立的子工程，每个子工程的编译过程都是独立的。每个子工程只需要保证自己工程的源码能够编译成功，对外输出统一的静态库和资源文件包的产物。这个产物我们叫做Bundle。

单个业务工程（Bundle）：

App Build：

对于单个业务来说，编译时间大大缩短，整个Build过程变成单工程complie，多工程link，极大减少了Build过程中的complie花费的时间。

这样有两个好处：

1）对于开发人员，每个业务开发只需要把自己这个子工程切为源码引用，把其他非自己模块的子工程全部用静态库依赖，本地编译也只需要编译自己的子工程，可以大大提升本地开发编译速度。

2）对于测试人员，打包过程就变成了把所有已经编译好的子Bundle静态库链接到一个壳工程里，不需要对每个文件进行编译，可以很快的打包测试验证。

2.2 增量编译

在工程组件化之后，在持续集成平台上单个Bundle的打包时间还是过长。因此框架团队开始研究单个Bundle在持续集成平台上增量编译的可能性。

经过调研，最终选定CCache做为解决方案。CCache是一个编译工具，可以将Xcode编译文件缓存起来，从而达到编译提速。

针对本地开发该方案具有优势，但是在结合自研的移动发布平台MCD（Mobile Continuous Delivery）（后面简称【发布平台】）上使用时效果并没有达到预期，主要有两点原因：

1）同一Bundle多分支共存 ：App会存在大小版本同时开发的情况，在发布平台中也就会存在不同版本、不同分支的情况。

2）缓存管理不便 ：发布平台打包机器通常仅有250G磁盘空间，当面临磁盘压力时，需要灵活的清理策略。

最终框架团队采用了自管理，能做到缓存物理隔离，同时也就省去了环境配置的步骤。

增量编译具体实现：

1）合并有变动的文件

• 打包任务会根据新的 commitId 下载一份代码副本，不能直接使用该副本，因为代码文件内容没有变动，仅仅是文件属性的变动也会导致 xcodebuild 缓存不生效。因此需要副本和工作区内的源码做diff，仅仅合并内容有变动的文件。
• 使用 python 的 filecmp 实现合并代码逻辑，并且支持配置 ignore。
• xcodebuild 指定 -derivedDataPath 设置缓存路径，并将该目录配置到 diff ignore中。

2）提供清除缓存的功能

• xcodebuild的缓存有时候会出问题，比如修改了c++文件后有时并不会生效，这种需要提供清除缓存的功能，可以由开发自由选择使用。

截止到以上两步，Native已经基本实现了增量编译，但是实际使用还不够。因为打包主要是在集成系统平台上面完成的，集成平台打包有多台机器。

携程旅行App的打包Jenkins采用的是master-slave模式，一个Job下会有多个节点，Job是随机抽取的节点。为了提高增量编译的命中率，必须要让Bundle和节点关联起来。比如：有ABCD四个节点，HotelBundle每次都落到A节点，这样才能保证A节点中HotelBundle的xcodebuild缓存有效，并且代码diff差异最小。

具体实现：

1）保留Jenkins Job的工作区

该步骤是在Jenkins Job的配置中操作，取消勾选下图中的Delete workspace before build starts

2）使用Jenkins插件建立Bundle和节点的关联

基于Jenkins Label Parameter Plugin，并做改造，实现伪随机，以保证关联的节点下线之后，能使用候补节点正常工作。

发布平台前端提供关联配置，业务可以按需选择使用。

通过以上步骤就实现了增量编译，但是该方案针对swift不生效。swift在Release模式采用的全量编译（如下图）,做整体优化。不过swift Bundle可以采用上述Bundle拆分的方案。

以某一个编译源码文件197个、资源文件142个的Bundle为例看下效果。

采用增量编译后，Bundle编译耗时由116s降为9s。

2.3 Bundle细分

最初携程旅行App的Bundle都是按照业务来拆分的，比如：酒店就一个Hotel Bundle，在当时编译速度已经不慢了。但是随着业务的发展，单个Bundle中业务代码越来越多，文件越来越多，导致编译又会变慢。这时，可以将单个Bundle按照功能做更细粒度的拆分，比如酒店拆分出了酒店主工程、酒店基础工程。

更细粒度的Bundle拆分还能带来以下其他收益：

• 加快本地开发编译：某个功能的开发人员只需要将自己这个功能模块切为源码，其他模块全用静态库，提高本地开发编译效率。
• 为其他独立app提供更细粒度的模块功能支持：我厂的很多独立App都是共用一套框架和基础组件的，按功能模块细粒度的拆分出独立的模块Bundle后，可以使独立app在选择基础组件时按需选择。

2.4 合理设置头文件搜索路径

业务工程往往会大量依赖基础库代码，在本工程编译过程中，也需要查找到引用的基础代码的头文件。

因为代码还是在同一个仓库里，之前的方案是头文件搜索设置还是指向本地的基础框架代码，使用循环搜索的方式。

这样的好处是任何一个头文件的修改，使用方可以马上感知到。

缺点就是头文件没有特意为方便调用进行组织，搜索起来特别费时。

经过统计，Hotel一个文件的编译往往都是秒级别。一整个工程编译下来就是十几分钟。

因此框架团队意识到必须要和第三方库一样，在目前的.a和资源文件之外，提交include目录包含所有会被外部使用的头文件。

同时，考虑到iOS开发向Swift转型的需要，如果在include目录的基础上，还能够提供一份基于include里头文件的module.mapmodule文件。将方便后期业务方向Swift的迁移。

具体方法是：

1）首先框架的Bundle，在工程设置中点击工程的Target→Build Phases→Copy Files点击+，输入.h把需要暴露的头文件都添加上。

这样会在输出产物的Build目录下，多一个include目录，再通过脚本去把这个目录里面的所有文件复制出来，同时生成module.mapmodule。

2）使用的时候，将头文件搜索路径设置到include目录，并且设置为非递归搜索。

验证下来，Hotel工程修改之后的Build时间为7分钟，相比修改之前的19分钟，时间减少了63%。

2.5 建立中央缓存

费雷德里克·布鲁克斯说软件工程领域没有银弹。通过以上优化后，减少了编译时间，提升了开发和集成测试的效率，但这也不是解决编译速度问题的银弹。随着业务的不断使用，又出现了新的问题：Bundle拉取时间过长。

Bundle化方案各个业务的静态库生成都是在发布平台上编译的，业务在本地开发的时候再使用框架的脚本拉取bundle到本地。发布平台上打测试包的时候也是需要拉取所有Bundle。

发布平台打包过程如下：

1）初始化Jenkins工作区，下载代码副本

2）下载Bundle

3）使用xcodebuild生成ipa

4）上传ipa和符号表

5）Job状态回调

整个过程共耗时7分钟，目前携程旅行App iOS最新的版本的上线Bundle将近70个，每个Bundle的静态库支持arm64、x84_64等指令集，所有Bundle加起来有4G大小，即使在内网全量下载耗时也要2~3分钟。

比如酒店某一Bundle：

所有Bundle全量更新一次耗时：

针对这个问题，解决方案是建立中央缓存。

在用户根目录下，建立一个隐藏的目录.iOSBundleRepo，按照Bundle的版本号存储，同一Bundle可存在多个版本。工具下载Bundle时优先判断缓存，未命中时才开始下载并且缓存到repo中。

建立中央缓存还能带来其他好处：在发布平台做预缓存，使用定时任务更新中央缓存，进一步节省下载耗时。

该方案实际上采用的是空间换时间的策略，随着时间推移，将会带来磁盘不足的问题，所以必须要实现清理机制。

针对不同使用场景需要采用不同的缓存清理策略，具体如下：

• 本地开发：该模式下，开发可以自由选择更新最新Bundle和仅更新配置，缓存使用不频繁。所以将同一Bundle版本个数调低，缓存有效期拉长。
• 持续集成：发布平台打包较为频繁，缓存使用比较频繁，并且Bundle版本变动较快，所以将同一Bundle个数调高，缓存过期时间设置为一天。

最终，打包耗时由原来的7分钟降为5分钟。

三、存在的问题和思考

软件开发工程没有银弹，大家都是在焦油坑里挣扎。

Bundle的方案节省了编译的时间，提高了开发的效率，方便了持续集成和测试。

为了提高单Bundle编译速度而导出头文件的方案，牺牲了一定的灵活性换来了编译速度的提高。头文件没有了代码中的直接搜索，框架开发人员从共同开发者真正变成了库提供者，这就要求每一次都接口的修改都要及时更新并导出。

任何一个技术方案肯定是在权衡各方面之后做出取舍的结果。框架团队为了提高iOS Build速度，通过自研的方案，做了拆分Bundle，优化头文件搜索路径，增量编译，建立中央缓存等步骤，基本上满足了现有我厂各业务线的日常开发需求。

【推荐阅读】

“携程技术”公众号后台回复“新书”，

可免费获得两本书的试读样章~

《携程架构实践》

京东

当当

《携程人工智能实践》

京东

当当

 “携程技术”公众号

  分享，交流，成长