查看原文
其他

锋利的blade到底锋利在哪里

2017-05-31 叶顺平 技艺丛谈

虽然Google的bazel已经放出来很久了,不过这篇介绍blade的文章应该还没有完全过时。blade源于Google内部的blaze, 背后的编译思想是接近的。后续我会写一篇介绍bazel的文章,并对两者做一比较。


刀是什么样的刀?

诸位看到标题,千万不要以为我是模仿《锋利的JQuery》,或者什么书籍,而是因为,介绍Blade的文章,标题不得不这样。


Blade由腾讯台风云计算平台出品,大约在2012年下半年开源,它是一把专用于构建软件的宝刀。Blade的字面意义应该是"刀锋",意思是使用该软件构建软件更加强大,更加便捷。该系列宝刀,最早应该是由Google这位顶级刀匠打造而成,当年事迹见诸互联网记载:

http://google-engtools.blogspot.hk/2011/08/build-in-cloud-how-build-system-works.html

http://mike-bland.com/2012/10/01/tools.html#tools-blaze-forge-srcfs-objfs

 

听说Google内部打磨的宝刀,其名为"火焰刀",英文名为"Blaze",一样是锋芒毕露,炙热灼物。其面世后,以其熊熊烈焰,统一了google内部的软件编译方式。腾讯出品的blade, 英文写法,只有一字之差,不过"火焰""刀锋"各得风流,虽说取名有点向偶像致敬的意思,但是也是锋芒不让。

 

提起google的宝刀,其实到google洗练过几年武学的IT牛人们,在远走他方后,也都各自打磨了一把。我的前东家,就曾经打磨过一把类似的宝剑,取名"Ymake",名字是虽然朴拙了一些,但是假如你见过他们亮过宝刀,也会被其锋芒所吸引。在云壤的江湖朋友们,都称道其"活儿好"。

 

就互联网上能搜索到的铸刀秘诀而言,我能搜索到的,应该是我的前任授业恩师放出去的,其时他应该还没有加入云壤。项目地址为:

https://code.google.com/p/qa52/


其BUILD语法,虽然还没有简洁到极致,但是功能上看起来也已经有模有样。

 其示例的BUILD文件如下所示:



假如你仔细瞅瞅,会发现语法已经基本接近google开放出来的BUILD文件示例。

 

好吧,花了九牛二虎之力,追溯了blade的历史掌故,却还没点到题上。言归正传,blade其实是一个多语言的构建工具,之所以使用"构建",而不是"编译"两字,实在是因为软件构建并不仅仅是软件编译,而非我喜欢故弄玄虚。Blade除了编译软件以外,还奉上了很多其它的福利,比如集成了单元测试,性能测试等。这正如一把好刀,不仅应该能杀人,还且最好能在最短的时间内杀死对方,刀光一起,人已倒地,但是刀不流血,刀已回鞘。

 

那么,Blade藏身何处,不急,以下就是它的所在:

https://code.google.com/p/typhoon-blade/

https://github.com/chen3feng/typhoon-blade


目前该项目由陈峰维护,其微博名为"陈三丰",虽然我猜测可能是由于"陈峰"这个名字已经被他人抢先使用,继而只好采用拆字法,将"峰"一分为二,是为"三丰",不过从名字看,倒也和大侠张三丰很有渊源,就此而言,blade(刀锋)由他维护倒是最妙不过了。


刀锋锋芒何在?

 

既然号称刀锋,那么其锋芒何在?为什么有了make这把天下闻名的好刀,还要试试blade的锋芒?


那么下面就历数一下blade的不同凡响之处。


天下武功,唯快不破

 

江湖上最知名的刀,无不以快而闻名,blade的一个好处,也是其编译速度快,快得益于几个方面:


  1. 可以进行并行编译和并行测试。

  2. 使用了ccache等库,可以将编译中间结果进行缓存。

  3. 如果使用了distcc模式,则可以享有更多的用于编译的硬件资源。听说google内部的blaze有三个模式,一个是Local,一个是distcc,一个是Forge,按理说,forge模式由于运行在大规模的集群中,编译的速度应该最快。


刀是刀,却不仅是刀

 

在仙剑奇侠传四中,宝剑望舒,被男主角云天河各种虐待,从猎野猪、烤肉、劈柴到射箭、御剑,无所不用其极。而一把好刀,其功能自然不应该局限于杀人见血。


Blade作为一个构建工具,其作用不仅仅是替代make和makefile,且听我细细道来:


1,Blade是软件工程的利器,有助于模块化,模块化的力度控制自如,对于提高系统的可维护性,隔离复杂性,最大化代码复用等,都有很大好处。


2,Blade提供了单元测试的最佳使用方式。

假若单元测试和代码是分离的,编译代码和运行测试各自为政,那么往往测试只是测试,很难对开发有什么帮助,因为很多时候,虽然有测试代码,但是测试却很少被运行,或者时过境迁后,测试多有失效。大家假如编译过一些开源项目的话,可能就会有类似的经验,编译完静态库,拿到静态库文件就完了,很少有人去运行所有的单元测试,确保所有的测试都能运行通过。


有了Blade,通过cc_test将gtest_main.a默认链接,使得单元测试的代码简化到极致。同时,只要运行blade test target,就能在编译完目标程序后,运行(而且可并发运行)相应的单元测试,以随时跟进代码是否已经偏离了该有的轨道,开发是否早已脱缰狂奔。


只要发布部署时,使用上Blade test target,那么就可以保证,上线的模块能够通过所有单元测试用例的验证把关。Blade集成单元测试,提供cc_test,看似功能简单,但是正是这个简单的功能,使得测试驱动开发,开发者测试等理念,能够在google全公司范围内得到认同,并贯彻执行。


3,blade实现了递归编译。

Blade build …即可对当前目录及其子目录下的所有编译对象进行编译。该功能虽然小,但是却很实用。在一个十几人的团队中,百万行级别的代码规模,只有递归编译功能,可以很方便地实现一个循环编译工具,当某个模块编译失败,或者某个单元测试失败后,自动发出邮件通知相关的开发人员,以保证频繁的开发提交代码成为可能。当然,相关的功能,可以通过类似hudson之类的软件完成。不过blade 递归编译,对中小规模的代码而言,基本已经游刃有余。


4,blade 实现了依赖查询。

Blade query可以查询依赖到某个模块的所有模块,这个对于代码重构而言,是个不错的功能。假如你在重构code base,或者是修改接口,或者是fix bug,或者是改进性能,都可能使得使用到该库的相关模块,集体罢工,单元测试无法通过。这时候,假如使用上blade query,你就可以编译相关模块,使得你提交的代码,不会给其它模块带来麻烦。


5,blade绑定了静态代码审查功能。

对整个项目而言,严把质量关非常重要,因为一旦一些烂代码进去了,清扫牛粪的工作将会非常痛苦而且艰巨。这里的异己分子,可能包括bug,风格差异迥异等。


Blade 会在进行编译之前,对所有被变更的编码,使用指定的静态代码审查工具进行代码审查。C++代码审查脚本,google cpplint较为知名,地址为:

http://google-styleguide.googlecode.com/svn/trunk/cpplint/cpplint.py

当然,每个公司都可以定制其自己的检查脚本,以符合其自己的代码风格等。

Blade绑定该功能,可以避免出现一些常见的Bug,统一团队的代码风格,对公司工程文化的塑造,有润物细无声之效。


6,blade是编译的统一入口,并且是开放的

这点是最重要的,也是blade的锋芒所在。因为Blade是统一的编译入口,因此修改统一的编译选项,设置统一的编译警告级别,实现cc_test等全部成为可能。


只要愿意,你不仅可以在编译前实现代码审查,也可以在编译时设置不同的参数,选择指定的编译器,更可以在编译后,运行单元测试,统计单元测试覆盖率,更可以定制各种操作。


因为统一,所以要升级编译器,使用统一的警告级别等牵一发而动全身的动作成为可能。因为统一,实现cc_test, cc_benchmark, proto_library, thrift_library成为可能。

 

好使的刀,方为好刀

假如刀虽好,但是太笨重,这只有寂寞的高手才能使用了,普通人得之,如同废铁。因此,好使的刀,才是好刀。


Blade之所以好使,在于其采用了足够简洁的语法,比如下面便是编译一个静态库libencoding.a的语法描述:

cc_library(

    name = 'encoding',

    srcs = [

        'ascii.cpp',

        'base64.cpp',

        'hex.cpp',

        'percent.cpp',

        'shell.cpp',

    ],

    deps = [

        '//toft/base/string:string',

        '//thirdparty/stringencoders:stringencoders'

    ]

)


你需要的只有三件事,一,要打造的刀叫什么刀,二,它需要使用什么特别的原料,三,它需要依赖哪些现成的原料。也就是name,srcs,deps,,换言之,就是编译对象名,编译需要的源文件,需要依赖的其它库。你需要描述的大部分情况下有且仅有他们。怎么编译,编译选项,在哪里编译,中间产物是什么,中间产物放在哪里,你通通不需要关注。刀一出鞘,东西已在那,躺在了你希望它在的所在,热气腾腾,等你去品尝。


这种简单到极致的语法,好处却有很多。比如:


1,容易学习,容易记忆。你需要记忆的只有name, srcs,deps等掰着十指都能数的过来的关键字和规则,剩下的就是,告诉它用到哪些代码文件,用到了哪些外部的库。


相比Makefile繁琐的语法,BUILD文件可谓清爽宜人。


2,简化到了极致的好处是,各种cc_library可以在粒度中间轻松转换,因此使用了BUILD文件后,模块划分会更加合理,哪怕有一个文件,其它模块可能可以使用上,你也可以方便地将它打包到一个静态库中,这样其它地方只要依赖上这个cc_library,就可以坐享其成。


我曾经见过各种thrift文件,protobuf文件散落在代码各个目录甚至分支中,如果使用上thrift_library, proto_library,将thrift文件定义出细粒度的library,则可以避免因Makefile中频繁描述thrift/protobuf源文件生成与编译的痛苦。


羞于告诉他人的是,我至今都对Makefile不太熟悉,不过所幸,Blade已经开源,我从此不必也不想和Makefile再打交道,我也没有必要告诉别人说,我认识Makefile这个哥们。


宝刀待屠龙


江湖中向来有"武林至尊,宝刀屠龙,号令天下,莫敢不从,倚天不出,谁与争锋。"的说法,blade既然是一把绝世好刀,在倚天剑面世之前,各位江湖好友,不妨试试其刀锋如何!

(作者注:不过Google的bazel已经开源了一段时间,也就是说倚天剑已然面世,目前大家还是直接使用Google的开源项目吧)

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存