三个猪厂小哥哥，整出了一款国际顶级项目
冬天，是农家贮藏谷粮的季节。这个冬天，猪厂的“码农”哥哥们，却悄悄完成了一场特殊的“毕业典礼”：
由网易数帆大数据团队开源的 Kyuubi 项目，经过 Apache 基金会孵化器一年半的孵化，正式毕业，成为了 Apache 基金会顶级开源项目，与Apache Spark、Apache Flink 等优秀的前辈们站到了同一个行列。
Apache Kyuubi是什么？
技术小哥哥的定义是这样的：
Apache Kyuubi 在各种现代计算框架之上，例如 Apache Spark™、Apache Flink™、Apache Doris™、Apache Hive™和 Trino 等，建立了分布式 SQL 查询引擎，以查询分布在异质数据源的机器群上的大规模数据集。
我们用人话来说，现在数字化转型是主旋律，数据成为各行各业的生产资料，我们浏览电商平台看到的各种商品，资讯、短视频应用刷到的不同内容，已经完成历史使命的行程卡、健康码，乃至最近爆火出圈的 ChatGPT……背后都经过了极其复杂的大数据处理和计算过程。
因为大数据处处有用，数据来源千差万别，不同场景计算要求各不相同，所以有了前面技术小哥哥提到的不同计算引擎，来构成我们完整的大数据平台。但是，这也给各种应用使用不同数据带来了麻烦，而 Apache Kyuubi 提供了一种技术方案，能够以一个统一的入口、便捷标准的接口，访问任何的数据资源。
Apache Kyuubi 还提供了三个独门的能力来支撑这个方案落地，用三个字来概况：
第一是“安”，所有使用数据的人，通过 Apache Kyuubi，只能访问符合自己权限级别的数据，数据安全保障十足；
第二是“快”，相比其他同类技术，Apache Kyuubi 能快 10~100倍；
第三是“稳”，Apache Kyuubi 能满足生产环境所需要的持续服务能力。
Apache Kyuubi有多厉害？
要理解 Apache Kyuubi 有多厉害，首先来了解下 Apache 软件基金会（英文全称是 Apache Software Foundation，简称 ASF）。
该组织成立于 1999 年 7 月，是目前世界上最大的最受欢迎的开源软件基金会，也是一个专门为支持开源项目而生的非盈利性组织。Apache 软件基金会官网清晰地写着此刻的成绩单：目前整个 Apache 软件基金会有价值超过 220+ 亿美元的开源软件和项目，免费提供给开发者使用，并使全世界数十亿的用户受益。
由上图可以看到，创造如此巨大价值的开源基金会，经营23 年，目前仅保留了 208 个顶级项目，由此可见成为顶级项目的难度之大门槛之高。然而，Apache Kyuubi 在众多项目中仅花了一年半就获得了社区的认可，跻身于国际顶级项目。
目前，Apache Kyuubi 已被全球数百家企业采用，涉及多个行业，如云基础设施、互联网、金融、医疗、打车服务、物流、游戏和 ACG，等等。像阿里巴巴、Bilibili、中国移动、携程、丁香园、eBay、爱奇艺、广发证券、kt NexR、网易、腾讯、T3 出行、Womply、小米、雪球和知乎等公司都在使用 Apache Kyuubi，并且对这款开源软件给出了很高的评价。
“这是 Kyuubi 的一个重要里程碑，毕业也证明了它在大量公司的巨大价值。在过去的一年里，我们成功地采用了Kyuubi 作为 Ad-hoc 查询和批量 ETL 作业的统一网关。kyuubi 不仅支持交互式会话，还支持批量作业提交，这对企业用户来说至关重要。”eBay Hadoop 团队经理 Jiaye Wang 说，“我们期待着社区在未来提供更多令人兴奋的功能。”
“广发证券在大数据平台迁移中一直关注并采用 Kyuubi。我们将 Apache Kyuubi 视为下一代统一数据平台的旗舰服务之一，在数字化转型中引领金融科技架构演进，同时也是与大数据生态系统中其他项目实现共同繁荣的关键。”广发证券资深工程师梁博文评价道，“作为贡献者，在一个支持性的社区中不断做出贡献也是很愉快的。很兴奋看到 Kyuubi 毕业。”
“毕业将为更多的公司引入 Kyuubi 框架带来信心，”Apache Kyuubi PMC，T3大数据平台研发负责人杨华补充道。“未来，我们将尝试将更多的大数据查询/计算引擎与 Kyuubi 整合，同时，将其与内部数据地图连接，增强其授权能力，使其真正成为我们公司大数据的统一网关。”
Apache Kyuubi为什么厉害？
也许您难以置信，这样广受欢迎、能力碉堡的项目，在猪厂最初只有三个专职的技术小哥哥在维护。但这就是事实，其中的奥秘就是两个字——社区，正是继承自 Apache 基金会良好的社区氛围和贡献机制，使得 Kyuubi 在孵化过程中获得了比在网易内部更快的发展速度，Kyuubi 由支持 SparkSQL 起步，对 Flink、Trino 等广泛的生态支持，正是由活跃的社区贡献者共同完成的。
据统计，在孵化过程中，社区迎来了一百多个贡献，有数千个提交，总计成功发布了九个版本。来自不同公司和国家的开发者和其他类型的贡献者在社区中度过了一段快乐的旅程。三位小哥哥的工作，除了审阅项目代码，很大一部分时间，都是用来解答社区用户/开发者在使用 Kyuubi 及贡献过程中遇到的各种问题的，当然猪厂更多小哥哥也加入社区。
下面来看看站在三位小哥哥后面的大咖们发来的贺电吧（按姓氏首字母排序）。
“很高兴看到又一个国人主导的 Apache 项目能够从孵化器毕业。Kyuubi 提供了 Severless 的 SQL 加速分析体验，方便企业便捷的打通各个数据源的访问。作为 Apache兄弟项目，Kyuubi 也提供了Apache Doris JDBC连接器支持，欢迎大家使用和反馈。也祝愿 Kyuubi 能够在开源的舞台书写新的篇章！”
— 陈明雨，Apache Doris PMC
“恭喜 Kyuubi 顺利从 Apache 孵化器毕业成为顶级项目，一个新的里程碑诞生了，作为大数据领域优秀的分布式多租户网关，期待后续发展的更加繁荣！”
— 代立冬，Apache DolphinScheduler PMC Chair & Apache SeaTunnel PPMC
“我们很高兴看到 Apache Kyuubi 正在成为那些想在大数据上提供无服务器 SQL引擎的人的热门选择。很高兴看到它成长为一个拥有开放、协作和多样化社区的顶级项目。”
— 姜宁, Champion and Mentor of Apache Kyuubi
“祝贺 Apache Kyuubi 毕业！在孵化器中与 Apache Kyuubi 社区合作是一件很愉快的事情！团队对新的想法非常敏感，反应非常迅速，对新的想法持开放态度。我相信他们现在作为一个顶级项目会以更大的热情继续建设这个伟大的项目！”
— Martin Grigorov，Apache 软件基金会成员
“在 Kyuubi 开源之初，小米就关注到 Kyuubi 且开始深度使用。Apache Kyuubi 作为统一的网关，服务于小米的新一代数据平台，在湖仓一体架构演进中扮演了重要的角色。小米和 Apache Kyuubi 社区也一直保持着深度合作，我们参与并见证了 Kyuubi 项目的发展历程。在此，衷心祝愿 Apache Kyuubi 项目和社区发展越来越好！”
— 覃左言，小米集团开源委员会主席，开放原子基金会 TOC 成员
“很高兴看到网易数帆贡献给 Apache 基金会的 Kyuubi 项目正式毕业。能够毕业成为 Apache 顶级项目，说明 Kyuubi 项目在捐献之后发展成为一个活跃的，持续有生命力的社区治理的项目，也说明 Kent 等项目发起人在不断学习和掌握 The Apache way 的实践和精髓。Kyuubi 项目的立意很好，选中的技术痛点非常精准。现在又通过了Apache 孵化毕业的考验，IP 问题得到很好的验证，社区健康和持久性也得到了很好的确认。相信它的毕业能被业内更多的采纳，恭喜 Kyuubi 项目和社区！”
— 谭中意，中国开源推进联盟副秘书长、开放原子开源基金会 TOC 副主席
“Kyuubi 是一个广泛使用的 SQL 门户，其无服务器设计，支持常见的 SQL 驱动，大大提升了大数据技术的使用便利性。作为客户端和底层技术之间的门户和网关，Kyuubi 也有很大的想象空间进行功能扩展，如 SQL 审计、检查、基于查询历史的优化等等。这是一个具有巨大潜力的项目。”
— 汪源，网易副总裁、网易杭州研究院执行院长
“恭喜 Apache Kyuubi 成为 Apache 顶级开源项目，开源就是如此，一方的欢喜衬托着另一方的忧伤，人类的极端情感，在这一刻得到充分的体现和释放，这就是 Apache Kyuubi，这也就是为什么我们如此深爱着 Apache Kyuubi 这枚项目的原因！”
— 蒋晓峰，bilibili 基础架构部资深开发工程师
“看到社区成长并从孵化器毕业，这意味着我们已经成功地采用了 ‘Apache Way’并能够自我管理，这很有趣也很令人兴奋。作为一个 Apache 顶级项目，Kyuubi 是由全球各地的人们和组织开发和使用的。Kyuubi 帮助他们实现数据民主化，使具有任何技能水平的人都能舒适地处理数据，而不管他们的技术知识如何。”
— 姚琴，VP of Apache Kyuubi
“祝贺 Kyuubi 毕业，成为网易数帆孵化的首个 Apache 项目！欢迎更多朋友加入 Kyuubi，社区越来越好。”
— 余利华，网易数帆大数据产品线总经理
了解更多
Apache Kyuubi 软件是在 Apache 许可证v2.0下发布的，并由一个自我选择的项目积极贡献者团队监督。项目管理委员会（PMC）指导项目的日常运作，包括社区发展和产品发布。有关下载、文档和参与 Apache Kyuubi 的方式，请访问：
官网主页：https://kyuubi.apache.org
下载：https://kyuubi.apache.org/releases
文档：https://kyuubi.apache.org/docs/latest/index.html
Github：https://github.com/apache/incubator-kyuubi
在未来的 Kyuubi 社区活动中将看到 Apache Kyuubi 更多行动。欲了解更多信息和注册，请访问：https://apachecon.com/?ref=kyuubi.apache.org。
关于数帆