Apache InLong(incubating) 发布 0.12.0 版本

| 作者：Apache InLong

| 编辑：金心悦

| 设计：杨敏

| 责编：王玥敏

InLong(应龙) : 中国神话故事里的神兽，引流入海，借喻 InLong 系统提供数据接入能力。

Apache InLong（应龙）是一个一站式的数据接入平台，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。

刚刚发布的 0.12.0-incubating 主要包括以下内容：提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，

· 对官网文档结构进行重构，方便用户根据主线查阅相关文档

· 全流程支持Pulsar数据流向，完成高性能、高可靠场景的全流程覆盖

· 全流程支持指标，包括 JMX 和 Prometheus 输出

· 数据审计对账一期，将审计数据写入 MySQL

该版本关闭了约 120+ 个 issue，包含四个重大 feature 和 35 个improvements。

Apache InLong(incubating)简介

Apache InLong(https://inlong.apache.org)（应龙）是腾讯捐献给 Apache 社区的一站式的数据接入平台，提供自动、安全、可靠和高性能的数据传输能力，方便业务构建基于流式的数据分析、建模和应用。InLong 项目原名 TubeMQ ，专注于高性能、低成本的消息队列服务。为了进一步释放 TubeMQ 周边的生态能力，我们将项目升级为 InLong，专注打造一站式数据流接入服务平台。

Apache InLong 以腾讯内部使用的 TDBank 为原型，具有万亿级数据的接入和处理能力，整合了数据采集、汇聚、存储、分拣数据处理全流程，拥有简单易用、灵活扩展、稳定可靠等特性。

Apache InLong 服务于数据采集到落地的整个生命周期，按数据的不同阶段提供不同的处理模块，主要包括：

· inlong-agent，数据采集 Agent，支持从指定目录或文件读取常规日志、逐条上报。后续也将扩展 DB 采集、HTTP 上报等能力。

· inlong-dataproxy，一个基于 Flume-ng 的 Proxy 组件，支持数据发送阻塞和落盘重发，拥有将接收到的数据转发到不同 MQ（消息队列）的能力。

· inlong-tubemq，腾讯自研的消息队列服务，专注于大数据场景下海量数据的高性能存储和传输，在海量实践和低成本方面有着良好的核心优势。

· inlong-sort，对从不同的 MQ 消费到的数据进行 ETL 处理，然后汇聚并写入 Hive、ClickHouse、HBase、Iceberg 等存储系统。

· inlong-manager，提供完整的数据服务管控能力，包括元数据、任务流、权限，OpenAPI 等。

· inlong-website，用于管理数据接入的前端页面，简化整个 InLong 管控平台的使用。

0.12.0版本主要特性

1.打通 Apache Pulsar 全链路

在 0.12.0 版本中，我们补齐了 FileAgent → DataProxy → Pulsar → Sort 的数据上报能力，至此，InLong 支持高性能和高可靠数据接入场景：相比高吞吐的 TubeMQ，Apache Pulsar 能提供更好的数据一致性，更适用于金融、计费等对数据可靠性要求极高的场景。

感谢 @healzhou、 @baomingyu、@leezng、@bruceneenhl、@ifndef-SleePy 等同学对这个特性的贡献，更多信息请参考，相关 PR 见 INLONG-1310^[1]，使用指引见 Pulsar使用示例^[2]。

2.支持 JMX 和 Prometheus 指标

在已有的以文件输出指标之外，InLong 的各个组件开始逐步支持 JMX 和 Prometheus 指标的输出，以提升整个系统的可见性。目前包括 Agent，DataProxy，TubeMQ，Sort-Standalone 等模块已经支持上述指标，各个模块输出的指标的文档正在整理中。

感谢 @shink，@luchunliang，@EMsnap，@gosonzhang 等同学的贡献，相关 PR 见INLONG-1712^[3]，INLONG-1786^[4]，INLONG-1796^[5]，INLONG-1827^[6]，INLONG-1851^[7]，INLONG-1926^[8]。

3.模块能力扩充

Sort 模块增加了对 Apache Doris 存储的支持，实现了 Sort 分拣数据落地到 Apache Doris 的能力，使 InLong 的入库选择又多了一项。

此外，为了丰富数据接入全流程的功能，增加了 Audit、Sort-Standalone 模块：

  ·Audit 模块提供数据流全流程的对账能力，通过数据流指标来监控系统的服务质量；

  ·Sort-Standalone 模块是一个不基于 Flink 的数据分拣模块，给系统增加了一个轻量级的数据分拣能力，便于业务快速搭建及使用。

  ·Audit、Sort-Standalone 模块仍在开发中，版本稳定后将对外发布使用。

感谢 @huzk8，@doleyzi，@luchunliang 等同学的贡献，相关 PR 见 INLONG-1821^[9]，INLONG-1738^[10]，INLONG-1889^[11]。

4.官网文档目录重构

0.12.0 版本对功能模块的改进之外，官网结构以及使用文档方面也做了深度调整，包括重构文档的目录结构，补充完善各个模块的功能介绍，增加文档翻译，进一步提高 InLong 官网的文档可阅读性，实现快速查找、方便阅读。这块内容可以查看官网进行了解，目前文档还在持续建设中，欢迎大家提出宝贵的意见或建议。

感谢 @bluewang，@dockerzhang，@healchow 等同学的贡献，相关 PR 见 INLONG-1711^[12]，INLONG-1740^[13]，INLONG-1802^[14]，INLONG-1809^[15]，INLONG-1810^[16]，INLONG-1815^[17]，INLONG-1822^[18]，INLONG-1840^[19]，INLONG-1856^[20]，INLONG-1861^[21]，INLONG-1867^[22]，INLONG-1878^[23]，INLONG-1901^[24]，INLONG-1939^[25]。

5.其他特性及问题修复

相关内容请参考版本发版说明^[26]，里面列出了本次版本详细的特性、改进，Bug 修复，以及具体的贡献者。

Apache InLong(incubating)后续规划

后续版本，我们会进一步释放 InLong 的能力，覆盖更多的使用场景，主要包括：

· 支持数据接入 ClickHouse 的链路

· 支持 DB 数据的采集

· 全链路的指标审计二期功能

Apache InLong(incubating)贡献者招募

Apache InLong(incubating) 当前共有 71 名 contributor，仍处在项目孵化的初期，还有很多待办事项，包括：Feature 开发、社区运营，文档翻译等，期待更多开源爱好者加入 InLong，一起将 InLong 打造成 Apache 顶级项目。

以下为 InLong 项目的时间线：

·2021年12月22日，发布 0.12.0 版本

·2021年11月5日，发布 0.11.0 版本

· 2021年9月3日，发布 0.10.0 版本

·2021年7月12日，发起更名后第一个版本 0.9.0 投票

· 2021年4月11日，完成社区改名，改为 Apache InLong

· 2021年2月11日，发起社区改名变更申请

· 2020年12月20日，进行项目改名讨论和投票

·2020年5月30日，按照 Apache 社区规范发布第一个社区版本

· 2019年11月3日，进入 Apache 社区孵化

·2019年9月12日，TubeMQ 对外开源并捐献给 Apache 社区

Apache InLong 项目官方网站

https://inlong.apache.org

Apache InLong GitHub 地址

https://github.com/apache/incubator-inlong

加入 Apache InLong 微信交流群，请扫描下方二维码，添加“星火计划活动助手”好友，并备注“应龙”，小助手会拉你进群。

参考资料

[1]INLONG-1310:
https://github.com/apache/incubator-inlong/issues/1310

[2]Pulsar使用示例:
https://inlong.apache.org/docs/next/quick_start/pulsar_example/

[3]INLONG-1712:
https://github.com/apache/incubator-inlong/issues/1712

[4]INLONG-1786:
https://github.com/apache/incubator-inlong/issues/1786

[5]INLONG-1796:
https://github.com/apache/incubator-inlong/issues/1796

[6]INLONG-1827:
https://github.com/apache/incubator-inlong/issues/1827

[7]INLONG-1851:
https://github.com/apache/incubator-inlong/issues/1851

[8]INLONG-1926:
https://github.com/apache/incubator-inlong/issues/1926

[9]INLONG-1821:
https://github.com/apache/incubator-inlong/issues/1821

[10]INLONG-1738:
https://github.com/apache/incubator-inlong/issues/1738

[11]INLONG-1889:
https://github.com/apache/incubator-inlong/issues/1889

[12]INLONG-1711:
https://github.com/apache/incubator-inlong/issues/1711

[13]INLONG-1740:
https://github.com/apache/incubator-inlong/issues/1740

[14]INLONG-1802:
https://github.com/apache/incubator-inlong/issues/1802

[15]INLONG-1809:
https://github.com/apache/incubator-inlong/issues/1809

[16]INLONG-1810:
https://github.com/apache/incubator-inlong/issues/1810

[17]INLONG-1815:
https://github.com/apache/incubator-inlong/issues/1815

[18]INLONG-1822:
https://github.com/apache/incubator-inlong/issues/1822

[19]INLONG-1840:
https://github.com/apache/incubator-inlong/issues/1840

[20]INLONG-1856:
https://github.com/apache/incubator-inlong/issues/1856

[21]INLONG-1861:
https://github.com/apache/incubator-inlong/issues/1861

[22]INLONG-1867:
https://github.com/apache/incubator-inlong/issues/1867

[23]INLONG-1878:
https://github.com/apache/incubator-inlong/issues/1878

[24]INLONG-1901:
https://github.com/apache/incubator-inlong/issues/1901

[25]INLONG-1939:
https://github.com/apache/incubator-inlong/issues/1939

[26]版本发版说明:
https://github.com/apache/incubator-inlong/blob/0.12.0-incubating-RC0/CHANGES.md

相关阅读 | Related Reading

再谈“开源软件供应链安全”

COSCon'第六届中国开源年会|图文总结篇

全票通过！数据集成平台SeaTunnel成功进入Apache孵化器！

开源社简介

开源社成立于 2014 年，是由志愿贡献于开源事业的个人成员，依 “贡献、共识、共治” 原则所组成，始终维持厂商中立、公益、非营利的特点，是最早以 “开源治理、国际接轨、社区发展、开源项目” 为使命的开源社区联合体。开源社积极与支持开源的社区、企业以及政府相关单位紧密合作，以 “立足中国、贡献全球” 为愿景，旨在共创健康可持续发展的开源生态，推动中国开源社区成为全球开源体系的积极参与及贡献者。

2017 年，开源社转型为完全由个人成员组成，参照 ASF 等国际顶级开源基金会的治理模式运作。近七年来，链接了数万名开源人，集聚了上千名社区成员及志愿者、海内外数百位讲师，合作了近百家赞助、媒体、社区伙伴。