其他
《2022开源大数据热力报告》发布，Flink 摘得「流处理」领域热力值 TOP1
11 月 5 日，在云栖大会一体化大数据智能峰会上，由开放原子开源基金会、X-lab 开放实验室和阿里巴巴开源委员会联合出品的《2022开源大数据热力报告》重磅发布。
开放原子开源基金会副秘书长刘京娟
定量分析 “后 Hadoop 时代” 开源趋势
Hadoop 作为开源大数据技术的起源，兴起于 2006 年，至今已有 16 年历史。报告收集了从 Hadoop 发展第 10 年（即 2015 年）至今的相关公开数据，并进行了关联分析，定义了开源项目热力值研究模型，用量化指标描述开源项目的开发迭代活跃度和受开发者欢迎程度。
报告所呈现的开源大数据热力图，从技术全景、技术栈分类以及项目维度对入围项目的热力表现进行洞察，将项目进程中的关键事件与热力表现关联分析，并访谈了开源基金会、知名开源项目等领域专家，尝试找到项目健康发展一般规律，并对有效提升项目影响力的方法论进行了归纳总结。
开源大数据技术的 “摩尔定律”
报告发现，每隔 40 个月，热力值会提升1倍，开源大数据完成一轮技术迭代升级，而且技术周期在加速缩短。在 8 年时间内，发生了多轮热力变迁，反映出背后技术的更新换代趋势。开发者对「数据查询与分析」保持了长期的开发热情，连续 8 年位居热力值榜首。2017 年，「流处理」热力值超过「批处理」，大数据处理进入实时阶段。数据规模不断扩大，数据结构也更多样化，「数据集成」从 2020 年开始爆发式增长。
三大热力趋势：多元化、一体化和云原生
用户需求多样化推动技术多元化。「数据湖」以 34% 的热力值年均复合增长率高居热力值增速第一位，「交互式分析」、「DataOps」紧随其后，分列第二、三位 。而原有 Hadoop 体系的产品迭代则趋于稳定，热力值年均复合增长率为 1%。
从 2015 年开始，计算部分率先进入「一体化」演进历程，其中的典型代表「流批一体」在 2019 年出现了第一个热力峰值。以数据湖存储为代表的存储一体化从 2019 年起进入了一个新的发展阶段，涌现了 Delta Lake、 Iceberg 和 Hudi 等热点项目。
云原生大规模重构开源技术栈。诞生于云原生时代的开源项目如雨后春笋般破土成长。「数据集成」、「数据存储」、「数据开发与管理」等领域均有重大项目更迭，新项目热力值占比已经超过了 80%。
开源大数据热力榜单 TOP30
本报告从 102 个入围项目中，评选出了 TOP30 热力榜单。Kibana 以 989.40 的热力值高居榜首。ClickHouse（数据查询与分析）、Airflow（数据调度与编排）、Flink（流处理）、Airbyte（数据集成）分别摘得各自细分领域的 TOP1。Pulsar、Doris、StarRocks、DolphinScheduler、SeaTunnel 等一众中国开源项目也表现出高热力趋势。把解决用户痛点作为核心竞争力，是这些优秀开源项目的共同特征，这一特征保证它们与时俱进，成为热力趋势中的 “常青树”。
感谢开源中国、InfoQ 和阿里云开发者社区的战略支持；感谢对本报告内容产出做出重要贡献的 32 位专家和贡献者；感谢 CSDN、DataFun、Segmentfault思否、开源社等社区合作。
报告下载地址：https://developer.aliyun.com/ebook/7816/99139?spm=a2c6h.13046898.0.0.55966ffaLxne9W
Flink Forward Asia 2022
PC 端
建议前往 FFA 2022 大会官网预约直播https://flink-forward.org.cn/
移动端
建议关注视频号预约直播
▼ 关注「Apache Flink」，获取更多技术干货 ▼