本文根据 2023 云栖大会演讲实录整理而成,演讲信息如下:
演讲人:陈守元 | 阿里云计算平台事业部开源大数据产品总监
演讲主题:阿里云开源大数据产品年度发布
01
EMR:面向下一代湖仓和全面Serverless化
首先,我们来看EMR。EMR 是一个云原生开源大数据平台系统。对于 EMR 而言,线下IDC 大量基于开源 Hadoop生态构建的线下用户搬站上云第一站就会选择EMR,因为改造代价特别地小,几乎可以无缝平迁上云。这对用户来说是具有巨大的人力资本和机器资本的节省。 我们将阿里云EMR 定位为 用户搬站上云的第一站。
今年我们的产品矩阵做了升级,我们希望在云上基于更多样化的 IaaS 提供多样化的 EMR 产品形态。EMR 通用版,核心解决的用户问题就是帮助用户的大数据系统平迁上云,这也是和用户线下部署兼容度最高的方案。第二个是 EMR 容器版,即 EMR ACK 版。现在 IT 基础设施的云原生容器化基本上都深入人心,我们大量客户在云上基于 IT 系统的构建都会选择容器化的平台,例如阿里云的 ACK。用户自然而然会联想到如何把Data 和 AI 的 workload 迁移到IT 基础设施的同一个集群里,完成Data&AI 的负载 与 IT 设施负载混用,EMR 容器版,或者说 EMR onACK 就是帮用户解决这类问题的产品。
最后也是我们今天想强调的重点就是 EMR Serverless 版。对于 EMR Serverless 子产品线而言,内部有些feature 或者功能 在之前云栖中已做了发布。今天对于 EMR Serverless 产品线是一个更加完整的矩阵呈现,今天会重点讲一下 Serverless Spark、Serverless StrarRocks 两大主流 EMR 计算引擎的 Serverless 化,今天也是我们正式对外提出一个完整的 EMR Serverless化的产品线矩阵。
EMR Serverless 版是 EMR 产品线形态中诞生最晚、发布最新的一代产品和技术,其实 EMR 围绕 Serverless 的布局在一年前、两年前都在紧锣密鼓地进行。前面 OSS-HDFS、Serverless HDFS 这一块其实在去年、前年已有发布,但是今年我们做了更多的尝试努力,我们希望把 EMR 上面主流的大数据计算引擎、存储引擎、开发平台、元数据管理全都 Serverless 化,只有这样方才能够更好地满足云原生用户更好地利用大数据。Serverless Spark,更好地解决了湖仓场景下 Data ETL 的处理能力,Serverless StrarRocks 更好地解决了湖仓场景下 Data analytic 能力,Serverless HDFS 更好解决了湖仓场景下数据存储能力,最后 EMR Stutio 帮助用户线下可以平迁体验上云,让用户能够更好使用云上大数据基础设施,同时还能免运维。所以EMR 今年从计算,到存储,到开发环境 几乎全部实现了 EMR 主力引擎和平台都能够做到 Serverless 化,我们希望能够把整个大数据开发运维闭环,从而进一步帮助云原生上的开发者更好地把大数据用起来。
下面仍然回到 EMR 主力场景, EMR通用版,围绕湖仓场景做了大量更新。EMR 主力场景仍然围绕着湖仓处理,围绕在湖仓计算、存储、运维、开发做了大量的更新。在计算层面,我们核心还是降本提效,IaaS 层适配了新的倚天 CPU,PaaS 层做了 Native Spark RunTime,这些都是从 IaaS 层和 PaaS 层更好地帮助用户降本提效。存储部分,Serverless HDFS (同时也称之为 OSS-HDFS) 很早已有发布,但是在这一年希望让Serverless HDFS 和 本地 HDFS 在使用层面给用户体验完全一致,包括 在 文件性能、数据访问、源数据获取等方案 做到几乎完全一致。为上述目标,我们因此做了大量有关系统性能优化 以及 系统安全性优化。我们的 Open 文件性能的提升、DU 访问源数据的提升,这些都是今年的成果。
EMR 运维,这主要体现在两个方面。在云上来说 EMR 能结合到云原生上面给用户创造比较大的平台价值就在于弹性,今年我们做到大量的弹性优化。我们大量客户给我们反馈说 EMR 的平台弹性越来越稳定;另外一个运维重点,即 EMR Doctor,我们希望通过 AI 的方式、自动化、智能化的运维平台方式帮助用户去解决开源大数据运维的问题。从社区开源大数据用户反馈来看,开源大数据使用最大的、最痛的点就是系统运维。如何长期有效地保证我们的业务在云上健康地运行,这是很多用户上云和云下使用开源大数据非常大的痛点,EMR Doctor 就是解决这个问题。EMR 开发,即 EMR Studio,我们希望云原生 Serverless 化托管了我们的开发平台、调度平台,帮助用户从线下的体验完全平迁到云上的一套体验。以上均是 EMR 围绕湖仓场景的重大更新。
02
Flink Streaming Lakehouse:
新一代的流式湖仓新方案
回到Streaming Lakehouse 我主要从产品方向 讲三个场景要点。前面已经提到Lakehouse 在 AI 时代下 Lakehouse 的方案会越来越重要,因为它既能存储结构化的数据又能存储非阶段的数据,这个是大数据和 AI 一体化存储的重要承载点。但是 Lakehouse 在实践的过程中仍然遇到时效性的问题,整个 Lakehouse 的 Data Pipeline 串联起来可能达到小时级别的延迟,从最开始的数据进入到数据价值的发挥,比如 BI、AI,能够看到整个数据链路到小时级别,这其实对于用户来说要构建一个实时湖仓面临很大的延迟。所以 Flink 希望一起帮助用户做到 Lakehouse 的实时化,通过流式、实时帮助用户做很大的提升。
最后是 Unified,其实 Flink 社区在前几年一直主打 Unified Batch & Streaming。我们希望在计算层面做到融合,就是流批一体。我们在开源社区推广流批一体的方案时,发现如果用户只是计算层面的融合对于用户只能解决一半的问题。还有一半问题在于存储,存储仍然是两套的存储方案,两套存储和两套数据因此会导致的离线和实时的数据不一致性对于用户来说是非常大的问题,所以 Flink 团队和社区一起构建了 Paimon。Paimon 基于底层的分布式文件系统,比如说 OSS 会构建一个 Unified 的 storage,既可以做流,也可以做批,我们称之为批流一体的存储。所以 Flink+Paimon 构成 Lakehouse 的方案,既具备 Unified 的 process,也可以具备 Unified 的 Storage,这一层合并在一起能够真正完整地帮助用户实现流批一体的解决方案。这是我们 Streaming Lakehouse 的价值点,最终我们希望帮助用户在 Data+AI 时代下提供实时化、流式化和 Serverless 化的湖仓方案。
回到 Flink 主线,我们一直以来的使命就是希望帮助用户做到大数据的升级和转型,所以追求实时场景下的性价比一直是 Flink 团队一直以来努力的方向。追求实时化的性价比今年有两个重要的点,一个是Flink全面拥抱了倚天,结合到倚天 整个实时计算 Flink 综合的性价比有 50%的提升,这是Flink 团队结合IaaS 层面做了大量优化。同时在 PaaS 层 Flink 企业级内核 我们仍然在做大量优化,这其中包括算子的优化,以及未来我们会公布 native runtime 的优化。这部分优化相比于开源Flink引擎,我们实时计算 Flink 版 会有两倍的提升,特别是在吞吐部分可以解决很多用户高吞吐量或者大流量的实时计算场景。
03
Elasticsearch:Serverless 和 Search for Data & AI
第一个是我们的 Elasticsearch 的版本发布。坦白地说,当前产品形态,即 ES on PaaS 的独立集群版本已经非常好地满足我们中国公有云和专有云客户很多的市场需求,不少中大型公司都非常认可阿里云的 ES产品形态,产品客户受众无论在基数以及未来增长都很不错。但实际上随着最近这一两年客户在降本提效上提上了日程之后,发现有一批非常大的潜在客户以及中长尾的客户其实仍然对云上的独立集群版本所带来的成本仍然认为是比较大的上云入门门槛。他们非常希望以低门槛甚至零门槛的方式开启云上的 ES,这就是我们 ES Serverless 要做的初衷,我们希望以一个零门槛的方式能够帮助用户开启云上 Elasticsearch 的使用。
同时 Elasticsearch Serverless 也是我们国内首家支持通用场景的 ES 版本。去年我们也发布了一个 Elasticsearch Serverless版本,但更多解决日志 ELK 场景的需求。但是该版本在数据一致性上会存在问题,所以今年我们进行大量的产品技术架构重构。本次 ES Serverless 的发布是一个面向通用场景的升级发布,这里面不仅支持包括日志场景,还支持订单、金融等等场景,这里面的数据一致性都可以得到很好的保障。这是我们今年发布相比于去年发布升级很不一样的点。针对 ES Serverless 可以真正按量付费、秒级弹性、简单运维,同时可以完全兼容开源的 ES,这是很多其他的厂商不一定能做到的。
下面重点强调 ES for AI 和 Data 的部分,标志着 ES 真正从 Data 面向 Data&AI 的搜索引擎。云栖会场外面有很大的广告栏,主打的是 ESRE 的发布,这是 ES 公司重大的发布。发布的核心简单跟大家说一下,就是支持 AI 相关检索,包括向量检索,包括多路并规的查询优化,这些东西都是在 ES 内核重点打的点,帮助用户做 AI 检索。阿里云ES 围绕着 ES 最新的 AI 能力进行了大量方案集成,就是右边的增强方案。我们跟达摩院 AI 方案做联合,和 PAI—EAS 方案联合,甚至会和社区一起做更多的联合方案,这些方案能够帮助我们的用户更好地在云上用上阿里云、达摩院 AI 的技术,和社区的 ES 更好地结合起来。所以我们希望通过 ES8.9 这个版本能够帮助用户构建下一代面向 Data+AI 的检索系统。
04
Milvus:AI时代的搜索引擎
回顾一下我们讲了大数据的三个趋势。Cloud Native,整个 IT 投资都在往云上加速转型。Serverless 化,我们认为未来的 PaaS 平台最终全部都会归到 Serverless 化,所有 AI 产品、大数据产品和其他 PaaS 产品都会归到 Serverless 化。最后是 Data+AI,未来 AI 和大数据会做彻底的融合打通,这也是我们整个开源大数据一直以来在积极围绕这三个点做布局。
最后希望大家多多关注阿里云,关注阿里云的开源大数据,谢谢大家!
/ END /
更多推荐
2023阿里云金秋云创季-大数据AI专场火热来袭!多款产品免费试用,部分入门规格首月1元起!点击「阅读原文」,前往会场,多款热销产品助力开发者低成本上云!