其他
Amoro 0.5.0 版本发布,邀测开启试用有礼
Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统,提供了一套可插拔的数据自优化机制和管理服务,旨在为用户带来开箱即用的湖仓使用体验。
8 月 10 日,Amoro 0.5.0 版本正式更新发布。这是项目从原先的 Arctic 更名为 Amoro 之后的第一个版本。在这次版本更新中,来自社区的 29 位贡献者付出了 165 次提交,感谢每位社区小伙伴的贡献!同时欢迎各位用户和开发者下载、测试和试用。
01重要更新
重构了 AMS(Amoro Management Service)的实现,使得其更具可扩展性,为后续接入更多表格式打好了基础。 适配 S3 与 GlueCatalog,为上云做了更好的支持。 优化了表详情里的 Optimizing 页面,现在可以看到失败及正在执行的 Optimizing 任务了。 Dashboard 上支持了动态管理 Optimizer Group。 支持 Iceberg Resultful Catalog Service,现在你可以将 AMS 当做你 Iceberg 表的 Meta Store 来使用了。 支持清理 Iceberg 表上无法被关联到的 Delete File。 为 Mixed Formats 表支持了 Spark 3.2/3.3 引擎。 支持在 Flink 中使用 Mixed Formats 表完成实时维表关联(Lookup Join)。 适配了 Hadoop3 和 Hive3。 Flink Optimizer 扩展了对 Flink 1.4、1.5 和 1.16 的支持。
场景简介为了更好地帮助大家试用 Amoro 0.5.0,社区总结了线上用户的经典应用场景,这三个场景层层递进和实际业务紧密结合。并且编写了详细的操作指引,组织 mentor 指导并解答各位在试用中遇到的各种问题,大家可以选择合适的场景来测试。
场景一:在实时入湖场景下自动优化湖仓表简介:在此场景下 Amoro 的自动优化功能会持续监控表上的文件情况,并根据配置在需要时及时完成文件的合并,保证湖仓表的查询性能。场景二:湖仓表分析性能的对比测试简介:本场景将延续场景一的内容,保持表上有持续的数据写入。湖仓表是否能一定程度上满足以往传统数仓在分析场景下的应用是本场景想特别验证的内容之一。场景三:基于湖仓表搭建流批统一的开发链路
简介:新型的湖仓表不仅能支撑传统离线开发中的分层建设,得益于其流式写入、读取的新能力,还可以直接在湖仓表上建设实时链路的分层建设,而实时链路沉淀下来的结果可以用于数据分析,也可以被离线链路在需要时进行修正,最终搭建出一套流批统一的开发链路。环境准备及详细场景介绍:https://note.youdao.com/s/7ed1agJ503
欢迎试用测试反馈即日起至 2023 年 12 月,有意向试用 Amoro 新版本的用户及开发者,请扫描下方二维码添加小助手。小助手邀请进入专门的试用群,群内有 mentor 进行全程辅导,帮助大家解决测试过程中的所有问题。
在试用新版本过程中,若发现重大问题提交反馈并完成修复、或发掘到有价值的需求对其进行实现,社区每月将按贡献类型评选最高价值贡献 MVC(Most Valuable Contributor)各一位。截止 12 月底,月度 MVC 可获得社区准备的 Air Pods 奖品一份。
END
看到这里记得关注、点赞、转发 一键三连哦~
精彩回顾:
Apache Iceberg + Arctic 构建云原生湖仓实战
企查查基于 Apache Iceberg 与 Arctic 构建实时湖仓实践
关于 Amoro 的更多资讯可查看:
官网:https://amoro.netease.com/
源码:https://github.com/NetEase/amoro
社群:后台回复【社群】或扫描下方二维码↓,邀你进群