查看原文
其他

Amoro 0.5.1 版本发布

王涛 Apache Amoro
2024-09-10
点击上方蓝字关注我们,了解更多内容

Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统,提供了一套可插拔的数据自优化机制和管理服务,旨在为用户带来开箱即用的湖仓使用体验。

2023 年 10 月 10 日,Amoro 0.5.1 版本正式更新发布!这个版本在 0.5.0 版本的基础上,带来了诸多 bug 修复和优化,提升了可用性和稳定性,推荐各位用户和开发者升级到这个版本。在这次版本更新中,来自社区的 26 位贡献者付出了 74 次提交,感谢每位社区小伙伴的贡献!

01
重要更新

1.Transactions 页面优化,提供更多信息

  • 提供了折线图,直观展示表的数据量和文件数量变化趋势

  • 快照 operation 和完整的 summary 信息可以在页面查看

2.AMS 提供更多的系统库支持和优化

  • 支持 PostgreSQL 作为 AMS 系统库

  • 支持首次启动 AMS 时,系统库(Mysql/PostgreSQL)自动建表

3.AMS 支持在 JDK 17 下运行

现在无需额外配置,AMS 即可以在 JDK 17 环境下运行

4.Catalog 提供表过滤功能

用户现在可以通过配置正则表达式,只把需要的表纳入 AMS 管理

5.优化 Self-Optimizing 的性能和内存消耗

  • Optimizing 的 evaluate 过程不再缓存文件对象

  • Optimizing 的 plan 过程使用流式API并进行文件过滤避免缓存大量文件

  • Optimizing 的 plan 过程优化了获取文件 sequence 的性能,降低内存消耗

6.Mixed Format 的功能增强和优化

  • 支持在 External Catalog 中管理 Mixed Iceberg 表

  • 支持 Flink 引擎 MOR 方式读取 Mixed Format 表

  • Flink 引擎 Mixed Format Log Store 支持以'group-offsets'和'specific-offsets'开始消费

7.其他问题修复和优化

修复了一些特殊场景下引发的 snapshot 元数据文件丢失、数据重复、数值长度溢出等问题,修复了 Self-Optimizing 异常卡住、内存泄漏等问题,优化了 Optimizer 的资源计算等功能。


02
Release Note
Amoro 0.5.1 版本完整的 Release Note 请参考:https://github.com/NetEase/amoro/releases/tag/v0.5.1


03
致谢

自 0.5.0 版本发布后,Amoro 社区受到了很多关注也收到了真实用户反馈,同时我们也发布了试用活动帮助大家更好地体验新版本。社区的发展离不开大量用户的积极试用和反馈,以及社区开发者的无私贡献,再次感谢大家的付出!也欢迎更多小伙伴共同参与到 Amoro 社区建设中!

0.5.1 版本贡献者(排名不分先后)



Amoro 新版本试用活动正在进行中。社区在专门的试用群安排 mentor 全程进行一对一辅导,还为试用和贡献的小伙伴精心准备了社区礼包和 Air pods。欢迎大家试用体验 Amoro!

END

看到这里记得关注、点赞、转发 一键三连哦~

精彩回顾:

Amoro 0.5.0 版本发布,邀测开启试用有礼

Amoro Mixed Format 上海钢联的构建实时湖仓实践

Apache Iceberg + Arctic 构建云原生湖仓实战企查查基于 Apache Iceberg 与 Arctic 构建实时湖仓实践
关于 Amoro 的更多资讯可查看:官网:https://amoro.netease.com/源码:https://github.com/NetEase/amoro社群:后台回复【社群】或扫描下方二维码↓,邀你进群


点击下方【阅读原文】直达 Amoro 0.5.1 Release Note
继续滑动看下一个
Apache Amoro
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存