重构、插件化、性能提升 20 倍,Apache DolphinScheduler 2.0 alpha 发布亮点太多!
点击上方
DolphinScheduler 2.0 alpha 主要重构了 Master 的实现,大幅优化了元数据结构和处理流程,增加了 SPI 插件化等能力,在性能上提升 20 倍。同时,新版本设计了全新的 UI 界面,带来更好的用户体验。另外,2.0 alpha 还新添加和优化了一些社区呼声极高的功能,如参数传递、版本控制、导入导出等功能。
注意:当前 alpha 版本还未支持自动升级,我们将在下个版本中支持这一功能。
2.0 alpha 下载地址:https://dolphinscheduler.apache.org/en-us/download/download.html
优化内核,性能提升 20 倍
重构 Master 的执行流程,将之前状态轮询监控改为事件通知机制,大幅减轻了数据库的轮询压力;
去掉全局锁,增加了 Master 的分片处理机制,将顺序读写命令改为并行处理,增强了 Master 横向扩展能力;
优化工作流处理流程,减少了线程池的使用,大幅提升单个 Master 处理的工作流数量;
增加缓存机制,大幅减少数据库的操作次数;
优化数据库连接方式,极大地缩减数据库操作耗时;
简化处理流程,减少处理过程中不必要的耗时操作。
优化 UI 组件,全新的 UI 界面
UI 界面对比:1.3.9(上) VS. 2.0 alpha(下)
UI 界面对比:1.3.9(上) VS. 2.0 alpha(下)
2.0 UI 重要优化在以下几个方面:
优化组件显示:界面更简洁,流程显示更清晰,一目了然;
突出重点内容:鼠标点击任务框,显示任务详情信息;
增强可识别性:左侧工具栏标注名称,使工具更易识别,便于操作;
调整组件顺序:调整组件排列顺序,更符合用户习惯。
除了性能与 UI 上的变化外,DolphinScheduler 也新增和优化了 20 多项功能
及 BUG 修复
新功能列表
任务结果传递功能
新增 Switch 任务和 Pigeon 任务组件
新增环境管理功能
新增批量导入导出和批量移动功能
新增注册中心插件功能
新增任务插件功能
优化项
优化告警组功能
优化 RestApi
优化工作流版本管理
优化导入导出
优化 Worker 分组管理功能
优化 install.sh 安装脚本,简化配置过程
Bug 修复
[#6550]DAG 任务弹出窗口中的环境列表未更新
[#6342]任务实例页面日期不显示
[#6497]Shell 任务不能正确地使
用用户定义的环境
[#6478]在补数模式下删除历史数据
的问题
[#6352]使用复制工作流功能时不能生成新的流程定义
[#5701]删除用户时,关联的访问令
牌用户未删除
[#4809]启用kerberos身份验证时
无法获取程序状态
[#4450]启用Kerberos身份验证,
Hive/Spark数据源不支持多租户
感谢贡献者
加入我们
参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:
贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
进阶问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) 手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。
添加社区小助手微信
(Leonard-ds)
☞议题征集令 | Apache DolphinScheduler Meetup 2021 来啦,议题征集正式开启!
☞Apache DolphinScheduler 1.3.9 发布,新增 StandaloneServer
☞美女亲自带你快速上手 DolphinScheduler
☞手把手教你 Apache DolphinScheduler 本地开发环境搭建 | 中英文视频教程
☞Apache DolphinScheduler使用规范与使用技巧分享
点击阅读原文,加入开源!
点个在看你最好看