【金猿技术展】一种松耦合的分布式高性能工作流任务调度系统——数新网络解决大数据统一调度问题

数新网络技术

本项目由数新网络投递并参与“数据猿年度金猿策划活动——2022大数据产业创新技术突破榜单及奖项”评选。

‍数据智能产业创新服务媒体

——聚焦数智 · 改变商业

---

本系统技术上采用了一种松耦合的分布式工作流协调系统和方法，用户可以通过调用接口服务API，对工作流进行定义、上线和运维等操作；整个调度系统通过集成分布式定时引擎Quartz，来定时调度工作流并添加到工作流派发分布式消息队列MQ，接收工作流并处理其任务依赖关系，将协调后待执行的业务型任务添加到任务派发分布式消息队列MQ；分布式任务执行器Worker从任务派发分布式消息队列MQ中接收各业务型任务并执行，将任务执行结果通过任务回调分布式消息队列MQ回调至分布式工作流协调器Coordinator；最后Coordinator将任务执行结果持久化保存到数据库，用于反馈给用户。本系统专注于逻辑协调处理，保证工作流协调处理与任务执行充分解耦，提升系统的吞吐量、扩展性以及伸缩性。

技术说明

本系统针对现有技术的不足，采用一种松耦合的分布式工作流协调方法，让Coordinator专注于逻辑协调处理，保证工作流协调处理与任务执行充分解耦，提升系统的吞吐量、扩展性以及伸缩性。

系统主体架构图

整个调度系统包括：接口服务API，分布式工作流协调器Coordinator，分布式任务执行器Worker，高可用缓存Cache，分布式消息队列MQ，数据库RDBMS和分布式协调服务Zookeeper。

处理流程图

接口服务API通过Zookeeper来监控分布式工作流协调器Coordinator和分布式任务执行器Worker的服务情况。

分布式消息队列MQ包括工作流派发分布式消息队列MQ（workflow-MQ）、任务派发分布式消息队列MQ（task-dispatch-WorkerGroup-MQ）和任务回调分布式消息队列MQ（task-callback-MQ）。

分布式工作流协调器Coordinator执行以下功能：集成分布式定时引擎Quartz，定时调度工作流并发送到workflow-MQ；从workflow-MQ接收工作流进行处理；处理工作流到任务队列的DAG拓扑和优先级排序；将工作流实例及其任务实例的创建、状态更新的数据持久化保存到数据库；将工作流及其任务队列的上下文缓存到高可用缓存redis中；业务类型任务通过task-dispatch-WorkerGroup-MQ派发到分布式任务执行器Worker，逻辑型任务直接在协调器Coordinator上执行；任务实例执行结果通过task-callback-MQ获取；评估自身主机内存、计算资源和线程池的使用率从而合理接收工作流。

分布式任务执行器Worker负责各业务型任务的接收、执行、回调；评估自身主机内存、计算资源和线程池的使用率从而合理接收任务。

协调处理过程示意图

使用本系统的带来的优势效果：

1、API在工作流定时上线Quartz时配置优先级，保证工作流的优先级顺序；Coordinator在工作流由DAG转节点任务队列时，进行拓扑排序结合优先级排序，保证工作流中任务队列的优先级顺序；提高了调度的精确性。

2、增加高可用缓存redis，来缓存工作流实例及其任务队列上下文，独立的上下文缓存使得工作流实例的内部任务回调和派发处理可以跨Coordinator进行，更大程度的实现Coordinator的分布式能力，提高系统的业务处理能力。

3、增加MQ，用于工作流和任务派发、回调的消息队列，提高系统的吞吐量；并且MQ的分布式消费保证了工作流和任务不被重复消费。

4、将传统的Coordinator与Worker通过MQ松耦合；保证Coordinator和Worker各自的职责单一且明确，业务更轻量；MQ对于系统变更或适配更多类型Worker友好。

★专利申请号/公开号：202111061941.2

开发团队

·带队负责人姓名：原攀峰

原攀峰，北京航空航天大学计算机硕士，十余年大数据、隐私计算行业研发经验，国内外发明专利15篇。前阿里巴巴集团大数据平台高级技术专家，阿里御膳房、阿里云数加平台&DataWorks初创团队核心技术骨干，阿里云隐私计算平台（DataTrust）总架构师和研发负责人，从零到一完成DataTrust产品工程研发及商业化落地。

团队其他重要成员姓名：陈廷权、李会朋、李斌松。

·隶属机构：数新网络

数新网络，全称浙江数新网络有限公司，2020年7月成立，总部位于杭州。公司创始人陈廷梁（花名：王贲）是原阿里云大数据平台研发总监，御膳房、DataWorks平台创始人，数加平台总负责人。数新作为一家拥抱开源，专注于云数据平台的大数据服务商，致力于结合全球云数仓先进理念，打造适合中国落地路径的云数仓体系。通过公司自主研发的DataCyber产品序列，包括云数据平台CyberMeta，云数据科学平台CyberScience，数据运维平台CyberOPS，数据分析平台CyberExcel，可提供数据汇聚到数据服务、高效建模、智能运维、智能分析的一站式服务，让数据从采集到展现、从分析到驱动应用得到高质量结合，整体提升企业竞争力。

公司已于2022年8月完成数千万元Pre-A轮融资，获得资本市场的高度认可。目前公司团队人数已逾百人。公司成立以来，营业收入的年平均增长率达到20%，由于对费用的控制力度较大，净利润的年平均增长率达到30%，公司轻资产，轻负债，资产负债率低于30%，产品毛利率高达70%，2022年度获得数千万的融资，资金量充足。

相关评价

数新网络为我司的数据平台进行全面升级，提供了实时计算平台、数据资产管理平台，在数据及时性得到大幅度提升，极大程度提供了各部门的工作效率。

——某大型国有能源公司

随着能源大数据共享平台的深度建设，企业用户和社会用户的数据需求也逐渐增多，数字化转型升级迫在眉睫，数新网络提供的云数据平台，从数据接入、数据集成、数据加工到数据共享，提供了一站式服务能力，助力数据融合，加速数据共享。

——某大型国有电力公司

提示：了解更多相关内容，点击文末左下角“阅读原文”链接可直达该机构官网。 

联系数据猿