海豚调度

其他

用一杯星巴克的钱,训练自己私有化的ChatGPT

模型路径,可以为huggingface的模型id,也可以为我们训练出来的模型地址,即上面training工作流的output_path。默认为TheBloke/vicuna-7B-1.1-HF
2023年5月29日
其他

Apache DolphinScheduler 深圳 Meetup,走进OPPO不容错过的大数据盛宴!

在万亿级数据采集与同步中的实践策略,包括其独特的数据采集同步架构,核心能力展示,以及如何保障链路的可用性和数据质量。杜延龙腾讯音乐大数据架构师议题:Apache
2023年5月25日
其他

CommunityOverCode Asia 2023 强势来袭!15 大专题议题征集 6 月 6 日截止

等构建自己的实时计算平台。在该主题中,您将了解到一线大厂把这些Apache项目应用到其生产环境中的实际经验,以及这些Apache项目生态的最新发展和流计算技术未来的发展方向。专题十五:WEB
2023年5月24日
其他

企业级应用如何用 Apache DolphinScheduler 有针对性地进行告警插件开发?

}完成插件的开发和注册后,需要有个轮询线程来遍历查询需要发送的消息和完成发送的动作,在AlertSenderService的run方法完成了这些@Overridepublic
2023年5月23日
其他

【第七期】Apache DolphinScheduler 每周 FAQ 集锦

问DS进行项目级别的发布或者新工作流的发布生产有比较好的方法吗?目前对于工作流内subprocess任务和dependent任务迁移,会丢失依赖的任务ID,需要大量修改,是否有比较好的解决方法?
2023年5月19日
其他

Apache DolphinScheduler 荣获 2022 年中国开源创新大赛二等奖!

DAG(有向无环图)的分布式任务调度系统,旨在帮助用户高效地管理和调度大规模的数据处理任务。它具有易于使用、高可靠性和可扩展性的特点,能够处理复杂的任务依赖关系并实现高效的任务调度。该项目于
2023年5月17日
其他

Apache DolphinScheduler 发布 3.1.6 版本,支持 SeaTunnel Zeta 引擎

Changelog:https://github.com/apache/dolphinscheduler/releases/tag/3.1.6下载
2023年5月16日
其他

【第六期】Apache DolphinScheduler 每周 FAQ 集锦

答3.1.5版本支持,参考https://dolphinscheduler.apache.org/zh-cn/docs/3.1.5/guide/task/dependent。
2023年5月12日
其他

Apache DolphinScheduler 开源之夏学生项目申请开启,6 大课题等你来拿万元奖金!

Shell等近20种任务类型;高扩展性:支持自定义任务类型,调度器使用分布式调度,调度能力随集群线性增长,Master和Worker支持动态上下线。截至目前,Apache
2023年5月9日
其他

宕机了?!DolphinScheduler 高可用和 Failover 机制关键时刻保命

千万级数据接入能力智能网联汽车云平台引进核心调度系统☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!☞DolphinScheduler
2023年5月6日
其他

【第五期】Apache DolphinScheduler 每周 FAQ 集锦

社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。参与
2023年5月5日
其他

DolphinScheduler×集度 | DolphinScheduler 灵活调度新能源汽车多样化业务场景

集度汽车集度大数据集成平台日累计离线调度任务量2w+,既要满足高并发分发任务也要满足多种任务类型,为了保障数据的准确性和及时性,集度选择Apache
2023年5月4日
其他

【第四期】Apache DolphinScheduler 每周 FAQ 集锦

答DolphinScheduler是专注于调度的,你的问题可以用SeaTunnel同步解决。问DolphinScheduler的元数据库能换成达梦的吗?支持达梦改起来复杂吗?
2023年4月28日
其他

Apache DolphinScheduler结合Ray AIR提升AI模型训练效率

导读随着AIGC时代的到来,机器学习技术也在不断涌现,例如chatgpt和diffusion等模型的诞生,给人工智能带来了新的机遇和挑战。对于企业和个人而言,跟不上这波潮流,可能就会被淘汰。因此,如何研究和应用新的机器学习技术,成为了各行各业的关注焦点。而Apache
2023年4月25日
其他

【第三期】Apache DolphinScheduler 每周 FAQ 集锦

问流都是SQL,作业流上线后,后端怎么直接调用作业流呢?在DolphinScheduler里面好想没有看到调用的,是不是框架里面用DolphinScheduler的API进行调度的呢?
2023年4月21日
其他

DolphinScheduler×T3出行 | 打造车联网一站式数据应用交互体验

DolphinScheduler核心功能完全释放到平台侧,对于上层业务来说甚至不感知调度的存在。03提高可靠性提高SPARK任务容错异步获取application
2023年4月19日
其他

PyDolphinScheduler 发布 4.0.3 版本,修复无法提交文件到资源中心的问题

发布,修复工作流实例甘特图查看异常等问题☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!☞为什么工作流中的数据质量要尽早验证,经常验证?☞【每周
2023年4月17日
其他

【每周 FAQ】第二期 | 回答你关于 Apache DolphinScheduler 的疑问

社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。参与
2023年4月14日
其他

Apache DolphinScheduler 3.1.5 发布,修复工作流实例甘特图查看异常等问题

社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。参与
2023年4月12日
其他

为什么工作流中的数据质量要尽早验证,经常验证?

关注我们摘要做数据的同学经常会遇到的一种情况是:业务同学经常说我们做的报表看起来数据不准确,有什么办法改善吗?这就是今天我们要聊的常见数据质量管理的一种常见情况。数据质量管理(Data
2023年4月10日
其他

【每周 FAQ】第一期 | 回答你关于 Apache DolphinScheduler 的疑问

https://mirrors.tuna.tsinghua.edu.cn/apache/dolphinscheduler/3.1.4/问DolphinScheduler
2023年4月7日
其他

Apache DophinScheduler Meetup 成都站— 批流一体与大数据调度最佳实践

千万级数据接入能力智能网联汽车云平台引进核心调度系统☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!☞DolphinScheduler
2023年4月4日
其他

Apache DolphinScheduler 从 1.3.4 升级至3.1.2 过程中的问题记录及解决方案

dolphinscheduler-service/src/main/java/org/apache/dolphinscheduler/service/utils/CommonUtils.java
2023年4月3日
其他

DolphinScheduler×思科网讯:k8S整合实践,提高大数据处理效率!

作业管理思科网讯的一个典型用例是在多个集群上部署相同的作业,为了最大限度地减少部署工作,通过概括通用处理逻辑并替换每个集群所需的配置,来一键开发多个集群功能。思科网讯使用一个集中的
2023年3月29日
其他

Apache DolphinScheduler 社区成功举办“小型”网友见面会,共同探讨大数据工作流引擎的发展与创新

自己也一直活跃在开源社区。京东的李建军老师则表示自己已经主攻云计算方向,在DS+K8s这块也颇有心得,欢迎大家前往交流。Bingo的徐帅和前国美大数据工程师杨大海则表示从
2023年3月28日
其他

PyDolphinScheduler发布4.0.2版本,修复无法提交工作流到DolphinScheduler 3.1.4的问题

千万级数据接入能力智能网联汽车云平台引进核心调度系统☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!☞DolphinScheduler
2023年3月27日
其他

社区最早一批贡献者为什么还在坚持活跃?

DolphinScheduler,让社区的开发者可以实践在工作中并体现价值,同时带动新人加入社区,不断成长,一起做有意义的事。参与贡献随着国内开源的迅猛崛起,Apache
2023年3月21日
其他

DolphinScheduler UI 项目启动提速 2 倍,原来是使用了 Vite!

modules和预处理器(Sass)。在项目中表现出来就是单个模块或者页面中有个style.module.scss文件。至于为什么使用CSS预处理语言,主要还是为了提高开发效率,节约成本。而CSS
2023年3月20日
其他

PyDolphinScheduler 发布 4.0.1 版本,支持任务缓存功能

Note:https://github.com/apache/dolphinscheduler-sdk-python/releases/tag/4.0.1参与贡献随着国内开源的迅猛崛起,Apache
2023年3月15日
其他

Apache DolphinScheduler 成功晋级中国开源创新大赛决赛!

社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。参与
2023年3月15日
其他

DolphinScheduler 如何用 Java+Rest-Assured+PageObject 进行自动化测试

project.update(projectCode,"ApiTestCreateProject_update_now","ApiTestCreateProject_update_now")
2023年3月13日
其他

Apache DolphinScheduler GitHub Star 突破 10000!

特性是其支持告警和监控。该平台提供了内置的告警系统,可以通过电子邮件、短信或其他渠道通知用户作业失败或其他问题,还提供了强大的监控仪表板,使用户可以实时跟踪工作流的状态和性能。AI
2023年3月8日
其他

DolphinScheduler×长安汽车 | 千万级数据接入能力智能网联汽车云平台引进核心调度系统

的经历分享给更过人,欢迎投稿给我们~投稿邮箱:debra.chen12@gmail.com或添加小助手微信投稿参加活动有机会获得精美礼品🎁🎁,包括价值
2023年3月6日
其他

Apache DolphinScheduler 3.1.4 版本发布,修复一键安装报错问题

社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。参与
2023年2月28日
其他

迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler

使用(https://dolphinscheduler.apache.org/python/main/start.html#installing-pydolphinscheduler)。#
2023年2月24日
其他

去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

转眼间,2022年已经成为过去,虽然存在疫情的阻隔,没办法举行线下活动,但是也没有妨碍大家参加线上活动的热度,“小海豚”也达成了不少令人欣喜的成就。2023年,我们与各位一起再次起航,希望能更多给同学赋能,我们欢迎投递任何跟
2023年2月14日
其他

Apache DolphinScheduler 发布 2.0.8 版本,修复重试任务阻塞其他任务等问题

版本的贡献者(按首字母排序),共勉!ContributorKEN-LJQJinyLeeChinalsy1072915121Radeitywcmolin参与贡献随着国内开源的迅猛崛起,Apache
2023年2月13日
其他

干货教程 | DolphinScheduler 中的函数使用与扩展

placeholderName);}在同级目录下对时间函数扩展接口做了默认的实现,默认不需要做函数扩展计算和扩展计算返回NULL。时间函数默认扩展实现@Componentpublic
2023年2月8日
其他

BIGO 如何做到夜间同时运行 2.4K 个工作流实例?

上有多个作业在执行。这会导致工作流跑的数据不对,另一个就是会严重堵塞集群,影响其他工作流的正常运行。针对这个问题,我们做了相对应的措施。在实例表增加一个字段,master/worker
2023年2月6日
其他

「2022 中国开源年度报告」OpenRank DolphinScheduler 名列前茅

Meetup分享嘉宾继续火热招募中☞非代码的贡献也能成为Committer,我与DolphinScheduler社区的故事☞分布式可视化作业调度平台
2023年2月3日
其他

优秀用户案例有奖征集 | 活动火热开启,快来投稿!

字以内,鼓励技术详解评审标准:社区将从完成度、技术详尽度、创新性三个维度对提交案例进行评审,数量不限,择优选取结果公示:2023
2023年2月2日
其他

最新性能测试 | Apache DolphinScheduler 每分钟调度任务并发是 Apache Airflow 2 倍

Airflow__DATABASE__SQL_ALCHEMY_CONN=mysql+mysqldb://admin:admin123@10.0.0.1:3306/test
2023年1月29日
其他

分布式可视化作业调度平台 DolphinScheduler MasterServer 设计核心要点揭秘

以增加分片数量,在进行大数据量业务操作时可有效提升任务处理能力和速度:下面思考一个问题,如何保证同一个命令只被一个MasterServer执行?在任务分片路由的过程中,假如
2023年1月28日
其他

非代码的贡献也能成为Committer,我与DolphinScheduler社区的故事

已经有10多场,平均下来每个月有一场,其中还包括推荐社区去参加“大数据”领域的技术活动分享,值得一提的是,除了组织活动这个工作流之外,我还几乎搜集了所有国内“大数据”领域的开源项目,并利用这个
2023年1月16日
其他

在 AWS 上部署无服务器 Apache DolphinScheduler 任务调度系统

上去(参考:https://docs.aws.amazon.com/zh_cn/AmazonECR/latest/userguide/docker-push-ecr-image.html)。本文使用
2023年1月9日
其他

Apache Spark + 海豚调度:PB 级数据调度挑战,教你如何构建高效离线工作流

2010年,我国进入移动互联网,数据规模成几何式增长。在大数据开源技术领域,以Hadoop为核心的大数据生态系统面对海量数据也不断发展与迭代,大数据处理流程中的各个开源组件,也一起开启了狂飙突进的大数据时代,推动整个行业开启了数字化变革之路。*
2023年1月5日
其他

Apache DolphinScheduler 动态任务组件设计实现方案,减少前端代码

类型没有任何特殊配置,使用基础节点配置已能满足需求,所以不做过多介绍。Inputclearable:是否在有内容时显示清空按钮placeholder(支持多语言):input
2023年1月4日
其他

Apache DolphinScheduler 社区年度总结

社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。参与
2022年12月30日
其他

PyDolphinScheduler 4.0.0 正式发布

4.0.0,此后本仓库开始进行独立维护。新仓库地址:https://github.com/apache/dolphinscheduler-sdk-pythonPyDolphinScheduler
2022年12月27日
其他

Apache DolphinScheduler 发布 3.1.2 版本,Python API 实现优化

(#12892)[升级][SQL]修改表t_ds_worker_group在postgreSQL升级脚本中增加描述字段#12883重试任务时修复
2022年12月23日