张程伟:从开源项目到企业级数据库,云和恩墨 MogDB & Uqbar 的技术探索与实践
导语
4月8日下午,为期两天的第十二届数据技术嘉年华(DTC 2023)在北京新云南皇冠假日酒店圆满落下帷幕。大会以“开源·融合·数字化——引领数据技术发展,释放数据要素价值”为主题,汇聚产学研各界精英到场交流。作为大会的协办方和重要合作伙伴,云和恩墨·本原数据技术合伙人张程伟、金毅在主论坛发表了题为《回归数据本原,企业级数据库的技术探究》的联合演讲。本篇文章对张程伟的演讲内容进行了整理归纳,供大家学习参考。
张程伟首先介绍道,云和恩墨目前有两款数据库产品:MogDB 是面向高并发、低时延交易型应用场景打造的安稳易用的企业级数据库,历经近三年的打磨,将于2023年6月30日发布第三个LTS版本-MogDB 5.0。Uqbar 是于2022年年底推出的超融合时序数据库,主要针对工业物联网海量数据的管理场景,即将在今年6月30日发布第一个LTS商业版本-Uqbar 2.0。这两款产品都是基于 openGauss 数据库内核打造的。
DTC2023
为什么选择openGauss?
张程伟说这主要出于两点考虑:从合作伙伴的视角出发,我们认为 openGauss 社区是一个能够长期持续演进的国产数据库的根社区。一方面它是开源和商业双向促进的作用,通过社区的开源能够联合多方力量共同参与研发,建设社区生态,并且培养很多的内核开发人才的储备;另一方面,再经过商业版本的落地,不断地在真实的客户场景上去做改进、增强并回馈到社区,形成良好的正向循环。
另外一方面 openGauss 社区是一个开放、透明的社区,能够促使社区合作伙伴积极的参与到社区的共建、共享、共治中。云和恩墨作为社区的第一批成员和理事单位,参加了社区的14个SIG组,并主导IoT SIG组。截至目前,云和恩墨在社区里有1个Maintainer、22个Committer、42个D2代码贡献者,总计提交合入700多个PR,在社区所有参与组织中除华为外排名第一。
DTC2023
云和恩墨/MogDB的优势在哪里?
MogDB 继承了 openGauss 四高的竞争力:高性能、高可用、高安全、高智能,并在这基础之上,进一步进行企业级增强。
在技术层面,MogDB 在性能和TCO维度重点打造核心的技术竞争力。推出的自治异步事务提交、动态分区裁减、并行索引扫描、增量排序优化等特性能够大幅提升数据库性能并降低总拥有成本。
在可用性、可维护性方面,MogDB 也做了大量的工程改进,如SQL运行状态观测、OM诊断能力增强、Trace和Dump增强等,这些特性能够辅助定位根因、提升问题诊断效率。
在用户最为关心的兼容性方面,无论是 Oracle、MySQL 还是 PostgreSQL 都能够达成常用功能90%以上的直接兼容,实现用户核心数据库的平滑迁移替代。
经过重重性能提升,MogDB 产品在第三方的评测机构测评显示,在4路鲲鹏服务器上能够达到256万tpmC的极致性能。同时,云和恩墨将从前服务了11个行业千余家企业级客户的服务能力转化为自研数据库的企业级产品能力,并且在全国31个省份提供本地化的服务和交付的能力——懂得用户需求、形成产品能力、提供全方位服务,这是云和恩墨较之其他数据库厂商最大的优势。
从数据库国产化替代场景来讲,云和恩墨可以提供从源端到目标端整套解决方案。在迁移过程中,我们把过往经验总结成包括从调研、实施、上线、运行的“四阶九步二十八项”方法论,据此结合用户实际情况给出迁移方案,并且在全国31个省份都具备本地化交付和企业级服务水平,帮助用户完成平滑、低代价、高质量的数据库替代,毫无后顾之忧。
随后张程伟为我们分享了两个落地的客户案例:第一个案例是上海期货交易所,一期项目共上线了5套系统,包括分发、投校、大宗、利率等A类系统;二期4套系统已经完成前期测试,具备上线条件,处于待投产状态。以上所有系统都采用两地三中心的组网形态,一个主节点两个同步备两个级联备,满足金融级容灾标准要求。在该项目中有几大关键问题,如 Oracle 兼容性、C/C++接口支持以及用户在迁移过程中提出了新的开发规范。MogDB 凭借优异的兼容性以及全套迁移工具链,非常完美的完成了本次改造项目。
第二个案例来自哈尔滨银行,该项目已经完成两个批次共24套系统迁移上线,其中包含国结、综合柜面图前、微信银行、协同平台、外汇申报5个A类系统。以图前业务场景为例,原来基于 Oracle 数据库,大量使用 Oracle 的存储过程、触发器等,也是得益于 MogDB 对 Oracle 兼容能力和迁移工具链,在三周的时间内基本上就完成了业务系统的迁移上线,实现了快速迁移上线的效果。本项目在2023年还会继续完成30多套系统的迁移上线,帮助客户在年底达成50%国产化率的目标,实现双轨并行运行。
DTC2023
什么是Uqbar?
Uqbar 是基于 openGauss 内核打造的超融合时序数据库,在 openGauss 原有关系模型基础之上增加了时序数据的模型,形成了“时序+关系”的超融合架构。底层采用行列混合的存储引擎的方案,并且支持向量化查询和并行查询,提供高效的海量数据的分析查询能力。
基于“时序+关系”的超融合架构,使得一套 Uqbar 数据库就能够支持物联网场景下对多样化数据的管理需求,能够避免使用多种数据库带来的维护成本。Uqbar 还支持跨时序数据和关系数据的复杂关联查询,能够将业务层的复杂业务逻辑简化为关联查询的SQL语句,卸载到数据库中执行,极大简化分析平台的业务复杂度。
针对时序数据的场景,Uqbar 也做了大量的性能优化。去年发布的版本每秒支持300万的写入,较之行业标杆有36%的性能提升,今年6·30还会有进一步的提升。在查询的维度,不管是在单指标的查询还有局部指标或者全量指标聚合查询下,均有不同程度的提升。特别在多维指标的聚合查询,得益于 Uqbar 对倒排索引的支持,带来了260%的性能提升。在压缩率方面支持时序数据的专有压缩算法,相较于把时序数据存储在关系数据库上,可以获得14.2倍的空间节省。
DTC2023
结语
现如今,正处于国产数据库百花齐放、蓬勃发展的时期,如何推动数据技术发展,将企业级数据库能力带给用户?云和恩墨选择回归数据本原,坚持长期主义,深入探索企业级数据库技术升级的道路;一体双翼,用卓越的数据库产品,助推企业数字化、智能化建设。
→
点击文末“阅读原文”回顾完整演讲视频
数据驱动,成就未来,云和恩墨,不负所托!
云和恩墨创立于2011年,以“数据驱动,成就未来”为使命,是智能的数据技术提供商。我们致力于将数据技术带给每个行业、每个组织、每个人,构建数据驱动的智能未来。