查看原文
其他

云原生时代,数据库该何去何从?

任朝阳 ITPUB 2023-03-21

云计算在各行各业的应用越来越深入,云正在加速重构IT基础设施。Gartner预测,部署在云原生平台上的数字工作负载将由 2021 年的 30%增长至2025 年的95%。

数据库作为IT基础设施的底座,正搭乘云时代的列车不断前进。上云成为非常明确的数据库发展趋势,根据IDC《2021年下半年中国关系型数据库软件市场跟踪报告》显示,2021下半年中国公有云关系型数据库规模8.7亿美元,同比增长48.7%。

在云原生时代,客户需要什么样的数据库?数据库会如何演进?日前,IT168&ITPUB与矩阵起源Global CTO田丰就相关问题展开了对话,他认为,云原生时代,数据库将向平台化发展,MatrixOne所代表的超融合技术路线将大有可为。


长在云上的超融合数据库

数据成为新的生产要素,挖掘数据价值助力企业经营决策成为企业刚需。在云原生时代,数据量爆炸式增长,需要更为高效的数据处理能力,对数据库提出了更高的要求。

田丰指出,随着企业上云不断深入,最终大部分业务应用可能都会上云,这些应用中存在大量的事务、分析、流处理等数据处理需求。此外,随着更多的新应用出现,尤其是IoT领域的新应用不断发展,物联网设备产生的数据呈爆发式增长。面对多样化的数据处理需求,以及物联网数据爆发带来的新需求,企业需要增强数据处理能力,既可以通过部署多种数据中间件来拓展关系型数据库的能力来解决,也可以选择一个超融合数据库来解决。

“企业希望所有的数据在一个统一的数据平台里进行统一管理,像是一个数据操作系统,我们希望通过融合为客户复杂多样的数据应用需求提供一种极简的解决方案。”带着以上这些思考,2021年成立的数据库创业公司矩阵起源自研了MatrixOne超融合数据库,并提出了HSTAP的超融合理念。

此前,IT168&ITPUB曾经报道过MatrixOne数据库,矩阵起源所提的HSTAP中的“S”指的是串联AP和TP的Streaming能力,即在HTAP数据库内部实现了数据库内置流处理能力。通过一种创新的架构实践极简理念,把数据库的复杂度留给产品的研发阶段,而把简单、易用、好用的最终体验带给用户。

实际上,MatrixOne是一款云原生、分布式的超融合数据库。今年,MatrixOne数据库在工程方面取得了突破,最新版本MatrixOne 0.6在产品层面已经基本具备超融合能力,团队的设计理念在工程上基本实现,架构层面存储计算分离、分布式事务、资源隔离、分析查询等数据库基础能力已经具备,MatrixOne进入到实际应用阶段。

作为一款云原生数据库,MatrixOne可以很好地运行在K8S上,是长在云上的数据库,支持将数据持久化到共享存储,兼容不同的协议,如S3,HDFS,Ceph等。无论使用公有云、私有云还是混合云,都可以接入合适的共享存储。MatrixOne抽象出了一层FileService,它为上层提供一个统一的接口来访问这些多样化的存储资源,对调用方屏蔽了不同存储的差异和复杂性。MatrixOne可以根据云上不同的硬件能力进行编排,充分利用云的特性以获取更优的性能和性价比。

在架构实现上,MatrixOne 采用存算分离架构并做了比较彻底的解耦,存储层、数据层、计算层分离,使得 MatrixOne 在遇到系统资源瓶颈时,能够灵活实现节点的扩容。同时,多节点的架构下,资源可以更高效分配,一定程度上避免了热点与资源争用。

作为一款融合型数据库,资源隔离的挑战非常大,是架构设计的重点和难点。目前,无论是TP与TP,AP与AP,TP与AP,MatrixOne 都实现了很好的隔离,最小化不同负载之间的干扰,获得更好的性能。如,其分布式事务采用了乐观事务与快照隔离,快照隔离级别比常见的Read Committed 读已提交更加严格,既可以有效防止脏读,又能够更好地适配分布式乐观事务。AP和TP不同的负载在不同物理节点运行,避免相互干扰,保证事务层级的正确性。

“我们希望最终能够为客户创造价值,从这个角度来讲,MatrixOne 会往更高效、更一致的集成、更简化的管理,以及数据治理方面发展,为客户提供一个更好的性价比。”田丰强调,MatrixOne相比其它超融合数据库,从第一天就更注重数据库的自我管理、自适应、自调优,而且从头开始研发没有历史包袱,进展会更快一些。


未来数据库的演进方向

随着MatrixOne在工程方面不断进步,MatrixOne团队对数据库架构路线的发展越来越清晰。田丰指出,云为异构硬件带来很大的自由度,不论私有云、公有云还是混合云,会有各种不同功能的新硬件出现,比如CXL大内存系统,MatrixOne会与相关厂商合作,利用新硬件的特性实现数据库更好的功能、性能,达到更好的性价比。此外,在利用对象存储等云平台能力方面,MatrixOne也会加大投入以更好发挥云的优势。

长远来看,客户对分布式数据库的灵活部署、动态扩展规模以及性价比都会有越来越高的需求。从应用上来讲,分布式数据库会越来越重要。MatrixOne会不断加强其分布式能力,降低运维复杂度。

Serverless是数据库技术发展的热门话题,被认为是云原生数据库的下一站,所谓Serverless并不是没有服务器,而是服务器无感知。田丰强调,MatrixOne本身是云原生数据库,但是也支持Serverless化,可以根据客户需求按需部署。他指出,Serverless解决的实际是管理问题,对用户屏蔽掉了硬件管理的细节。Serverless数据库应该具有以下几个特征:

一是,Serverless数据库不再绑定硬件,不论虚拟机还是物理机,都不再绑定机器,可以实现动态扩缩容。二是,Serverless强调计算存储分离。三是,Serverless要有比较好的容错设计,当Server崩溃掉或者从一个地方挪到另一个地方,整个过程能够平滑迁移。

未来,MatrixOne会继续打磨产品,提高产品的性能和稳定性,为客户提供真实的价值。“不管我们内部怎么做,最终结果一定要简化用户(DBA、开发者)的工作,对用户来讲,他们是看到一个更简单的数据平台,我们把复杂度尽量内部消化。”田丰认为,客户应用的复杂度主要有两种,一种是业务逻辑自身比较复杂,另一种并不是业务逻辑本身产生,而是使用的平台工具带来的复杂度。MatrixOne希望把第二类非业务上的复杂度降到最低,给客户提供一个简单、易用、高效的数据库,让用户把更多精力放到业务应用上。

把复杂留给产品,把简单、易用留给客户,这应该是所有数据库厂商的愿景,新的数据库架构将会为这个市场带来哪些惊喜,还需要在更多真实场景中试炼。目前,已经有很多工业、能源等海内外企业向MatrixOne提出了明确的需求,接下来MatrixOne会与客户一同成长,一起打磨产品。我们期待明年MatrixOne 1.0版本正式发布,MatrixOne能够取得更大的突破。


近期文章精选 

20000节点数仓集群在大型商业银行的落地

新一代云原生数据库关键技术解析与实践

TDSQL敏态引擎TDStore新技术演进

具备混合负载能力的分布式KV存储-KeeWiDB

腾讯云数据库:MPP数据库HTAP技术探索

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存