查看原文
其他

成为国内知名的全栈数据产品与解决方案提供商 达梦四款新品创造科技自立新未来

达梦 达梦数据 2022-07-03


流光四十载,弹指一挥间。作为中国数据库产业最早的实践者,武汉达梦数据库股份有限公司(简称“达梦公司”)引领国产数据库,从风雨中走来,勇于进取,锐意创新,追逐梦想的脚步,从未停歇。2020年11月25日,满足不同应用需求的四款新品强势亮相2020达梦创新产品发布会。


国产数据共享集群软件再次升级


众所周知,全球范围内也只有一家国际企业发布过共享集群软件。此次国产数据库领域自己的数据共享集群软件再出升级版本,令现场观众非常期待。




达梦公司副总经理冯源发布达梦数据共享集群  


冯源谈到,这是一场迟来的发布汇报,原因有二:首先,达梦在2015年收获了第一个DSC上线项目,当时没有发布,今天推出的是2.0版本;其次,因为2020年的疫情,使武汉,也使达梦冻结了将近半年之久。而可喜的是,此次达梦共享集群的亮相,已经有了很多成功案例和应用可以分享。


近年来,“开源运动”和分布式数据库、NoSQL数据库如火如荼,全国出现了超过200家数据库技术厂商,达梦因为看到数据共享集群技术的价值,无论技术风口怎么变,始终坚守自己的技术和产品路线。这项技术少有人做,也体现在其技术的难度上。在此之前,只有甲骨文一家完全掌握,也没有任何开源技术可以参考。





冯源介绍,自2012年达梦突破共享集群相关技术以后,在6个方面做了持续改进:


第一是规模。国外的共享集群绝大多数情况下都是两个节点打天下。从两节点到三节点、四节点之间有一个巨大的鸿沟,可以说两个节点以上就是另外一个世界,需要用新的逻辑去保证正确性。此次达梦数据共享集群做到了从两个节点到八个节点规模的支持,后续还会继续向16个节点的规模演进。


第二是服务中断的时间问题。如果以5个9的指标来考量,每年发生一次故障,数据库可以用于故障处理的时间是5分钟;如果故障发生频率提高每个月一次,留给数据库的时间就是25秒。为了达到这个目标,通过持续优化,达梦将故障切换时间从以前的冷备方案的小时级,改进优化到共享集群的10秒到30秒的速度,基本上完成了5个9的技术要求。


三是数据容灾。达梦可以向用户提供从50公里级到1000公里级,以及两地三中心的容灾解决组合方案。在本地或者是在同城基于达梦数据守护技术和达梦数据共享集群进行组合,可以实现RPO为0的超级容灾。在1000公里级的容灾,基于达梦的实时同步技术,可以实现延时为秒级的数据容灾。上面两项技术的组合,还可以构建两地三中心的容灾解决方案。


四是性能。达梦单机四节点的共享集群TPC—C值超过了200万,八节点超过了300万,具有不错的横向扩展能力。可以说,在TPC—C90%操作都是写操作的业务产品,对于集中式架构而言是一个突破。


五是存储管理。达梦进一步改进了存储管理系统,引入了在裸设备之外引入了块设备方式的存储管理,并且提供了存储条带化功能。这两项特性的引入能够更好的提供运维便利性和性能表现。


六是平台支持。实现了对各种主流CPU的全面支持。由于过去只有少数美国公司掌握这项关键技术,数据共享集群此前从来没有在国产CPU上面跑起来,达梦实现了网信名录内所有国产CPU均支持。南京某首个基于国产CPU+共享存储集群的上线业务系统就是采用了达梦的数据库。


为云而生,智启未来




达梦公司副总经理张永强发布达梦启云数据库 


随着云计算、大数据、人工智能等技术的发展,基础设施、平台软件、应用软件的集约化成为IT发展的主流方向,软件的服务化、SaaS化成为软件企业发展的必由之路。云原生、容器化、微服务、devops等新技术必将释放巨大的能量,引爆千行百业的商业裂变,数据库行业也不例外。


达梦启云数据库是一款云数融合、智数融合、多引擎融合的产物。云数融合,实现了数据库在云上的最佳体验。智数融合,简化了数据库的使用、管理和运维。多引擎融合,统一为用户提供全场景服务。实现极简的云端数据库服务新体验,是达梦启云数据库的初衷。





与传统的数据库相比,启云有哪些优势?张永强介绍,传统数据库应用随着业务系统的增多而激增,会极大地提高运维的难度,而且每个数据库的资源利用率非常低,建设成本高。启云数据库通过资源的集中调度、集中管控,实现了数据库横向的弹性缩扩容。通过统一的平台,达梦启云数据库实现了数据库的发放、管理、监控、运维等全生命周期的管理,通过集约化的建设,降低了用户的运维和使用成本。主要有以下四方面的能力:


一是敏捷的数据服务提供能力。可以按需申请、秒级发放、开箱即用,极大地提升了数据库交付的性能、交付的时间。


二是具有一体化的资源管控能力,对所有的软硬件资源进行统一的管理、统一的调度、统一的监管,对所有的服务进行统一的提供,统一的运维管理。


三是多场景的服务能力,达梦公司不仅做关系数据库,也有自己的图引擎,键值数据库引擎,为用户提供符合不同场景的多样数据库服务。


四是智能化的运维。通过资源整体调度实现了智能化的弹性缩扩容,以及自动恢复和自动化故障自愈能力。


“需要强调的是,达梦启云平台是一个完全中立的平台,可以跟所有的云厂商进行合作,让他们一样给用户提供极简的数据库云台体验。另外,达梦在数据库领域深耕了40年,具有多场景专业化服务,云数据库的核心是数据库引擎。”张永强说。


据介绍,启云碰到比较多的场景,一是数据库的统一纳管,二是基于云平台的统一部署,三是数据库动态服务。


2020年8月,达梦在招投标中胜出,成为第一家在移动云的互联网上提供国产关系数据库服务的数据库企业,达梦把所有的功能和能力以接口服务的方式提供给移动云,移动云完成适配、对接以及界面开发。在广西电子政务外网的项目中,达梦与浪潮云、华三云完成适配和对接,部署了30个云上数据库服务授权,为后续自治区全业务上云提供支撑。


图数据库,开辟大数据分析应用新蓝海




蜀天梦图副总经理张睿发布图数据库      


图数据库是达梦发布的又一款非关系型数据库产品。这里的图不是指地图或者图片,而是一种数据结构,我们可以把它想象成小说中的人物关系图谱。

图数据库的兴起,与关系型数据库在进行数据关系深度查询时的天然劣势有关。例如,在一个500万人之间朋友关系深度计算的测试中,在深度不超过2的时候,关系型数据库和图数据库的性能不相上下。但是,从第三层开始,关系型数据库所消耗的时间激增,如第三层需要30秒,第四层1500秒,到了第五层已经没有办法支撑这样的深度计算。反观图数据库,在计算耗时方面,则是以一种非常平稳的数据形态进行增长,完成5层关系深度的计算也仅仅用了2秒。 





图数据库将开拓“大数据关联关系分析应用”的全新领域。它专注于挖掘数据之间深层次的关联关系,并以一种全新的展现方式为大家带来信息价值的全面升级,这些特点使得它成为基础软件以及大数据分析应用的一片新蓝海,迅速成为近5年来全球最受欢迎的数据库类型。

图数据库在疫情管控、公安侦查破案、企业关系分析、金融风控等许多领域都具有广泛的应用前景。

例如今年的新冠疫情,从0号病人的诞生到他所去过的地方、接触过的人员,再一层一层地蔓延、扩散开来,可以依托图数据库来形成传染链分析图谱,为疫情防控指挥决策提供更好的分析支持。

除此之外,图数据库是最符合公安侦查破案工作中“树藤摸瓜”特征的分析展现形式,能够从复杂的关联关系中发掘组织团伙的脉络痕迹,让“幕后黑手”无所遁形,从而有力提升打击犯罪、社会治理的办事效能。

在企业关系分析方面,从广度上展现企业经营范围、投资布局,从深度上挖掘投资路径、资金流向,展现多个企业之间的关联关系,能够帮助客户更好地分析企业经营状况,也能够为监管部门发掘企业违规行为提供更多的线索。

基于以上应用场景,对于数据关系的分析需求可以归纳为四大类:一是对于关系图谱的分析需求;二是对于关系方向的分析需求;三是对于关系频度、频次的分析需求;四是对于关系的多层次深挖掘的分析需求。


我们同时还得出了对于图数据库未来发展前景的三个重要认识:首先,人类社会本身是一个关系型社会;其次,图数据库是最符合人类思维模式的数据类型和数据表现形式。最后,有大数据汇集的地方必有关系分析的需求。

张睿指出,最近10多年大数据的飞速发展,把过去所有竖井式的信息孤岛,通过汇集、整合、共享整合在一起以后,可以更好地探索数据之间的关联关系,挖掘数据更大的价值。而成立于2018年的蜀天梦图,经过三年时间的潜心研发,为市场带来全新自主研发的图数据库GDM,以及关系分析软件GDM—ANALYSIS,两款产品搭配形成的“图数据库+分析软件”,将为各行各业提供完整的基于图数据库的大数据关系分析应用解决方案。


达梦新一代分布式数据库诞生




达梦高级副总经理付铨发布新一代分布式数据库


据付铨介绍,三年前,达梦面向云计算、金融科技、智能制造,以及物联网等大规模、高并发业务,开始了新一代分布式数据库的设计和研发工作。

当早期的数据库面向柜台交易时,操作人员等10秒、20秒都很正常,但是当人们拿起手机进行交易时,超过3秒就会不断地刷新。因此,对于技术新的要求简单归纳起来,一是对于大规模的数据,应该采用分布式存储,随需扩容;二是在计算层面采取无状态计算,支持高峰时间的并发;三是高峰时间过后,要及时回收,可聚可散;四是需提供跨地域冗余,保障数据和服务不停机;五是组件要低耦合、轻量化,便于云端快速部署迁移。

以数据库中的一个非常重要的组件SQL优化器为例,它能够直接体现数据库的通用性、性能、自适应性等等,这个优化器本身做起来难度很大,其本质是做关系运算寻求最优解。达梦在这方面做了大量工作,把累计了20多年的单机SQL优化器做了大量的改造,增加了一些子计划的分解,包括计划的调度、运行等等,使得达梦新一代分布式能够支持所有的操作,存储过程和脚本、视图也都支持,对国外数据库的兼容性也非常高。





SQL的完整支持能够带来很多好处,首先,配合非对称的数据分片技术,可以使分布式数据库支撑多个应用,每个应用单独规划自己的计算和存储资源,如果出现服务与服务之间有数据关联的情况时,因为都存在一个数据库中,逻辑是一个整体,数据在权限允许的情况下可以通过表关联直接获取。很多企业的大系统做微服务化改造以后数据调用变得非常复杂,达梦这种方案的操作简单方便。 

另外,对存储过程,包括支持序列、上层的中间件应用、综合应用、行业应用适配等相对来说都好很多。

那么,是不是分布式数据库能够把所有的集中式架构都淘汰掉呢?达梦的结论是否定的。

分布式架构面向大规模高并发业务,有一个重要的前提条件:业务逻辑在一定程度上是可拆分的,而且数据能够按照水平规划来划分。也就是说,分布式数据库是一个面向专用场景的数据库,有时候集中式架构上的系统移到分布式上,如果做得不好,可能比集中式架构的性能差很多。为了保证数据的一致性,一定要与响应时间等其他因素做平衡。另外,分布式对很多高级功能都无法支持,绝大多数业务需要重构,相关技术也需要重新开发。集中式架构具备广泛的生态,拥有巨大的市场存量和规模,从替换的角度来说,能够高度兼容原有系统架构,可使用完全对等的技术方案替换,这样成本比较低,周期短,风险可控。


所以说,分布式无法完全替代集中式架构。很多银行金融客户只有10%的系统需要分布式,90%的系统还是希望用集中式架构,这样整个周期风险都是可控的。 

付铨坦言,此次达梦发布了四款产品,如果把它们放在一起看,关系数据库仍然站在C位上,而启云数据库、图数据库、分布式数据库极大地丰富了达梦的数据库产品线。除了数据库产品本身的不断完善之外,达梦还从两个重要的技术方向上展开了工作。

第一个技术方向是云化管理。其中有两层含义:首先,数据库产品本身要按照公有云的标准接口来实现部署管理,以便数据库的产品和公有云进行对接。目前达梦与国内的几大公有云厂商都已经展开了紧密的合作;其次,达梦启云数据库可以把无法上公有云的系统规划成一个数据库资源池,实现按需分配、自动部署、统一管理。

第二个技术方向是软硬结合。达梦在软硬件的深度融合方面有四方面的考虑。一是性能方面,希望能够不断提升单节点的性能;二是成本方面,希望不断降低用户的采购成本和管理成本;三是安全方面,达梦数据库产品已经达到了安全四级,但是遇到有些操作系统安全级别不高的情况下,可以被黑客很轻松地绕过所有机制,所以系统安全是硬件、操作系统、数据库、中间件等一体的事情;四是机制改造。与硬件结合,可以解决在设计、编码比较复杂,但实际效果并不好的问题。

贴合市场需求,打磨极致性能,集数百位工程师数年的匠心打造,达梦再次利剑出鞘,向着成为国内知名的全栈数据产品与解决方案提供商的新定位又迈出了坚实的一步。以工匠精神,持续吸收与创新,国产数据库正建立起自主创新的核心体系,以无限的信心和想象,创造科技自立的新未来。



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存