下一代数据融合技术趋势探讨|CNCC 2023 数据库专题报告
The following article is from 中国计算机学会 Author 中国计算机学会
从 1960 年代,层次数据库和网状数据库诞生,有力地推动了金融及相关业务系统的电子化和自动化。再到 1980 年代,随着关系数据库逐步成熟,关系模型的坚实的数学基础和良好的抽象与表达能力使得关系数据库得以一统天下。
随着互联网的兴起以及数字化和信息化的发展,在 1990 年代不仅数据的数量快速增加,数据的种类也迅猛增加,数据量和数据类型都超出了当时的关系数据库的处理能力,各种非关系型的数据库系统如雨后春笋,不断涌现。
分析数据库:通常分为在线分析数据库和离线分析数据库,在线数据分析,也称为联机分析处理(OLAP),能够实时或准实时地完成用户的分析请求,而离线数据分析通常处理更大的数据量,可能需要几分钟、几小时甚至几天才能完成用户的分析请求。分析数据库通常是分布式的,少则几个、几十个计算节点,多则几百、几千个计算节点,能够处理 TB 级、PB 级甚至更大的数据。
键值数据库:即 key-value 数据库,简称 KV 数据库,对键值对进行保存、读取、更新和删除等各种处理,具有接口简单、查询速度快的特点。
文档数据库:主要存储和处理各种半结构化的文档,例如 JSON 和 XML 等,文档数据库的每个文档可以有不同的数据结构,有较大的灵活性。
时序数据库:用于保存和分析带时间标签的数据,即时序数据,通常需要高速的数据写入并支持多维数据分析和数据可视化。
空间数据库:用于保存、处理和查询空间数据,例如点和多边形等的数据库系统。空间数据库通常提供空间索引,以便有效地检索一定距离内的对象等,以及计算对象之间的距离,对对象求交集或并集等。
图数据库:以图论为理论基础,使用图模型,数据的实体作为顶点(vertex),数据之间的关系作为边(edge)进行保存、读取、更新和删除等各种处理。
而当今很多业务同时需要多种数据库,比如多数业务系统同时需要联机事务处理和联机分析处理,就像去年的 CNCC 的“分布式数据库 HTAP 的探索与实践”论坛提到的,这需要通过关系数据库+分析数据库+从前者到后者的数据抽取转换加载(ETL)来实现;再如,游戏业务不仅需要关系数据库进行会员管理、计费等,还需要保存和处理游戏本身的数据,而这类数据通常并不是结构化的,而是半结构化的,这就需要文档数据库等;此外,外卖业务同样需要关系数据库进行顾客、骑手的管理以及交易处理等,还需要分析判断顾客附近的骑手以及多个顾客之间的距离以提升骑手配送效率等,这就需要空间数据库。
毫无疑问,在一个业务系统中集成多种数据库,会使得业务系统更加复杂,对业务系统开发人员的技术栈提出了更高的要求,不仅显著增加了业务系统的开发难度和成本,也显著增加了业务系统的后期维护的难度和成本。在一个数据库中融合多种数据库的能力,则可以显著降低业务系统开发和运维的门槛和成本:
HTAP 数据库:即融合了联机事务处理和联机分析处理的数据库,不仅简化业务系统,还能够实现实时、准实时的分析。
在关系数据库中融合文档数据库的功能:简化游戏系统的开发,降低运维成本。
在关系数据库中融合空间数据库的功能:简化外卖系统的开发,降低运维复杂度。
尽管融合数据库的发展是一种趋势,但这不意味着各种专门的数据库就会消亡,就像今天人们普遍用智能手机欣赏音乐和视频,但电影院和专业的视频音响设备仍然有存在的价值,很多时候人们用智能手机玩游戏,但很多人更喜欢游戏机等等。
详细议程:你想知道的数据库专题报告
关于上文提及的从 HTAP 工作负载融合、多模态数据融合、到单机分布式一体化融合,以及多种数据库是否可以融合以及该如何融合的相关议题,OceanBase 将联手中国及国际数据库领域知名学者,包括华东师范大学副校长、研究生院及“智能+”研究院院长周傲英;南洋理工大学教授、新加坡电信-南洋理工人工智能联合实验室主任丛高;武汉大学计算机学院教授、大数据研究院副院长彭智勇;OceanBase CTO 杨传辉;网商银行基础技术架构负责人蒋维杰共同探讨下一代数据融合技术趋势。
⏰ 时间:10月27日 13:30
📍 地点:本次大会比较特殊,展区和分论坛地点在两处,温馨提示感兴趣的朋友不要定位错哦~
展区地址:沈阳市沈阳新世界博览馆 4 层 4C 展厅 B76&B77 展位 分论坛地址:沈阳市皇朝万鑫酒店 8 楼10号会议室
📜 主题:下一代数据融合技术趋势(活动详情见下方海报👇)
除分论坛外,如果您还想对 OceanBase 有更深入具体的了解,欢迎移步 OceanBase 展区与我们交流,众多精美周边礼物🎁在展区(📍新世界博览馆4层4C展厅B76&B77展位)等您来玩~
往期推荐