入选VLDB 2023! OceanBase 4.0单机分布式一体化研究成果获国际顶会认可
近日，国际顶级数据库学术会议 VLDB 2023 在加拿大温哥华开幕。OceanBase 研究成果论文 “OceanBase Paetica: A Hybrid Shared-nothing/Shared-everything Database for Supporting Single Machine and Distributed Cluster” 被 VLDB 2023 收录！相继 2022 年 OceanBase 工业论文获得“the artifacts available badge”认可，今年 OceanBase 的单机分布式一体化研究论文再次获得该项荣誉。
VLDB、SIGMOD、ICDE 被称为数据库领域的三大最顶级学术会议，收录研究机构以及工业界在数据库领域最前沿、最顶级的研究成果。VLDB 于 1975 年成立，每年吸引全球最顶级的研究机构投稿，对系统创新性、完整性、实验设计等方面都要求极高。本篇论文的收录标志着 OceanBase 提出的“单机分布式一体化”架构理论进入数据库领域前沿研究的最高水平，值得一提的是，该项研究成果已全面应用于 OceanBase 4.0 系统，并取得了显著的经济效益。
论文阐述了 OceanBase 单机分布式一体化架构背后的技术突破及优势：
单机分布式一体化架构：设计并实现单机分布式一体化架构，该架构在单机和分布式系统中均具备单机的 SQL、事务和存储引擎，使用户能够进行动态配置切换。这个独特设计使得 OceanBase 在单机模式下能够高效运行，而不会产生分布式交互的额外开销。此外，在分布式模式下，系统不仅提供了容灾性能，还可以实现出色的性能表现。
单机分布式一体化架构的 SQL 引擎：能够以串行和并行方式执行 SQL 查询，以充分利用可用的 CPU 核心，能够处理多种情况下的 SQL。此外，在分布式执行场景中，该引擎能够在多台机器之间实现并行，有效处理 SQL 命令。
单机分布式一体化架构的 LSM-Tree 存储引擎：包括适用于单机和分布式模式的压缩优化技术，这些优化包括增量主要压缩和分阶段轮流压缩等，旨在在写入性能和存储空间利用之间取得平衡。
单机分布式一体化架构的事务处理引擎：提出了 2-Phase Commit（2PC）协议的优化版本，旨在减少消息处理和日志量，从而降低事务延迟。在单机模式下，不需要使用 2PC，而是利用单一的日志流来处理事务，无需访问全局时间服务（GTS），因此事务引擎的效率与单机数据库相当。
OceanBase 分布式数据库系统在不断演进的过程中，不仅致力于为核心系统和关键业务系统提供稳定可靠的支撑，同时还在打磨适应中小型企业及中小场景的产品能力。目前，该系统已经在蚂蚁集团等商业机构得到广泛应用，而且通过 TPC-C 和 TPC-H 测试进一步证明了其稳定性和有效性。为了解决单机模式下分布式组件带来的开销问题，我们设计了单机分布式一体化架构，并实现了数据库的自适应配置。这使得 OceanBase 能够在单机和分布式场景下同时支持串行和并行执行，从而提升效率并降低成本。
这一设计已经成功应用于 OceanBase 4.0 版本中，实验结果表明单机分布式一体化架构具有显著的可扩展性，优于其他单机或分布式数据库。此外，通过在企业或业务发展的后续阶段使用单一的 OceanBase 数据库，无需迁移，从而使 OceanBase 从主要服务于大型企业转变为也可以较好地服务于中小企业。研究实验证实，OceanBase 单机分布式一体化数据库在单机模式下随着 CPU 核数的增加实现了线性可扩展性。它在 Sysbench 和 TPC-H 评估中也明显优于 MySQL 和 Greenplum。
来自 VLDB 2023 评审专家的评语：本文研究了高度可扩展的数据库系统在单节点配置中遇到的异常问题。在一场“越大越好”（“bigger is better”）的竞赛中，令人耳目一新的是，本文让人们意识到这样的大数据库系统可能不适合单机，而较小规模（单机）的数据库可能是目前绝大多数的数据库。
”
Zhifeng Yang, Quanqing Xu, Shanyan Gao, Chuanhui Yang, Guoping Wang, Yuzhong Zhao, Fanyu Kong, Hao Liu, Wanhong Wang, Jinliang Xiao. OceanBase Paetica: A Hybrid Shared-nothing/Shared-everything Database for Supporting Single Machine and Distributed Cluster. 49th International Conference on Very Large DataBases. Vancouver, Canada,August 2023.
往期推荐
▼ 点击「阅读原文」，查看论文原文！