国内首款金融数据库性能测试工具正式开源!(附开源地址)
The following article is from 数据库应用创新实验室 Author 中国信通院云大所
数据库性能测试长期依托国际TPC基准,但由于其存在工具不统一、场景不对口等问题,难以满足当前我国数据库产业新发展阶段需求。2018年,中国信通院联合北京银行、建设银行以及多个领域头部企业,共同设计研发了金融数据库性能测试工具(DataBench-T),并依托工具开展了统一标准测试,有效指导了金融行业数据库选型工作。工具与近20款国产数据库完成适配验证,经过近三年发展,易用性和兼容性不断提升,累计完成15款国内主流产品性能评测。为了使该工具得到更广泛地传播使用、吸纳开源社区的更多智慧,2022年2月17日下午,由中国信通院数据库应用创新实验室(CAICT DBL)和中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)共同举办的“国内首款金融数据库性能测试工具开源发布会”成功举办,沙龙直播观看1500余人次。本次发布会正式将工具开源。
本次会议由中国信通院云计算与大数据研究所(以下简称:中国信通院云大所)牵头组织,邀请了来自北银金科、建信金科、阿里云、南大通用、虚谷伟业和亚信科技的专家深入地探讨了金融场景事务型数据库性能测试工具DataBench-T的设计、使用和优化经验。中国信通院云大所大数据与区块链部高级业务主管马鹏玮主持了本次沙龙。
“面向我国金融核心系统数据库评测的标准化、工具化,有助于客观、公正、可验证地衡量数据库真实水平,大幅降低应用方选型门槛。”
会议首先请中国信通院云大所副所长魏凯致辞,阐述开源金融事务型数据库性能测试工具DataBench-T的背景、初心及愿景。魏凯指出,近些年随着金融行业数字化转型战略不断深入推进,应用系统架构不断向分布式转型,在数据库选型和改造过程中,一直缺乏适宜的评测工具。为更好更多服务金融行业选型数据库产品,减低POC重复工作量,中国信通院云大所联合北京银行、建设银行等多位头部企业专家,共同开发出面向金融核心系统场景的事务型数据库性能评测工具DataBench-T,经过4年精心打磨和不断完善,该工具的兼容性和易用性大幅提升,本次希望通过开源该工具使得今后更多金融机构利用其衡量数据库产品水平,构建自主的数据库评测生态,为我国数据库标准化高质量发展作出积极贡献。
“希望借助广大的开源力量和智慧,能够不断迭代完善该工具的各项能力,广泛应用于金融机构的数据库验证选型。”
中国信通院云大所业务主管刘思源介绍了DataBench-T的前世今生。首先从信通院在数据库领域标准化和评测评估现状切入,阐释评测工具的研发背景和研发思路,随后介绍了工具的总体架构、业务流程,强调该工具的表结构均抽象于真实银行业核心系统中表结构,所有表数据都按照预设模型算法模拟真实场景,确保工具测试结果接近真实业务场景中的性能,除了真实模拟业务场景,该工具易用性和兼容性同样出色,与十余款主流国产数据库和主流开源数据库兼容,且能够实现一键启动、自动化校验ACID能力、自动生成可视化报告等。最后,发布了六大性能测试观察、开源平台和开源地址。希望通过开源力量,持续迭代完善工具的各项能力。
“开源、开放,推动行业标准落地,贡献、共享,铸造多方价值要素。”
北银金融科技有限责任公司云计算应用部总经理于振华详细介绍了金融级数据库生态建设实践,从场景调研方面阐释了可用性、兼容性、生态工具支持、可观测性、性能指标等维度的评估需求;随着分布式数据库快速发展,面对尚无专业性能评测软件的现状,北京银行积极投入到分布式事务数据库评测标准建设工作,依据行方真实业务场景,进行了评测工具的研发和实践。最后针对工具开源后的沟通反馈机制、软件管理机制和运营推广方式,提出了一些建设性的思考。
“标准促进国产数据库应用落地。”
建信金融科技有限责任公司资深数据库专家韩锋重点介绍了数据库评测体系与国产数据库发展建议。韩锋首先介绍了数据库开源和分布式发展历史,详细讲解了我国主流数据库技术架构及分类。随后提出了国产数据库落地痛点,如基础功能待完善、迁移改造任务重、运行风险巨大、生态环境需培育。最后提出了解决上述痛点的破局之道为有效的数据库评测体系,并详细阐述了主流各类数据库评测基准和行方的评测实践经验。
“性能评测标准,可以帮助企业更深入的了解数据库产品,帮助数据库厂商发现性能问题,并与客户建立信任关系。”
阿里云计算有限公司PolarDB、AnalyticDB内核技术专家、性能专家于巍分享了阿里云数据库性能测试及优化实践。首先总结了阿里云多次参与TPC、信通院数据库评测的成果,分享了国外TPC测试成本高、周期长等痛点。随后介绍了阿里云数据库重点产品的整体架构、技术原理和开源路径。最后,针对硬件选型、资源分配、操作系统优化、外围工具优化、参数优化、优化策略、执行器设计、优化器设计、存储优化等方面进行了详细的经验分享。
“工欲善其事,必先利其器。DataBench-T贴合金融场景,助力数据库挑战性能之巅。”
天津南大通用数据技术股份有限公司Gbase8c产品经理、PostgreSQL中文社区委员张益进行了Gbase8c性能优化之路。张益首先介绍了南大通用和Gbase8c发展路线、产品特性和产品架构,随后针对信通院金融事务数据库性能测试,详细讲解了数据库优化点,包括但不限于数据分布策略、自适应的事务处理、全局死锁解除、多版本并发控制等。最后,阐述了作为成立18年专注研发数据库的高新技术企业,GBase 8c产品能够灵活应对业务需求、适应国产生态等客户价值。
“国内数据库需要在核心场景突破中下功夫,满足用户真实性能需求。”
成都虚谷伟业科技有限公司产品总监明玉琢发表了题为《金融高热点场景中的NewSQL数据库优化》的演讲。明玉琢首先介绍了公司和虚谷数据库产品的发展历史、产品逻辑架构和特性。随后讲解了金融数字化转型难点、银行业务系统现状和金融行业核心业务模型。最后针对实际测试过程中的模型优化、分区优化、并行调度、算子下推等技术实践,进行了详细的阐释。
“沉淀性能优化经验,打造优质数据库内核,助力金融场景标准推广。”
亚信科技(中国)有限公司资深专家黄云龙分享了亚信数据库AIDB在金融场景事务数据库性能测试总结。黄云龙首先介绍了亚信数据库产品整体架构、演进历程及关键技术。然后展示了信通院性能测试的产品部署方式及详细测试结果。最后对测试环境的系统级优化、压测客户端优化、被测试库优化做出了分析和总结,并表达了DataBench-T相较TPC-C的若干优势。
DataBench-T开源地址:
https://gitee.com/caict-bigdata/databench-t
发布会直播回放
扫描二维码即可观看
数据库应用创新实验室简介
数据库是基础软件的重要一员,是支撑全球数字经济蓬勃发展的核心技术产品。为推动我国数据库产业国际地位从跟跑、并跑到领跑,2019年10月,中国信息通信研究院云计算与大数据研究所牵头,联合多家数据库企业、应用单位、系统集成商、数据库服务企业、硬件制造商,共同成立公益性免费社群数据库应用创新实验室(以下简称“实验室”),打造了中国数据库产业的“联合舰队”。实验室持续致力于推动我国数据库产业创新发展,以实际问题为导向,以合作共赢为目标,联合政、产、学、研、用等多方力量,协同推进数据库领域应用创新的相关工作。实验室将一直秉承开放理念,持续欢迎数据库领域各企业、各机构、各组织申请加入。实验室联系人
刘思源13691032906liusiyuan@caict.ac.cn
马嘉慧15596670369majiahui@caict.ac.cn