一文读懂中国信通院数据系统性能、稳定性测试体系
性能是评价一个数据系统技术水平的重要标准,也是无数科研人员和工程师日夜奋斗的目标。在数据量爆炸性增长和数据实时性需求不断提高的背景下,性能成为了数据系统是否能满足应用需求、为用户提供优良使用体验的至关重要的因素。
中国信通院数据系统性能测试
为给业界提供一套标准化的衡量数据系统性能的方式方法,中国信通院设计了一套数据系统的性能测试体系,并针对性地结合各类型数据库、大数据系统的特性研制了一系列性能测试标准。截至目前,已有来自数十家单位的上百个产品参与了中国信通院数据系统性能测试。
性能测试(非大规模)由参测单位技术人员在中国信通院提供的实验室机房X86服务器部署待测数据系统和测试工具,不限制操作系统、中间件等软件环境。部署完成后,即可开始执行各测试用例并记录测试指标。
参测产品需要在7X24小时内完成所有测试用例并正确记录测试指标,每个测试用例的测试过程中应无重大报错、无故障、无宕机,如果出现上述情况,不记录本次测试的结果,需重新开始该测试用例的执行。
通过测试后,中国信通院向通过测试的参测单位交付该参测产品的检验报告、检验证书各1份,并在公众号和相关会议等媒体进行宣传。测试得出的具体性能指标默认不公开,仅在参测单位的检验报告上体现,中国信通院将定期发布每个测试项目的性能最佳值、中位数和平均数,供业界参考。
中国信通院数据系统稳定性测试
在性能测试的基础上,中国信通院云计算与大数据研究所数据团队设计了一套基于混沌测试思想的稳定性测试体系。稳定性测试的主要方法是比对被测数据系统在无干扰条件下和各类故障场景下测得的性能指标,以此判断被测系统抵御故障的能力。稳定性测试中的故障场景是由中国信通院研发的分布式系统混沌测试工具生成的,该工具可以向被测数据系统注入特定参数的故障场景,包括CPU高负载、内存高负载、硬盘高负载、网络故障等,还可以模拟复杂的混合故障场景。
稳定性测试过程中,被测数据系统先进行一次无干扰条件下的性能测试,此次测试得出的性能指标记为
稳定性测试的硬件环境可以基于中国信通院提供,也可以由参测单位自备云计算环境展开测试。
中国信通院数据系统稳定性测试不对参测产品得出的抵御故障能力系数
中国信通院数据系统性能、稳定性测试火热报名中
中国信通院结合各类型数据系统的特性研发了一系列性能测试标准,并开发了配套的性能测试工具。通过结合混沌测试工具。衍生出了相应的稳定性测试标准。
目前,事务型数据库、分析型数据库、时序数据库、批处理平台、流处理平台的性能测试和稳定性测试标准已完成研制,相关测试工作正在火热报名中。欢迎领域内相关单位和产品报名参评。
图数据库、时空数据库的性能测试标准研制工作正在进行中,预计于今年5月份研制完成并开启首批测试,欢迎各相关单位报名参编。
联系人
中国信通院云大所数据库团队
刘老师
13691032906
中国信通院云大所大数据团队
田老师
18795986568
《基于知识库的检索增强生成(RAG)技术要求》标准编制工作正式启动
关于我们
中国通信标准化协会大数据技术标准推进委员会(CCSA TC601,简称:数标委/BDC),旨在凝聚产业链各个环节,识别和解决大数据发展面临的重大问题,开展大数据技术、数据资产管理、数据共享与流通、数据安全等共性基础标准研究,以标准推进工作为纽带,推动大数据与实体经济深度融合。欢迎加入我们的行列!
入会咨询:白老师 13520285502
baizhimeng@caict.ac.cn