查看原文
其他

DataOps成熟度框架正式发布


为进一步加速推动我国数据智能转型进程,推动“十四五”期间数据智能产业交流与合作,由中国信息通信研究院、中国通信标准化协会指导,中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)主办的2022大数据产业峰会于6月28日在京召开。


在6月29日的数据资产分论坛上,中国信通院云大所大数据与区块链部的工程师尹正发布了《DataOps成熟度框架》。

 














以下为演讲实录














大家好,我是中国信息通信研究院云计算与大数据研究所大数据与区块链部尹正,今天很荣幸,由我来为大家发布DataOps成熟度框架。



2014年大数据首次写入政府工作报告起,我国大数据产业飞速发展,需求旺盛、供给强劲。在国家大数据相关政策的护航下,我国的大数据产业已进入深化阶段。随着发展的不断深入,企业数智化转型逐渐到达了瓶颈,各类矛盾浮出水面。


一是效率与管理之间的矛盾。数据项目寻求快速交付,那么管理就难以贯彻落实。在执行上往往就出现了管理和实施两张皮的现象,许多基础工作遭到了忽视,从而产生了诸多的质量问题;


二是业务与技术之间的矛盾。以前我们技术水平落后,面对的是巧妇难为无米之炊的问题。现在技术发展迅猛,但在业务和技术的衔接上出现了问题,难以有的放矢。


三是需求与供给之间的矛盾。现在的技术发展迅猛,面对企业提出的需求,供给侧能够给出各式各样的解决方案。需求方精力都用在识别和对比,缺乏对需求的深入思考,远离了问题的本质。



在数智化转型的大背景下,企业逐步意识到数据的重要程度空前。各行各业加速建设企业内部信息系统,加快数据平台构建。但在朝数智化转型迈进的过程中,总是存在着一些问题,阻挡着企业完成数智化蜕变。


从企业角度来看,在数据项目的开发、维护、管理的过程中,普遍会遇到一些典型的问题,例如数据项目的人工依赖度高、团队协作配合困难、需求响应时间低于预期、开发流程不够顺畅、管理要求难以贯彻等问题。


已有研究数据报道:99%的企业数字化转型以失败告终,84%的数字化转型项目未能达预期。



在数智化转型这一阶段,企业的业务正处于发展的关键时期,组织内的数据意识已经逐渐成熟,数据相关的需求在这一阶段激增。但是这一阶段,技术引擎的动力略显不足,数据项目的成本高、数据准备的时间长、数据需求的响应不及时。种种问题阻碍住了企业完成数智化蜕变。也是与此同时,DataOps以破局者的身份出现在大家的视野当中,为企业的数据引擎换挡。



DataOps的概念最早在2014年由国外学者提出,随后业界逐步对其内涵进行补充。在2018年DataOps正式被纳入Gartner的数据管理技术成熟度曲线当中,由此进入了国际的视野当中。2022年中国信通院正式牵头启动了DataOps的标准建设工作,以此为基础推动我国大数据产业的多元化发展,助力企业完成数智化蜕变。


从发展上看,自2018年被Gartner纳入到数据管理技术成熟度曲线以来,DataOps热度逐年上升,在21年处在一个从萌芽期到爆发期的关键过渡阶段,预示着未来2-5年内DataOps将得到广泛的实践应用。


从定义上看,Gartner、IBM、Wikipedia争相对DataOps提出了自己的定义。普遍认同DataOps具有敏捷、协作、自动化等特点。并且也提到了人员、流程、技术三者融合协作的重要性。



实践上看,欧美国家的一些公司在DataOps的探索和发展上要早于中国。现阶段,我国有更广阔的发展空间和挖掘潜力,在制度保障、人才培养、技术储备发展上都有着长期优势。


在国外。有如Twitter、Google等公司使用面向未来的数据架构,有如IBM公司也在多年前就开始研发了诸如Knowledge catalog、DataStage、Cloud Pak for Data等符合DataOps理念的解决方案,也有像StreamSets公司这样以DataOps思想来引领开发的工具产品。


在国内。也有很多的企业先驱者,通过敏锐的嗅觉和强大的管理执行力去探索DataOps的实践。如中国工商银行、农业银行、平安银行等多家银行机构,联通数科、广东移动、江苏移动、浙江移动等通信企业,阿里、腾讯、浩鲸、数造科技等科技公司,都在积极探索并尝试用DataOps的理念来推动我国数据文化的建设和发展。



DataOps标准的建设意义在于在于三定:


确定DataOps概念意义、明确DataOps实施流程、把握企业发展阶段和方向。


再有就是通过标准引领的方式,引导企业快速接纳DataOps文化,尽快完成数智化转型,释放数据要素价值。



DataOps的标准体系涵盖了7大模块,分别是研发管理、交付管理、数据运维三项核心过程,价值运营、系统工具、组织管理、安全风险四项保障措施


标准细分为25大能力、70余项能力要求和200余个动作环节。


目前,标准整体框架达成共识,并完成第一个模块“研发管理”的主体内容和要求。其余部分编制仍在进行当中,在此要感谢各个企业的支持,也欢迎更多的企业和专家一起参与到后续标准编制以及相关活动中来。



该标准对DataOps的定义和能力特征达成了共识。


定义:数据研发运营一体化(DataOps)是一种面向数据全生命周期,以价值最大化为目标的最佳实践。聚焦于协同从数据需求输入到交付物输出的全链路过程,明确研发运营目的,细化实施步骤,在系统工具、组织模式、安全风险管理的支撑下,实现数据研发运营的一体化、敏捷化、标准化、自动化、智能化、价值显性化理念


在级别上划分上由低到高分为入门级、进阶级、优秀级、卓越级、引领级5个级别大项。


每个级别大项中又分为3个级别小项。从管理能力、技术能力、动作关联情况以及其他重点四大维度为企业把脉。便于企业更精准掌握现状。



在7大模块中,第一个模块研发管理,已经就主体部分达成基本共识,DataOps研发管理模块包含了4项能力,12个能力项、42个动作环节、210条等级要求和600余项条款要求。


企业可以通过以评促建的方式,掌握当前发展现状,明确未来发展方向。



今天,我们正式启动DataOps标准的评估评测的报名,主题沙龙分享的报名。并持续征集企业实践、工具产品案例。


后续也将按照各界的需求筹备白皮书、开源等一系列的周边工作。


DataOps相关工作咨询请联系


尹正 | 15810811776yinzheng@caict.ac.cn


NO.1往期推荐
Historical articles

DCMM快问快答!



DCMM|揭秘通信业数据能力-江苏移动



数据要素前沿谈|探秘数据资产估值


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存