查看原文
其他

数据资产盘点+数据治理+数据价值实现=数据资产管理运营

歪老师 数据学堂 2022-11-08

略去大数据分析背景与价值部分,言简意赅的介绍如何进行数据资产管理运营。


数据资产管理运营 = 数据资产盘点 + 数据治理 + 数据价值实现


管理和运营是一个全流程的事情,首先我们需要知道有哪些数据(盘点),转化为能够发挥价值的数据资产(治理),再实现数据应用层面的价值(价值实现),也就是最终要能指导业务产出价值。


下面分别介绍对这三部分工作进行简要介绍。



01  数据资产盘点


1、数据源



内部源数据(业务数据,管理数据,IT方面的OA数据/系统监控数据)+ 外部数据(第三方数据,互联网爬取的数据)经过数据交换形成:


ODS贴源层 :和源系统保持一致,可能会做一些数据标准化/数据清洗,如果源系统没法改造的话,需要在这一步对数据进行标准化改造,确保到数仓层面是符合标准的。

数仓层面:按主题进行构建(比如产品,客户,机构主题),加工(进行反范式,标准化等 )

一般数仓分为贴源层、标准化层、汇总层、指标层、集市层(关于数据仓库和数据集市在本篇不详细展开介绍)

数据集市:针对具体应用,高并发数据查询,把数仓层面加工完之后的数据导出到数据集市,便于进行小规模的应用

上述结构化数据加上半结构化数据(例如日志文件)和非结构化数据 (例如音频视频、邮件(所以要引入 hadoop spark框架))  构建成了 大数据平台


2.数据分级分类


在完成了数据梳理,了解数据分布后,同时要明确保密和敏感数据的分布情况。

数据分类:依据数据的来源、内容和用途对数据进行分类。
数据分级:根据已分类的数据资产由业务部门根据数据的价值、敏感程度、影响范围进行敏感分级,将分类的数据资产划分公开、内部、敏感等不同的敏感级别。


3.数据认责


完成数据梳理与分级分类后,针对数据的归属权需要进行确认,有利于之后的权限梳理以及数据治理和运营。


4.数据权限梳理


主要涉及到访问控制以及对于敏感信息的保护,例如身份证号手机号脱敏等等,此处需要结合数据分级分类数据认责。



02  数据治理


1.元数据


在表中看到一个数据时,我们仅看到这个数据的值,但是对于这个数据的身份背景从哪里来到哪里去我们都一无所知,所以我们需要元数据。元数据指的是用来描述数据的数据。那我们需要描述哪些方面呢?

业务元数据:是描述数据的业务含义、业务规则等。起码让你知道这一项数据的含义是什么,是通过什么规则运算加工出来的,避免大家各自对数据发挥想象...自说自话。通常包括:业务定义、业务规则、业务指标等。


技术元数据:进行技术定义和描述是为了便于识别数据的存储、传输和交换,常见的技术元数据包括:存储位置、数据模型、字段长度、字段类型、ETL脚本、SQL脚本、接口程序等


管理元数据:描述了数据的管理属性,包括管理部门、管理责任人等。内容主要包括:与元数据管理相关的组织、岗位、职责、流程、项目、版本等。

那有了这些元数据之后我们可以做什么呢?

了解数据来自哪里并经过了哪些加工(血缘分析),数据与其他数据之间的关系(关联度分析),哪些数据是属于企业的常用数据(冷热度分析)等等。(了解元数据详见这是我见过把元数据解释的最通俗易懂的文章了


2.数据标准


有了元数据之后,我们还需要制定相应的数据标准,来规范我们对于数据的使用。比如为了支持数据交互,我们需要对格式标准进行定义,为了避免混淆和歧义,需要对数据项名称标准,数据项值的标准进行定义。

元数据是数据标准的基础,元数据需要有对应的数据标准。例如业务元数据(增长率),标准应该定义清楚是同比还是环比,例如技术元数据(字段类型),可能每一个数据库制定的表的标准不一样,男女就会出现male/female,1/0...这种情况,则需要我们需要按照一个统一的标准进行定义与输入。(了解数据标准详见如何建立数据标准实现数据资产管理?


3.数据质量


数据标准则又服务于数据质量,我们进行数据治理的目的也是为了提高数据质量,从而提供更为精准的决策分析数据。数据标准的评价维度示例如下:

数据标准评价指标

一般情况下产生数据质量问题的原因可能是录入错误,需要通过报表核对查出来并进行整改,知道哪些部门的数据质量是怎样的,代码问题采用了错误的逻辑判断,数据缺失数据在流转过程中导入导出过程中,由于编码规则不一样导致的数据被丢弃,可以在每个流转环节加入校验机制。(了解数据质量详见如何提高企业数据质量?


4.主数据


主数据是企业系统间共享性高的数据,跨越各业务部门经常被使用,且相对稳定。常见的主数据有客户、产品、机构人员等。

主数据具备3个主要特征有:
①高价值:主数据是所有业务处理都离不开的实体数据,与大数据相比价值密度非常高。

②高共享:主数据是跨部门、跨系统高度共享的数据。

③相对稳定:与交易数据相比主数据是相对稳定的,变化频率较低。
这些特征同时也反映出来主数据通常存在数据入口众多、重复录入、信息不一致、填写不规范、存在数据孤岛等问题。因为主数据的上述特点,因此管理方式也会有些不同。

通常有3种管理形式:

1.以单独系统进行管理,比如CRM系统就是客户数据的主数据平台,能够保证数据在各个地方交互的时候都是一致的。

2.集中管控,集合客户、产品、等所有主数据,构建主数据平台(MDM系统)进行统一维护。方式是通过数据同步机制,将其他各地方比如财务系统的主数据(客户数据)同步到主数据平台。

3.数仓层面,建一个主题,比如客户数据再同步到源系统,这种方式会比较麻烦,而且管控效果也是太好。(了解主数据详见什么是企业主数据管理?


5.数据安全


数据安全是贯穿数据使用全流程的,尤其在一些数据敏感度高的例如政府、军事、银行等机构,会对数据安全有较高的要求。

数据存储安全:包括物理安全、系统安全存储数据的安全,主要通过安全硬件的采购来保障数据存储安全。

数据传输安全:包括数据的加密和数据网络安全控制,主要通过专业加密软件厂商进行规范设计和安装。

数据使用安全:需要加强从业务系统层面进行控制,规范数据的访问、下载、共享、销毁等过程。(了解数据安全详见数据安全如何定级?



03  数据价值实现


现在数据已经整整齐齐准备好了,能够通过什么服务实现价值呢?一般可以分为三种。

基础数据服务:查询、多维分析等,以SQL的方式来进行数据获取和指标分析。支持简单的条件查询,数据化运营中的路径分析、漏斗模型等等。

标签画像服务:通过使用标签数据,进行客户画像、精准营销等服务。像是关联分析、RFM模型都是比较常用的模型。

算法模型服务:包括推荐系统、风险控制等,通过将算法模型部署为在线API。这一部分根据行业不同有不同的需求,如投研分析,文本语义分析,交通路线优化等不同场景下的应用。


本文来源简书,作者多肉饼子
点击文末阅读原文,获取更多干货好文
觉得本文有用,欢迎转发分享,谢谢


<END>



大家都在看:
1、IBM数字化中台(PPT)
2、数据仓库建设规范文档模板(附下载)3、主数据管理(MDM)项目建设落地方案
4、数据中台建设方案(PPT)
5、华为税务大数据解决方案(PPT)6、企业级数据治理解决方案(PPT)7什么是数据建模?8数据安全如何定级?
9、华为的数字化转型与数据治理10、集团级财务数据中台建设方案(PPT)11、数据治理体系建设方案(PPT)12、数据中台和ERP到底有啥关系?13、国家标准:数据治理规范(附下载)14、埃森哲:企业数字化转型三步曲15、数据中台助力银行数字化转型(PPT)



数据学堂


欢迎扫码添加歪老师个人微信(data-school),邀请加入数据学堂数据专业微信群,与业内大咖一起识数据、存数据、管数据、治数据、用数据!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存