【漫画】漫谈数据质量管理
在说数据质量之前，我们先来看一个小故事。
降落伞的真实故事
在第二次世界大战中期，
在当时，美国空军降落伞的安全度不够完美，
经过厂商努力的改善，良品率已经达到了99.9%，
应该说这个良品率
即使当今社会许多企业也很难达到，
但美国空军却要求降落伞公司的良品率必须达到 100%！
于是，降落伞制造商的负责人便与之商讨此事，
看能否降低这个标准？
厂商认为当前这个程度已接近完美了，
没有必要再改了，
美国空军一口回绝“品质没有折扣”。
后来，军方改变了检验降落伞品质的方法；
是从厂商交付的降落伞中，
随机挑出一个，
让厂商负责人装备上身后亲自从飞行中的机身跳下。
这个方法实施后，不良率立刻变成零。
数据质量是什么？
数据质量是指数据满足准确性、完整性、时效性、一致性、唯一性、关联性、适当性、有效性及可获取性的程度。具体含义如下：
1、准确性
数据是否能够准确、真实反映实际信息，以及数据格式是否符合数据标准的要求；
2、完整性
业务操作所需要的数据是否完备；
3、时效性
数据是否能够及时被获取，以及是否能够反应当前业务情况；
4、一致性
反映同一业务实体的数据及其属性是否具有一致的定义和含义；
5、唯一性
数据在数据集中不存在重复值；
6、关联性
数据是否具有明确的关联关系，数据关联关系是否被准确定义，数据是否符合数据间的关联关系；
（每个人的机票和飞机座位，都有明确的关联关系。）
7、有效性
数据符合已定义的格式规范和业务规则；数据是否在可控、安全的范围内发布和使用；
8、可获取性
数据易于理解，且数据格式满足用户需要
为什么要提高数据质量？
01
为了发展健康的社会经济，
政府对数据质量的要求日益严格。
2018年银保监会发布
《银行业金融机构数据治理指引》
意在引导银行业
加强数据治理，提高数据质量，
发挥数据价值，提升经营管理水平。
02
应对经营管理，数据洞察力成为银行核心竞争力。
数据管控是和数据整合、数据应用并行的重要工作。
数据仓库是形成数据洞察力的重要技术组件，
是企业信息框架中的关键一环。
但企业可持续的数据能力与良好的数据标准密不可分。
数据质量的问题有哪些？
01
各级机构较多，岗位分工繁杂，
缺乏数据质量预防的意识。
因而在数据“生产”过程中，
未能按照标准规范去填写，
这些“脏”数据不断地被加工使用，
整个过程中又缺乏数据质量管理，
引发大量数据质量问题。
02
在金融创新进程的不断深入，
金融产品也日趋丰富，
各类业务呈现出复杂的管理关系。
一些业务难以界定牵头管理部门，
导致跨部门的数据质量问题解决慢、效率低。
严重影响了监管当局的要求，
也无法适应快速变化的业务需求。
03
数据高度集中的一些管理系统、
数据平台或报表集市，
其数据源众多．加工流程复杂，
随着新业务产生和上游系统的不断变化，
数据质量存在波动。
银行数据质量如何应对解决？
01
事前原则
以监管政策为抓手，宣贯治理文化。
企业在高级管理层下成立了
“数据治理工作领导小组”
形成了跨部门协作的数据治理问题沟通解决机制。
依托于企业数据标准管理办法，
应重点关注IT系统的建设开发、
架构管理主数据标准管理几方面，
主数据这一点上更多应关注数据存在哪里，
怎么避免重复，怎样避免数据多头维护等问题。
同时各业务系统方应参照执行
已制定的数据标准规范，
从事前行为做好数据质量管控工作。
02
事中原则
在IT系统建设投入使用时，
应当根据《xx系统用户使用流程手册》
对基层业务人员进行知识培训，
可避免数据部分信息缺失、数据存在异常值等情况，
在数据录入环节避免产生“脏”数据。
03
事后原则
关注管控平台的检核规则持续提炼。
对各类数据问题进行梳理分析，
形成《数据问题信息清单》，
制定解决方案和计划并定期维护此清单。
通过收集->定位->执行解决->反馈这个流程
应用到实际的工作当中去。
04
持续性保障
将治理文化融入信息系统开发流程。
数据生命周期是数据质量提升的切入点。
通过《山西农信软件开发管理细则》，
确保项目团队在数据质量的源头、过程中
得到有效保障，
解决过去数据治理工作中出现的
边“建设”、边“污染”、后治理的模式。
来源：山西农信
责编：付斌