文章来源：五分钟学大数据
傅一平评语：
银行由于强监管的行业特点做数据治理有先天的优势，本文给出了《银行业金融机构数据治理指引》的解读，虽然2018年已经发布，但还是有不少可借鉴的东西，包括：
1、给出了数据治理的体系框架，横向包括数据治理层、数据管理层和数据应用层三层，纵向包括数据治理审计
2、围绕建立切实有效的数据治理组织架构，给出了首席数据官、独立的数据管理组织（数据治理、监管报送及数据应用三条职能线合一）的设置建议，里面其实也提到了企业数据责任人和领域数据责任人的要求
3、给出了银行应用建设面临的挑战，包括非结构化数据处理能力不足、业务间还未数据打通、未建立能够快速共享整合的大数据处理及分析平台及数据分析建模能力积累不够等等
4、在银行应用建设路径上，除了通用的内容，强调要提升行内第一方数据的质量；开展上下游生态圈合作，扩展行内的第二方数据；通过爬取、购买、交换等方式，补充行内的第三方数据
5、在数据治理的审计范围上，至少包括数据治理组织架构、数据管理、数据质量、数据安全、数据资产价值等方面
正文开始
为引导银行业金融机构加强数据治理，充分发挥数据价值，全面向高质量发展转变，银监会于2018年发布了《银行业金融机构数据治理指引》，主要内容如下：
近年来银行业金融机构在业务快速发展过程中，积累了客户数据、交易数据、外部数据等海量数据。数据已经成为银行的重要资产和核心竞争力，充分发挥数据价值，用数据驱动银行发展，提高银行经营质效，具有重要意义。在此过程中，打破传统运营模式，引入金融科技或创新手段势在必行。银行业应以本次《指引》为契机，借力于有效的工具和手段，建设和优化数据治理体系，提高数据管理和质量控制水平，充分挖掘和利用数据价值，为数据分析、经营决策、发展规划提供数据支持，持续提升风险管理、内部控制能力及经营管理能力，形成全行上下数据文化，充分发挥数据价值。我们看到，本次下发《指引》的同时废止了《银行监管统计数据质量管理良好标准（试行）》（银监发〔2011〕63号）（以下简称《良好标准》）。《良好标准》被视为《指引》的前身，《指引》在《良好标准》试行七年的基础上进行了提炼与升华。《指引》共包括七章55条，作为银行业金融机构数据治理工作的引领性文件引导银行业金融机构全面开展数据治理。重点从以下五个方面提出监管要求：明确数据治理架构。监管在答记者问中明确指出：“多数银行数据管理职能分散在不同部门，容易出现职责分散、权责不明的情况，需要进行统一管理。同时，数据治理是系统工程，从下至上，应做到人人有责、层层把关。”《指引》明确了银行业金融机构数据治理架构，董事会、监事会和高管层等的职责分工，提出可结合实际情况设立首席数据官。要求确立数据治理牵头部门，明确牵头部门和业务部门职责。引导银行业金融机构建立完善数据治理架构，统一全面管理银行数据，并要求从数据采集员、部门负责人、高管层到董事会，所有相关人员都对数据治理负相应责任。明确数据管理和数据质量控制的要求。明确银行业金融机构数据管理方面的要求，覆盖数据战略、数据管理制度、数据标准、信息系统、数据共享、数据安全、应急预案、问责机制和自我评估机制等。要求建立数据质量控制机制，明确将监管数据纳入数据治理范畴，要求全面强化数据质量，保证数据的真实性、准确性、连续性、完整性和及时性。明确全面实现数据价值的要求。提出银行业金融机构应当将数据应用嵌入到业务经营、风险管理和内部控制的全流程，有效捕捉风险，优化业务流程，提升内部控制有效性，实现数据驱动银行发展。加强监管监督。明确了监管机构的监管责任、监管方式和监管要求。对于不满足《指引》有关要求的银行业金融机构，要求其制定整改方案，责令限期改正；或与公司治理评价、监管评级等挂钩；也可能视情况采取其他相应监管措施。强化数据安全意识。要求银行业金融机构适应大数据时代需要，强化数据安全意识，依法合规采集数据，防止过度采集、滥用数据，依法保护客户隐私。本次《指引》使用了许多新兴词汇，这些词汇均是首次被监管部门正式引用，并出现在银行业金融机构的监督管理文件中。我们将通过这些词汇更好地理解《指引》。- 首席数据官：“首席数据官”首次作为需要监管机构任职资格许可的管理岗位被提出。通过设立首席数据官，明确银行业金融机构数据治理架构，董事会、监事会和高管层等的职责分工。数据治理需要一个灵魂角色。《指引》提出银行可根据实际情况设立首席数据官（CDO）。无论是否设立CDO职位，都不可否认银行需要一位“CDO”来制定银行数据战略、开展数据管理工作，建设数据文化。如果缺少这样的一个灵魂角色，数据治理工作的开展必然是杂乱的，缺乏体系的。相比由管理委员会或CIO来推进银行的数字化策略，CDO对数据有更强的推动力及精准的关注点。
- 数据文化：这是监管机构首次正式将数据作为企业文化建设的一环提出，要求树立数据是重要资产和数据应真实客观的理念与准则，通过数据文化建设，获得数据价值在全行内的认同。
- 整改制度：这是监管机构首次在明确要求建立管理制度后，明确要求建立整改制度。目的是要求建立数据质量控制机制，全面提高数据质量，强化银行业金融机构对数据质量的责任，建立和实施上至高管层的数据治理问责机制。
- 数据价值：提出数据价值的概念，通过数据治理有效实现数据价值，以数据价值驱动管理。要求银行业金融机构加强数据应用，发挥数据价值，实现数据驱动银行发展，强调数据应当成为经营管理尤其是风险管理的重要依据。
- 数据加总能力：通过提出数据加总能力，进一步明确数据在全面风险管理中的价值。银行业金融机构应当建立数据统一集中管理的制度，确保整体数据完整性，确保各类数据之间的统合性、关联性和一致性，满足在正常经营、压力情景以及危机状况下风险管理的数据需要。
《指引》替代银行监管机构2011年发布的《银行监管统计数据质量管理良好标准(试行)》（下称《良好标准》），对数据方面的监管进行强化与延伸：强化管理对象，由监管数据质量到全面数据治理；延伸管理范围，由监管统计延伸至数据全生命周期。根据《指引》在数据治理架构、数据管理、数据质量管理、数据价值实现方面的要求，可搭建由数据治理到管理、应用的整体架构：数据治理体系框架根据治理、管理、应用分为三个层次。可以选择实现数据应用为导向，梳理应用所需数据，开展专项数据治理。再通过迭代的方式，逐步实现体系化数据治理。新模式既满足监管对数据的要求，同时也涵盖监管要求的数据价值实现。- 战略、组织、制度、流程、绩效等作为治理内核，组成数据治理层。
- 数据标准、数据质量、数据安全、数据共享以及生命周期管理内具体执行内容组成数据管理层。
为全面应对《指引》要求，由数据治理通向数据价值实现，银行业金融机构需要从战略、管理、执行三个层面循序渐进开展工作。全面的数据战略规划。《指引》要求，数据治理是长期而深入的“在经营管理中充分发挥价值的动态过程”。银行不仅要将数据治理、数据价值实现纳入公司治理范畴，还需结合自身发展战略与监管要求等要素，制定全行数据战略规划。通过风险管理、业务经营与内部控制等领域中的数据应用，逐步将规划要求落地，实现数据驱动，发挥数据价值。切实有效的数据治理组织架构。《指引》第八条要求“银行业金融机构应当建立组织架构健全、职责边界清晰的数据治理架构，明确董事会、监事会、高级管理层和相关部门的职责分工，建立多层次、相互衔接的运行机制”。同时，《指引》第十二条明确：归口管理部门“负责监管数据相关工作，设置监管数据相关工作专职岗位”。数据治理体系建设工作涉及诸多系统与业务流程交织；监管报送通常以统计、财务相关职能归口管理。《指引》强调将两者归并管理，其意图不仅要求银行建立数据管理职能，更深层次的期望是银行将数据作为管理对象独立出来。以数据管理的多年实践来看，围绕数据相关的工作，必须由专人专岗负责，随着数据治理成熟度提升、数据业务范围拓展，可逐步成立数据管理小组、数据管理部门。在实践案例中，某城商行规划建设独立数据管理一级部门。该部门设置数据治理、监管报送相关职能，同时将数据应用作为第三条职能线。该部门既承担维护数据的责任，又拥有挖掘数据价值的能力，帮助行内利用数据实现多项分析应用。满足监管指引要求与提升行内数据效能相得益彰。在开展数据管理的过程中应参考成熟的管理方法。基于《指引》要求，参考DAMA（国际数据管理协会）的数据管理知识体系、成熟数据治理方法论等已具有多年实践经验的理论，能帮助银行借鉴成功经验，开展数据管理工作。DAMA知识体系重视数据质量、数据安全、数据存储、数据共享等方面的实施方法。在2017年9月更新DAMA知识体系2.0版本中，对数据治理、数据管理的概念以及方法框架有一定变化和提升。新版本增加章节详细介绍数据治理组织与角色，并首次引入组织架构体系，这一认知正与《指引》要求契合。银行可以结合自身发展特色，参考借鉴国际数据管理方法体系的内容开展数据管理。利用数据治理工具实现高效持续的数据治理执行方式。“速见成效”是大部分银行开展数据治理的期望。以数据质量管理为例，银行往往为呈现数据治理当下的效果，要求各部门定期手工开展数据质量检查活动来实现数据质量监控，以期改善数据质量。《指引》单独开辟第五章数据价值实现，要求“银行业金融机构应当在风险管理、业务经营与内部控制中加强数据应用，实现数据驱动，提高管理精细化程度，发挥数据价值”。这三个应用领域与银行金融本质、战略转型与精益管理息息相关，银行应坚持应用导向和问题导向，做强做优数据应用，提升数据资产转化为数据服务和数据价值的能力。银行基于内部与外部数据，实现更加自动化、精细化和准确化的风险识别与预警，并探索人工智能技术在风险防控领域的应用。例如，在信贷业务的风险管理中，通过集成学习（Ensemble Learning）技术，将多种大数据模型技术整合，构建全方位的客户风险识别预警能力，提供更高的审批效益以及更为精细的授信策略；在信用卡业务的风险监测中，通过人脸识别和比对技术，可大幅降低伪冒申请案件的发生；通过互联网公开可获取的文本数据并进行解析，与内评法评估模型相结合，对企业信用风险或资产标的进行更高频的风险监控，改变静态周期性监控的低敏感性。众多银行为实现线上业务发展结合线下网点转型的全渠道建设，通过分析线上线下的客户行为特征，识别客户的生命周期状态，以便采取引流、营销、激活、挽留等对应的客户管理措施。通过金融科技转型，建立第一方客户数据管理平台，构建实时营销机会捕获能力，实现为每一个客户以最佳的时机和渠道，提供最佳的产品和服务。例如，在银行的APP应用内部，通过千人千面的客户画像，利用强大的计算性能和大数据预测技术，为客户提供个性化、专有的功能展示和推送，发掘客户的下一个需求点，减少客户在应用内的寻找成本。在近些年的部分领先银行的APP应用中，此类推荐引擎已经成为银行收入增长的重要组成部分。银行内部管理流程积累的大量数据同样具有挖掘价值，例如监管法规、内部公文、合同文书等文本数据，业务流程各节点员工操作的行为数据，银行和第三方业务交互的行为数据等，都是可以内部挖潜的数据来源。通过自然语言处理技术，提取并标准化银行内部的各类文本内容，可在合同审核、业务协议分析、内部审计等管理领域广泛开展应用工作。例如，将银行内部的合同管理规范、法律部门的专业经验集成到语义分析程序中，通过标准化的语义识别，帮助法务人员快速、精准识别高风险条款，减小法务人员间的水平差异，可大大提高法务中心合同处理的效率和效果；对管理流程的控制环节中的人机交互数据进行采集，分析流程执行的效率及控制活动是否“形式化”，为业务流程效率提升和内部控制有效性改善提供依据。银行数据应用建设策略
银行业是较早重视并开展数据应用的行业。在银行数据应用能力建设过程中，也伴随着挑战与制约，主要体现在，对非结构化数据处理能力不足，制约银行对影像、音视频等数据分析与应用能力；未建立能够快速共享整合的大数据处理及分析平台，影响数据应用效果；不同业务间数据未能打通与整合，限制数据应用场景；数据分析建模能力积累不够，降低数据应用的精度，数据驱动业务能力不足。着眼当下，面对种种难题，银行亟待制定数据应用建设策略，评估数据应用的收益与投入成本，结合监管明确的数据应用方向，建立与业务战略相匹配的数据应用规划，制定切实可行的实施路径，集中资源攻坚克难。同时银行应搭建可容纳海量数据的基础平台，提升数据服务的核心能力；充分挖潜内部数据，积极获取外部数据，扩充行内数据的宽度与深度；分层构建数据应用，集中建设基础共性的数据应用，支撑价值导向的个性化应用百花齐放。更重要的是，在数据应用建设过程中，注重数据模型的优化，遵循行内数据标准，结合元数据管理持续提升行内数据质量，实现数据应用和数据治理的相互促进。基于数据应用的建设策略与方向，银行应在迭代建设过程中搭建具有快速计算、海量存储及动态可视化能力的数据平台。通过持续的、高质量的数据采集与集成，运用数据分析及挖掘算法，提供专业的数据应用服务，促进数据应用水平不断提升。同时银行应注重人才与文化建设，更好地应对市场变化及商业竞争。搭建数据基础平台，是进行大数据采集、集成、共享及应用的基础。银行应利用在传统数据仓库技术的积累，大力推进大数据、云计算等开源技术的应用，构建数据处理能力与数据应用能力相匹配的基于大数据的云服务型数据基础平台。采集与集成数据资源，银行处于数据驱动业务模式的转型期，应积极获取一二三方的数据，扩充行内的数据宽度。银行应规范行内信息系统的建设与业务操作规范，提升行内第一方数据的质量；开展上下游生态圈合作，扩展行内的第二方数据；通过爬取、购买、交换等方式，补充行内的第三方数据。对于采集到的多方数据需要通过构建统一的企业数据模型进行整合，形成行内的数据资产地图，降低数据理解的难度，有效支撑业务部门开展数据应用。满足数据可视化要求，建立有数据质量保障的能够进行多维查询与分析的数据可视化平台与工具，减少数据分析人员因找数据，验数据，协调解决数据质量问题产生的大量工作。建立数据分析实验室，集中数据分析骨干，基于内容的检索和相似度搜索、概化和多维分析、分类和预测分析等方法，加强对文本数据、图形数据、音频数据以及超文本数据等复杂数据进行挖掘。加强算法应用改进，结合实际应用案例，引入国内外机器学习等先进算法并提升算法的性能与稳定性，加强对挖掘结果的有效性评估，逐步将大数据资源转化为商业洞察，提升自动化业务流程，增强差异化产品与服务的核心能力。增强应用服务能力，基于银行风险管理、业务运营、内部控制等多个应用领域，为业务部门提出场景化的应用解决方案。发掘数据应用需求，探索新的数据应用领域，拓展数据应用深度，推动数据资产价值实现。加强专业化人才队伍建设，以首席数据官为带头人，数据科学家为分析技术核心，建立数据分析师与数据管理员的专业化团队，与业务部门多样化的数据分析与应用人员，共同组成分工协作的数据人才队伍。推动数据文化建设，银行应通过培训及绩效激励相结合方式，大力推广成功数据应用经验以及先进数据应用理念，形成从总行到分支行以数据发现问题并解决问题，善用数据并用好数据的数据文化。商业银行的数据治理审计保驾护航，技术引领价值升级，主要是基于商业银行的数据治理体系框架，参考内部制度和相关监管规定，对商业银行数据治理的组织架构、制度流程、质量管理、系统与数据管理、数据价值实现方面的全面审计。在应对监管要求与满足经营发展的双重挑战下，内部审计作为第三道防线，应以独立、客观的视角对银行数据治理范畴内的各项工作进行检查和评价，促进对全行数据资产的重视与积累，促进全行数据治理体系的完善。同时，通过引入审计技术创新，逐步实现审计数据资产应用的系统性、立体化、全面化、智慧化的价值升级。数据治理的审计范围应至少包括数据治理组织架构、数据管理、数据质量、数据安全、数据资产价值等方面。制度体系建设是数据治理的基本工作，银行需针对数据治理工作建立起层次鲜明、结构清晰的制度及流程体系。数据治理架构审计工作主要是自上而下审计银行数据治理体系建设情况，重点关注数据治理组织架构和制度体系，数据治理资源配置情况，一二三道防线对于数据治理的职能与边界，数据全生命周期的管理流程以及数据文化建设情况。银行应建立纵向的数据治理管理组织，形成三道防线的管理组织网络。数据管理部门应负责牵头全行的数据治理体系建设与管理，业务部门应当负责本业务领域的数据治理，管理业务条线数据源，确保准确记录和及时维护，落实数据质量控制机制，执行监管数据相关工作要求。二道防线由合规或风险的管理部门负责，负责数据治理体系的定期合规检查和数据风险管理。第三道防线对第一及第二道防线部门的工作进行事后稽核、审计和监察等。通过三道防线，形成纠错防弊的机制性保障，才能夯实管理基础，有效控制偏差和风险。银行通过建设各类数据管理工具和方法，提升数据管理水平及效率。数据管理的审计工作主要针对数据管理工具和方法审计其有效性、充分性和安全性，数据管理工具和方法包括但不限于数据战略、数据标准、信息系统和监管统计系统、数据安全策略、应急预案、问责机制、自我评估机制等。银行应当结合自身发展目标和监管要求等，制定客观、可实现的数据战略并确保有效执行和适时修订。银行应当建立全行统一的且符合国家标准、行业标准、监管要求的数据标准，并且逐步推进数据标准的有效落地，实现不同系统中数据标准的统一规范以便于更好、更便捷地实现数据共享。通过逐步开发信息系统，提高各项业务和管理数据的系统覆盖率；通过持续完善监管统计系统，提高监管报送自动化比率。数据安全策略应当符合法规要求、有效保护隐私数据、明确访问权限、区分安全等级等。与此同时，银行应当建立数据应急预案，并建立数据治理问责机制，定期开展数据治理自我评估，保障数据治理持续发展。数据质量是数据创造价值的保障基石，高质量的数据为数据统计、分析和应用提供了可信任的必要条件。数据质量审计工作评估数据风险性和健康度，主要评估纬度包括数据的真实性、准确性、连续性、完整性和及时性。银行应当建立一系列有效的方法和流程提升数据质量。首先，应当明确定义数据质量需求和数据质量范围，在此基础上选定测量数据、制定测量规则，通过设计和建设数据质量检核模型进行数据质量问题识别，并深入分析原因。再次，针对发现的质量问题分派责任方，拟定改进方案并执行改进和跟踪评估。建立数据质量考核机制，且针对重要甚至重大问题进行有效问责。通过长时间积累的质量问题，进行问题分类管理，形成和丰富质量问题知识库，持续完善质量检核模型及问题流程化管理。数据质量提升是数据治理效果的最终体现，针对数据的审计，能够最直观发现数据是否符合标准规范、报送要求，以及数据质量问题。在开展针对数据的审计时，应首先明确测试系统范围，进而明确测试数据范围，确认数据量，最终通过数据校验等数据审计规则的开发，校验数据的一致性、准确性、完整性、唯一性、及时性、真实性、和精确性。
| |
| 相同数据项在不同系统或同一系统内不同表格记录多次时，多个数据值是否相同。 |
| 数据是否符合数据标准中的业务定义。例如在数据项“押物名称”存储了押物所有权人名称。 |
| 业务需求所需的关键数据项在系统中是否有定义，或者关键数据项是否都采集了数据。例如合同有效日期是否有未填写的数据记录。 |
| 是否满足一个业务唯一关键数据项值组合仅对应一条记录，例如一个组织机构代码仅有一条客户信息记录。 |
| 是否能够在数据需求定义要求的期限内获得最新的数据，或按要求的更新频率刷新数据值。 |
| |
| |
大数据时代新形势下，数据安全、隐私安全乃至数据平台安全等均面临新威胁与新风险。数据安全是数据治理中面临的重要问题，也是数据治理审计关注的重点之一。数据安全审计工作依据信息安全管理相关的标准，如ISO/IEC 17799、COSO、COBIT、ITIL、NIST SP800系列等。银行业应当建立数据安全策略与标准，依法合规采集、应用数据、保护客户隐私、划分数据安全等级、明确访问权限、监控访问行为，持续完善数据安全技术。数据资产正在为银行带来丰富的价值创造，其价值也成为衡量银行价值的重要影响因素。数据资产价值的审计工作包括盘点银行的数据资产，评估数据资产为银行带来的价值能力，发现数据资产现状的不足。银行应当了解全行的数据资产，在风险管理、业务经营与内部控制等方面挖掘数据资产应用潜力，提高数据使用和应用效率，结合定性和定量的指标定期评估数据资产产生的效益、带来的价值度量，结合绩效考核进行数据资产管理完善。如在新产品的开发中数据资产带来多少收益、在客户精准营销中数据资产带来了多少获客数量等。通过数据驱动，提高管理精细化程度和核心竞争力，发挥数据价值。免责声明：本公众号所载文章为本公众号原创或根据网络搜索下载编辑整理，文章版权归原作者所有，仅供读者学习、参考，禁止用于商业用途。因转载众多，无法找到真正来源，如标错来源，或对于文中所使用的图片、文字、链接中所包含的软件/资料等，如有侵权，请跟我们联系删除，谢谢！
数据治理带给我了什么收获？by 傅一平
银行数据治理：数据质量管理实践！
数据分类分级方法、标准及应用实践
从0到1，数据治理一周年大纪实
什么是数据治理？如何实施数据治理？
企业数字化转型：信息化与数字化之争！
数据治理组织：建起来不易，转起来太难？
查看全部文章
点击左下角“阅读原文”查看更多精彩文章，公众号推送规则变了，如果您想及时收到推送，麻烦右下角点个在看或者把本号置顶！