数据治理是管理问题，还是技术问题？

作者 | 李忠良

近日，QCon 全球开发者大会（广州站）顺利落地，InfoQ 特别策划了五场闭门会，本文为其中一场主题为《金融行业数据治理经验分享》的会议研讨纪要整理。

分享嘉宾：

李杨，平安资管科技平台交易系统团队开发组负责人 

王劲，数果智能创始人兼 CEO 

周程伟，链融科技 CTO，TGO 深圳会员 

李龙，众安国际 Fundamental Tech VP

针对不同监管部门发布的不同标准，你们如何应对？

李龙提到，首先是内部需要有理解监管、为业务目标共同努力的联合团队；第二点，需要实时了解监管动态；第三，落地的时候，需要充分的保护好企业，进行相关证明材料、法律意见的存档，例如数据跨境风险，在监管政策上，内地和香港的政策有一定差异，这里的数据处理和合规风险需要非常慎重，留好记录，确保业务合规开展。

李杨指出，保险投资公司与银行有一些不同之处，他服务对象包括平安集团的保险资金以及第三方资金。由于可能涉及大规模的投资交易，监管机构担心某些操作造成不正常市场波动，为遵守监管要求，将风控措施嵌入到内部系统中。公司内部风控要求会更加严格，以避免违反监管规定。

他们还有内部评级和事中监控系统，用于监控交易员执行交易时是否触发监管或者内部的一些要求。如果超过设置的某些阈值，系统会提醒交易员。一般来说，公司的要求会高于监管既定的阈值以避免引起不必要的风险。与此同时，我们公司注重合规文化，常常进行合规宣传以及相应的学习。

周程伟谈到，不同监管部门存在不同的标准，尤其在跨境交易方面。然而，国内监管机构的标准在逻辑上是一致的，且核心逻辑是非标和综合规则。虽然不同行业可能存在一些差异。随着监管对金融科技的加强，进行某些操作变得越来越困难，需要大量的沟通和解释。在个人信息保护方面，涉及敏感信息的处理更加严格。另外，金融领域的监管目前还没有明确分工，但企业需要建立合规和数据管理体系。

王劲也发表了自己的观点，他认为“作为乙方单位，我们在为甲方提供服务时，也感受到金融监管对数据安全和个人隐私的重视程度，尤其在与银行和其他金融机构合作时”。监管部门对 APP 数据采集的要求非常高，包括数据分析和分类的明确要求，以及加密算法保护用户身份证、电话和银行卡等敏感信息。在数据分析过程中，数据脱敏是常用的方法，确保数据的安全性和隐私性。整个行业对数据安全和隐私的要求越来越严格，不仅限于金融领域，包括央企在内的各个行业也高度重视数据资产的安全。

如何解决数据孤岛？

李杨表示，很多企业声称正在进行数字化转型，解决数据孤岛和数据联通的问题，但实际上数字化转型对于任何企业来说都是较大的挑战。“我认为数据孤岛是必然会产生的，并且会持续存在。业务部门往往相对独立，构建了各自的业务系统，导致出现隔离和数据孤岛的问题。”他认为，解决数据孤岛问题是一项困难的任务，特别是在组织不够痛时。他也指出数据孤岛问题可能永远存在，只能不同企业缓解的程度不一样。无法完全解决，处于 on the way 的状态。因为组织架构和业务系统支持的效率等因素影响着解决该问题的难度。企业应该建立统一的数据中心和数据服务中台，以提高数据的一致性和故障处理能力。

王劲谈到，数据治理在数据资源和数据库方面并不是最新的概念，而是从数仓时代开始逐渐形成的。然而，许多公司在进行数据治理时存在一个重要问题，就是过于关注治理而忽视了从业务出发的重要性。数据治理必须回归到业务场景，并从一个业务场景的角度全面治理数据，否则即使在数据层面上取得了一些成果，也无法解决实际业务问题。因此，数据治理需要由业务牵头，并将技术服务于业务需求。另外，关注数据指标是实现数据治理的关键，指标是离业务最近的，通过围绕指标展开数据治理，将指标相关的数据汇总起来，可以解决数据孤岛、数据质量等问题。

“数据孤岛的问题正在逐渐变好，解决数据孤岛是一个动态变化的过程。”周程伟还提到，规范化的产品研发和数据管理流程可以解决现有问题。管理科学和数据质量是需要解决的关键问题，但在传统企业中很难做到完美。

李龙则强调了数据与组织架构的关系。他认为数据的最终形态取决于组织架构，并强调数据的统一口径和标准，以及数据科学部门的独立性和与业务部门的协作。其认为，CEO 和 CTO 在解决数据与组织架构问题上起关键作用，必须通过合理的设计来解决这个问题。他还提到了众安保险和数据科学应用中心的数据团队在公司文化中的重要性，以及数据在业务增量中的作用。

数据质量参差不齐，大家如何解决？

王劲认为，数据质量的关键在于回归到业务平台。从业务角度出发，大家需要确定基于特定场景和业务的数据指标体系，进行梳理和定义。通过分析，将整个数据链路串联起来，并在每个节点实现管控和监控。数据质量参差不齐的情况下，出现故障或问题往往需要花费大量时间和资源进行排查。因此，确保数据质量需要建立一个闭环的监督体系，以业务为中心，实现数据活动和关键节点的快速定位。在技术层面上，可以采用多数据源的比对和检查，以及监控系统的建立。此外，指标的偏离度和数据的准确性、及时性、完整性也是数据质量的重要考虑因素。

李杨谈到数据治理涉及数据质量、数据标准和数据安全。其中，数据质量指标包括一致性、完备性、完整性、及时性和有效性等。通过交叉验证和调度平台生成数据质量报告，满足对数据质量的要求和监控。从技术层面来看，实现并不复杂，通过调度和手工制定规则来完成。然而，我们需要确保能够清楚地收集业务关心的数据指标，并生成及时准确的数据指标，这是一个比较重要但也比较困难的任务。另外，数据分为 OLAP 和 OLTP 对于 OLTP 型数据，对数据的及时性监控更为重要。现有的基础设施能否满足对 OLTP 型数据质量的监控是一个难点。

王劲在这里提出了疑问，他认为在考虑数据质量时，不能仅从技术角度出发，而应该从业务结果的角度去倒推。数据质量问题是与业务密切相关的，例如，如果每天的交易量应该达到 1000 亿，但实际只有 800 亿，这涉及到了数据质量的问题。数据的质量与业务是紧密相连的，不能将其分开看待。

李龙最后谈到，在进行原始数据定义和口径梳理时，需要意识到不同部门可能有不同的口径定义。建模团队应该能够发现这些不同的口径，并将其整合起来，避免分析过程中的冲突和重复。这一点非常重要。在这个基础上，通过数据质量的监控规则和机制来保证数据的准确性。同时，业务部门也应自觉地发现问题，并促使解决。数据团队在此过程中扮演着收口的角色，不是简单地新增数据，而是通过识别相同数据中的不同问题，避免冗余。

活动推荐

2023 年 9 月 3 - 5 日，在北京·富力万丽酒店， QCon 全球软件开发大会（北京站）已开启，现已开启售票，提前订票，可享受 7 折早鸟价，购票参会可以直接电话 / 微信联系票务经理 18514549229。

---

- EDN -

欢迎添加小助手进群，我们将为您推送更多数字化内容和活动信息。

关注「InfoQ 数字化经纬」的朋友们，为了让我们能保持联络，希望大家尽量 🌟星标🌟这个公众号，否则很容易就看不到推送啦～