智能金融 | 星环科技发布证券业大数据战略规划纲要(白皮书) 下
《智能金融》
随着大数据、人工智能、云计算等技术的蓬勃发展，“智能”相关的概念和技术逐渐渗透到各行各业，颠覆了传统行业的研发、服务体系，重构了产业生态系统。同时，以支付、P2P、众筹、区块链、互联网银行、综合理财平台、智能投顾等金融科技(FinTech)产业的兴起，对传统金融的竞争格局和方式产生深远影响。金融服务脱媒化、服务渠道虚拟化、金融服务个性化、经营模式生态化、决策数据智能化，都宣告着智能金融时代的到来。
本系列将结合大数据、云计算、人工智能等技术的创新应用思维，探索、洞察金融业在大数据技术与实践、金融科技、大数据战略规划、数据资产化等领域的知识与经验沉淀，形成独到观点，为中国金融机构的中高层管理人员、科技与业务人员，具有较强的思考、借鉴与指导意义。
大数据战略是数据价值链中最核心的组成部分，也是企业整体战略的组成部分。数据价值链即数据生命周期管理，从数据产生、验证和进一步加工后，以新的创新产品和服务形式出现和利用。数据价值链遵循的原则是：
• 高质量数据的广泛获得性，包括一方、二方和三方数据；
• 数据资产在企业内外部的流动和使用；
• 数据生态系统的形成，包括不限于企业、供应商、数据服务方等。
企业实践大数据战略，即通过数据源的获取、数据处理与加工、数据分析和工程化、数据应用和数据服务，最终转化为数据应用落地、数据价值洞察、数据资产变现和数据运营管控，为企业整体战略目标的达成起到积极助推动力，以“数据驱动业务”，以“数据创造价值”。
结合在大数据战略实践中的问题与难点，证券公司应有意识的采取阶段性、分步走的策略，感知企业大数据实践能力、构建大数据基础设施、推动数据管理标准、推行基于大数据的应用与服务，以及形成良好的数据资产价值转化能力(图8)。
图8：开展分步走的大数据战略方案，逐步形成数字化企业能力（星环科技整理）
大数据战略实践路径应首先进行企业级大数据能力评估。证券公司需要从数据基础设施、数据驱动量化决策、数据标准与全面数据管理、数据应用与数据运营、新兴技术的适应性五个方面对企业大数据战略环境整体进行评估打分，以此作为基础评判金融机构大数据实践能力成熟度。大数据实践能力成熟度模型的内容如下：
• 数据基础设施构建能力：包括开源框架在内的大数据生态系统、大数据基础设施与管理平台(软硬件)，数据采集、存储、计算和应用的体系架构、海量数据和非结构化数据处理能力；
• 数据驱动的量化决策：数据科学与工程的人员储备和应用方案、数据驱动业务的量化分析指标、依靠数据指导价值链量化决策；
• 数据标准与全面质量管理：数据治理与管理的整体规划方案、统一的数据架构体系和数据衡量指标、全面数据质量要求和数据操作安全要求、企业级数据资产管理方案和价值转化；
• 数据应用与数据运营：数据应用的业务逻辑和工作流引擎，一方、二方、三方数据的集中整合与运营、数据应用指导客户运营与产品运营；
• 新兴技术的适应性：超融合架构、虚拟化与容器的应用、分布式存储与流式计算的融合架构、基于OLAP和OLTP的数据湖混合架构、开源社区的技术应用与整合。
通过大数据实践能力成熟度模型是整体衡量企业在实践大数据战略的衡量标准和指南，可以作为证券公司在战略规划阶段的参考指标。此外，大数据实践的要素还包括人才培养与管理、企业数据治理组织架构和创新型测试和学习型文化。
图9：证券公司应具备多样化的大数据实践能力（星环科技整理）
备注：以上分析框架是星环科技根据麦肯锡企业数字化能力诊断框架总结得出，对企业各类核心数据能力进行全方位的客观对标分析,有助于证券公司制定成功的大数据战略
数据管理平台的发展可以总结为：从传统关系型数据库，演变为数据仓库(DW)，再到最新的以Hadoop为首的大数据管理框架。互联网时代带来了与传统数据完全不同的新型数据资产，其活性、颗粒度、维度均有着巨大的变化，这对于数据管理提出了新的要求。举例来说，传统数据库不适用于半结构化数据和非结构化数据的存储和查询，而海量的一方、二方及三方数据(即金融机构自有数据、通过爬虫技术获得的互联网数据、第三方数据服务商采购的数据)对于存储方式、设备容量、计算能力、IO能力均提出了很大挑战。
规划建设大数据管理平台是大数据战略的核心要点，因其形成了大数据基础设施和管理抓手。缺失了大数据管理平台，数据成为了无源之水，难以集中统一管控；而大数据管理平台的不当选型，大数据战略将难以有的放矢，最终因缺乏合适的技术基础而难以落地。
随着证券公司逐步拥抱互联网技术，建立起互联网思维，采用大数据分析、机器学习等手段，通过自有历史数据的模型训练、采购第三方数据服务等手段，丰富了数据的应用维度，但在大数据平台的选项上遇到了诸多难点：
• 应该建设数据仓库还是大数据管理平台？
• 应该选择MPP架构还是Hadoop架构？
• 应该选择单一架构还是混合式架构？
• 实时分析业务场景应该选择哪种流式计算框架？
• 开源社区的技术是否已经足够成熟？还有哪些问题？
• ...
其实，无论是传统数据仓库还是开源框架，均已发展多年，在技术成熟度上都具备了一定的基础。例如，最早开始对大数据进行应用探索的是2005年雅虎公司的Hadoop项目，经过十余年的发展Hadoop项目已经由最初的解决网页搜索问题，演变为多个软件产品形成的生态系统，如Spark/YARN/HDFS/Hbase/Sqoop等，Hadoop体系也是当前全球最主流的大数据生态集群，具备了完善的分布式存储、计算引擎、消息通讯、资源管理、NoSQL列式数据库、数据仓库、分析平台、机器学习算法集成等技术，支持的数据量及计算结点在PB量级和千台服务器之上。
券商在规划建设大数据管理平台时，应遵循“业务导向”与“长期规划”的原则：从业务场景入手，评估公司当前数据的应用场景、非结构化数据应用、实时计算的性能要求、未来业务多元化的数据视角等；从长远规划思考，估计历史数据量、日增和年增数据量、预估计算结点的扩展性、与IT业务系统的兼容能力等。结合这两部分对不同技术框架的数据管理平台进行测试，形成总结测试报告，最终形成大数据管理平台建设的指导性意见。
数据治理是对数据资产的管理活动行使权力和控制的活动集合(规划监控和执行)。证券公司需要通过有连续性的数据治理计划和持续改进，考虑自身组织发展情况，制定数据治理与管理标准体系。
数据治理是数据管理框架(图10)的核心职能，与数据架构管理、数据质量管理、数据开发管理、数据安全管理、数据操作管理、元数据管理、主数据管理、数据仓库与商务智能管理、文档和内容管理9个数据管理职能交互并彼此影响：
• 数据治理：在数据管理和使用层面之上进行规划、监督和控制；
• 数据架构管理：定义数据资产管理蓝图；
• 数据质量管理：业务驱动的用于评估治理、识别缺陷和清洗数据的策略和方法；
• 元数据管理：业务和技术元数据的整合、控制以及提供；
• 主数据管理：管理数据的黄金版本和副本；
• 数据操作管理：提供从数据获取到清楚的技术支持；
• 数据安全管理：确保隐私、保密性和适当的访问权限；
• 数据开发管理：数据的分析、设计、实施、测试、部署、维护工作；
• 数据仓库与商务智能管理：实现报告和分析应用；
• 文档和内容管理：管理数据库以外的组织过程资产数据。
图10：数据管理框架 （星环科技整理）
作为数据管理职能的核心，数据治理是高层次的、规划性的数据管理制度活动，是主要由高级数据管理专员和协调型数据管理专员所制定的高层次的数据管理制度决策。证券公司应具备专门的组织负责数据治理和数据管理制度，这些组织往往是跨职能的，而组织间通过各种角色形成管理、执行、沟通、协作。
此外，证券公司应从战略、政策、架构、法规、项目、估值和沟通7部分形成数据治理和数据标准化工作的方案。其中，数据战略是数据管理计划的整体性策略，是保持和提高数据质量、完整性、安全性和存取的计划；数据政策包括对数据治理管理的简要说明和基本规则；数据架构规定了数据技术、数据整合、数据仓库和BI架构以及元数据的架构；数据标准涵盖命名规范、要求规范、数据建模标准、数据库设计标准、架构标准，以及每个数据管理职能的规程标准；法规作为政府和行业要求的约束性合规条件；数据管理项目往往与特定的数据管理职能相结合，可作为企业范围内大型项目（如ERP或CRM）的子项目,遵循项目管理标准；数据估值则考察企业选择什么方法来评估数据资产的价值；沟通部分是数据治理组织各角色之间沟通关键信息的方法。
通过数据治理与管理标准体系的构建，证券公司可以实现统一数据指标体系，契合业务的元数据和主管理方案，统一数据接口和数据运营管理方法，对内和对外数据的采集、处理和加工制度，从而为“穿透式”的全面数据管理提供依据和指引。
数据科学能力应包括商业分析能力、数据分析能力、业务场景数据化能力。证券公司应从业务价值提升的角度看待大数据，能够在自身业务能力之上提供附加价值，这意味着从业务、实践中的问题出发，探索数据应用能够产生的助力。
数据科学与工程的范畴包括不限于：
• 数据分析流程，如分析建模流程、数据采集流程、数据预处理流程；
• 数据分析方法，如预测性分析、描述性分析、生存分析和社交网络分析等；
• 机器学习模型，如线性回归、逻辑回归、分类、聚类、决策树、神经网络、关联与时序分析、社交网络学习等；
• 场景结合建模，如信用风险建模、欺诈检测方案、KYC方案、净响应提升建模、流失预测建模、社交媒体分析、舆情分析方案、市场风险VaR分析、利率定价等；
• 平台支持能力：如大数据管理平台的内置算法模型、数据应用的可视化、商业智能与管理驾驶舱、实时性监控应用等。
证券公司应从如上角度全面评估自身数据科学与工程能力，形成数据科学的人才储备、组织文化和创新机制，鼓励数据科学在金融工程、量化交易、财富管理等领域的应用；也可在经纪、自营、财富顾问、网络金融等业务部门开展数据科学与应用的研讨和探索，实现“数据驱动业务”的创新决策型组织。
通过价值链分析方法，可将公司内部运营业务拆分为各种价值活动。这些价值活动的进一步抽象，可将证券业务划分为“要素”和“行为”两类业务主体。其中，要素指“金融业务中所涵盖的类别和对象”，行为是指“满足金融业务运营所必要的操作或管理活动”。结合数据信息流在这两类业务主体中的维度，可以归纳出“要素”包括客户、资产、产品、渠道，“行为”包括交易、风控、营销、运营。
其中客户不仅包括经纪业务各类投资人，还包括同业 客户、交易对手方、机构客户等；而运营则可以包括产品发行、流程审查等等。如下是一些可以作为大数据在不同业务主题下的应用场景举例：
• 客户：在用户洞察和行为分析视角提供用户画像，提供客户增值服务和精准信息推送，同时满足客户关系管理的要求；
• 资产：实现金融资产的定价和资产供应方的管理通路，提供优质资产甄选，在资产充裕、资产荒等不同的环境下确保资产条件；
• 产品：金融产品定价和风险定价，通过第一方数据和第三方数据获得宏观环境的洞察，实现产品个性化定价和实时定价；通过用户感知优化产品要素和结构；
• 渠道：通过资产负债管理和融资渠道分析，提供资金的流动性分析和渠道、对手方的分析服务；
• 交易：通过市场数据实现投资组合分析、智能化投资顾问服务；通过数据化的信贷分析为中小微企业解决融资难与融资贵问题；
• 风控：扩充传统全面风险管理的数据维度，在市场风险识别、信用风险、大数据征信、反欺诈和反洗钱、舆情风险等角度优化分析、监控与行动
• 营销：通过客群分析、用户画像寻求精准营销、交叉销售和跨界营销的机会；
• 运营：优化运营管控，通过数据实现时效分析、自动化产品生成，在资产管理和财富管理角度减少生命周期管理中的冗余环节。
图11：基于证券公司价值链分析推导出价值活动
通过建立大数据管理平台，汇总整合业务数据源，并形成满足业务需求的应用级系统后（如移动分析与客户画像、信用风险与反欺诈、指标预警与行情交易数据查询等），券商应在数据治理基础之上，规划数据资产价值化方案。
大数据时代的数据资产管理是未来金融机构需要深入思考的命题，券商应就“数据资产控制”、“数据资产的货币计量”和“数据资产的经济收益”三个方面，形成对第一方数据、第二方数据和第三方数据的有效管控，使之成为券商的核心竞争驱动力。
数据既然具有资产属性，也就存在折旧、损毁和保值增值的问题。数据资产的价值化，即将数据的规模、活性、数据收集和运用数据的能力，纳入到数据资产价值评估当中：
• 扩大数据规模：当前阶段由于数据采集的合法性方面的限制，能够应用于金融业务应用的数据远小于理论上大数据能够采集和处理的数据。此外，券商仅仅基于自身掌握的独立数据，很难了解业务各环节数据之间的关联关系。因此，只有充分发挥大数据生态圈中企业之间的协同效应，建立数据交换机制，才能有效扩大数据规模。由于当前阶段共享数据的企业之间竞争合作关系并存，券商在于第三方数据服务提供商合作时，需要权衡利弊，既能够取长补短，又不被数据提供商所绑定，从而失去数据主导优势。
• 提高数据活性：数据类型繁多、价值密度低、数据稀疏度高是大数据的重要特征。券商数据管理人员应围绕核心业务需求构建数据间关联关系，才能够提高不同来源获得的结构化和非结构化数据的活性。例如对于经纪业务客户画像，在建立统一用户识别表示后，才能将多源数据整合到一起全面了解客户。
• 提高收集和运用数据的能力：IDC的一项调查报告指出，企业中80%的数据都是非结构化数据，这些数据每年以指数增值60%。所以，券商应加强对非结构化数据的重视程度，提升整体的数据收集和运用能力，采用适合于非结构化数据存储的平台技术解决方案。另外，随着技术发展，传统的数据处理流程已难以满足业务需要。例如，在互联网时代，用户数据伴随用户行为而产生，这些数据往往具有高速、实时、流式的数据特征，而券商经纪业务需要及时感知用户行为，业务周期越来越短，需要实时分析用户数据并提供个性化服务，通过传统数据库查询方式得到的结果很可能已经失去时效性和价值。所以，券商需要积极布局流式数据处理技术，才能应对业务高速处理能力的挑战。
除此之外，数据资产价值化还应体现在数据交易市场的建设之中。未来的数据市场或出现数据现货交易、数据期货交易、数据衍生品交易等，数据进入资产负债表的时间或将在不远的未来实现。券商应把数据价值放在企业信息化管理中的重要位置，积极迎合市场的数据资产交易，在业内不断探索数据交换、交易、交互的共赢生态。
在“大众创业、万众创新”、提供综合金融服务成为趋势的背景下，券商应主动应用、活用大数据思维，通过内外部多源、多维数据的采集、加工、存储、挖掘，到基于细分场景的应用，通过实施客户画像、用户行为分析、精准营销、运营优化、资产配置和业务改造等应用蓝图规划和项目落地实施，积极接纳“智能金融”的理念，拥抱新的技术促进金融变革。
证券公司实践大数据战略，成功要素离不开自上而下的统筹管理、全员一致的创新文化和数据驱动业务发展的思维。
证券公司高层管理者应统领大数据战略，建立数据驱动业务思维，形成自上而下的规划、执行、跟进、落地和监督机制。管理者应从如下9个方面入手，形成明确的战略规划方案：
1. 理解大数据战略需求
2. 发展和维护大数据战略
3. 建立数据专业角色和组织
4. 确定并任命数据管理专员
5. 建立数据治理和管理制度组织
6. 制定并审核数据政策、标准和程序
7. 审阅和批准数据架构
8. 计划并发起数据管理项目和服务
9. 评估数据资产价值和相关成本
从大数据战略规划、执行、落地和检查整体过程中，券商高层应积极跟进战略执行结果，形成有效的绩效管理机制，逐步推动整体战略达到预期效果。
券商业务部门整体应围绕大数据战略，建立以数据运营驱动的业务创新和技术创新，在跨业务条线、跨职能部门之间建立互通机制，定期举办公司内部大数据创新研讨会，思考如何利用技术革新指导业务、驱动业务，以数据应用和数据运营打破既有的业务流程桎梏。
券商科技部门应积极拥抱大数据技术和开源社区，探索分布式数据存储框架、流式实时计算框架、非结构化列式数据库、机器学习与人工智能在券商业务场景中的应用，并推进这些技术平台和应用在公司内的落地，满足日益多元化的业务需要，创造、发现业务价值点。
在新技术发展中，开源社区的贡献是券商最值得研究和主动应用的领域。一方面，以Hadoop框架为首的大数据生态已经完善、成熟，Spark实时计算已在互联网、金融等多个应用场景得到验证；另一方面，新的大数据框架改变了原有传统数据库、数据仓库的封闭性，在结点扩容、处理性能、数据类型、数据安全、实时处理等多个方面全面超越，更能适应券商的网络金融、风险管理、证券交易、合规审计等领域的应用场景；另外，借助大数据统一管理平台，券商能更好的推动全公司的数据治理、数据标准化工作；最后，成熟的Hadoop发行版-大数据基础管理平台，能够完全兼容SQL、PL/SQL等数据库操作语言，极大的降低了券商科技人员的学习成本，大大简化了历史数据迁移和数据处理工作，提升了科技部门工作效率。如星环科技TDH大数据管理平台，实现了海量数据存储、实时流处理、非结构化存储、数据挖掘和机器学习的全生态系统，形成满足券商全业务应用的底层基础设施平台(图12)。
图12：星环科技大数据技术架构
最后，在证券业竞争日趋激烈的市场环境下，券商经纪业务、投资顾问需要挖掘潜在客户、提升服务水平，风控和合规需要防范风险、提高运营效率...这些都离不开大数据在业务中的深度运用。抢占大数据技术的“高地”，人才是关键，文化是核心。券商应积极建立大数据人才储备，在数据开发、数据分析、数据科学上逐步形成针对性的人才培养机制，寻求既通业务又懂技术的复合型人才；而在企业文化上形成有效的激励机制，鼓励全员思考、全员创新，为大数据战略奠定坚实的基础。
陈祖峰
金融业资深专家&技术顾问历任平安陆金所高级规划经理、FIS中国区金融高级咨询顾问、SAP中国研究院商业分析师。10年大型金融机构系统分析、业务咨询和技术服务经历，在金融科技、大数据平台及应用、数据治理、企业信息化战略方面拥有丰富的经验。获得上海交通大学工商管理硕士MBA学位，并持有GARP金融风险管理师认证(FRM)和PMI项目管理协会认证(PMP)。
简介 | 产品 | 技术 | 案例集 | 培训 | 白话大数据评测 投资 | 新手上路 | Holodesk | TED视频金融 | 电力 | 视频监控 | 运营商 |交通 税务 | 电商 | 智能金融 | 医疗 | 快递