智能金融 | 星环科技发布证券业大数据战略规划纲要(白皮书) 上
《智能金融》
随着大数据、人工智能、云计算等技术的蓬勃发展，“智能”相关的概念和技术逐渐渗透到各行各业，颠覆了传统行业的研发、服务体系，重构了产业生态系统。同时，以支付、P2P、众筹、区块链、互联网银行、综合理财平台、智能投顾等金融科技(FinTech)产业的兴起，对传统金融的竞争格局和方式产生深远影响。金融服务脱媒化、服务渠道虚拟化、金融服务个性化、经营模式生态化、决策数据智能化，都宣告着智能金融时代的到来。
本系列将结合大数据、云计算、人工智能等技术的创新应用思维，探索、洞察金融业在大数据技术与实践、金融科技、大数据战略规划、数据资产化等领域的知识与经验沉淀，形成独到观点，对中国金融机构的中高层管理人员、科技与业务人员，具有较强的思考、借鉴与指导意义。
随着大数据、云计算等技术的蓬勃发展，机器智能逐渐渗透到各行各业，颠覆了传统行业的研发、服务体系，重构了行业格局。以互联网金融为代表的创新金融服务形态，特别是P2P、众筹、区块链、互联网资管、互联网银行、互联网保险、智能投顾、供应链金融、移动支付等一系列金融创新平台及应用，借助云计算、大数据、机器学习等技术手段，创新性的改造了传统金融业的价值链，成为资本市场上最火热的投资方向。
面对新兴金融力量的不断渗入，传统金融机构也开始积极在互联网等领域投入。银行业推出直销银行、网络融资和电子商务等业务，保险业亦开始探索通过网络销售保险，网上个性化保险产品和虚拟保险等业务。金融行业终究是一个数据密集型行业，无论是传统线下业务还是新型的线上业务，其竞争的一个关键要素仍是数据。金融业进军互联网的核心目的在于采集数据，金融机构开展网络金融、互联网理财的成败的关键在于利用数据深入洞察客户、优化业务流程、加强风险管控等。因此，大数据成为金融机构构建核心竞争力的重要资产。
随着金融与科技融合进程的推进，大数据价值日益凸显，数据正逐渐成为金融行业的新型资产。证券业作为金融服务的主要组成部分，同样面临着大数据技术与数据应用带来的冲击与挑战：
•新型数据资产的活性、颗粒度、维度都要远远超过证券业传统的数据，如何有效将数据资产价值化？
• 新型大数据技术颠覆了传统业务系统的架构与设计逻辑，开放分布式框架如何影响企业的信息系统规划？
• 业务系统逐渐增多，数据孤岛效应凸显，数据不一致现象频繁出现，质量、格式均存在混乱，如何有效管理、建立统一标准？
• ...
成功的证券公司需要做到如下六点，才能在日趋激烈的市场竞争中脱颖而出：
1. 具备大数据基础平台建设能力
2. 具备数据治理和数据标准能力
3. 强化数据科学和数据应用能力
4. 迅速应用新兴技术和开发模式
5. 构建数据驱动业务的生态体系
6. 建立支持数字变革的组织架构
云计算、大数据及人工智能的发展催生了金融行业的一系列产品和业务模式创新。以大数据技术、平台及应用的创新逐渐走进金融行业，越来越多的金融机构主动拥抱变化，突出“数据驱动业务”的重要地位。可以预见，数据资产的价值转化，必将成为未来金融机构的核心竞争力之一。
政策方面，国家“十三五”规划纲要中指出，实施国家大数据战略。把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新；市场方面，随着中国金融改革提速，利率市场化和人民币国际化进程加快，同业竞争日趋激烈，跨界竞争此起彼伏；经营方面，“新常态”的经济环境下，客户金融需求快速变化，金融加速脱媒，监管更趋严格，这些都给证券公司的发展带来了严峻挑战。
面对内外部经营环境的深刻变化，中国证券业在大数据思维、理念、技术创新的速度、广度、深度、视野都不够，与市场脱节严重，迫切需要构建大数据战略规划指引，以创新驱动新的发展，顺应智能时代的企业变革趋势。
根据易观智库发布的《2016-2018年中国大数据市场规模预测》，2016年营收规模预计能达到148.9亿元，而增速则高达41.1%，并预测2017年和2018年将保持39.3%和36.8%增长速度，大数据被持续看好，未来的生活和工作因为数据而变得更加简便和高效(见图1)
在53家国内大数据初创企业中，其中从事大数据应用的企业占比43家，占比81.1%，其他10家企业定位技术拥有型企业和基础设施层企业，占比18.9%。其中开展金融大数据业务的有15家，占比28.3%，细分业务包括风控、金融征信、智能投顾、金融客户精准营销、反诈骗等(见图2)
基于产业生态链分析，大数据核心业态主要包括大数据平台、大数据分析和大数据应用三部分。由统计数据可以看出，绝大部分大数据初创企业主要集中于大数据应用层面的开发与实施，从事大数据基础设施和存储管理的公司只占不到20%。此部分公司多聚焦于技术研发和框架优化，掌握着大数据平台的核心技术，从而形成自身的技术壁垒和专业性，代表企业如星环科技。
图1：2016-2018年中国大数据市场规模预测
图2：中国大数据市场初创企业全景图
从业务视角来看，证券公司业务体系可以简单划分为核心业务和中后台支持业务。核心业务包括经纪业务、自营业务、融资融券、资产管理、承销保荐、投资咨询、财务顾问、中间业务和直投业务等。支持业务包括风险管理、资金管理、法律合规、稽核审计、财务管理、运营及其他管理等。
证券公司传统信息系统架构多围绕核心业务和支持性业务展开建设部署，构建前、中、后台的各业务条线的核心系统群。图3所示的是一般证券公司IT整体系统架构，可以分为：
• 前台：以证券经纪业务为核心的集中交易柜台系统、网络金融相关系统、OTC场外柜台系统、融资融券系统、账户、法人清算系统、机构服务系统、PB交易服务系统、同业客户系统等等；
• 中后台：涵盖资产管理系统、风险管理系统、审计系统、监管合规系统、资金流动性管理系统、财务系统、管理会计系统等
• 基础设施：为核心业务系统提供支持的基础设施，包括不限于数据仓库、关系型数据库、总线、登陆认证、运维监控、工作流引擎、文件存储及其他辅助性系统。
图3：证券公司IT整体架构
图4：证券业信息化市场生态（核心业务类）
对于证券公司信息系统整体架构的梳理及分析，有助于帮助科技部门站在宏观视角获取整个公司系统生态图谱，然后通过逐层分解，进一步感知数据流和信息流的上下游衔接、耦合关系，从而发现公司IT生态系统当前面临的问题和痛点，并采取相应的措施进行补救和更正。
由证券公司信息系统整体架构分析可知，目前证券公司整体信息系统的规划和建设仍存在很多问题和矛盾：
•证券公司整体信息系统规划和部署非常复杂，业务数据存在于多源系统之中，且数据标准不统一；
•无法探查数据上下文的关联关系，难以“穿透式”的对数据进行追根溯源，数据“血缘关系”管理困难，数据“黑盒子”效应明显；
•证券业信息化市场生态庞大，业务系统供应商呈现多样化、垂直性和业务专业导向(图6)；各应用厂商的数据标准、规则、质量和数据架构均存在一定程度的差异，难以统一调度和管理；
•业务系统的底层数据管理系统多为Oracle、SqlServer、DB2等传统关系型数据库，只能在指标汇总和计算的层面满足报表类应用，无法支持历史数据的挖掘、统计分析和机器学习；
•部门券商自建或采购了数据仓库系统，以满足数据挖掘和分析、主数据管理的需求。但传统数仓的逻辑架构和技术架构决定了其对于大量数据的处理速度、结点扩展性、非结构化数据的支持，都难以适应证券公司未来发展的需要；尤其是在证券公司利用互联网、移动互联网等新兴渠道触及客户群体时，传统数据仓库难以应对互联网流式数据的实时处理要求，无法满足业务部门对于快速、及时的漏斗分析、营销响应、实时流失预警的需求。
在证券公司快速推进数字化和信息化革新的进程中，上述问题与矛盾日益凸显，成为券商业务部门和科技部门的痛点。
证券业正主动寻求技术变革以适应智能时代的业务和技术要求，在大数据应用、数据科学与数据工程上逐渐增加研发投入力度。例如，部门券商成立了网络金融部，立足于互联网、移动互联网端的基金/理财/固收/证券化产品的线上销售、投资顾问服务，如国泰君安、银河证券、华泰证券、海通证券、兴业证券、东方证券等。
网络金融部往往与市场营销部门合作，通过自主开发或采购大数据分析平台，结合PC端、APP端、H5端、微信端的客户行为数据，进行实时数据采集和分析，实现用户画像、精准营销推送、高净值客户管理、机器人投顾、基于地理位置的分析等(图5)。
此外，信息技术部直接统筹管理证券公司信息系统整体架构，建立了以数据仓库为核心的内部数据管理平台，承担历史数据存储、分析和挖掘的功能定位，如招商证券、国信证券、第一创业证券、西南证券等。
图5：证券公司大数据应用热力图
案例一 国泰君安借助大数据实现用户画像和移动分析
国泰君安网络金融部自主开发了网上金融商城和APP移动客户端，为广大证券客户提供固收、资管、基金类产品的销售以及证券开户、投资分析、投资顾问等金融服务。
在移动端的不断耕耘，国泰君安已经积累了百万数量级的线上日活和月活客户量。目前网络金融部已经通过APP客户端埋点技术，通过行为数据、地理位置数据、设备数据和第三方数据，分析客户个人信息、资产状况、投资意向、风险偏好等数据维度，感知客户标签、激活存量客户、留存易流失客户、评估单客户收入、设计客户传播方案，通过大数据实现移动端客户的精细化数据运营和用户运营。同时，借助大数据对于移动设备地理位置的分析，国泰君安正评估利用探针技术，分析用户感兴趣的商圈、CBD、娱乐场所、购物中心等区域，实现精准展业、营业厅布局等价值创造方式。
案例二 招商证券利用大数据对高净值客户精准营销
招商证券战略定位于机构业务和财富管理，非常注重高净值客户的开发、中产阶层的财富管理与顾问服务。如需要深度感知客群是否是潜在的经纪人和投资顾问服务对象，则公司的资产管理量、销售额等经营指标将大大提升。这就需要对于通过互联网端大数据进行分析和挖掘。招商证券通过大数据移动应用分析平台的部署，对移动端用户进行深度分析和营销漏洞分析，重点关注用户的资产状况和用户是否已在其他证券公司开户，来衡量此用户是否具有潜在的营销价值点。
另外，通过线上大数据对用户画像分析和地理位置分析的结果，也可应用于投顾团队和经纪人团队，便于线下的展业和业务开展。如通过地理位置分析，评估哪些商圈具备较多的高潜力客户群体，经纪人即可到该地区进行线下展业，推送招商证券的理财产品和专业投资顾问服务，有效提高经纪人的获客机会，减少时间成本，提高边际收益。
案例三 中泰证券构建大数据平台实现创新应用
随着业务的发展与规模的扩张，中泰证券数据呈指数级增长，各类IT系统数据量已达到20多TB的规模。每日还有大量新增的日志数据、交易数据需要存储和处理，现有IT系统存在很大问题：首先是数据存储量庞大，现有系统存放了5年的数据总计20多TB，日志数据超过一半，使用分区存储的方式。历史数据采用离线存储方式，存储资源紧缺，存储扩展话费非常高；其次是现有系统计算负载高、延迟长。现有系统在运行中跨历史范围查询延迟长，一次计算的数据量大，计算和存储资源都存在瓶颈；大范围查询时，对生产业务影响较大，如持仓分析、对账流水情况、区间查询等应用，严重影响日常业务正常运行；同时，历史数据服务请求带来额外的工作负担，需要将离线的历史数据导入，再等到系统资源空闲时进行查询，效率低、易出错、工作负担繁重；最后，现有系统资源已严重紧缺，CPU负载高、存储空间不足，已影响到业务的发展。
中泰证券力求解决现有IT系统的问题，通过调研采用了星环科技TDH平台，利用Hadoop技术解决了现存的问题和痛点。Hadoop平台扩展了企业数据平台对于数据处理类型的支持，例如结构化、半结构化和非结构化数据的处理；在数据处理能力方面，Hadoop平台使得企业数据处理平台的能力变得更强大，处理范围覆盖中小数据量到超大规模数据量，能够作为传统数据仓库的统一存储和计算平台；在业务应用层面，大数据平台能够实现更多体系那企业价值的创新应用，如数据挖掘、机器学习，结合数据完成情感分析、新闻搜索、舆情聚类等。
此外，基于x86服务器集群的大数据平台，通过横向扩展方式、线性存储方式和计算资源，大大降低了计算资源和IO资源瓶颈。仅花费40%的架构超过了过去IOE架构性能，也为中泰证券大大降低了IT采购运维成本。
案例四 第一创业证券建设基于Hadoop框架的数据仓库
第一创业证券选择了基于Hadoop框架的大数据管理平台，替代原有数据仓库。选择大数据平台的原因在于传统基于MPP架构的数据仓库的集群规模支持较少，扩展能力弱(静态停机扩展,数据需要重新分布)，容错能力和并发能力都不及Hadoop框架，因此逐渐不满足企业对于日增数百GB、历史数据总量在百TB级别的数据存储、管理、计算要求。
在实践大数据战略的过程中，证券公司面临着诸多困难和问题。这主要源于缺乏科学体系和实践方法论、大数据平台规划与技术选型困难、业务和数据科学的结合能力弱、缺乏统一的数据标准体系。
虽然大数据技术、应用已经渐进成熟，各行各业也有了大量的应用案例，市场上已有诸多根基深厚、技术完备的技术供应商和咨询服务商，但不可否认，在细分业态内仍然缺乏科学的体系和实践方法论。在金融行业内，没有具体的统一标准和架构模型，作为大数据战略的实操指引，这主要原因在于：
尽管大多数证券公司已经意识到技术创新的重要性，但对大数据技术这类颠覆式创新重视程度和迫切性仍然不够，缺乏压力和动力主动探索大数据应用实践；
大数据技术的爆发式发展在近十年内，科技公司专注于技术的快速迭代更新，市场仍在不断探索大数据在行业内的深度应用，没有形成统一的实践体系和蓝图规划；
市场极其缺乏大数据相关人才。大数据工程师集中于大型互联网公司、科技公司，且多为技术工程师和数据分析师；金融业人才具备优秀的金融业务实践能力，但欠缺大数据技术、数据科学能力。“懂业务不懂技术，懂技术不懂业务”的现象造成复合型人才断层，无法归纳、总结出适合金融机构的科学方法论；
多数证券公司仍缺乏大数据思维，不具备大数据技术的开发能力和数据科学能力，以业务为导向的思维难以适应数字化时代要求。
证券业是一个数据导向明显的行业，业务系统需要大量数据的支撑。而大数据产业由庞大的技术生态系统组成(图6)，涵盖了大数据基础设施、大数据应用、大数据分析、开源社区、数据服务、混合式架构和开放API等等。各类开发框架的层出不穷、技术创新的快速迭代、技术架构的同质化，直接提高了大数据技术的学习成本，也给证券公司在大数据平台的规划、选型过程中带来了很大的困难。
举例来说，传统数据仓库、MPP架构和主流Hadoop架构在架构特点、开发接口、查询性能、分析性能、集群规模、扩展能力、容错能力、并发能力、SQL标准支持、数据模型、数据管理方式、非结构化数据支持、软硬件配置、接口标准等方面都有着非常大的差异，若没有相当周密的比较验证和测试，科技部门难以选择哪类架构更适应于公司的业务需求和技术需求。
图6：大数据生态体系全景图
数据科学是将数据转变为决策的艺术，是通过创建数据产品，从而提供可执行的信息，而不是向决策者暴露底层数据和分析过程。可以看出，企业数据科学的基础是数据产品——即数据应用软件将数据包装成可供业务人员和管理者决策的工具。数据科学的价值在于从数据到决策的信息流向，使得业务问题可以通过可执行、可阅读的数据流得到回答。例如：如何做到能减少企业运营成本并提高当年的利润？如何改进产品来提高客户粘性并降低获客成本？
当前证券公司将业务逻辑与数据科学的结合能力较弱，缺乏将业务问题通过数据流和信息流关联的能力。一方面原因是金融机构专注于本身核心业务增长，缺乏培养数据科学能力的动力和意识；另一方面原因是即懂业务又懂技术的复合型人才缺乏，没有相关的数据分析师和商业分析师，将业务逻辑转化为数据应用；最后，也是较为关键的一点，是绝大多数管理者、业务人员只看了数据科学“能做什么”，不知道它“为什么能做”以及“如何做”，这样做的“价值”是什么。而这些恰恰是培养数据思维的关键。
在DT时代数据是一项重要的企业资产。随着业务数据量以惊人的速度增长，证券公司数据需求不断增长，对数据的依赖性不断增强。与此同时也带来了数据质量、数据标准、数据治理的问题和挑战。
作为数据管理职能的核心，数据治理是高层次的、规划性的数据管理制度活动，是主要由高级数据管理专员和协调型数据管理专员所制定的高层次的数据管理制度决策。但证券公司不具备专门的组织负责数据治理和数据管理制度。
证券公司已经意识到需要有效地管理其日益重要的数据和信息资源，也需要通过数据管理职能控制数据和信息资产。由于没有数据治理和数据管理的标准体系，在数据架构管理、数据质量管理、元数据管理、主数据管理、数据操作管理、数据安全管理、数据开发管理、文档和内容管理、数据仓库管理、数据应用管理等方面，证券公司都缺乏主动思考和实践。因此，在大数据战略实践过程中，即使建设了数据仓库系统，往往会存在数据标准不一致、数据“穿透式”管理困难、数据应用系统管理困难、建设数据管理系统仍无法解决数据孤岛的问题等等。
证券公司需要意识到，数据管理系统只是在“术”的层面提供数据管理的模型和技术实现框架，没有从“道”的层面感知企业数据管理的本质，无法触及到核心的业务和管理痛点。
图7：Garnter企业信息管理技术成熟度
敬请期待星环科技发布证券业大数据战略规划纲要(白皮书) 下
陈祖峰
金融业资深专家&技术顾问历任平安陆金所高级规划经理、FIS中国区金融高级咨询顾问、SAP中国研究院商业分析师。10年大型金融机构系统分析、业务咨询和技术服务经历，在金融科技、大数据平台及应用、数据治理、企业信息化战略方面拥有丰富的经验。获得上海交通大学工商管理硕士MBA学位，并持有GARP金融风险管理师认证(FRM)和PMI项目管理协会认证(PMP)。
简介 | 产品 | 技术 | 案例集 | 培训 | 白话大数据评测 投资 | 新手上路 | Holodesk | TED视频金融 | 电力 | 视频监控 | 运营商 |交通 税务 | 电商 | 医疗 | 快递