当代金融家•监管科技｜上交所王泊：以数据平台赋能智慧监管
王 泊 上海证券交易所数字化专业委员会副主任、上交所技术有限责任公司总经理兼CTO
来源 | 《当代金融家》杂志2021年第7期原题 | 《上交所：以数据平台赋能智慧监管》
证券行业是数据密集型行业，大数据分析能力是业务创新发展和智慧监管的基础保障，行业相关机构的数据仓库、数据分析平台建设往往具有起步早、起点高的特点。随着市场规模持续扩大，创新业务模式不断推出，对于数据的实时分析性能、需求敏捷响应能力等均提出了更高的要求。与此同时，如何在安全可控的前提下将大数据技术应用到证券市场为科技监管赋能是需要同步考虑的问题。
1
数字化时代，数据应用技术面临新挑战
一是依赖外部技术，自主掌控能力不够。2002年，上交所建设完成集中、统一的数据中心，采用了专用的数据仓库架构，整合了建所以来全部历史交易数据，成为上交所重要的数据基础设施，这也是当时亚洲最大的数据仓库。由于采用封闭式系统，无法切实保障技术的持续性安全，系统的风险隐患逐步凸显。
二是支持线性扩展，但扩展能力受限。经过30年快速成长，上海证券交易所已发展成为拥有股票、债券、基金、衍生品四大类证券交易品种的、市场结构完整的证券交易所。据统计，从2005年到2014年，上交所数据仓库数据量翻了近10倍。随着业务发展和资本市场规模不断扩大，数据量增长将更加迅猛。上交所采用的传统数据仓库一体机的解决方案，虽然支持节点线性扩展，但在实际扩展工作中存在诸多限制，存在扩容代价较大、扩容需停机等问题。
三是以结构化数据为主，缺少实时和非结构化数据处理能力。随着新的市场监管和服务要求，迫切需要上交所将更多的外部数据源纳入数据平台的范围。然而，传统的数据仓库技术主要支持结构化数据，对实时数据处理以及非结构化数据的支持方面较为薄弱。它在数据量级别、数据类型等方面的支持都比较有限。
2
利用大数据更好实现金融科技监管
首先，搭建自主可控的大数据平台，并构建轻型、安全、适用的大数据生态体系，为数据资产提供良好的全生命周期管理场所。
一是掌握技术主导权，打造轻型化数据平台架构。在物理架构上，大数据平台摒弃以往数据库一体机的方案，选择了性价比更高的软硬件分离方案，在保证高效的计算能力的同时，降低了对特定厂商的依赖。在软件层面，也实现了关键核心技术自主掌控。此外，采用分布式技术、依托私有云建设部署，实现了资源按需弹性扩容，保证了平台的可扩展性和经济性。同时，平台采用双活架构，无须进行复杂的数据同步恢复操作。根据业务特点，由主备站点分别承担不同的业务负载，有效提高了系统的可用性和资源利用率。
二是实现数据仓库业务迁移整合，保障业务连续性和系统适配性。为承载原数据仓库的数据及服务功能，上交所进行了大量的适配性改造和一致性验证工作。迁移工作主要涉及异构数据库之间的数据转换、批量处理作业、应用报表、实时行情回放、自助查询等业务的迁移和全量数据的自动化比对。为快速准确地完成数据仓库向大数据平台的迁移，上交所通过自研异构数据库转换、批量作业代码转换、高效自动化全量数据比对等一系列工具，高效完成了一万多张业务模型表、3000个数据处理任务、近2000多个接口文件和数百个专题应用的快速迁移和验证工作。
三是盘活全量数据，让数据在各系统间安全高效运转。针对目前行业机构普遍存在的数据“存不下、流不动、用不好”问题，上交所大数据基础平台采用分布式平台架构，组合多种结构化、非结构化数据库及实时、准实时计算组件，集成微服务框架搭建应用服务系统，通过统一的数据访问服务接口和文件服务接口为上交所各业务系统提供多样化的数据服务，让金融数据存得下、流得通、用得好。此外，同步构建的大数据平台安全体系设计了网络和主机、基础平台、数据、开发、运维全链路的安全防护措施并配套有相关安全规范制度流程，实现数据不可见、数据不丢失、操作可审计、数据强保密以及安全合规性等目标。
其次，让数据资产成为业务价值创造的驱动力，实现数据与业务相辅相成，构筑坚实核心壁垒并持续发展。
一是提供深层次市场洞察，有力赋能金融科技监管。通过构建投资者标签体系，从交易风格、持仓特征、投资偏好、历史监管信息等维度，设计了数百个机器学习的特征指标，为交易监管提供亿级投资者的画像服务，协助交易实时监控人员准确锁定频繁参与题材股炒作、以拉抬打压等手法误导其他中小投资者的异常交易账户，探索提供更为差异化、精准化的服务。通过采集上市公司关键信息及监管记录，建设大数据平台标签体系，为公司画像系统提供了相关的数据、计算等基础服务，为监管人员提供全景式公司信息汇总与可视化数据分析。同时，通过各类预警指标的合理设置和自动扫描，做到各类风险早发现、早处置，监管主动性和全面性得到较大提升，推动监管模式的变革。
二是结合不同业务场景，快速实现低成本业务创新。大数据平台完成了统一化的核心基础建设、多元化的数据采集、多种类的创新业务指标库、批处理与实时处理相结合的数据处理模式等四个方面的建设。将数据应用服务于投资者、上市公司和金融机构，利用创新技术组件提供的海量数据接入和计算汇总服务，直接促成了公司雷达站、投资者画像、舆情分析、新一代监察系统等一系列创新应用的上线，为业务创新与监管提供了有力支撑。
最后，实现更加高效、经济的数据运用模式。
数字化经济浪潮下，各金融企业更需要充分利用好“数据”这把宝剑，驱动业务和经济发展。
一是加强对企业数据的规范化整合，减轻系统数据的冗余程度，进而提升企业对各系统数据的处理能力，有效减少计算资源和人力资源的浪费，提升企业效能。
二是有效利用数据资产，结合智能化算法，满足多种业务创新需求，助力数据价值转变为业务价值，从而实现企业经济增值。
3
多维度服务推进金融企业数字化发展
一是构建自主可控的数据基础设施。统筹面向内部数据的大数据平台与面向行业公共数据的数据中台建设，探索“稳”“敏”相结合的数据融通创新与协同处理分析。同时，引入分布式实时流计算及存储技术，完善基于自主可控技术的数据存储、交换、分析综合平台，打造全方位、立体化、高效能的数据平台底座，为交易所数字化发展打好坚实基础。
二是持续优化完善数据治理能力。一方面，推进数据资源统一管理，构建完善的数据治理决策机制,积极按需拓展外部数据资源，为发展数据应用提供良好基础。另一方面，推进数据标准化、资产化、高质量和高安全，在确保安全风险可控的前提下将数据资源转化为可用、好用的数据资产。同时，打造先进的数据实验室，以专业数据分析师队伍为核心，辅以高效的技术团队和先进的技术工具，强化对交易所数字化发展能力的建设。
三是探索多维度数据应用服务。推进打造多层次、多形式、全方位数据服务与产品，全面提升数据价值。依托大数据与人工智能探索异常监测、关联分析、企业画像、科技评价、财务分析等应用服务，并通过业务流程的数据打通，将业务过程和监管工作进行有效融合，使业务开展与监管审核工作更加精准、自动、智能和高效。
| 作者为上海证券交易所数字化专业委员会副主任、上交所技术有限责任公司总经理兼CTO
资本市场监管科技寻踪（上）
文/屈 燕
2020年4月，中国证监会科技监管局正式“营业”。6月，证监会官网更新机关部门一栏，科技局新增入列。科技局由学者型官员姚前领衔，旨在打造一个整合、打通现有各信息资源的资本市场大数据监管系统，掀开了证监会科技监管的新篇章。经过这一系列重大改革后，形成了科技监管局、信息中心、中证数据、中证技术为主体的科技监管工作体系。
10月，科技监管局局长姚前表示，证监会已于7月启动了区域性股权市场区块链登记托管基础设施建设的试点工作，首批确定了北京、上海、江苏、浙江、深圳5个试点地区，目前试点工作进展顺利，各地的区域性市场区块链基建各具特色，证监会负责建设的中央监管链也已初步建成，5个试点地区的地方业务链至9月全部实现与中央监管链的技术联通。
时隔一年后，随着资本市场金融科技发展势头向好，诸多挑战也接踵而至，包括智能化数字化发展还处于早期阶段、新一代信息技术应用可能伴生风险隐患以及金融科技监管还需不断完善等。通过金融科技创新试点，可以极大发挥助力，推动行业机构借助金融科技手段提质增效、探索构建适合金融科技发展的长效监管机制、投资者合法权益保护以及金融风险防范。
由于资本市场监管科技建设任务繁重，行业来稿亦多，为真实全面展示“当前所处位置”，本期组稿将分为上下两期刊登。如姚前局长所要求，期待本期组稿能够促进行业机构真抓实干，积极参与试点工作，打造新型金融基础设施，促进我国资本市场数字化发展。
监管科技
基于区块链的OTC衍生品金融基础设施
为了支持高效的场外衍生品交易匹配、确认、执行、清算和报告等，需要在现有标准化工作的基础上，进一步构建一个可自动化执行的统一、开放、高效、合规、稳健的场外衍生品基础设施平台，从而实现更高的运行效率、更一致的监管合规、更好的数据质量和市场透明度。2
深交所：以企业画像辅助智能监管
喻华丽为深圳证券交易所总工程师
企业画像系统并非完全取代监管人员实现自动监管，而是定位于智能监管辅助系统，推动监管由人力为主向人机深度融合的模式转变。
3
上交所：以数据平台赋能智慧监管
王泊 上海证券交易所数字化专业委员会副主任、上交所技术有限责任公司总经理兼CTO
本文回顾分析了上交所在大数据平台建设和数据迁移方面的实践经验，同时分享了推进数字化转型过程中针对数据治理和大数据应用的探索与思考。
监管科技建设
App平台驱动下的券商财富管理转型
行业数字化转型背景下，证券公司必须依托金融科技对证券App的技术架构、研发模式进行创新，更好提升新形势下金融服务的普惠性、差异化和服务效率。5
SM系列商用密码构建证券网上交易安全保障体系
罗黎明为中国银河证券股份有限公司副总裁
以中国银河证券为代表的密码算法试点单位，自主规划、自主设计、自主开发了从算法理论层面到平稳落地应用系统，并在证券生产交易系统上线稳定运行。
6
基于分布式架构的新一代机构交易服务平台
舒宏为东方证券股份有限公司副总裁、首席信息官
基于分布式架构的新一代机构交易服务平台为证券核心交易业务系统从传统集中式架构向新一代分布式架构的转型升级迈出了坚实一步。
7
证券公司集团化大数据服务体系构建及创新应用
随着金融科技快速发展，金融监管改革持续推进，行业竞争与日俱增的时代背景下，证券公司应加速数字化转型，致力于提高企业经营管理、风险管控、客户差异化服务等能力，构建企业核心竞争力。8
聚力证券核心交易技术的新一代A5系统
高海明为东吴证券股份有限公司副总裁
第七届证券期货科学技术奖评选结果已正式揭晓，东吴证券与顶点软件联合研发建设的证券新一代交易系统A5荣获二等奖。该奖项是行业科技的权威认证，也是行业官方组织评选的科技类奖项。A5系统获此殊荣，标志着证券IT核心技术迈入全面自主可控的发展新阶段，标志着证券交易系统的创新性变革取得了历史性突破。
9
智能运维为金融科技高质量发展保驾护航
晏强为光大证券股份有限公司信息技术总部董事总经理
相比传统运维方式，智能运维能够实现更细粒度、更高精度的异常发现，特别是一些潜在的业务风险、系统瓶颈，能够实现更高效、更准确的定位故障根因。
往期精彩内容回顾
原创声明：本号所刊登署名文章，如非特别说明，皆为原创或作者授权发表。
转载务请注明出处：转自微信公众号 “当代金融家（bankershr）”。
《当代金融家》杂志现已同步入驻：一点资讯、网易号、百家号等媒体平台。欢迎关注~~