实战 | 国金证券：佣金宝背后的私有云架构演进

欢迎金融科技工作者积极投稿！

投稿邮箱：[e-mail]

                                           ——金融电子化

文 / 国金证券信息技术部总经理    刘宏

国金证券佣金宝运维负责人    刘秋实

国金证券佣金宝运维架构师    管浩群

国金证券信息技术部基础架构运维总监    李卓 

随着互联网业务的快速发展，国金证券于2014年推出了国内首个互联网证券服务产品--佣金宝，完成了从传统证券公司向互联网券商的转型。自推出以来，佣金宝已迭代升级至6.0版本，在证券行业科技金融变革中实现了诸多领先：率先在行业实现了非临柜业务的全线上办理，率先推出 “金牌投顾 + 明星分析师” 组合服务的投顾工作室模式，率先实现基于投资过程的即时场景式内容服务等等。当前，佣金宝的客户群体主要来自于四川地区、国内一线城市和东南沿海经济发达地区；为支撑大量的业务并发、快速响应业务上线的需求，以及有效控制总拥有成本，向广泛分布的用户提供优质、快捷、便利的访问体验，国金证券的 IT 基础架构团队需要不断地给出最优的解决方案来应对所面临的挑战。

率先采用混合云架构，

私有部署成为挑战

基于以上业务挑战，国金证券率先在业内使用了混合云架构。基于不同区域、高并发的行情接入与业务处理需求，国金证券通过在成都、上海等地的 IDC 机房部署的佣金宝私有基础架构，与公有云进行搭配构建了混合云应用架构。其中行情接入业务，采用了公有云部署，以扩大用户分布地区的覆盖；证券交易相关业务数据和应用系统部署在私有基础架构中，严格遵从相关法律法规、行业规范的要求，部署灵活、运行稳定，总体拥有成本也更加可控。其中私有部署的部分，采用了与多数券商相同的基础架构方案支撑这种典型的敏态业务：

1. 基于独立虚拟服务器的基础架构
采用独立物理服务器搭配虚拟化软件作为基础架构，能初步减少对 IDC 机房的空间占用。

2. 多 IDC 机房部署
国金证券在多个城市的 IDC 机房部署私有基础架构与佣金宝业务模块，为佣金宝大量用户的接入提供了有效的支撑。

3. 基于业务应用的高可用架构
利用独立的虚拟主机无需部署集中存储，减少机房空间占用的特性，与佣金宝业务应用自身能力相结合，形成了高可用架构。

在这一过程中，本地的 IDC 机房虽然早已部署了虚拟化平台，但仍面临着如下问题：

1. 服务器硬件资源利用率低
由于虚拟机数据保存于物理服务器的本地磁盘，一旦服务器发生故障会造成数据丢失，从而需要还原或重建数据；为了缩短数据修复时间，一台物理服务器实际仅能承载约 4 台虚拟机，利用率较低。

2. 基础架构的软、硬件投资成本高
服务器资源利用率下降，服务器及虚拟化平台软件所需数量随之升高，基础架构的拥有成本也相应增加。

3. 重复性运维工作量大且花费时间长
独立的虚拟主机无法快速迁移虚拟机至冗余服务器进行软件或硬件固件更新，需要逐一进行，造成重复性运维工作量大且整体花费时间长。

私有云基础架构评估与选型

针对以上问题，国金证券 IT 团队希望本地 IDC 机房基础架构向 “更敏捷”“更稳定”“更弹性” 的方向演进，具备可靠、简单、敏捷部署特性的同时，更能以自动化、智能化等 “云化” 特性实现简化运维工作，为佣金宝业务应用提供高可靠、高可用的支撑。具体而言包括：

1. 高可靠的基础架构
面对佣金宝整体的业务连续性，首要任务是要将基础架构进行改造——从原来多台独立的虚拟服务器升级为具备高可靠性的新型基础架构，改善服务器资源利用率低及软硬件投资成本高的问题。

2. 满足互联网敏态业务的快速变化与弹性设置
支撑佣金宝业务的快速扩张，新型基础架构的部署、扩容、资源交付等工作必须满足业务应用的快速上线需求；而面对新产品发布的阶段性大量资源需求，新型架构也需要能满足资源动态分配、快速调整。

3. IDC 机房空间占用越小越好
新型基础架构依然需要对 IDC 机房的空间占用尽可能地小，以满足对成本的管理。

4. 运维管理成本可控
IDC 机房多属于无人职守场景，新型基础架构必须在满足高可用的前提下尽可能的简单且自动化，通过最少的人力资源完成运维工作。

通过多年的技术跟踪，国金证券 IT 团队了解到超融合基础架构经过多年的优化，功能及可靠性已相对成熟，并拥有许多传统架构所没有的优点，如分布式架构、横向扩容、故障自愈等能力，能够为企业私有云建设提供有力的支撑。基于上述优点，国金证券开始逐步尝试基于超融合基础架构搭建私有云资源池，用于提升系统整体运行效率、降低管理和运营成本。

超融合构建轻量私有云，

支持佣金宝接入业务和微服务平台

新型的佣金宝私有云资源池由分布在 5 个 IDC 机房的 6 个集群组成（包含 46 个节点的 SmartX 超融合系统），通过 SMTX OS 超融合系统软件将集群内各节点的本地磁盘组成分布式存储池，节点之间通过万兆网络进行存储数据交换同步，并对数据采用多副本存储策略，为上层虚拟化计算提供可靠的大容量分布式存储。目前，该架构已为佣金宝接入业务及微服务架构平台提供稳定支撑。

其中，佣金宝的微服务架构平台，作为一个支持持续开发、持续部署、可扩展性强、应用程序解耦和多语言编程的架构平台，已经覆盖佣金宝各个核心业务，涉及：行情、交易、账户、理财、资讯、咨询、投顾、商城、社区等业务体系。超融合作为基础资源平台，在稳定性、可靠性、扩展性等方面，对微服务平台提供了强而有力的支持，根据业务需求和并发情况，快速平滑的扩、缩容服务器，在应对大流量行情并发、爆款财富产品引流等方面起到支撑作用，更好的满足了微服务扩展需求，为国金证券通过数智化实现业务转型提供了稳定的技术平台。

与原有各自独立的虚拟主机部署模式相比，基于分布式存储的超融合系统作为基础架构具有以下优势：

1. 基于通用服务器的软件定义架构，无需专用硬件的特性，对于机房空间的使用更加精简；

2. 超融合的融合部署模式，在通用服务器内包含了计算、存储、网络等基础架构模块，具备架构简单、管理容易等特性；

3. 超融合具备按需扩容能力，通过增加节点数量即可提升计算及存储资源，同时提高存储性能；

除了以上超融合架构的基础优势，该系统体现出良好的数据自动管理能力，当磁盘或节点数量出现变化时（如：磁盘或服务器节点发生故障），系统能在不影响上层应用访问数据的状况下，自动地对数据进行修复和均衡，维持数据访问的高可靠和高性能。

目前，基于超融合架构对云化资源池已经开始逐渐支撑佣金宝全栈接入业务，包含 Web 前端应用，Java、Kafka、Redis、memcached 等中间件相关应用，及 MongoDB、PostgreSQL、MySQL 等数据库应用，并已稳定运行 1 年以上。

实际使用过程中，架构的升级为国金证券带来如下效益：

1. 敏捷部署、业务快速上线
新型方案的超融合系统提供虚拟机模版预配置及批量部署功能，能为佣金宝业务模块提供更快的资源交付与上线速度；例如佣金宝在 2021 年 6 月发布的 “招商金安成长严选基金” 产品，从资源准备到虚拟机交付仅需十几分钟即可完成。

2. 5 倍的硬件资源利用率
超融合基础架构提供的数据副本存储策略与自愈能力，能保证数据及虚拟机的高可用性、大幅提升单节点承载虚拟机的数量，从而提高服务器资源利用率；新型方案单节点可承载约 20 台的虚拟机，资源利用率达到了原有的 5 倍。

3. 降低 80% 的 IDC 机房空间占用
基础架构服务器的数量减少，代表对 IDC 机房的空间占用也相应减少；新型方案以 10 节点超融合架构取代原有 50 台独立虚拟主机，对于 IDC 机房的空间占用下降了 80%。

4. 50% 的软、硬件购置成本降低
硬件资源利用率提高带来的直接收益是服务器及虚拟软件数量的减少；虽然新型方案增加了超融合系统软件的费用，但从基础架构整体软、硬件的采购成本综合计算，相比原有方案毎年减少了 50% 的成本支出。

5. 降低 60% 的运维工作量
架构简单、硬件标准化及各种自动化特性，省去原有重复性高的运维工作，IT 团队仅需通过统一管理平台即可对硬件、存储及系统软件进行远程管理；提升运维效率、减少人力成本，整体运维工作量降低了 60%。

架构升级，迈向云化转型

国金证券计划于 2021 下半年发布佣金宝 7.0 版本。届时，佣金宝将转变为向客户提供全面投资增殖服务的一站式综合金融服务软件；配合佣金宝的持续迭代升级，国金证券将与 SmartX 持续合作，扩大超融合在企业私有云的应用范围，计划包含了开发测试环境、容器平台支撑、生产核心应用及更多生产容灾加固等场景，逐步实现云化转型的目标。

往期精选：

（点击查看精彩内容）

《金融电子化》新媒体部：主任 / 邝源  编辑 / 傅甜甜 潘婧