实战丨​​​东吴证券的企业存储转型之路

欢迎金融科技工作者积极投稿！

各抒己见！

投稿邮箱： 

[e-mail]

                                 ——金融电子化

东吴证券股份有限公司

信息技术部总经理    华仁杰

存储，从出现之初，即为企业数据中心的核心基石。几乎所有的重要数据，均会以不同形式，按需放置于各类存储设备之上。随着科技的发展，DAS（直连式存储）、NAS（网络接入存储）、SAN（存储区域网络）、OSS（对象存储服务）等技术，如雨后春笋般涌现，并不断地迭代发展、进化。

传统集中式存储的使用

从设立伊始，中国证券业就是高度依赖信息化的行业。证券业务进行过程中产生的各类数据，均有着严格的要求与界定，存储的使用始终贯穿于整个业务链。东吴证券作为一家上市券商，对数据的处理亦有着严格要求。从数据的完整性、时效性、可管理性和应用便捷性角度看，经历了完整的DAS→SAN→NAS过程。对存储的认知，也是经历了从一开始的随应用方案引入、产品选型到目前的整体存储方案设计。

2013年开始，东吴证券正式开始在数据中心内进行虚拟化的部署。在传统的服务器+存储模式下，由于存储昂贵的价格，单TB成本极高，虚拟化的TCO与传统物理服务器模式相比，几乎无特别的优势。且由于相对较高的单位存储空间价格，对用户的空间限制较高，用户体验度得不到有效地提升，甚至对公司虚拟化的进程，产生了一定的影响。

分布式存储的引入与优化

为了解决传统集中式存储的昂贵空间成本和后期存储扩容升级的一系列问题，我们详细对比了分布式存储和传统集中式存储的优劣，逐步在数据中心内开始导入分布式存储。其具有以下几个特点：一是基于高密度通用服务器，采用大容量低成本机械硬盘存储数据，高速固态硬盘存放元数据，有效平衡性能、容量与成本，存储按需无缝扩容，极大节约机房空间与能耗；二是分布式软件自动实现不同硬件间的数据流动，规避数据迁移对业务和数据安全的风险；三是通过恢复Qos技术做到数据的移动对业务无任何影响，保证业务运行效率。

2015年，开始了OpenStack工程。全套Nova+Ceph的搭配，使得云主机的空间分配问题得以完美解决。以低廉的大容量机械硬盘为存储介质，辅以高速固态硬盘作为缓冲池。一方面解决了一直以来存在的云主机分配空间的紧张问题，另一方面透过高速固态硬盘组成的缓存资源池，解决了数据读写的效率问题。但是，伴随着私有云使用规模的扩增，特别是2016年年中，随着负载的非线性突增，开源Ceph的各种问题陆续呈现。并发读写的性能问题、硬盘故障后的维护问题、存储资源池重组时的资源占用问题，……运维人员又一次直面各种问题！

2016年11月，由于开源Cpeh方案的种种问题，我们几乎快要放弃Ceph方案，转而回归传统存储架构之时，一次偶然的机会接触到国内的商业分布式存储厂商。结合以往的惨痛经历和故障经验，同时基于对原有Ceph方案的极度不信任，设置了种种异常严苛的测试场景，直接以同规格、数量的设备进行实战测试。完全不同于以往的是，该方案不但安装调试异常简单、便捷，实测性能相比于开源Ceph亦提升了20多倍，超出云平台的峰值要求；同时提供业务Qos／恢复Qos的功能，针对性的解决存储池重组时的资源占用问题，可按需进行设置，保障业务的流畅性；人性化的界面设计，细粒度的告警监控，基本可做到免运维，以前繁重的磁盘故障只需要简单的几个界面操作；针对数据保护，设计开发了基于ROW的快照技术，可实现在对性能无损耗的情况下连续打多个快照，能保障在极端情况下数据可以回退到不同时间点进行恢复……基于这样的测试结果，2017年初正式将云平台数据存放到商业分布式存储上，7×24小时的智能运维，平稳高效的持续运行，将我们的精力释放到其他更有价值的事情上。

经过近两年的稳定运行，2019年启动引入容器云平台，相比于OpenStack虚拟化平台，容器云在智能化资源分配和释放上更有优势，部分互联网等云原生业务更加适用。但与此同时，容器云平台对后端存储的弹性扩展、性能和稳定性也有非常高的要求。从企业存储管理的统一化角度出发，最佳方式为同一套存储同时适配各类协议。之前所选择的商业Ceph解决方案，本身既已适配了主流的容器接口和协议，并进行了深度的优化，保证容器云环境数据的性能和可靠性。在容器云项目中，通过标准协议CSI-ISCSI连接到分布式存储上，经过实际环境严格测试验证，可满足容器云平台的数据承载和应用需求，我司基于商业Ceph架构的同一套企业级分布式数据存储步入多云环境，实现多云数据湖的建设，有效降低成本，确保数据安全无忧。

在近三年的实际运行过程中，即使Ceph平台由于一些客观因素的影响发生异常关闭的情况，但在周边配套恢复后，Ceph平台均能在极短时间内重新上线，且其上的所有数据都能得以完美的保存，也大大增加了我们对Ceph架构的普遍适用场景的信心。

图  统一数据平台，完美支撑传统业务和敏捷新业务

创新型分布式存储数据湖的建设

2019年年中，我司启动了南方数据中心的建设项目。作为一个全业务场景，1:1应用部署的数据中心，其业务种类、规模极其庞大，如果沿用传统的设计思路，投资成本不菲。为此，结合前述的运维经验，设计将南方数据中心建设成全云化的数据中心。为此，在底层大规模的导入已经过实践检验并时间验证的商业分布式存储解决方案，多平台、多资源混合共用，多协议同步实现。

我司一直坚定在信息技术应用创新的道路上，关注国产化芯片的发展。Ceph作为一个纯软件定义的分布式存储解决方案，其与硬件的天然解耦能力为硬件的创新带来先天的便利优势。在经过长达近半年时间的多方案对比测试后，最终选择基于海光处理器平台的服务器，在南方数据中心部署创新型的分布式存储资源池。在对创新型分布式存储池实测后，确认性能指标与采用传统Intel芯片平台基本持平，完全能满足我司云平台的要求。

同时，基于鲲鹏处理器的分布式对象存储平台，亦开始在数据中心内进行部署。今年开始我司非结构化数据也逐步往分布式文件／分布式对象的方式转型，对象存储属于互联网友好型（相比于文件存储），商业化的分布式存储对小文件存储进行了优化，困扰我们很久的海量小文件的处理问题得以解决。同时，我司积极寻求存储厂商的配合，确保业务平台无缝对接对象S3接口，后续非结构化数据逐步过渡到分布式对象存储上。

分布式存储的转型帮助我司未来更好地开展业务，更快地引入新应用、开展新业务。主要体现在以下几个方面：首先，分析业务平台的快速建设，例如大数据、AI等，满足证券新应用和业务敏捷创新；其次，完善证券业务未来所需的数据湖基础架构，采用基于策略的数据全生命周期及价值管理，提供热、温、冷不同资源池，通过数据在不同资源池以及云平台间的流动和分层；第三，解决当前证券存储和融合系统相对“孤岛”和“单次价值利用”问题，为证券云平台、金融云和互联网金融建设打好基础。

同时，透过底层存储的同步/异步容灾、复制技术，实现在苏州本地两个机房中间的双活架构，苏州和南方数据中心之间的容灾保护，同时承载OpenStack云平台、容器云平台、大数据、AI、双录等场景的覆盖，同时可提供工具实现与公有云以及蓝光介质等不同存储层级之间的数据流动策略，保障各种极端情况下的数据99.99999%以上级别的安全。为业务的发展保驾护航，真正做到数据永活，随需随取！

往期精选：

（点击查看精彩内容）

关于仿冒我刊收费的声明

我刊自创刊以来，从未向投稿人收取过任何费用。任何以刊发文章为名向投稿人收取费用的行为，均属于对投稿人的欺诈行为。

我刊官网地址为 www.fcmag.com.cn。

我刊投稿邮箱为 [e-mail]。

对于仿冒我刊网站、网页的违法行为，我社将追究其侵权责任，以维护我社和投稿人的合法权益。仿冒网站、网页举报电话：[phone]

《金融电子化》新媒体部：主任 / 邝源  编辑 / 潘婧 傅甜甜