中信建投证券基于“超融合+CMP”的新型私有云方案实践及探索
【摘要】本文以证券行业数字化转型为背景，对近年来证券行业对虚拟化以及私有云建设的实践进行总结，探索出适合证券行业的基于分布式架构的私有云技术路线：从业务需求出发，解决实际问题，冲破架构、设备、运维和管理等层面的制约，为业务发展提供安全、可靠、灵活、简单、成本优化的支撑；同时具备对 IT 基础设施进行整体规划、统一建设、分布实施的能力，变底层平台弹性资源的被动响应式交付，为自动自助式、高度流程化的交付，同时结合资源监控、自动化、可视化等组件，赋能业务快速迭代和创新。
【作者】周立斌，就职于中信建投证券股份有限公司，从事IT基础架构领域工作7年+，对Power小型机、集中存储、分布式存储、x86关键技术有深入研究。在虚拟化、超融合、云建设、灾备建设、性能监控与调优以及运维管理方面有丰富经验。
背景
数字化转型是证券行业适应新业务变革和创新需求，实现高质量发展的必由之路。数字化转型不仅仅是 IT 技术层面的转型，更是思想理念、业务模式、企业组织架构和文化等全方位的转型，最终实现降本增效。中信建投证券股份有限公司作为全国性大型综合证券公司（以下简称“中信建投”），正努力践行数字化转型，并以金融科技为助力，全面运用先进的数字化手段，构建合规与风控核心能力，不断推动业务的创新发展，并取得了显著的成果。尤其是在 IT 基础架构演进方面，中信建投开展了基于超融合和云管平台的新一代私有云的建设与探索，为推进符合证券行业自身特点的私有云转型积累有有益经验。
痛点
与大多数传统证券公司一样，中信建投原来也是采用国外虚拟化软件构建数据中心的服务器虚拟化平台，打造了“x86 服务器配合虚拟化 + SAN 网络光纤交换机+ 集中存储阵列”的三层架构，在此基础上初步实现计算资源池化，以及系统和服务器的解耦，提升了资源利用率，并有效提高了日常的 IT 运维效率。但该架构在承载业务云化时开始捉襟见肘，主要问题表现在以下五个方面：
1. 存储资源无法池化：由于传统磁盘阵列各自为政，存储空间各自分离，数据不能交流与共享，导致存储设备利用率低，不利于资源的统筹规划；
2. 集中式架构死板僵化，不能灵活扩展：集中式存储架构存在固有的性能瓶颈，不能充分发挥新一代高性能存储部件的效能，而且弹性差，难以满足资源敏捷交付的需求；
3. 采用专用硬件，而非软件定义存储：专用的存储阵列和存储交换机，不仅架构复杂，而且硬件升级缓慢，维护复杂且整体运行成本居高不下；
4. 多数情况下需手工处理业务请求，包括资源请求、部署和交付等：效率低下，运维人员疲于奔命；
5. 投入产出无法量化，不能有效支撑 IT 决策：IT 的成本投入与资源使用趋势无法形成可视化视图，IT 架构的可视、可控、可分析更是无从谈起，导致闲置资源缺乏有效的回收与管理手段。
私有云建设方案原则
IT 基础设施的云化，就是要从业务需求出发，解决实际问题，冲破架构、设备、运维和管理等层面的制约，为业务发展提供安全、可靠、灵活、简单、成本优化的支撑。经过实践总结，中信建投抛弃了传统按项目构建的刻板方式，对 IT 基础设施进行整体规划、统一建设、分布实施，变底层平台弹性资源的被动响应式交付，为自动自助式、高度流程化的交付，同时结合资源监控、自动化、可视化等组件，赋能业务快速迭代和创新。对于技术路线和厂商的评估策略，中信建投形成了 “五化”的原则：
1. 架构开放化：在计算、存储、资源管理和交付等各个层面，尽可能开放，以获得业内最专业的方案组件，并逐步实施改造；
2. 软件定义化：遵循软件定义、分布式等理念和技术框架，构建高可靠、高性能、维护简单、弹性扩展的资源池；
3. 敏捷自助化：实现资源线上自助交互申请，底层基础架构平台自动化快速构建、发布并交付到业务部门，为开发、测试和生产提供所需的资源环境；
4. 管理统一化：通过统一视图，实现IT基础架构的可视、可控、可分析，进而实现精细化运营；
5. 场景多样化：升级后的基础架构能够兼顾稳态业务和敏态业务。
技术路线探索
目前市场上的私有云方案技术路线纷繁复杂，从是否开源以及是否采用融合架构等不同维度都可以进行以下简单划分：
▲图片引自爱分析2020《云计算2020：多云趋势下的挑战与应对》
基于“五化”的原则，中信建投对几种主流方案都进行了探索。
探索一：在成熟的商业虚拟化软件的基础上继续演进，“VMwarevRA+vSphere+vSAN 全套方案”成候选之一。
中信建投早期曾在数据中心环境中使用过 VMware vSphere 服务器虚拟化产品。因此，延续这一思路，率先对 VMware 的云管平台 vRealize Automation 进行了实践，结果显示，所需的基本功能都可以满足。利用 vRA 平台的蓝图和自定义脚本功能，实现了对裸系统构建不同应用软件的自动化能力，并根据前端用户按需请求，自助式完成虚拟机申请-构建-交付的整个流程。整套方案和服务的统一性好。但是，基于中信建投技术路线选型的原则，该方案在以下方面存在缺陷：
1. 品牌强绑定，云平台过度依赖单一技术和厂商；
2. 方案在信息安全方面存在不可控因素，也不符合国产化大趋势；
3. 整体成本过高。
探索二：采用开源解决方案，OpenStack 进入考察视野。
到 2020 年，OpenStack 项目诞生整整十年，OpenStack 社区是全球最活跃的三大开源社区。而 OpenStack 曾经是私有云主流方案这一点也曾很打动中信建投。OpenStack 方案的优点是开源，快速发展来源于云生态丰富及软件功能迭代快，并从架构上支持超大型云平台。
但该方案管理节点重，功能模块多架构复杂，对团队的运维要求比较高，并且需要对存量系统架构有较大幅度的改进，工作量和风险不可控因素较多；证券行业又是基于不同业务划分不同的网络相互隔离的区域，这就需要部署多套管理节点，增加了运维管理难度，同时也难以解决对异地数据中心、公有云的统一纳管。
另一方面，OpenStack 分为厂商版和社区版，厂商版在各厂商推出的版本之间存在兼容性问题，使用厂商版容易造成与单一厂商强绑定的风险；社区版则存在稳定性、高可用及技术支持方面的风险。
由于中信建投云团队人数有限，同时规划为循序渐进的方式逐步改造，并最终达到“五化”目标，该方案也不能很好的匹配中信建投云建设的需求特点。
Gartner 也在报告“ChinaSummary Translation: 'Rethink YourInternal Private Cloud' ”中指出，“以OpenStack 为核心的私有云方案目前仅在电信网络功能虚拟化（NFV）领域维持了较高热度，在大陆地区，以金融领域为例，很多基于 OpenStack 技术的私有云项目仅限于开发、测试环境，鲜少在生产环境下进行大规模部署；而且全球基于 OpenStack 技术的私有云项目正在降温，很多企业经过一段时间的试错，发现复杂的技术并不能直接转换为有效的业务价值，且很多技术尚未完全成熟。”
探索三：“超融合+国产云管平台（CMP）”构建超融合云，既能满足当前需求，又具有更多的可能性。
从 2015 年开始，中信建投开始对超融合有了初步认知。这种新的架构以分布式块存储为核心，不仅借鉴了现代互联网数据中心资源整合、分布式架构和软件定义等经典特征，更引入存储和计算融合部署的模式，进一步降低架构的复杂度和总拥有成本。经过多年技术发展，这种新型架构已经以其灵活、易扩展、简单、性价比高等与生俱来的优势，在国内市场迎来了发展高潮，已经有多个证券公司采纳超融合架构甚至将其用于生产环境以进行全面的 IT 基础架构升级。另一方面，中信建投还对国产云管平台（CMP）进行了实践，并结合该云管平台对 VMware 虚拟化架构、其他超融合产品进行统一纳管和云管功能使用，结果表明：CMP 在异构基础架构管理、自动化虚拟机发布、自助化流程、资源计量等多方面功能的测试上符合预期；CMP 可以和超融合产品、异构的公有云完成对接；方案完全符合技术路线指导原则，与虚拟化技术、存储技术等解耦，并适配中信建投现有环境，整体风险可控；云管平台亦为国产品牌且是自主开发，符合券商行业对安全可控的要求。
最终，中信建投基于以下原因选择了方案三作为云化改造的核心技术路线：
1. 该方案在云管理层、虚拟化层、分布式存储到硬件层都具有良好的开放性；
2. 架构遵循软件定义、分布式理念和技术框架，可构建高可靠、高性能、维护简单、弹性扩展的资源池；
3. 可基于专业 CMP 软件轻松实现资源使用敏捷自助化；
4. 可实现管理统一化，不仅可以管理新型架构，也可以将已有的 VMware 架构纳入统一视图，实现全局的精细化运营；
5. 升级后的基础架构能够既可支持敏态业务，适应互联网渠道交易瞬时高并发、多频次、大流量的新型金融业务特征，亦可支持对性能、可靠性要求更加苛刻的稳态业务。
小步快跑 云化改造逐步落地
中信建投最终基于超融合架构搭建了企业 IaaS 资源池，并结合云管平台解决方案，打造出新一代企业私有云的IT基础架构，为企业IT全面云化和数字化转型夯实了基础。以对业务影响最小为原则，中信建投分阶段部署和实施了超融合云解决方案。
第一阶段，资源池架构的“云化”升级：主要工作是将专有存储硬件升级为软件定义存储模式和分布式架构，引入基于超融合架构的 KVM 用于部分生产与开发测试，完成与现有 VMware 互备的虚拟化技术储备，为下一步技术转型打下基础。
第二阶段，IT 资源使用方式的“云化”升级：利用云管平台实现基于异构的、多云的、多产品的快速对接和统一纳管，同时实现用户自助申请流程化、虚拟机构建自动化，提升运维效率，资源使用可计量等。
中信建投 IT 基础设施全面云化后，整体架构实现了开放化和弹性化，既满足了对并发性能的要求，又增强了灵活性和可用性；虚拟化层面实现了多技术储备，消除关键技术“卡脖子”的隐患；资源交付实现了标准化、自动化和自助化，方便业务和研发部门按需快速调用云资源，有效支持业务快速上线及应用创新；核心组件实现了自主可控化，支持国产硬件设备，保障核心支持能力。
▲中信建投基于超融合与CMP构建的私有云方案架构
未来规划
基于“超融合+CMP”的新型私有云方案，既满足了中信建投当前的业务需求，又为今后云基础设施的持续演进奠定了良好的基础。在当前在完善 IaaS 的基础上，中信建投已经在进行下一阶段以下方向的评估和准备，为生产、运维和管理升级提供全面助力：
1. 探索下一代数据中心在混合云架构下的多云异构管理，结合自身业务特点，充分发挥私有云和公有云优势；
2. IaaS 底层计算平台国产化，将超融合架构迁移至国产服务器（国产芯片），打造真正从硬件到软件的全栈式自主可控的IT基础架构；
3. 完成 PaaS 平台构建，利用容器化技术实现更加敏捷的应用平台交付，实现云管平台对容器、虚拟化等云资源的统一纳管；
4. 建设 DevOps 体系，打通开发运维壁垒，实现开发运维一体化；
如有任何问题，可点击文末阅读原文，到社区原文下评论交流 觉得本文有用，请转发、点赞或点击“在看”，让更多同行看到
资料/文章推荐：
欢迎关注社区 "超融合"技术主题 ，将会不断更新优质资料、文章。地址：
https://www.talkwithtrend.com/Topic/39775
下载 twt 社区客户端 APP
长按识别二维码即可下载
或到应用商店搜索“twt”
长按二维码关注公众号
*本公众号所发布内容仅代表作者观点，不代表社区立场