“架构师成长计划”第二季｜软硬一体实现数据库性能优化

数据库是支撑各类应用软件运行的基础。从上世纪70年代起，数据库的技术发展经历了移动互联网浪潮、云计算浪潮，如今来到了“万物上云”的云原生数据库时代。

最早应用云原生数据库的多为互联网企业，此前集中式商业数据库很难快速扩容，成本非常高昂，也难以满足这些企业快速增长的、多样化的数据访问需求。

随着数字化步伐加快，得益于高性能、高可用性、可伸缩性、高安全性等特征，云原生数据库也开始受到传统企业的青睐。

从集中式走向分布式，数据库在架构设计方面应该秉承怎样的创新理念？如何通过软硬协同一体实现数据库性能优化？

由Science与英特尔联袂推出的“架构师成长计划”第二季系列课程，为您带来第九期——《软硬一体实现数据库性能优化》。本期课程邀请了腾讯云数据库总经理王义成、腾讯云数据库产品总监刘迪、英特尔大数据首席工程师程从超、《大数据文摘》创始人/中关村人工智能学院副院长汪德诚共同研讨数据库创新之道，为相关领域的架构师们答疑解惑。

细数传统数据库瓶颈，为何云原生数据库会受到业内青睐？

探讨云原生时代下数据库该如何创新，就需要先了解传统云数据库存在哪些短板。

我们回溯数据库发展历程，在传统IT时代，企业大量采用大型机、小型机和专用设备去构建传统商用数据库，这种重基础设备的方式使得企业在应用革新时面临压力，于是衍生出了开源数据库，例如业内熟知的MySQL、MongoDB、Redis等开源产品。

云计算时代的到来使开源数据库产品逐渐“云化”，许多云厂商也推出了基于托管的企业级传统数据库的产品，但这依然属于传统数据库范畴，自身瓶颈和问题依然存在。这些数据库在架构设计和部署模型上依然没摆脱二十年前的传统模式，其性能瓶颈、稳定性瓶颈、安全瓶颈还是存在。

最近几年“云原生”开始成为热门，厂商也开始意识到需要借助云原生架构去提升数据库产品质量。

以腾讯云TDSQL-C云原生数据库为例，通过“分”而治之，应“云”而生，事半功“倍”，相“辅”相成和“兼”容并包这五条设计理念，告别了传统的云数据库的一个搬迁模式，实现“日志即数据库”架构，将计算与存储分离。

对话探讨：云原生时代下的数据库应用与创新

交流碰撞火花，沟通启迪灵感。围绕云原生时代下的数据库应用与创新这一话题，从数字经济对数据库的需求谈到开源趋势对数据产业的影响，三位嘉宾结合自身经验展开了圆桌讨论。

1

什么是云原生数据库？

云数据库和云原生数据库的区别是什么呢？嘉宾王义成解释道，前者是数据库+云，后者是云+数据库。云数据库只是将数据库用托管的方式在云上去部署了，本质没有改变，只是数据库利用了云的便利性提升了它整个供应链的平滑扩容。云原生数据库则是模式上的颠覆与创新，真正借助云计算技术和成熟的底座服务，把数据和计算解耦。

2

面对业务场景的差异化需求，“超融合”价值几何？

云原生数据库已应用于各行各业，如何适应不同行业、不同场景的复杂需求，腾讯云主打的理念是“超融合”，所谓“融合”不仅包括灵活部署，也包括对整个生态和环境的考验。

根据腾讯云数据库应用于金融行业的经验，王义成分享了对“超融合”概念的理解与实践。

王义成介绍道，数据库服务面临很多差异化需求。例如，金融业具有自身的行业特殊性，出于对网络的要求及安全性的考虑，该行业不会选择把最核心的业务放在公有云上，而是会选择独立的模式来做部署。仔细分析了解了行业的应用需求之后，腾讯云选择了以“超融合”的方式进行灵活部署，针对不同规模、需求的金融客户，提供多种输出模式与用户需求的“融合”，使各类企业都能享受到云数据库的高效便捷。

除了部署方式，“超融合”概念也体现在上下游生态和产品形态设计上。当谈到开源数据库的趋势时，王义成表示首先要拥抱开源，掌握核心理念与技术；其次，根据应用场景优化开源，借助云的能力对数据库的架构实现颠覆创新；最后是在自身能力成长之后去回馈开源，促进数据库生态良好发展。

3

云原生数据库时代，硬件创新如何赋能数据库技术升级？

云原生数据库在架构上可实现计算资源和存储资源的灵活扩展，这其实对硬件设备提出了更高的要求，讲师程从超分享了当前面临的硬件技术痛点和解决方案。

为适应不断提高的性能，数据库系统的瓶颈从CPU、到存储IO到网络IO一直在动态变化，针对这些瓶颈问题，英特尔从三个方面来发力：

• 与主要的互联网企业开展合作，共建云平台、云数据库，以支持广泛的各行业用户；
• 英特尔成为生态圈里的重要“桥梁”，把云方面做得很好的一些知识库和实践经验搬运到不同规模层级的企业中去，是非常重要的一环；
• 在开源层面，英特尔参与了所有层面的开源项目，将持续输出领先经验。

解析数据库七大发展趋势，

实现软硬一体的数据库系统优化

讲师程从超在本期课程中进一步分享了如何通过软硬结合实现端到端的数据库优化。事实上，实现数据库优化首先要先了解近年来的数据库技术发展趋势。

第一，从架构理念上，是从scale up到scale out的转变，往后内存资源池的架构完成成为可能。

第二，产品层面上是从商用到开源的转变，随着底层硬件能力的提升，开源数据库的性能也在大幅提升。

第三，数据库从物理机逐步走向云平台，充分利用云平台的底层的分布式存储，计算资源池、存储资源池的无限扩展能力，形成了上层业务逻辑与云平台的有效结合，进而形成云原生。

第四，除了计算和存储形成资源池、计算存储实现分离之外，数据库未来将走向Serverless的架构，好处是CPU可以根据业务量多少动态地扩张或缩减，为用户提供按需服务。

第五，未来当内存足够大的时候，数据计算应该都在内存里面，数据存储可能实现底层块存储、对象存储，但在计算过程中尽量避免和底层的存储打交道。

第六，未来分布式系统，将实现系统中行存和列存的并行。

最后，AIOps——即通过AI技术自动对前端的业务系统进行调优，根据应用的访问模式、数据量的大小、数据的格式，自动化地进行调优。

基于以上技术趋势，英特尔从应用层优化、架构层优化、硬件层优化和数据库引擎优化四个方面制定优化策略。

这些策略方向落实到硬件层面的效果是显著的，例如，在应用层可以实现一些透明的优化：通过计算、存储、网络这些硬件性能的提升，来对整个的软件做透明优化，程序员无需做太大的改动就可以实现性能大幅度的提升。

在算力优化上，英特尔的建议是：

• 采用最新的处理器和最新的软件版本；

• 提高主频，增加核数；
• 避免NUMA（非对称内存访问），因为它对数据库的性能影响较大。

而针对开源数据库，英特尔通常会将底层CPU的能力进行打包优化，进而合并到开源社区，以便开发者直接使用。针对一些商用数据库，例如，Oracle、SQL Server，国内的GBase、星环等，英特尔配有专门的团队，以最新算力同合作伙伴一起优化最新版本的数据库。

除此之外，人工智能技术在云原生数据库中还能发挥怎样的作用？在实际应用场景中，云原生数据库如何通过架构升级以灵活应对流量洪峰？

欲了解更多精彩内容和技术细节，请观看“架构师成长计划”第二季第九期的完整课程。

大咖寄语——致年轻的架构师们

王义成：时刻关注数据库技术的前沿发展，关注未来的技术架构演进、软硬一体的结合，为自己的系统架构梳理打好基础。

程从超：数据库稳定性的调优须从系统架构、硬件软件多层面着手，希望架构师朋友能成长为全栈工程师。

汪德诚：九层之台起于垒土，架构师是系统的总设计师，数据库是软件系统的重要基石。

点击此处“阅读原文”观看完整课程