【精彩分享】朱国云 - 云时代内存数据库的探索和实践

第十届中国云计算标准和应用大会2020年12月29日至30日，由中国电子技术标准化研究院（以下简称电子标准院）主办，中国开源云联盟、木兰开源社区、全国信标委云计算标准工作组、云计算标准与应用工业和信息化部重点实验室承办的“第十届中国云计算标准和应用大会”在京盛大召开。本次大会以“标准聚力 开源共赢”为主题。

尊敬的各位领导、各位来宾，大家好！我是阿里云智能数据库事业部NSQL的朱国云，今天带来的分享是《云时代内存数据库的探索和实践》。

首先，来看从缓存到内存数据库再到云原生数据库的发展，2000年左右互联网进入高速发展期，数据量膨胀和实时访问快速增加，传统基于磁盘的数据库面向高并发、低延迟的场景，挑战非常大！所以越来越多应用采用了缓存+持久数据库的两层架构，这个阶段也诞生了著名的Memcache。

2010年前后左右移动互联网迎来了爆发，像电商、即时通信、社交、直播、教育、游戏等都变成移动化场景越来越丰富，这些应用要求系统具备基础的高吞吐、低延时能力外，对数据模型和持久化也提出了更高的要求。这个阶段系统从单纯的缓存到内存数据库演进，一方面支持丰富的数据模型，另一方面也具备了持久化能力。所以这个阶段开源的Redis得到了快速发展。

今天在新基建大背景下、在云的时代，又有了新的特征，数据量持续爆发式增长，客户要求的不仅是数据访问模型，而且希望有些实时数据的处理，同时，整体管理复杂度也越来越高，这背后要求新一代云原生内存数据库除了具备丰富的数据模型之外，还需要具备实时数据处理计算能力，需要更高弹性来应对客户流量的变化，更低的成本承接客户更多数据，需要具备完备的企业级能力来应对各种场景的变化。

我们再看内存数据库的市场占有率 ，占数据库的10%不到，每年的增速大概是19.6%，市场是在快速增长的。今天面临非常大的挑战：1、成本，内存价格比较贵，造成了内存数据库相对昂贵，这限制了内存数据库更大范围的普及；2、弹性能力。今天的内存数据库很难应对客户在波峰波谷实时动态调整，以及客户想单独调整计算能力和存储能力；3、计算能力。今天内存数据库大部分支持关系型类或者NSQL类的，比较少的提供丰富的计算能力。4、企业级能力。内存数据库提供数据加速能力之外，还希望持久化、高可靠，开箱即用的服务能力，服务的自动处理解决，对客户非常重要。另外，客户各种行业有不同的特性，作为内存数据库如何支撑好行业特性。

当然，一个很让我们欣喜的地方是硬件层面的快速变迁，今天内存价格非常贵，但是是在持续下降中，让内存数据库有更大的适用范围。带来更大变化的一点是今天存储技术发展，持久内存逐步成熟和商用，例如英特尔的傲腾持久内存，持久内存在性能和存储上取得了较好的平衡点，既拥有接近内存的吞吐和访问延时，同时具备更低的价格、更大的容量和持久化能力。这个持久能力对于内存数据库来说非常重要，传统的内存数据库往往把日志、快照记录在相对慢速的磁盘设备上，今天如果有更先进的基于持久内存的存储引擎，就可以直接落到持久内存的存储介质上，这会给将来内存数据库的发展带来更大机会和空间。

所以，随着客户对各类场景实时在线化需求、降本增效需求，云计算快速发展、新兴硬件和存储的发展，内存数据库逐步进入云原生时代。云原生内存数据库基于云的基础设施，结合新型硬件和傲腾持久内存，将在弹性、成本、计算能力、企业级能力上带来非常显著的变化和提升。

另一方面，云上内存数据库相关通用规范能力标准也在持续沉淀中，阿里云在2014年开始陆续在云上推出了缓存服务OCS、内存数据库Redis，过程中积累非常多云上数据库的管理标准、能力相关标准，例如基本基础能力的管理服务标准、数据访问标准、安全标准，还有性价比相关的数据智能管理标准、计费标准、可迁移、可流动相关的数据流通标准和混合云支持标准。

举个例子，客户是否选用云内存数据库的标准是是否支持标准通用的数据访问接口，例如是否支持Redis访问接口，是不是具有足够 的兼容性，这样来说对客户可以无缝的切换应用程序。是否支持各个系统间的数据流通和各个云之间的数据互通，这样可以不被特定的产品绑定。我们认为这些标准规范是非常重要的。

近期，我们阿里云正式推出了云原生内存数据库Tair，Tair在阿里集团内久经考验和磨练，这次推出重新定义了产品定位，帮助客户构建实时在线的各类场景。首先，通过兼容Redis访问API，来满足客户在线系统的加速需求，满足客户的高吞吐和低延时的需求，并通过各种数据模型来满足客户丰富的场景；其次，通过持久内存存储引擎，满足客户低成本持久化高性能的能力；同时，我们还提供了一些计算类的模型或者更复杂的模型。譬如图数据模型，满足更多面向复杂场景和计算需求。

很多行业都可以通过Tair来构建在线实时场景，例如技术风控、电商、IOT、社交、游戏等等。也如刚刚所说的内存数据库标准，我们今天内存数据库Tair和各个存储系统、各个数据库之间的数据可以比较畅通的去流通 ，包括在数据管理、访问安全方面都有完整配套的建设。

今天我们基于云的基础设施、基于新型的傲腾持久内存，结合内存DRAM、NVM、ESSD三种不同存储介质，应对客户不同的存储容量、不同延迟、不同成本相关需求，这三种形态逐步数据互通、相互转化，最终走向存储介质的混合存储引擎。特别是DRAM和NVM的原生混合存储引擎。

今天基于傲腾持久内存和神龙裸金属服务器之上建设的Tair持久内存数据库，价格相对于全内存的DRAM是60%，并且有近似内存的延时，内存90%的吞吐。并且通过持久内存引擎和基于RDMA高速网络数据同步技术，Tair既确保了数据同步的低延时，也能够做到数据高可靠RPO能力。最后Tair通过内存存储集群化，可以动态、快速、透明扩充，提供给客户从1GB级别到数百T级别的规模，满足各个场景的容量和访问需求，扩充弹性过程中业务正常运行，无感知。

其次，今天在Tair上建设了众多丰富的数据结构和计算能力，例如图模型结构，它用来解决高度连接数据的存储、查询和分析；例如压缩结构和矩阵计算，可以用在大数据概率判断里，譬如我们可以快速判断各类指标重复度，可以用在风控场景；例如流式模型分析处理；未来提供AI和机器学习能力。

从系统上再往前一步，我们会将内存计算的组件和内存数据库的存储组件分离开，并且通过高速网络去互通，这样我们如果计算能力不够，就扩容计算这一层，如果存储能力不够，我们就扩容存储能力这一层，给客户带来一个成本更低、更弹性的系统。

最后，是非常关键的企业级能力，帮助客户在各个行业场景里用得更好，例如Tair提供了热点散列能力、全球多活能力、数据闪回能力、数据洞察能力、数据安全能力。全球多活可以跨多个区部署，不同Region间的数据可以自动实时同步，并且本地就近读取，全球多活能力对于教育、游戏、电商等业务都是刚需 ，这些行业里面的登陆信息、教师信息的同步分发等能力都可以依赖这个。热点散列是Tair在2017年突破的关键技术，在各个场景高并发爆发流量时特别有效，譬如商品秒杀、热点直播室、热门排行榜等等，这些有了热点散列就可以从容应对比较流量爆发的突然场景，不用担心系统因为某一个点被打爆，然后整体的连锁反应。

我们再来看一下Tair在阿里云上的实践，2018年Tair在阿里内部成功应用了傲腾持久内存，当时一个主要目的是降成本。在应用持久内存前，单个物理节点可以提供128GB的容量，30万的QPS。我们有一个业务场景，它的需求是需要2TB的容量，300万的QPS。简单计算一下，按照容量上限是20台，QPS10台就可以了，必须得取大的，那就20台。这时候我们就可以发现，每台物理节点只需要提供15万的QPS即可，计算能力没有完全充分的发挥。Tair应用了持久内存之后，单台服务系统提升到256G，吞吐量没有变化，这总共用10个节点、10台服务器即可，大幅节省了整体的TCU。

阿里有很多通用需求，类似电商、游戏、直播等超大流量，有访问热点。Tair的高性能2倍于社区版Redis6.0的吞吐，单节点可以支撑数十万热点承载能力，相当于原来单节点只能承载几万就出问题，今天数十万情况下系统可支撑量就会变得更大。

其次，数据安全也是必不可少的，Tair除了从访问到整体数据安全加密处理之外，Tair还有精准恢复到时间点的能力，让客户不用再担心数据被误删除导致数据弄脏，他想恢复到某个时间点，我们就可以恢复到某个时间点，精准到秒级别。

对于云上客户来说，当客户访问出现异常、访问变慢或者容量增长太快时，怎么能够快速定位异常根源？我们今天通过数据洞察来查看实时的访问热点或者实时访问源，就是哪一批机器访问得特别多，或者通过我们的审计也能够定位操作异常，整体的排查效率可以提升到10倍以上。

最后，Tair作为新一代云原生数据库，我们将持续在软硬件结合存储和计算一体化、数据智能分布等建设，我们想做的是解锁存算一体，并且致力于帮助客户构建在线实时场景。

视频直播回看请点击“阅读原文”

---

中国电子技术标准化研究院（简称“电子标准院”、“电子四院”），创建于1963 年，是工业和信息化部直属事业单位，是国家从事电子信息技术领域标准化的基础性、公益性、综合性研究机构。电子标准院以电子信息技术标准化工作为核心，通过开展标准科研、检测、计量、认证、信息服务等业务，面向政府提供政策研究、行业管理和战略决策的专业支撑，面向社会提供标准化技术服务。电子标准院承担55个IEC、ISO/IEC JTC1 的TC/SC 国内技术归口和17 个全国标准化技术委员会秘书处的工作，与多个国际标准化组织及国外著名机构建立了合作关系，为标准的应用推广、产业推动和国际交流合作发挥了重要的促进作用。

全国信标委云计算标准工作组成立于2012年9月，秘书处挂靠在中国电子技术标准化研究院。工作组旨在协调和调动政府、企业、高校、研究机构、用户、中介组织等产学研各方资源，推进我国云计算领域的标准化工作，负责云计算领域的基础、技术、产品、测评、服务、系统等国家标准、行业标准的制修订，对口ISO/IEC JTC1/SC38 云计算与分布式平台分技术委员会国际标准化工作。截至目前已组织国内产学研用各界研制发布云计算国家标准27项，行业标准1项，团体标准6项。

中国开源云联盟（COSCL）成立于2012年8月，在工业和信息化部信息技术发展司指导下，挂靠在中国电子技术标准化研究院，现有我国200余家开源生态圈产、学、研、用成员单位。中国开源云联盟（COSCL）作为国家重点研发计划《云计算和大数据开源社区生态系统》项目的指定开源组织，宗旨是以标准化为核心，汇聚产业能力，发挥开源智库作用。

“木兰开源社区”建立于2019年8月，是国家重点研发计划重点专项“云计算和大数据开源社区生态系统”的成果之一。旨在促进产学研用各方开源领域的交流，推动国家科技创新成果开源，加强企业、科教研单位和行业用户之间的沟通，推动开源成果转化落地，同时为各类开源项目提供中立托管，保证开源项目的持续发展不受第三方影响，通过更加开放的方式来打造和完善开源社区生态。

相关阅读