遇见未来 | 软件定义数据中心:人类文明运行在软件之上
互联网及其延伸,正在导向我们走向一个新的时代,软件技术在新一轮革命技术中毫无疑问是核心竞争力之一。C++语言发明人Biarne Stroustrup说,人类文明运行在软件之上,也突出了软件技术的重要地位。
什么是软件定义?软件定义在企业的数据中心中的表现是什么?如何发展这项技术?今天我们有幸邀请到了VMware存储架构师Peter Ye(叶毓睿),分享他关于软件定义存储的深刻见解。
作者及其团队介绍
1PeterYe(叶毓睿),现任VMware存储架构师,《软件定义存储:原理,实践与生态》作者,《VMware软件定义存储:原理剖析和设计指南》译者。曾任职于EMC、Compellent、DELL,对存储行业的历史发展和未来趋势有着深入的了解。Peter同时也是"乐生活与爱IT" 微信公众号的作者。
软件定义存储的概念提出是基于什么样的背景,主要帮助用户在数据中心建设中解决什么样的问题和痛点?
2软件定义存储(SoftwareDefined Storage,简称SDS)的首次提出是在2012年8月VMworld大会上,此次大会同时提出了软件定义的数据中心(Software Defined Data Center,简称SDDC),SDS是SDDC的五大组成部分之一。
我在《软件定义存储:原理,实践与生态》一书中,曾指出:软件定义的存储(SDS)是一个不断进化的概念,在现阶段看来,是指存储资源由软件自动控制,通过抽象、池化和自动化,将标准服务器内置存储、直连存储,外置存储,或云存储等存储资源整合起来,实现应用感知,或者基于策略驱动的部署、变更和管理,最终达到存储即服务的目标。
用户在传统数据中心建设中,大多是烟囱或竖井架构,也就是每上一套业务应用,需要申请和采购包括服务器、网络和存储在内的IT基础架构硬件,这使得用户在数字化转型的时代,IT基础架构的资源无法共享,存储资源无法动态扩展,即刻交付。SDS是在虚拟化已经渗透到各行各业,云计算逐渐普及的大环境下,孕育而生的。
软件定义为云而生,通过抽象、池化、自动化等步骤,实现IAAS(基础架构即服务),帮助用户共享计算网络和存储资源池,并能实现动态扩展,即刻交付和方便地变更资源,以动态地适应某一业务在不同时间段对于资源的SLA(服务等级协议)的要求。
目前SDS包括分布式存储,分布式存储有两种部署形态,一种是计算和存储相分离的,另一种是计算和存储融合在同一个物理服务器节点上,也即超融合基础架构。分离部署的方式,在大规模存储资源池化,存放非结构化数据(如文档,图片,音视频等)的场景中,应用较为广泛。而超融合架构中,较多使用的场景包含VDI、集群管理、ROBO(远程分支办公室)、开发测试、备份与灾难恢复。除此之外,由于VMware vSAN依托于vSphere ESXi这一稳定可靠的Hypervisor,并且自身拥有故障域、双活(延伸集群)、而且支持vMotion/HA/FT等功能,使得越来越多的用户将关键应用(如Oracle RAC、SAP、SQL Server等)放在了VMware vSAN上,根据2016年的数据统计,有64%的vSAN用户,将其关键应用放在vSAN上。
软件定义存储相比较传统存储理念,有哪些主要的特点和优势?
4在数据平面层涌现出可以采用基于标准商用硬件(如X86服务器)的分布式存储或者HCI,降低了成本;控制平面层向上提供了存储自动化(如存储策略驱动)的资源部署和变更方式,使得云计算所需的存储资源即刻交付成为可能。软件定义存储中的大类:HCI使得数据靠近计算,能让SSD的性能发挥得淋漓尽致,性能更高,延时更低。
软件定义存储的技术如何解决传统存储的挑战:信息孤岛,供应商绑定,扩展性的问题的?
5第一步是抽象,也即解耦,因为如果硬件被锁定,存储资源无法被灵活调用;
第二步是池化,也即虚拟化,这样才能随需分配,动态扩展;
第三步是自动化,存储资源由软件(Hypervisor或云管理软件)来自动分配和管理。
经由抽象、池化和自动化,打破了信息孤岛,也不再被供应商绑定,并支持动态扩展的。
软件定义存储如何实现数据保护,高可用和数据去重等?
6在数据平面层的分布式存储或者HCI,大多是通过类似互联网分布式计算,也即多副本的方式来提供数据冗余,另外也有通过双活(如vSAN 延伸集群)来提高可用性。为了解决存储利用率,也有采用EC(纠删码)和去重压缩的技术。
软件定义存储与存储虚拟化技术的区别?
7软件定义存储包含了存储虚拟化,简单理解,可以认为软件定义存储=存储虚拟化+自动化,其实就是SDS的三步曲:抽象、池化和自动化。详见《什么是存储虚拟化?它与软件定义存储有何区别?》
软件定义存储与软件定义网络有哪些共性,前者受到后者哪些影响?
8都包含了控制平面和数据平面。软件定义这个词汇最早就是来源于软件定义网络(SDN),核心是控制平面和数据平面解耦,SDS在这一部分上收到了SDN的影响。
现在软件定义的概念越来越火,在很多个领域都出现一些产品和解决方案,您如何看待软件定义技术的发展呢?软件定义网络,软件定义计算,软件定义数据中心,这真的会是数据中心的未来吗?
9软件定义的出现,是虚拟化已经渗透,云计算逐渐普及的大环境下,对于基础架构层的迫切需求,打破了以往烟囱或竖井架构,使得资源能够池化并自动化地被部署。迄今为止,云计算,尤其是私有云的最佳实践方式就是软件定义的数据中心,而且这个过程会持续很长时间,直至用户迈向混合云。因此,毫无疑问,SDDC是数据中心的未来。
有人说,人类文明终将会运行在软件之上,那么对于硬件厂商来说,面临什么样的挑战和机遇呢?如何正确地认识软件和硬件的关系,以及硬件在未来数据中心的地位?
10人类的文明运行在软件和硬件结合的环境之上。实际上,正是因为硬件技术的突飞猛进地发展,才使得软件定义有了腾挪的空间。早期,为了大规模生产,降低制造的复杂度和成本,许多功能都固化在硬件里,我们可以称之为硬件定义。随着日益增长的灵活性、自动化、多样化、个性化定制的需求,由软件来操控硬件资源的情况将越来越多、越来越广。然而,软件操控硬件的前提是,硬件的能力(例如性能、容量等)需要有富余。所以,硬件发展越快,软件定义的发展才会更有潜力。另外,软件的发展反过来也会影响硬件的发展,例如虚拟化软件对芯片指令集的影响,分布式存储软件对网络的影响。
软件定义技术的发展与企业IT系统的云化有什么样的关系,软件定义将会给企业的云战略,或者云战略会给软件定义数据中心带来什么影响?企业该如何正确地看待未来数据中心的变革与方向?
11前面提到,软件定义为云而生。所有企业,在云战略上,如果考虑混合云或者私有云,都必须认真思考如何利用现有的最佳实践,也即软件定义的数据中心来使云战略落地。
VMware的软件定义存储主要分为两大部分,如下图所示。
1)控制平面,即Storage Policy Based Management(基于存储策略的管理),简称SPBM。
数据平面,即Virtual DataServices。分别有三个子类构成:Virtual SAN,VirtualVolumes和Cloud/Object Storage。
降低成本、提升性能、管理简单灵活、扩展方便、即刻交付符合一定SLA标准的存储资源。
未来可能出现的软件定义存储,可大致分为如下六类:
1)与Hypervisor融为一体的SDS厂商,也即前述的VMware、Microsoft等。
2)与应用融为一体的超融合架构设备,通常俗称一体机。
由于针对某一类特定业务,其工作负载相对固定,也比较容易在存储曾针对这一特点进行优化,例如针对数据库的有:云和恩墨、天玑数据、沃趣(已被华胜收购)、成都文武信息等;针对VDI的一体机;针对SAP的一体机;并行数据库一体机 (如MonDb), 数据分析一体机 (Greeplum),也许未来还会有针对Exchange的、针对SQL Server的一体机;从业务应用来看,也许还会有针对视频监控,针对媒资管理等,针对某一行业的某一类应用。
3)拥有某一项或几项出色功能的新SDS厂商。虽然没有与Hypervisor或者应用融合。但靠着它的独特或先进的功能,依然赢得用户的青睐;
4)针对云平台或者Hypervisor生态链,专注某垂直领域的SDS厂商,例如针对AWS的SoftNAS,针对vSphere的Tintri;现阶段针对Hypervisor进行拓展和优化的,应该有不少生存空间;针对公有云的,可能在晚些年陆续出现更多的初创厂商。
5)传统外置磁盘阵列的转型尝试,如HP StorVirtual、EMC vVNX、NetApp OnTap Edge等。
6)云计算公司的的转型尝试,如公有云提供商青云推出超融合一体机等。
7)包括冷存储在内的对象存储。
初期,必须围绕着数据平面下功夫,提供稳定性和可靠性,甚至可能针对业务应用进行优化;将来,数据平面同质化后,应该开始向控制平面层对接,以更好的为存储自动化服务。
跨界与融合、机遇与挑战、个人与企业、现在与未来。让各行业、企业,以及每一个向未来而努力的人,听见时代最前沿的声音,见证成长!
推荐阅读:
资源下载
关注公众号:数据和云(OraNews)回复关键字获取
‘2017DTC’,2017DTC大会PPT
‘DBALIFE’,“DBA的一天”海报
‘DBA04’,DBA手记4经典篇章电子书
‘RACV1’, RAC系列课程视频及ppt
‘122ARCH’,Oracle 12.2体系结构图
‘2017OOW’,Oracle OpenWorld资料
‘PRELECTION’,大讲堂讲师课程资料