VMware vSAN下一目标:NVMe-oF存储扩展?
在前几天发了《SNIA SDC 19分享:NVMe、SMB、存储架构/性能/管理》之后,就有读者朋友问我要SDC的全部会议资料。现在官网已经基本上全了,我也整理下,同步更新到之前那个网盘链接。
百度网盘下载 (也可点击本文底部 “阅读原文”)
https://pan.baidu.com/s/1g1maNn3-Xa65aZUdqzPAvA
在共享目录里,我还放了一个压缩包集合,方便大家下载。
今天跟各位聊聊vSphere ESXi和vSAN对NVMe-Fabric的支持。
如上图,在下一代ESXi的Kernel里,3种NVMe over Fabric方式都有支持,包括无损以太网RDMA(RoCE和iWARP)、基于传统光纤通道的FC-NVMe和普通以太网就支持的NVMe/TCP。
vSphere管理界面中,对NVMe over RDMA存储适配器、闪存盘的支持。
vSAN使用RoCE连接JBOF SSD扩展柜
注意:上图中提示内容状态为POC,应该还在概念验证阶段。
我们知道,传统的vSAN是HCI超融合的部署,将计算和存储聚合在服务器节点上,组成对等集群。依靠分布式多副本或纠删码进行数据保护。
有了NVMe-oF支持后,vSAN可以考虑将SSD转移到JBOF专用存储机箱。如上图示例2个JBOF资源池A和B用的是2台Intel RAF1000JSP,里面装着P4500 “Ruler” SSD。我引用Intel资料中的图片如下:
这个大家可能不太陌生了,1U机箱最多支持36个Intel Ruler长尺形状的SSD,我在《EDSFF 3英寸企业级SSD会成为下一代标准吗?》一文中也提到过。
而在当前的资料中,RAF1000JSP还是通过内部2个PCIe Switch Node提供主机连接。如果vSAN服务器节点用RoCE连接它的话,这2个Node模块应该要更换成对应以太网接口的。
在这里NVMe-oF对于vSAN的价值,在于存储和计算可以单独扩展,同时针对分配和解聚合的工作流保持简化的HCI管理。
vSAN使用NVMe/TCP连接lightbits闪存“阵列”
这里的“Storage Virtualization”又让我想起了多年前,存储阵列内“虚拟化”技术的说法,其实与严格意义上将多台阵列整合管理的“存储虚拟化”不是一回事。
如上图,将lightbits的设备称为阵列可能不完全准确,或者说具备部分功能的轻量级阵列更合适一些,稍后我会接着讨论。Lightbits的另一身份是NVMe/TCP技术的主导者。
扩展阅读:《NVMe over TCP:iSCSI的接班人?》
Lightbits硬件上是一个全SSD服务器,除了运行NVMe/TCP target之外,还实现了全局FTL。另外可选一块FPGA加速卡用于SSD管理和数据服务,比如Thin Provisioning、压缩和EC纠删码保护等。
vSAN + lightbits类存储组合的用户价值在于:
- 同样整合的vSAN管理和用户体验;
- 全功能企业级存储方案;
- 存储和计算可以单独扩展;
- 带有本地驱动器或无磁盘vSAN节点组成的异构集群;
- NVMe性能;
- 增强的SSD耐久度;
- 精简配置、压缩和RAID(EC)。
如果我们将Global FTL的Lightbits想象成一个“大的SSD”,它也可能有单点故障,连接lightbits的vSAN服务器节点就像存储管理网关,仍然可以靠上层的多副本(镜像)来实现高可用。这个看起来像不像以往的存储虚拟化技术?
小结
当前的块级软件定义存储产品技术,大多都是对等节点的集群,用于超融合场景较多一些。Ceph的情况可能特殊一些,主要是服务器CPU等资源开销较大,所以往往设计为专用存储集群。有了NVMe oF之后,我觉得SDS在与传统基于专用控制器的存储阵列竞争时又多了一点武器。
如今vSAN已经颠覆了存储市场,VMware会不会还有更多的野心呢?
扩展阅读:《VMwarevSAN 6.7发布:大量新特性》
《vForum随笔:全闪存VSAN和Nimble CASL的创新》
注:本文只代表作者个人观点,与任何组织机构无关,如有错误和不足之处欢迎在留言中批评指正。进一步交流技术,可以加我的QQ/微信:490834312。如果您想在这个公众号上分享自己的技术干货,也欢迎联系我:)
尊重知识,转载时请保留全文,并包括本行及如下二维码。感谢您的阅读和支持!《企业存储技术》微信公众号:HL_Storage
长按二维码可直接识别关注
历史文章汇总:http://chuansong.me/account/huangliang_storage