PCIe 4.0 SAS+NVMe RAID/HBA卡：最高读IOPS 300万、写24万

大家还记得LSI吧：）

首先请原谅我又怀个旧。从LSI到Avago再到Broadcom的并购史就不详细讲了，对这些故事不熟的朋友可以简单参考下图。

2016年9月我写过《RAID卡未来之路：除了NVMe还有啥？》，如今回过头来看看当年的Roadmap，哪些产品没有出来，想想取消的原因也有点意思。

2016年11月我又写了《首款SAS/SATA/PCIe三模RAID发布：ARM替代PowerPC》。这一代产品如今已经支撑了3-4年，是时候随着PCIe 4.0接口更新一下了。

上图就是新一代PCIe 4.0 RAID卡中的MegaRAID 9560-16i，16个内部SAS/SATA/NVMe三模HDD/SSD接口。卡的右端连接器和上一代有点变化，从x4 lane的SFF-8643换成了x8 lane的SFF-8654——后者其实我们已经在服务器主板和热插拔背板上见过不少了，比如下图：

这张照片引用自《Dell PowerEdge R640：NVMe直连、NDC网卡、PERC10一览》

从PCIe 3.0 x16到PCIe 4.0 x8

下面我们主要围绕SAS/NVMeRAID卡和HBA的主控芯片来讨论，毕竟大的服务器品牌往往不会直接用Broadcom自有品牌的卡，而规格参数和性能基本上还是决定于芯片。

上面这款SAS3616W芯片几年前我还没介绍过，严格说它只算Tri-Mode三模IOC控制器的“半代升级”。因为之前SAS34xx/35xx的PCIe 3.0 x8主机接口，连接SSD特别是NVMe数量多了之后实在是个瓶颈，于是后来就有了这款PCIe 3.0 x16 SAS3616W。

请注意，之前用于HBA（不带缓存，非硬件RAID）卡的IOC芯片只是单核ARMA15 1.2GHz，最近的新品就不同了。

SAS/SATA HBA（IOC）的地位提升

如上图，支持PCIe 4.0的新一代IOC和RoC（RAIDon Chip），从SAS3808开始全部都是双核ARM A15 1.6GHz了，从L1和L2 Cache来看架构变化应该不大。最主要的一点是主机和设备端接口都支持PCIe 4.0，下面看看性能指标。

从215万IOPS判断非原生NVMe RAID？

等继续讲到下面的表格，其实上图中的300万4K随机读/随机写IOPS，8端口（设备端）的SAS3808应该是达不到的。稍后大家就会明白怎么回事，Broadcom的资料复制、粘贴出点小错误我倒是并不意外。13,700 MB/s的带宽相对于接近16GB/s的x8 PCIe Gen4理论带宽来说，效率也还算可以了。

上图中写PCIe Port（Lanes）的“12 Gb/s”速率，请大家自己脑补纠正成16 Gb/s。大家注意下这里写SAS3808的4K随机读IOPS是215万，比同一份资料里的300万要低哦？

再看16端口的SAS3816 IOC芯片，我们计算下3M 4KB IOPS换算成带宽应该是11718MB/s，理论上8端口的SAS3808如果通过PCIe 4.0 Switch转接SSD（最多连32个NVMe盘）的话，有可能达到这一水平。

几款芯片的ARM处理能力一样，那么SAS3808实际的2.15M IOPS，是不是有点像受到8个12Gb/s SAS端口的带宽限制呢？尽管从2016年正式发布的三模RAID/HBA产品已经是SAS&NVMe兼容PHY，但还没有说原生NVMe。现在的新品还依然受到MegaRAID SAS RAID架构的限制吧？

如上图，SAS3916是用于硬件RAID卡的SAS/SATA/NVMe控制器，除了16端口还有8端口的SAS3908，这份资料终于把PCIe 4.0的速率写对了。

同样是在4年前的《服务器SSD RAID性能速查手册》一文中，曾经以LSISAS3108芯片的Dell PERCH730p RAID卡举例，当时在PassThrough直通模式可以测到100万IOPS（8-12块SAS SSD）。

那么，如今的SAS3916如果RAID随机读真能跑到300万IOPS也不错了，毕竟现在企业级PCIe 4.0 NVMe SSD单盘有些已经达到100万IOPS（如Intel SSD D7-5500和5600）。至于RAID 5随机写IOPS嘛，24万只能说比以前好，如果使用3D XPoint Memory介质的IntelOptane P4800X或者900P系列，单盘读写都有50万IOPS。

扩展阅读：《Intel Optane P4800X评测(1)：好钢如何用在刀刃上？》

传统RAID技术的写惩罚和性能，到了SSD时代之后一直是个难以突破的点；再加上RAID卡如果连接数量稍多的NVMe SSD，中间就需要通过不便宜的Switch芯片，上下行通道带宽还不对称。我们看到一线服务器大厂中，之前许多都放弃了三模芯片RAID/HBA卡对NVMe的支持（仍保持SAS/SATA），比如Dell PERC 10系列。不少用户逐渐习惯了通过软RAID/镜像，或者分布式存储的副本/纠删码技术来保护数据，这也导致SAS HBA的出货比例逐渐变多。

注：SDS软件定义存储的2大代表产品，VMware vSAN和微软S2D现在连接SAS/SATA盘都要求使用HBA而非RAID卡。还有一种情况优先使用SAS SSD，就像《单节点230虚拟桌面、6 GPU卡：AMDEPYC vSAN超融合测试&参考架构》插了6块PCIe x16的NVIDIA Tesla T4，SAS HBA连接SSD可以节约PCIe信道。

扩展阅读《4节点近160万IOPS：SDS/超融合测试不能只看数字》

那么基于Broadcom PCIe 4.0新一代RAID控制芯片的服务器，接下来又有多少RAID卡设计会拥抱NVMe呢？

RAID卡的Secure Boot：保护Firmware更新

最后再陪大家看一个新特性。昨天我在《Intel 10代PC/笔记本安装Win7踩坑记 & 驱动分享》里也提到了Secure Boot，主板和PC厂商的BIOS中目前还允许关闭这个选项，主要是为了软件兼容性和一些特殊需求/应用场景。

RAID/HBA卡没这么复杂，Secure Boot是为了保护其Firmware，只有经过Broadcom Signed签名的固件才能被允许写入。

具体到合作的服务器系统厂商，RAID/HBA卡只是一个组件，整体的Firmware安全要考虑的问题更多，包括BIOS、BMC等。有兴趣的朋友可以参考下《Xeon SP服务器新技术：防代码入侵从BIOS做起》。

扩展阅读《企业存储技术》文章分类索引（微信公众号专辑）》

注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。进一步交流技术，。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）

尊重知识，转载时请保留全文，并包括本行及如下二维码。感谢您的阅读和支持！《企业存储技术》微信公众号：HL_Storage

长按二维码可直接识别关注

历史文章汇总：http://chuansong.me/account/huangliang_storage

http://www.toutiao.com/c/user/5821930387/

点击下方“阅读原文”，查看更多历史文章↓↓↓