Dell PERC12 (H965i)：带风扇的RAID卡重现江湖

接前文：

注：上面的第一篇中有理解不对之处，所以务必请同时看第二篇的更正。

继Broadcom（LSI）MegaRAID 96xx阵列卡发布之后，与其有着联合研发关系的Dell PERC（PowerEdge RAID Controller）也要随着16G服务器的推出而新增12代产品。

开放讨论：加风扇的弊与利

关于PERC 12，Dell一开始也提到了24Gbps SAS盘支持、Cache内存速度提升到3200MHz、16-lane（PCIe）主机总线这些特点。而更让我觉得有点意思的，是下面这张照片——您看出哪里特别了吗？

H965i Adapter controller

图注2是用于缓存保护的BBU模块，1和3就不用我解释了吧。PERC H965i RAID卡一共有3种不同版型，只有上面这款标准PCIe插卡的散热片上带有风扇。官方解释是：

“PERC12 Adapter Card adds an Active Heat Sink (Fan) on the controller, providing additional cooling capabilities, to ensure that the controller is always running at optimum temperature and does not compromise on performance because of overheating”

带风扇的RAID卡我以前并不是没见过——比如20年前的建邦390U4E SCSI RAID。而近年来，除了机架工作站上的显卡之外，主动散热的RAID卡/HBA感觉不多。比如16G FC HBA那一代，QLogic加了风扇而Emulex还是个散热片，当时对此有疑问的人似乎不多。

我想肯定会有人说：“风扇增加了一个潜在故障点…” 我在前文中列出过Broadcom 96xx这一代RAID卡的规格表（如下图），其中PCIe x16 Gen4主机接口的9670W-16i，典型功耗最高达到了25W。Dell PERC H965i用的芯片应该也是同款：SAS 4116W ROC。相比之下，上一代PERC 11 RAID卡功耗只要15W（扩展阅读：《350万IOPS：NVMe SSD RAID卡性能测试解析》），确实提高不少。如果靠传统方式提高机箱中部风扇排的转速，多付出的耗电和噪音，估计没有RAID卡上加一个小风扇划算吧。

（需要看图的朋友可点开后缩放，以下同）

注：PERC 12当前并没有看到8 lane PCIe主机接口的低端型号，所以我认为它与上一代PERC 11之间，更多应该是并存而不是替代的关系。

如果真遇到RAID卡上风扇坏了呢？首先，散热片还在那里，面积并没有减小多少。接下来的策略，从技术角度思考有2种选择：

1、RAID卡本身有过热保护，风扇不转了性能有些降低；

2、提高系统风扇转速，来补偿RAID卡的散热。

免责声明：我并不认识Dell服务器的研发，以上仅是个猜测。

H965i Front controller

第二款PERC 12版型，是固定在驱动器背板一侧的H965i Front，由于这个位置距离风扇排较近，被动散热不用加风扇就好。

如上图：1和2的位置是两个连接服务器主板的PCIe x8，这2条线都连接就是PCIe x16 4.0的带宽（我猜如果只连1条，也能工作吧？）。3和4是连接到背板的驱动器接口，2个x8 lane一共16 lane。PERC 12代的Front型号不再像PERC 11那样区分为SAS和NVMe两款，而是统一到通用的H965i Front。另外，图示中7的连接器，应该是RAID卡从背板上供电的位置。

H965i MX controller

第三款H965i MX，顾名思义应该是用于PowerEdge MX模块化“刀片”服务器，还有PowerEdge C系列2U四节点高密机型。参考下图：

性能：NVMe 691万IOPS、SAS 514万IOPS

下面看看最高性能。

在NVMe SSD配置下，PERC 12的RAID 5随机读IOPS达到691万，比之前Broadcom公布的640万还要高，估计是在固件上又进行了调优。RAID 5随机写IOPS这份文档里写的65万（之前Broadcom公布的90-100万），但我没看到具体的测试配置——可能与SSD型号和数量有关。

64K顺序读写带宽分别为大约28GB/s和10GB/s，比之前我在《RAID 5写带宽11.7GB/s：当SAS 24G阵列卡嵌入PCIe Switch 》里介绍的Microchip 24G SAS/PCIe Gen4三模RAID卡略低。

之前有不只一位朋友找我问PERC 11 RAID卡配合SAS SSD时的性能，如今新老三代的数字都列出来了。上表还写了这部分的测试配置——4组4块盘的RAID 5阵列，一共16个SAS SSD。

PERC 11用SAS SSD还能跑到350万IOPS最大性能，但PERC 12的514万就要比配NVMe SSD时低一些了。而平均每块24Gb SAS盘贡献32万IOPS，实际发挥到这个水平也不低了。SAS RAID随机写IOPS，PERC 12达到67万，这里应该有RAID卡计算的瓶颈，不过也有可能前面的NVMe盘修改配置还能跑更高。

顺序读写带宽，SAS SSD并不比NVMe盘低，甚至PERC 12的顺序写跑到了14GB/s，这个性能数字又反超Microchip RAID卡了。

Rebuild重建性能和延时的改进

在讨论上一代PERC 11的测试报告时，曾经有朋友对高QD时（为了压最高性能）的延时数字有些疑问。而在MegaRAID 96xx / PERC 12这一代，除了最高性能之外，Broadcom和Dell认为SAS4/NVMe RAID卡在延时，以及Rebuild时的表现进步更大。

下图还是先来看NVMe，这里PERC11和12分别是在R650和R660服务器上，用8块SSD做一个RAID 5 VD来测试。右边标红线的地方，可能是笔误了写成16块盘？

如第二行所示，PERC 12在优化状态RAID 5卷的平均写延时为6.6µs @ 65万IOPS，上一代PERC 11在10万IOPS下延时就达到了135 µs。至于99.9%长尾延时，PERC 12从PERC 11的1,564 µs缩短到15µs。

然后是Rebuild状态下的RAID 5卷，PERC 12的随机写IOPS降到42万，但延时没有明显变化；上一代PERC 11的情况大家自己看吧。

还有一个RAID 5 Rebuild时的性能测试。PERC 12的4K随机读写还能达到104万和55万IOPS，而PERC 11只有16500（16.5K）和7000（7K）。不知这个与Rebuild优先级（BGI）设置是否有关。

NVMe SSD Rebuild时间，PERC 11每TB数据需要62分钟，而PERC 12只需要20.7分钟。

最后一张图：SAS SSD重建时的性能。PERC 12随机读IOPS跑到了193万，又一次超过了NVMe RAID。不过SAS配置应该是只对测试中的1组RAID做Rebuild吧？

Rebulid下的写延时测试，这里注明了35万4K随机写IOPS只是跑到最大IOPS的75%，此时7.6 µs与前两代RAID卡的动辄上千微秒相比依然优异。

SAS SSD Rebulid时间的改进没有NVMe那么多，PERC 12对比PERC 11从每TB 50分钟加快到37.5分钟。毕竟24Gb SAS的单盘接口带宽在那里（可以用2.4GB/s对比下PCIe Gen4 NVMe SSD）。

参考资料

https://infohub.delltechnologies.com/p/dell-poweredge-raid-controller-12/

扩展阅读：《企业存储技术》文章分类索引（微信公众号专辑）》

注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）

尊重知识，转载时请保留全文，并包括本行及如下二维码。感谢您的阅读和支持！《企业存储技术》微信公众号：HL_Storage

长按二维码可直接识别关注

历史文章汇总：http://www.toutiao.com/c/user/5821930387/

http://www.zhihu.com/column/huangliang