MCR/MRDIMM服务器内存：速度提升带来的功耗挑战
目录
- Quad Rank相对Dual Rank MRDIMM的性能优势
- TFF 2U高度内存尺寸改进散热密度
- MRDIMM功耗接近翻倍：RCD & DQ Buffers影响较大
- MRDIMM对液冷服务器友好？
这种新型服务器内存，在SK Hynix网站（如下图）上叫MCRDIMM(Multiplexer Combined Ranks DIMM)，而在Micron网站上称作MRDIMM(Multiplexer-Ranks DIMM)，其实是同一种东西，只不过后者成为了JEDEC规范。
关于MCR/MRDIMM，“UEFI社区“公众号的博主老狼，早在一年半之前就有篇《内存速度再次翻倍！新型MCR内存是怎么做到的？》，把技术特点和前生今世讲得很清楚。而我直到最近才开始阅读去年的资料，说来有点惭愧：）
上面这个文档我在去年的《FMS 2023闪存峰会演讲资料（完整版）》中分享过，Intel的演讲人应该也在JEDEC组织的MRDIMM规范相关人群中吧。
MRDIMM的原理，简单说就是在原有RDIMM基础上，将Data Buffer（RCD & DQ Buffers）芯片改进后，一方面能够与内存上的2个DRAM Rank并行I/O，将2个64byte传输合并成1个128byte；另一边与CPU内存控制器之间的数据宽度还是64bit——在这里就把传输速率提高。比如即将面世的MRDIMM 8800 MT/s，对应的DDR5内存颗粒工作在4400 MT/s就可实现。
Quad Rank相对Dual Rank MRDIMM的性能优势
参考上图，传统DDR5 DIMM目前应用在服务器内存的速率能达到6400 MT/s，MCR/MR DIMM的起步速率就在8800 MT/s。另外我还发现同样是Dual Rank内存，采用MCR技术之后实际带宽表现比RDIMM略高，而Quad Rank（4 Rank）MCR内存比Dual Rank的表现要更好一些。我在Micron的资料中也看到了相关的性能数字。
如上图，在同为2Rx4的内存颗粒配置下，MRDIMM 8800 MT/s比传统RDIMM 6400 MT/s在MLC带宽测试中领先30%左右，而4Rx4 MRDIMM则领先了39%。
TFF 2U高度内存尺寸改进散热密度
当然4 Rank也不是没有缺点，那就是内存颗粒的数量会加倍。如上面图表，美光128GB和256GB的4Rx4 MRDIMM都是TFF尺寸——也就是2倍高度（参考下图），这在1U服务器机箱中通常无法安装。不过内存PCB面积大了也有好处，那就是对散热空气的流速要求会降低。
我留意到64GB MRDIMM还有一种4Rx8的配置，由于它的颗粒数量只有4Rx4的一半，所以可以做到标准Low profile的高度尺寸，同时兼顾高性能和较低的功耗（与4Rx4相比）。稍后我还会讨论MRDIMM的功耗挑战。
如上图，Micron MRDIMM在8800 MT/s速率之后的规划，应该还有12800 MT/s和14400 MT/s。
回到FMS2023的演讲资料，4Rx4 MRDIMM如果做成2U高度（即美光的TFF），使用的DRAM封装可以是SDP，而若想保持Low Profile矮版，就要采用DDP-2H或者3DS-2H封装的高密度DRAM芯片。
MRDIMM功耗接近翻倍：RCD & DQ Buffers影响较大
根据上面图表，右侧的64GB MR DIMM就是8800 MT/s规格的（左边的传统RDIMM也是x4 DRAM芯片工作在4400MT/s下）。在对比中，由于全部DRAM都要保持刷新，所以Refresh的3.0W功耗是打平的；而传统RDIMM的2 Rank只是交替激活和读写，所以MRDIMM在这两部分的功耗就翻倍了。
另外还有关键的一点，就是传统RDIMM的RCD & DQ Buffers功耗只会增加1W，而MRDIMM则达到5W之多。毕竟不只是简单的缓存了，对数据的处理/传输相比以前复杂许多。结果就是64GB MRDIMM加上PMIC之后的总功耗达到16.5W，之前我看新闻里写256GB的大约20W。
MRDIMM对液冷服务器友好？
相比之下，我在《Dell PowerEdge R760服务器：风冷 vs. 液冷散热限制》中列出过256GB RDIMM的参考功耗12.7W，就已经在一些配置中对机箱风扇排和DLC冷板液冷（只解决CPU散热）提出了要求。我感觉MRDIMM对液冷应该也是比风冷更友好的，并不是说内存功耗高了一定要泡在液体里或者被铜板覆盖，只要液冷解决掉CPU（注：Intel、AMD都快发布500W TDP了）、GPU这些发热大户，余下内存等用系统风扇或者再加上风罩没啥困难的。这时是不是又能看出高版内存的好处了？
扩展阅读：《液冷服务器之散热选择组合：冷板、后门换热和列间空调》
最后这张关于信号频率/速率的，除了DRAM侧时钟2200 MHz、主机侧时钟4400 MHz和DQ rate 8800 MT/s之外，有些我也不太熟悉。列在这里给大家参考吧：）
参考资料
https://www.micron.com/products/memory/dram-modules/mrdimm
https://product.skhynix.com/products/dram/module/mcrdimm.go
扩展阅读：《企业存储技术》文章分类索引（微信公众号专辑）》
注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。进一步交流可加微信：490834312。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）
尊重知识，转载时请保留全文，并包括本行及如下二维码。感谢您的阅读和支持！《企业存储技术》微信公众号：HL_Storage
长按二维码可直接识别关注
历史文章汇总：http://www.toutiao.com/c/user/5821930387/
http://www.zhihu.com/column/huangliang
点击下方“阅读原文”，查看更多历史文章↓↓↓