为2020年的深度学习选择最合适的GPU
本来翻译自MichaelBalaban 的“Choosing the Best GPU for Deep Learning in 2020”一文，点击“阅读原文”可查看英文原文，文章中的GPU价格均为美元价格，国内实际价格应该有所出入，供大家参考。
以下是译文。
最先进的（SOTA）深度学习模型需要占用大量的内存空间，许多GPU没有足够的VRAM来训练它们。在本文中，我们确定了哪些GPU可以训练最新的网络而不会引发内存错误。我们还将提供测试的每个GPU的训练性能。
译者注：SOTA也就是state-of-the-art的简称，一篇论文或一个算法能够称为SOTA，就表明其性能在当前是最佳的。
TLDR:
截止到2020年2月，以下GPU可以训练所有SOTA语言和图像模型：
RTX 8000: 48 GB VRAM, ~$5,500.
RTX 6000: 24 GB VRAM, ~$4,000.
Titan RTX: 24 GB VRAM, ~$2,500.
以下GPU可以训练大多数（但不是全部）SOTA模型：
RTX 2080 Ti：11 GB VRAM，约1,150美元。*
GTX 1080 Ti：11 GB VRAM，约$ 800翻新。*
RTX 2080：8 GB VRAM，约720美元。*
RTX 2070：8 GB VRAM，约500美元。*
以下GPU不适合用于训练SOTA模型：
RTX 2060：6 GB VRAM，约359美元。
*在这些GPU上进行训练时batch size需要设置的小一点，因此会降低模型的准确性。
图像模型：
相应型号的GPU能支持的最大batchsize如下表：
* 表示GPU没有足够的内存来运行模型。
相应型号的GPU的性能，按每秒处理的图片数来计：
* 表示GPU没有足够的内存来运行模型。
语言模型：
相应型号的GPU能支持的最大batchsize如下表：
* 表示GPU没有足够的内存来运行模型。
相应型号的GPU的性能：
* 表示GPU没有足够的内存来运行模型。
针对QuadroRTX 8000的结果标准化：
针对QuadroRTX 8000的训练吞吐量的标准化：上图：图像模型，下图，语言模型。
结论：
提升GPU内存，语言模型比图像模型提升更加明显。注意下图比上图陡，这表明语言模型受内存限制更大，而图像模型受计算限制更大。
具有较高内存的GPU具有更好的性能，因为使用较大的batch size有助于充分利用CUDA内核。
随着GPU内存增大，其对应的batch size可成比例增大，初略计算的结果：24 GB 内存的GPU可以支持的Batch size约为8 GB内存的GPU容纳的batch size的3倍。
对于长序列，语言模型的内存消耗不成比例。
GPU建议：
RTX 2060（6 GB）：适合在业余时间探索深度学习。
RTX 2070或2080（8 GB）：如果您认真研究深度学习，但GPU预算为$ 600-800，则选择8GB的VRAM可以训练大多数模型。
RTX 2080 Ti（11 GB）：如果您认真研究深度学习，而您的GPU预算约为1,200美元，RTX 2080 Ti比RTX 2080快约40％。
Titan RTX和Quadro RTX 6000（24 GB）：如果您正在深入研究各种SOTA模型，但没有预算购买RTX 8000，则可以考虑选择这款。
Quadro RTX 8000（48 GB）：如果你想在深度学习上在未来走得更远研究更多的SOTA模型，那么毫不犹豫的选择这款吧。
以下是文章中使用的测试参数：
影像模型：
语言模型：
看完文章之后大家估计会被深度学习所需的硬核的硬件条件所吓倒，不过幸运的是，我在用ArcGIS的深度学习功能时并没有那么好的硬件，我本机NVIDIA GeForce MX150仅2G独显，依然能跑pro中的大部分模型，而条件比较好的NVIDIA Quadro P320（6G）内存可以运行所有的模型，只不过batch size设置得比较小，模型训练时间也稍微长一些，但跑出来的结果还算比较理想。
如果您有条件，按照文章中的推荐来配置显卡自然更好，但是对于大部分条件不那么充分的用户来说，ArcGIS的深度学习产品称得上是一个能让大多数用户用得起的软件。