ISC 2024主题演讲：高精度计算将成为AI模型的核心
加州大学伯克利分校（UC Berkeley）
一些科学计算应用不能牺牲精度，始终需要高精度计算。
因此，即便许多应用转向AI和低精度计算，并可能损失部分准确性，传统的高性能计算（HPC）仍将不可或缺。
“我们需要确保在追求商业应用时，不丢失高精度运算的能力，”加州大学伯克利分校研究副校长兼计算机科学杰出教授Kathy Yelick表示。
“高精度计算对于生成可靠的科学数据至关重要，而这些数据是大型语言模型的基础，”Yelick强调。
尽管如Nvidia这样的超大规模公司和芯片制造商优先关注低精度以实现AI和高能效计算，但高精度运算在生成训练新科学家和机器学习AI模型所需的科学内容方面依然至关重要。
这些领域包括生物医学研究、药物设计、医疗设备、气候变化研究以及需要深度模拟和建模的应用。
“我认为精准医疗在癌症等某些领域将继续发挥关键作用，”Yelick说。
气候变化也是一个长期依赖传统HPC的领域。
“当我们观察气候模拟时，我们需要什么样的适应措施来应对诸如野火、海平面上升等问题？我们需要关于极端气候事件发生地点和种类的更精确信息，”Yelick指出。
同时，Yelick鼓励HPC社区突破传统的建模和模拟，拥抱AI和量子计算。
“我们需要在HPC领域思考建模和模拟之外的内容。我认为如果我们过于关注传统应用领域，是有一定风险的。这里存在令人难以置信的机遇，”Yelick说。
她列举了一些能够让研究人员受益的应用实例。
“例如，从事计算机视觉和机器人技术的人——这并不符合我们对HPC应用的传统认知，”Yelick说。
Kathy Yelick对后E级计算时代的观察
后E级计算：不断变化的领域
计算需求持续增长 弱扩展的益处有限 计算技术面临多重“壁垒” 计算行业发生巨变 AI方法在其他领域产生巨大影响 量子计算对科学的潜力尚待发掘 云计算主导计算行业 全球供应链问题带来不确定性
然而，Yelick也对超大规模公司和芯片制造商对科学计算的日益影响表示担忧。
AI研究主要在私营部门进行。由于成本限制，学术界往往无法获得与云中同等水平的AI计算能力。
大多数AI硬件也被超大规模公司锁定，它们并未将其芯片商业化。
Yelick还提到，高性能计算机的系统构建者数量正在减少。许多学生被AI吸引，而非芯片设计。
她认识到，x86以外的多样化计算方案为HPC社区提供了影响系统设计的可能。
Yelick建议与超大规模公司紧密合作，“确保我们构建的系统对他们的市场和我们的市场都具有吸引力。”
Yelick表示，HPC社区在更广泛的市场中一直发挥着超出其自身分量的作用。
“作为HPC社区，我们为未来高性能系统的设计带来了对应用、算法以及它们如何映射到硬件的深刻理解。利用这种见解可以在行业中产生相对于我们在HPC中购买的系统总数量和价值的巨大影响，”Yelick说。
同时，研究人员不应完全依赖商业云资源进行HPC。使用云提供商可能会让研究人员付出高昂的代价。
“我认为我们也必须确保有自己的发展路径。我们正在与所有进行商业应用训练的人竞争。这样一来，学术界将无法承担这些类型的云资源费用，”Yelick说。
Source:Agam Shah; ISC 2024 Keynote: High-precision Computing Will Be a Foundation for AI Models; May 15, 2024
--【本文完】---
近期受欢迎的文章：
更多交流，可添加本人微信
（请附姓名/单位/关注领域）