AI推理服务平台升级，阿里云机器学习PAI推出新规格

随着生成式AI模型不断拓宽AI应用的场景边界，模型在线服务的数量级快速增长，AI推理环节亟需精细化的资源管理。

近日，阿里云机器学习平台PAI宣布全面升级模型服务平台PAI-EAS，面向文图生成、大语言模型等各类模型提供弹性稳定的推理服务，并推出全新规格GU30，与传统规格相比价格平均优惠45%。

全新推理规格GU30问世，释放技术红利

在AI工程化链路中，推理服务是打通“模型到应用最后一公里”的重要环节，并持续伴随业务成长。

PAI-EAS是PAI推出的弹性推理服务平台，提供异构硬件 (CPU/GPU) 模型加载和服务部署，支撑达摩院、淘宝、高德等业务大量级模型服务，并广泛服务阿里云上企业客户。结合推理优化技术和云原生生态，PAI-EAS进一步提升异构资源集群整体利用率，规模化地实现服务效率与性能提升，扩大让利空间。

新推出的PAI-EAS GU30系列规格，专用于深度学习异构推理场景，较PAI-EAS同等性能的传统规格价格下降45%。

GU30可适配不同复杂程度的模型，支撑文图生成、大语言模型、多模态模型、NLP、CV、ASR等的推理需求。付费模式上，EAS同时支持预付费和灵活的按量付费，用户可以通过弹性扩缩容、弹性资源池等能力精细化地按需管控推理资源。

Serverless化覆盖多样推理场景

作为云上AI推理服务平台，PAI-EAS在基础设施层、容器调度层、模型部署层都提供丰富的产品功能，贴合不同场景的个性化需求。

• 实时同步推理场景，例如个性化推荐或类ChatGPT对话应用等，用户可通过一键压测得到服务的QPS和时延阈值，并结合灰度发布和蓝绿部署功能，在不影响线上业务的情况下进行性能验证并顺滑切换。

• 近实时异步推理场景，例如文图生成或视频处理等，涉及较为复杂模型的推理，单次推理时间从十几秒到几十分钟不等，PAI-EAS在推理服务内部集成服务维度的消息队列，并支持面向队列长度实现推理的自动弹性扩缩容，满足资源利用率提升及免运维需求。

• 离线批量推理场景，例如语音数据批量文本转换等时延不敏感的场景，PAI-EAS可通过抢占型资源实例的方式帮助用户控制批量推理成本。

PAI-EAS最新活动

从2023年4月中旬起，阿里云产品试用中心将正式开放PAI-EAS同等算力的试用规格，提供最长3个月的模型在线服务免费体验包。点击文末【阅读原文】按钮，可在PAI-EAS产品官网获得最新活动信息。

/ END /

更多推荐

点击「阅读原文」立即获取 PAI-EAS 产品官网最新活动信息