【“群雁计划” 解读第04期】滴滴弹性推理服务EIS
点击上方“滴滴科技合作”，选择“置顶公众号”
精彩资讯，即刻送达
导语
滴滴智能出行开放平台是滴滴在“群雁计划”中打造的，面向智能出行领域的人工智能开放平台。在该平台上，滴滴将积累的AI 技术、服务、算力以及多元化的解决方案进行全方位的开放。本文将详细解读滴滴智能出行开放平台的整体架构及未来规划。
滴滴弹性推理服务EIS简介
滴滴弹性推理服务EIS（Elastic Inference Service）隶属于滴滴群雁计划的AI基础平台部分，是AI 在线服务的分布式计算平台和计算加速引擎。
滴滴弹性推理服务EIS 聚焦解决AI“最后一公里”的问题，根据AI 服务对QPS 和RT 的需求自动配置计算资源，结合从模型Serving 到机器指令的全栈式性能优化服务，为客户提供最具性价比的解决方案。同时，滴滴云弹性推理服务EIS 为AI 在线服务提供负载均衡、弹性扩容、自动容灾、安全保障等服务。
滴滴AI智能加速引擎IFX斩获斯坦福DAWNBench深度学习推理榜单双料冠军
近日，斯坦福大学发布了 DAWNBench 最新成绩，在基于 ImageNet 图像数据集上完成 top5 93% 以上计算精度的任务里，滴滴AI 智能加速引擎 IFX获得了 Inference Latency 以及 Inference Cost 双料世界第一的成绩。其中，IFX 所输出的神经网络推理性能以1.5439ms的成绩领先第2名 21%；10000张图片分类任务在滴滴云GPU实例上的平均成本仅为0.003美金，领先第2名0.008美金。这是当前所有竞榜的参与者中，在 P4 GPU 上面获取到的最佳成绩。
> DAWNBench ImageNet Inference Latency
> DAWNBench ImageNet Inference Cost
近年来，神经网络的需求越来越多，对性能、成本、服务能力的要求也越来越高，滴滴在此背景下，推出了 AI 智能加速引擎 IFX，专门为客户提供端到端的 AI 解决方案。
IFX 是滴滴弹性推理服务EIS的智能加速引擎，可提供低延时，高吞吐的神经网络实现方案，支持 tensorflow，pytorch，caffe，darknet 等神经网络模型一键部署到 NVIDIA GPU，ARM 等异构设备。目前该引擎已经广泛应用于滴滴内部人脸检测、OCR、语音识别、ETA 等各项业务。
IFX 在滴滴内部已经得到了很好的落地，作为基础推理引擎，为滴滴简枢、EIS、DDIVA 等多个产品提供了坚实的性能保证。
◆[简枢机器学习平台]
(https://www.didiyun.com/solution/gpu-management.html)：以主流深度学习框架为基础，与 k8s 和Docker 容器技术相结合，提供实验环境、离线任务和在线服务三大功能，支持业务从模型研究、批量训练到在线预测的全流程打通，可以使用户更加专注深度学习应用本身。
◆[滴滴弹性推理服务EIS](https://www.didiyun.com/production/eis.html):可将用户自定义深度学习模型一键发布为推理服务，并为推理服务提供托管环境，简单易用，支持 TensorFlow，pytorch 等多种深度学习框架训练出的模型。
◆DDIVA:
面向海量智能视频分析场景推出的一套完善的，高性能的视频分析框架，集成基于NVIDIA GPU硬件和CPU软件的视频编解码方案，最大限度增加视频编解码的吞吐。
IFX隶属于滴滴智能出行开放平台——滴滴弹性推理服务EIS，IFX将持续开放滴滴AI推理加速能力。
IFX 适用的场景非常的丰富，我们不限制其只能运行在滴滴的平台，更希望将此能力能够赋能给外部客户，产生更大的用户价值：
◆公有云部署：适用于部署在滴滴云等公有云上的AI服务，为用户公有云服务提供AI智能加速解决方案。
◆私有云部署：适用于部署在企业私有云环境的AI应用，提高AI服务效率、降低AI服务成本。
◆IOT：IFX可应用于智能制造、智能家居、智能汽车、智能机器人、智能交通等各种IOT场景中，提高计算效率、降低应用时延。
◆边缘计算：业务对于边缘计算的实时性要求更高，即更强的处理能力和更快的响应速度。IFX能够帮助边缘设备更快处理业务请求。
据悉，此次提交的成绩其实并非IFX在 P4 GPU 上表现的最佳成绩，滴滴IFX进一步优化了推理性能，在滴滴内部最近几次的测试数据更加亮眼。那么，为什么滴滴IFX能够对AI推理性能做到如此极致的优化？滴滴IFX团队后续将一一揭秘，阅读原文，了解更多技术干货。
编辑 | 洛羽