查看原文
其他

AIGC开发者的效率利器:OneDiff让图片/视频生成加速3倍

SiliconFlow OneFlow 2024-07-02
OpenAI的视频生成模型Sora爆火一个多月,有关Diffusion Model的解析和探讨还在持续。
近日,在硅基流动、EPIC、Datawhale主办的《多模态时代已至,Diffusion Model怎么玩儿?》活动中,硅基流动的OneDiff作者之一姚迟对图片/视频生成推理加速进行了全面介绍。
自开源Stable Diffusion模型发布以来,OneDiff就以其卓越的性能长期保持领先。目前,OneDiff企业版的图像生成速度最高可达基准引擎的3倍,之所以能够达到这样的速度,是因为硅基流动在CUDA优化、动静图转换、编译优化和算子融合等技术积累。
对用户而言,使用同样的GPU,原本需要24小时不间断工作才能完成的生成式任务,使用OneDiff可以8小时内就可以搞定。
(SDXL E2E Time)

(SVD E2E Time)
OneDiff不仅注重性能,还兼顾灵活性。它向下对接各种深度学习引擎,向上对接Diffusers,ComfyUI和SD-WebUI前端应用框架,满足各类用户的需求。在底层架构上,OneDiff实现了与PyTorch的混合运行,是市面上唯一实现了这种混合运行技术的产品。通过自研的虚拟机和编译技术,OneDiff将加速收益高的部分交给资源虚拟机处理,而对于那些加速效益不高的部分,为了保持灵活性可继续使用PyTorch。
值得一提的是,为解决预热时间长和部署成本高的难题,硅基流动团队借助自研的虚拟机对编译进行了系列优化,将预热做得足够小,同时避免了设备转换间的重复编译问题。
在图像输出效果上,OneDiff几乎实现了无损加速。
目前,OneDiff在GitHub上开放了免费的社区版本,并且刚刚发布了OneDiff v0.12.1 ,能帮助用户在生产环境稳定加速SD与SVD,新版本特性包括SDXL和SVD的SOTA性能更新、全面支持SD和SVD动态分辨率运行、编译/保存/加载HF Diffusers的pipeline、HF Diffusers的快速LoRA加载和切换、加速了 InstantID(加速1.8倍)、加速了 SDXL Lightning。
无论是算法研究还是工业部署,用户都可以轻松上手OneDiff。欢迎体验OneDiff社区版:github.com/siliconflow/onediff
其他人都在看


继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存