ReplaceAnything 电商出图神器

今年阿里巴巴有一个名为ReplaceAnything的项目，我觉得还挺有意思的。其中一些步骤用了segment anything（【AIGC 学习】Segment Anything- Stable Diffusion web UI 如何用系列10），之前我也分享过。

以下是一些应用示例：

• 服装替换（严格保留遮罩区域）
• 证件照和家庭照的背景替换（严格保留遮罩区域）
• 人物替换（严格保留遮罩区域）
• 背景替换（严格保留遮罩区域）

我自己也尝试了一下，效果还是挺好的。

这个项目基于多项技术。目前技术报告VirtualModel已经发布，其他技术细节还没有公布。我们先来看看VirtualModel。

ReplaceAnything首先定义了一个新的电商营销人像生成任务，即保持对象ID一致的人物-对象互动图像生成（OHG）

VirtualModel框架来生成展示产品的人像图像，该框架支持任何类别的产品和任何类型的人物-对象互动展示。包括人-物互动（HoI）控制管道、互动引导分支和内容引导分支。在训练过程中，构建成对数据并输入到VirtualModel中，其中x、o、p、e、v分别是原始图像及其对应的图像条件：产品对象、人类的姿势骨架、产品对象的边缘、产品的近景视图。文本条件Cte则是通过大型语言模型获得的。

VirtualModel不仅在准确的姿势控制和图像质量方面优于其他方法，还通过保持产品ID一致性和增强人物-对象互动的真实性，实现了用户指定产品对象的展示。