案例 | Synthesia：低成本规模化定制avatar，虚拟人成视频AI新应用场景

12月初，英国人工智能初创公司Synthesia获得由 Kleiner Perkins 领投的 B 轮融资中筹集了 5000 万美元，用来合成头像进行企业培训等用途。

而就在今年4月Synthesia在A 轮融资中获得了1000 万欧元（1250 万美元）。

Synthesia由丹麦企业家 Victor Riparbelli 和 Steffen Tjerrild 和科学家Lourdes Agapito 和Matthias Niessner于2017年联合创立。团队主要由来自 UCL、斯坦福大学、TUM 和剑桥大学的经验丰富的研究人员和企业家组成。

去年以来，Synthesia公司陆续推出SaaS 产品 Synthesia STUDIO和个性化视频 API。通过AI技术，Synthesia可将文本或幻灯片演示文稿转换为视频，并配有会说话的avatar头像。客户可以在演员和合成角色库中创建和定制avatar头像。

在B轮融资之后，该团队发布了一个 Synthesia STUDIO新版本，该版本具有非语言方面的表现力，例如点头和微笑。

目前，Synthesia 产品面向包括企业和与个人创作者在内的两个客户群体，其中以面向企业为主，用于企业传播、数字视频营销和广告本地化等领域。

比起一般的视频或音频平台，运用AI生成视频平台Synthesia在成本和效率上更有优势。该公司的目标是将摄制组、工作室、演员等视频制作过程，缩减为一个 API 应用程序接口调用。

AI视频明星创业公司

Synthesia是一家位于英国的人工智能技术软件公司，成立于2017年。在今年12月，它宣布完成由 Kleiner Perkins 领投的 5000 万美元 B 轮融资， 这笔资金将用来合成头像进行企业培训等用途。

凯鹏华盈（Kleiner Perkins）是美国硅谷的一家风险投资公司。截至2019年，凯鹏华盈已在19只风险投资基金和4只增长基金中筹集了约90亿美元。

Synthesia的创始团队由企业家和研究人员组成，除了CEO Victor Riparbelli 和 COO/CFO Steffen Tjerrild之外，公司的联合创始人还包括来自伦敦大学学院计算机科学系的3D Vision教授Lourdes Agapito和慕尼黑工业大学视觉计算与人工智能教授Matthias Niessner。

起初Victor Riparbelli和Steffen Tjerrildv曾在同一家风险投资工作室工作。后来Victor Riparbelli去伦敦研究AR 和VR技术，从而遇见了Matthias Niessner和Lourdes Agapito教授。

在研究过程中，Victor Riparbelli等人认为将AR、VR、计算机视觉、深度学习等技术应用于视频有发展潜力。这是团队组建的雏形。其中Matthias曾经在合成媒体领域一些更知名的研究项目，例如 Deep Video Portraits 和 Face2Face。Matthias的工作重点是 3D 重建和语义场景理解。

自成立以来，Synthesia总共募集资金6569 万美元，在A轮融资中Synthesia 从FirstMark Capital那里筹集了 1000 万欧元（1250 万美元），用于企业用户增长和产品开发。此外还包括美国亿万富翁企业家、电视名人和投资者Mark Cuban。净资产估计为 43 亿美元，在 2020 年福布斯榜单中排名第 177。

FirstMark Capital是一家位于纽约市的风险投资公司。FirstMark投资于早期的科技公司，曾投资过包括Airbnb、Pinterest、Shopify、DraftKings、Upwork和InVision等。

Synthesia于 2020 年夏季推出SaaS 产品（软件即服务产品）STUDIO 的公测版。Synthesia STUDIO，通过运用AI技术，在真人演员和合成角色库中创建和定制化身从而生成视频，主要运用于企业传播、数字视频营销和广告本地化。

除了企业视频平台，Synthesia 当时还在开发其个性化视频 API，允许其他组织将 Synthesia 技术连接到他们自己的系统中并分发该视频。

在B轮融资之后，该团队发布了一个 Studio 新版本，该版本具有非语言方面的表现力，例如点头和微笑。它还允许avatar返回到完全相同的起始帧，用户从而能体验到无缝的视觉体验。

此外，最新一轮融资新增一项个性化功能，可以将化身avatar的演讲翻译成 40 多种语言，帮助客户更轻松地创建自己的动画形象。该平台现在有 1000 个自定义头像正在使用中。

“由于它们只是代码，因此化身可以用任何语言说任何话，这为视频的大规模定制打开了大门”。FirstMark Capital 董事总经理Matt Turck说。

核心产品SaaS平台

主要应用于企业传播、

数字视频营销和广告本地化

目前Synthesia主要的产品是面向B端客户的SaaS 产品 Synthesia STUDIO。

Synthesia的客户可以从人工智能生成的演示者presenter库中进行选择，或者通过上传自己录制和剪辑的视频来创建自己的演示者。Synthesia 利用其AI技术来分析上传视频或公司演员目录中的外观和声音，用机器学习技术解构音频和视觉元素，生成一个逼真的头像，可以很好地模仿人类。在几分钟内Synthesia STUDIO会生成一个视频，并且可以翻译成数十种语言。

自成立以来，Synthesia已为客户制作了超过 100 万部视频。与标准视频和音频制作相比，Synthesia 将其平台定位为更便宜、更快、更容易学习，客户可以保留他们的最新合成作品，而无需重新录制和编辑会话。在业务发生任何变化时，它只需重写脚本或更改视觉效果。

由于疫情导致传统拍摄不便利，人工智能生成视频的好处被放大了。据 Dogtown Media说法，正常情况下，企业全球员工的教育活动可能需要多达 20 个的视频，每个视频的成本为数万美元。而Synthesia 的技术可以将费用削减至约十万美元。

虽然Synthesia STUDIO方便实惠，但它存在隐私安全的隐患。一些专家担忧，像Synthesia 这样的工具可能会被用来制作Deepfake技术，也就是将现有视频中的人替换为其他人的肖像。Deepfakes目前会被滥用达到影响公众舆论和传播虚假信息的目的。

对此 Synthesia表示，它专注于企业客户，将工具用于培训视频和企业沟通，平台并不面向所有人。同时它发布了相关道德规范，只有经过本人正式同意它才能合成他们的外表，而且该技术只能通过由公司完全控制的在线平台来访问。另外它会审查客户及其视频脚本防范内容风险。

对于SaaS 产品Synthesia STUDIO的市场反馈，Riparbelli表示自推出以来一直受到热烈欢迎。

“自从我们推出测试版以来，过去六个月的反响让我们不知所措，我们现在拥有数千名用户，客户范围从小型机构到财富500 强公司，”Riparbelli在4月接受采访时说。

Synthesia STUDIO的知名案例是为乐事薯片制作名为“梅西信息Messi Messages”的在线视频。用户通过做出的不同消息选择，收到来自梅西的头像发送的个性化比赛观看邀请。“我们所需要的只是他对着镜头说话的五分钟训练录像。” Riparbelli说Synthesia STUDIO算法可从演员的现有镜头中学习。

Synthesia的另一客户 CraftWW 使用该平台为 JustEat 在澳大利亚市场设计了AI操控的 Snoop Dogg的广告活动。另外Synthesia与导演Ridley Scott的工作室合作，为非营利组织“Malaria Must Die”制作了一部电影，其中将大卫贝克汉姆David Beckham的声音翻译成超过九种语言。它还与路透社合作开发了自动化视频体育报道的原型prototype。

虚拟人成视频AI新的应用场景

完善虚拟人功能是Synthesia当前拓展的重要应用方向。

全球的虚拟人市场需求正在快速增长。截至今年4月，创建虚拟人或由 AI 驱动的人造人的初创公司总共筹集了超过 3.2 亿美元的风险投资。

而今年下半年以来，虚拟人领域的融资持续增长。今年8月，虚拟人初创公司 Deepbrain AI 融资 4400 万美元，今年11月超现实数字人公司 Hyperreal Digital Inc. 宣布完成超额认购的 700 万美元种子轮融资。同月AI虚拟人公司HOMEUSAINWORLD AI 筹集了 700 万美元的种子资金。

Synthesia涉足虚拟人赛道，主要是给客户提供人工生成的avatar形象库或者让客户自己创建属于自己的avatar头像。有分析认为其竞争对手包括 Soul Machines、Brud、Wave、三星支持的 STAR Labs 等。

Victor Riparbelli认为将来每个人都能拥有自己的avatar，通过输入文本创建视频甚至zoom会议，让多人包含情感地互动，甚至实时进行。对于Synthesia所处的虚拟人赛道，TechCrunch 的总编辑Jordan Crook也表示Synthesia需要增加AI avatar的真实感和情感表达，还必须确保用户的安全和自己平台的可信度。

虚拟人仅是Synthesia实践AI视频的应用领域之一，人工智能 (AI) 和机器学习正在推动视频内容的发展，让视频制作以更轻松、更高效的方式创建更有针对性的内容。关于AI视频的应用前景，Victor Riparbelli表示，“随着平台的发展，我们的长期愿景是让每个人都可以在自己的卧室里制作一部完全合成的好莱坞电影，只需要一台笔记本电脑。”

“AI合成媒体的发展既令人兴奋而且无法避免，随着时间的推移，我们的文化将会适应，就像我们对电影、Photoshop 和 Instagram的适应一样。” FirstMark的风险投资家Matt Turck说。

说到竞争对手，Riparbelli 认为，“我们真正的竞争对手是PDF。到目前为止，对于大多数人来说，视频是比五页 PDF 更好的交流媒介。所以这就是我们今天平台的核心价值。”

EW-Entertainment近期主题·相关内容