剪映的AI革命，字节的AI狂想

作者 | 月山橘 石濑‍‍

编辑 | 松露

“淘金热时，聪明的人会去卖铲子，而剪映就像短视频时代的那把铲子。”2019年，剪映作为字节跳动产品矩阵里的新爆款，在那年年底被字节跳动内部如此形容道。

从2021年剪映月活跃用户超1亿，成为国内最大的移动视频编辑产品，到2020年跟随TikTok扬帆出海，截至2023年剪映海外版Cap Cut月活跃用户超2亿，根据以上两个可追溯的数据保守估计，剪映和CapCut全球月活跃用户数量早已突破3亿大关。

诞生之时，剪映被视为一个依附于抖音的工具App，在视频剪辑、编辑等主要功能之外，通过提供剪辑模版、丰富的素材库，降低短视频UGC（用户生产内容）创作门槛。

而恐怕让很多人都没想到的是，随着产品迭代、功能越来越强大，它逐渐成长为中长视频PGC（专业生产内容）创作者、甚至专业影视从业人员必备的生产力工具之一。

相比抖音、TikTok，作为生产力工具的剪映在创作者端有口皆碑，但却鲜少进入大众视野，引发讨论。

然而，最近有两件事将剪映推上了风口浪尖。一是张楠辞任抖音集团CEO，转向剪映相关业务；二是OpenAI的文生视频模型Sora发布，能够根据用户输入的文本描述，生成1分钟的高清视频。

Sora的出现对剪映构成了威胁。相关人士透露，张楠带队剪映是想在AI辅助创作上有所突破，推出一个AI视频和图像生成产品。也就是说，剪映瞄准的视频生成赛道正是Sora的领域。

Sora会“杀死”剪映吗？或许探讨这个问题之前，更值得关注的是：AI冲击下，这款在短视频时代大杀四方的创作工具如今怎么样了？剪映+AIGC还有新故事可讲吗？

为了尝试回答以上问题，我们梳理了剪映国内版与海外版Cap Cut最新的AI功能，希望对内容创作者有所帮助的同时，找到问题的解。

剪映+AI，闷声干大事

视频制作流程通常包括前期内容策划、拍摄制作、后期剪辑合成等环节，涉及文案撰写、视频素材采集、配音录制、视觉效果制作以及字幕添加等繁琐的内容生产步骤。

如今打开剪映，你会发现AI功能已经融入视频制作的各个环节。从一键成片到AI特效，其中一些功能已经为大家所熟知。为了避免重复造轮子，下面我们重点聊聊剪映最新上线的AI功能。

1. AI克隆音色

近期，剪映悄悄上线了AI克隆音色。去年年底，该项功能只对少数用户开放体验权限。现在打开剪映，点击“开始创作”，添加图片或视频素材，点击菜单栏的“音频”，即可看到“克隆音色”功能。

入口极为隐蔽，但不少眼尖的创作者已经玩上了“克隆音色”。

例如，百万粉丝博主“拉宏桑”近期发布的小红书视频《汗流浃背了！发现了一种新的诈骗方式！》，就通过绕口令、夹子音等方式体验了AI克隆人声的效果，一番测试下来，“拉宏桑”认为如果没有对比，已经很难分辨真人和AI克隆的声音。

尽管博主在视频中没有提及具体使用的软件，但通过实测界面，可以明显看出是剪映最近上线的AI克隆音色功能。

由于克隆效果十分惊艳，相比技术进步带来的生产力提升，评论区网友更为关心的一个问题是AI声音克隆所带来的安全风险。毕竟在实际应用中已有大量AI电信诈骗、版权侵犯的案例。

针对该功能，“头号AI玩家”也浅浅体验了一下。实测中，点击“开始克隆”后，会跳出用户使用须知和录制提示，需要确认《剪映音色生成条款》才能进入下一步。

确认条款后，朗读录制一段文本（不支持上传音频文件），即可生成自己的AI克隆声音。

（视频经过剪辑，省略了录制以及加快了生成时间）

生成的AI克隆声音会根据录制时的语气和情感发生变化，那么它可以克隆方言吗？带着好奇心，我用家乡话录制了一段声音，上传生成的声音依旧是普通话发音。

可见，该功能目前尚不支持克隆方言。并且在实际测试中，我们发现使用已有的克隆声音朗读长文案的效果并不如官方示例所展示的那样理想。随着文案长度的增加，AI朗读时的机械感也变得更加明显。

（视频经过剪辑，省略了录制以及加快了生成时间）

此外，需要各位玩家注意的是，目前在AI克隆音色上传的声音，剪映没有提供删除途径。担心安全风险的玩家，请谨慎尝试。

2. 图文成片

图文成片功能包含两个核心步骤：智能写文案和智能匹配素材。

用户只需要输入提示词要求，AI就可以智能生成视频文案，并根据文案自动匹配视频素材，自动添加字幕、配音和配乐，大大简化了视频制作流程。

比如，输入“影视解说《银翼杀手2049》”，不到5秒就给出了视频文案，确认后点击右下角的生成视频，选择智能匹配素材，就得到了以下这条视频：

从生成的视频来看，大部分图片素材都与文字内容相关，但视频完全由简单的图片切换构成，显得有些单调和无聊。当然你也可以选择继续优化编辑，替换掉不合适的图片，增加视频素材、特效等。

3. 数字人口播

用户可以通过这个功能生成虚拟的数字人形象，为视频解说配音。尤其是在需要特定角色或虚拟形象进行口播时，数字人口播功能可以大大提高制作效率、降低成本。

剪映有35个数字人形象可供选择，CapCut则有超过138个数字人形象，这些数字人有着不同的风格，以适应不同的视频内容和场景需求。

数字人口播功能支持批量制作，这意味着用户可以一次性制作多个独立的数字人视频。

4. 视频生成

最近，剪映海外版CapCut推出了文生视频功能，用户可以通过文本提示生成4秒的视频，支持1:1、16:9、9:16多种比例，每人每天有5次免费生成机会。

根据网友分享的演示界面，Capcut的视频生成功能与Runway、Pika等主流AI视频生成工具类似，均支持通过输入文字提示词来生成相关视频。

截至发稿时，我们未能成功访问该功能的体验地址（链接已整理至文末）。不过，已经有体验过的用户反馈，目前Capcut文生视频功能在视频清晰度、对提示词的理解以及交互设计方面存在不足，且生成视频的等待时间可能超过100分钟。

Sora会“杀死”剪映吗？

Sora会不会“杀死”剪映？这是最近圈内议论甚广的一个问题。

目前来看，由于Sora和剪映的一些产品功能存在重叠，可能会对剪映构成一定的竞争压力，但两者在功能定位、应用场景上存在差异，不太可能出现一方“杀死”另一方的情况。

Sora主要专注于利用AI生成视频内容，更侧重于为用户提供基于文本描述的视频创作能力。而剪映则提供了较为全面的视频编辑功能，包括剪辑、特效、音频处理等，更适合用户对已有视频素材进行编辑和创作。用户可以在需要快速生成视频时使用Sora，而在需要精细编辑和创作时选择剪映。

新壹科技CEO雷涛表示：“Sora仍是生成视频素材级别的AI工具，素材生成技术的进步对于剪映、一帧秒创这样的工具是极大的极好，一方面可以降低对现成素材的依赖，另一方面也可以提升视频生成效果。”（相关阅读：爆火的Sora会改变内容行业的游戏规则吗？9位一线从业者这么说）

更重要的是，剪映（CapCut）与抖音（TikTok）的深度整合，为用户提供了更便捷的内容创作和分享体验。

最近，张楠宣布辞任抖音集团CEO，重心转向剪映。有接近剪映的人士透露，过去一年，张楠已经把绝大多数精力倾斜到剪映相关业务上，将在AI辅助视频内容创作方面持续发力，并即将推出一个AI生图和视频的产品。此外，抖音的短视频算法、月活超7亿的用户数据等，也是剪映逐梦AI赛道的优势。

揭秘字节的AI版图

字节的AI布局，不仅剪映这一步棋。

近几个月来，字节在视频领域的动作不断，前后发布了包括Magic Animate、Magic-Me等在内的多个AI视频开源项目。

当然，除了当家的视频业务外，有着“App超级工厂”之称的字节，也在积极扩张其他领域的产品版图。

过去一年，字节跳动推出了多款基于AI的产品，涵盖了AI对话/情感伴聊、AI Bot无代码创建、AI虚拟角色互动等多个类别，展现了其在AI应用赛道上的多元化策略。据《晚点 LatePost》透露，字节内部有多个AI团队赛马。

2023年1月，字节组建了首个大模型团队。基于“云雀大模型”，字节开始测试多个AI产品和服务，比如飞书的My AI，以及代号“Grace”的AI对话类测试项目。2023年下半年，字节成立了Flow部门。2023年8月，AI聊天应用“豆包”上线。2024年2月，对标GPTs Store的“扣子”在国内正式上线。

扣子是字节跳动针对国内市场推出的AI Bot创建平台。它允许用户无需编程背景就能创建和定制自己的AI助手。用户可以通过扣子平台，利用预设的模板和模块，快速搭建出能够完成特定任务的AI Bot，如客服机器人、个人助理等。

Coze则是字节跳动面向海外市场推出的AI Bot创建平台。与扣子类似，Coze也提供了一个开放的使用和创建环境，用户可以轻松地将各种插件集成到自己的AI Bot中，实现多样化的功能。

此外，字节还面向海外市场推出了名为ChitChop的AI工具平台，该平台将AI Bot分为多个类别，如AI创作、AI绘图、娱乐休闲等，用户可以根据需求选择合适的Bot进行互动。

BagelBell是字节于2023年12月推出的AI剧情互动平台，它能通过连续剧情创造完整的故事体验。用户可以在平台上与AI角色互动，解锁不同的剧情和背景场景，享受沉浸式的故事体验。

据媒体报道，字节跳动还在内部测试一款名为“PicPic”的AI产品，可能与图片处理相关。

总的来说，字节在AI领域的多元布局展现了其积极的市场竞争态度，以及对市场需求变化的敏感性，这有助于其在多个细分市场中建立影响力，从而降低对单一市场的依赖。但值得注意的是，基于AI的产品创新或许能在短期内吸引用户，但长期竞争力的构建需要持续的投入与积累。

---

「头号AI玩家交流群」进群方式：添加微信“banggebangmei”并备注姓名+职业/公司+进群，欢迎玩家们来群里交流，一起探索见证AI的进化。

也欢迎围观小红书@头号AI玩家，我们在这里日常练习AI绘画。

欢迎分享、点赞、在看

 一起研究AI