AI已经快要能把电影和小说一键转成漫画了

怪物马戏团 | 文

随着AI技术的发展，越来越多的新奇软件出现在我们的生活中，就比如前段时间让照片动起来的app。而就在一个月前，大连理工大学和香港城市大学的研究员做出了一种新技术，可以把电影之类的视频转换成漫画书。

我们先看看他们的成果，下面是他们把该技术用在《泰坦尼克号》和《老友记》等电影上后的效果：

其实这款软件背后的基础技术已经不是新东西了，例如把电影画面渲染成漫画风格，以及让AI辨识出屏幕中的人脸在何处等，都是已经出现了几年的技术。

要概括这个技术的原理也不难：它会把电影中的一些关键帧提炼出来，再将电影角色的台词分割，放在角色旁的对话框（对话气泡）中，然后把这些关键帧重新裁剪，布局成漫画的形式。

所以实际上，已经有人成功靠AI把影片转成了简单的漫画。但是先别急，因为这次介绍的新技术确实有一些有趣之处。

比如看看刚才给出的例子，会发现生成的漫画里，人物的对话气泡是有不同形状的。这也是漫画里常用的技巧：用不同形状的对话框来展示不同语气。

为了做到这一点，他们先让AI分析演员说台词时的语调，再结合前后台词的内容，来判断台词的口吻到底适合哪一种对话框。

根据语气判断台词框

之后，他们还得辨别每句台词到底是哪个角色说的。这就需要AI首先辨别出镜头里哪个人物正在说话，然后，判断角色在哪一帧的表情和这句台词最为贴切。

根据谁在动嘴来判断说话者是谁

有了以上提及的两点优化，他们生成的漫画就显得自然多了。

让截图的质感变得更贴近漫画

为了验证生成漫画的质量，研究员们还请了一批人来进行测试，让参与者分别观看用老技术和新技术生成的电影漫画，再选出哪一种漫画最接近真人的作品。大部分参与者都选了新技术生成的结果。

老技术

新技术，剧情逻辑性更强，画面更有代表性

但这种技术目前依旧有不少局限性，其中最大的问题就是AI对关键帧的选取不准确，会把一些看上去没什么区别的画面选成不同的关键帧。

此外，研究人员还表示他们接下来要研究的方向，就是仅仅依靠文本信息来生成漫画了。这个技术听起来很不现实，但实际上业界已经有人研究出了一点成果。

例如南京理工大学和微软亚洲研究院就研究过一种技术，可以通过一系列图片和简单的图片说明，自动生成一系列故事。就比如下图所示，一开始只是几张带着注释的图片。

蓝色区域里为图片内容的描述

然后生成了两种故事，第一个故事很贴合图片的内容，像是一篇描述图片的旅游日记。第二个故事叙述上更生动，但并没有那么契合图片。

该技术不需要图片注释也能生成故事

此外，微软亚洲研究院还参与过一个项目，研究的就是如何用AI把文字转成漫画。其过程大概是：首先让AI根据小说中的语句，找到一批最贴切的图片，把它们组合起来。

选取的小说内容

AI找的图片

然后，用对比增强的方式，凸显出图片里的重点元素，去掉其他背景。

之后，让它们的风格统一化。

主要是一些细节上的改动，方便实行下一步

最后，把这些统一化后的图片生成漫画。

当然，这里介绍的过程只是一个简化的版本，实际上牵扯到很多复杂的技术。不过，从这三个例子可以看出，把简单的电影和小说用AI一键转成漫画，对我们来说已经不是完全不可能的事了。

当然，目前它们还是完全没法替代人工的，不过谁知道50年后的人会不会拥有成熟的此类技术呢？

我们总是在科幻电影里看到未来人购买自动生成的食物。说不定那时，我们还能点几下自动贩卖机上的按钮，就买到完全为我们打造的游戏；或者买一本小说，就附赠其改编的漫画和动画，更夸张一点的话，连那些小说都是自动生成的。

《太空旅客》中的食物点购机

所以，会有一键生成的定制涩图吗？

引用论文：

《Automatic Comic Generation with Stylistic Multi-page Layouts and Emotion-driven Text Balloon Generation》

《Show, Reward and Tell: Automatic Generation of Narrative Paragraph from Photo Stream by Adversarial Training》

《Neural Storyboard Artist: Visualizing Stories with Coherent Image Sequences》

-END-