学术 | EmoG：智能故事版绘制系统 —— AI-Sketcher续写新篇章
同济大学“智能大数据可视化实验室” （iDVX Lab）聚焦于人工智能辅助视觉传达设计及可视化设计方向的研究工作，他们曾开发了一款自动设计高质量草图的绘图机器人AI-Sketcher，相关成果被人工智能顶级会议AAAI2019收录。最近，iDVX 实验室在AI-Sketcher的基础上开发了一款支持人物表情自动绘制的智能故事板系统EmoG，相关成果被人机交互顶级会议The ACM CHI Conference on Human Factors in Computing Systems（CHI2020）收录。
EmoG视频演示
故事板（Storyboard）是指用一组图像序列来叙述故事的设计构思技术。这种方法最早来源于电影制作，如今也广泛应用于设计领域中，特别是用户体验设计。例如，设计师会通过绘制故事草图的形式复现用户体验流程中的重要时刻，借此展现产品的优势。而其中，人物的表情绘制是增强故事表现力的关键。然而，对于手绘能力不佳的设计师来说，绘制生动形象、美观大方的人物表情成为了一大难题。这也引发了iDVX 实验室师生的思考：如何结合人工智能技术简化故事板的绘制过程，提高设计师的工作效率呢？
为了提升故事版设计的智能化与自动化，iDVX 实验室开发了EmoG，一款支持人物表情自动绘制的智能故事板系统。该工具基于AI-Sketcher深度生成模型，使用变分自动编码器（VAE）和基于卷积神经网络的自动编码器。前者根据用户输入笔画的语义信息和顺序信息来生成人物表情，后者根据笔画的位置信息来提高人物表情的质量。
同时，iDVX 实验室创建了首个人物面部表情草图数据集FaceX作为模型的训练集。数据集中的人物表情包含了不同性别（男性、女性）、不同视角（正面，左侧面，右侧面）、不同情绪（快乐、悲伤、愤怒、恐惧、惊讶、厌恶）。EmoG的用户界面包括两部分：角色创建页面用于绘制角色的面部表情，系统根据用户绘制的笔画推荐并生成多种多样的人物角色设计草图；故事板创建页面则基于用户所选择的人物角色生成不同视角下的不同情绪，用户也可根据故事线在画布中绘制更多信息，如场景、对话框等。
EmoG的用户界面包含两个页面：（a）角色创建页面和（b）故事板创建页面
为了评估EmoG的有效性，iDVX实验室邀请了21名设计师进行用户研究。在这项研究中，设计师们分别使用EmoG（AI驱动）以及普通故事板工具（非AI驱动）绘制人物表情。研究结果表明，EmoG相比于普通故事板工具具有高效率、易使用、结果优等优点。下图展示了部分设计师使用两种工具完成故事版的对比情况。其中，一名设计师认为，“EmoG绘制出的表情能很好地展现表情的不同视角（如下图（a）所示）。而我自己手绘的表情在左侧视图和正面视图中样子不太一致，也不太自然（如下图（b）所示）。”另一名设计师赞叹，“太棒了！EmoG能展现不同情绪强度的表情，原来惊讶的程度可以从人物瞳孔大小和嘴巴张开程度进行区分（如下图（c）所示），我自己在画图的时候都没注意到这些细节。”
用户研究中设计师绘制的故事版：(a) 使用EmoG绘制的完整故事板，(b) (c)分别使用普通工具和EmoG绘制的故事版中人物表情截图部分，每组中左图展示情绪（弱）的左视图，右图展示情绪（强）的正视图。
在后续研究中，iDVX实验室将继续探索更多智能辅助视觉传达设计的可能性。首先，EmoG可应用于更多的设计场景中，例如，对于网页UI设计师来说，AI可以根据设计师的需求，智能推荐并生成网页元素及布局；对于可视化设计师来说，AI可以针对不同的数据类型和分析任务自动生成丰富的可视化表达方式。其次，iDVX实验室希望这项工作可以使对该感兴趣的研究人员受到启发，创造更实用、更有趣的智能辅助设计工具。
AI-Sketcher 绘图机器人传送门，点击链接
FaceX 数据集传送门，点击链接
关注实验室公众号，了解更多科研、教学及招生动态