项目展示 | FaceType书写工具

FaceType书写工具

FaceType 作为一个书写工具，它不仅仅能记录千言万语，还能够传情达意。我从中国书法中获取灵感，利用情绪识别、语音识别等技术，让稍纵即逝的微妙情绪转化为鲜活的笔迹：见字如面。FaceType是一种交互式灌输，通过生成的文本创建口语交流体验。受中国书法的启发，该项目将我们的口头表达转化为笔迹。FaceType探索我们口语表达的哪些部分可以在写作中被唤起，以及两者之间最自然的互动形式可能是什么。这部作品旨在让非专业观众观看在演讲中体验情感、强调和关键信息。观众进一步反思他们的表达模式和潜意识和意识表达的作用为进一步的工作提供了新的方向。

我们不能单单从文字去理解我们的对话时的表达。在情感计算和语言识别越来越的准确和图形生成越来越有表现力的技术背景，一种能表达我们日常交流信息的技术能帮助我们发觉本来隐藏的重要对话信息。

产品介绍（视频）

1

公司/团队简介

· 公司介绍   

公司的业务包括设计和技术的咨询，营业范围注重在数据可视化领域以及人机交互方面的实验性设计探索。

· 团队介绍   

主要项目负责人、技术负责人马腾飞、艺术指导意见清华大学向帆教授，视频编辑清华大学研究生支良。

马腾飞

向帆

支良

2

技术介绍

· FaceType   

本项目从麦克风和摄像头获取用户的表达信息，然后利用情绪识别（面部表情的情绪正负面和强弱的算法）和语音识别（包括声音识别输入，语速计算，和停顿计算）。台电脑进行了前端的字体生成和，最后投影仪和一台屏幕展示了用户的表达结果。

在技术方面本项目已经转化为学术成果：FaceType正在IEEE VISAP艺术展展示。作品有其中一项专利初审通过（中国科学院软件时期和团队申请的）。作品获得清华大学美术学院优秀毕业作品以及视觉传达系优秀毕业论文。作品最近项目被SIGGRAPH艺术论文录取，SIGGRAPH盛会是代表计算机图形学最高水平的全球国际性重量级CG盛会。具有三十多年的历史，规模大、规格高、影响力大，作品征集面广。它是计算机图形学最权威的国际会议，它很大程度上促进了图形学的发展；

同时也被IEEE VIS（数据可视化顶级的论坛） 的艺术展览接收；

相关的工作在TVCG发表（数据可视化顶级的期刊）；

E-script使用相关的字体反应情绪的技术（国家专利初审已经通过）。

3

艺术理念

实践项目证明，虽然言语中的感性信息学者的重要性早已被广泛认同，它也已经可以被数字技术所获取，但是我们可以将之应用于设计和艺术领域，让人们普遍地意识表情、声音、文本所潜在的价值，并发展出可更加生动的信息传达方式。

“情感强烈”的用户对FaceType

系统的实际使用

长时间的用户测试

实验的现场与过程

END

在「全球AI文创大赛」微信公众号

发现更多「AI+文创」项目