范凌：内容的可计算性与内容生成的可能性

本文基于 FASHION X AI 国际沙龙演讲内容二次编辑

演讲者：范凌，同济大学设计人工智能实验室主任，特赞Tezign创始人及CEO

大家早上好。随着对OpenAI、ChatGPT的讨论越来越火热，今天想分享一些相关的话题，这也和我在设计人工智能领域十多年的经历息息相关。

01

叙事，让人类不断进化

在聊我自己的经历之前，我想先聊聊“叙事”这个有趣的话题，某种程度上它推动了人类的进化。

为什么这样说？这里我想分享3本书的观点。

第一本书《人类简史》（Sapiens:A brief history of humankind），很多人可能已经读过了。在作者看来，智人之所以能够在所有物种中生存，是因为有语言，因为我们会讲故事。人类语言最重要的功能在于能够传达、讨论一些虚构的事物，这使人类能够拥有想象。我们知道什么是不存在的，我们期待着一些虚构的东西，我们有愿景，有希望，有梦想。因此，更好的叙事有助于我们在物种的竞争中生存。

第二本书《无穷的开始》（the beginning of infinity），作者是最优秀的科学作家之一戴维·多伊奇。他提到，“解释”在宇宙中有着基础性的地位，解释的范围和造成改变的能力是无穷无尽的，也正是“解释”在推动世界不断变革。并且在科学界，物理学、数学等自然科学的发展过程，也是在寻求更好的解释和更好的叙述。

最后是《叙事经济学》（Narrative Economics），作者是诺贝尔经济奖得主罗伯特·席勒教授。很多时候，我们购买股票、相信加密货币，认为今年比去年会更好的原因，这一切都建立在叙事的基础上。是叙事塑造了人类，在推动着进化。

今天，无论我们在时代广场上，在繁华的市中心看到的各种语言、图像、文本等等，所有这些内容都是叙事的体现，并且在“数字化”的趋势下，叙事的方式在不断变革，叙事的内容在不断进化。

以往我们谈到品牌，会去思考品牌如何通过“产品”和“渠道”与用户、消费者进行沟通。现在是以消费者为中心的时代，我们对以消费者为中心的沟通并不陌生，而在消费者和产品之间的，就是大量的“内容”。有时我们在实际购买产品之前并不接触产品——我们不需要去商店实际触摸和感知它——我们看到的是“内容”，来自各种各样渠道的品牌内容。品牌通过大量的种草视频，向消费者展示产品的使用方式，然后我们会决定购买，直到产品送到我们家，我们才接触到产品。

这个过程让我很着迷。那么在数字世界中，我们如何通过计算，去更好地理解内容？

02

内容可计算性的概念框架和DesignNET

为了计算内容，我们首先必须将内容转换为数据。因此我们做的第一件事是建立数据集。

如果你熟悉机器学习和人工智能的发展，一定知道20年前李飞飞教授所建立的开创性的数据集，ImageNet，教机器理解图像。而我们尝试建立了DesignNet，一个教机器理解设计的数据集。想象一下，你如何与一个7岁的孩子谈论设计？这的字体是什么？这张照片试图表达的情感是什么？颜色组合是什么？... 这个过程就像我们教机器理解设计的过程。

到目前为止，我们已经收集了超过10亿个内容数据，但只有7%的数据被标记，所以我们还有很长的路要走，这其中我和我实验室的学生们也做了很多探索。

比如，我们为机器编写了一本“平面设计教科书”。我们用100本设计书教机器什么是设计、什么是颜色等等，通过这100本经典设计书建立起一个知识图谱，这样机器就有了有关设计的知识体系，从而可以建立不同设计概念之间的联系。

我们还试图建立了一个数据集，来理解亚文化的色彩组合。我们收集了所有可能的颜色组合，然后为这些不同的组合加入情感、年龄等不同的描述。这样一来，在任何给定的图形中，我们都可以用某种亚文化风格的色彩为这些图形着色。

这是2020年，我们通过大量的人偶图像的内容数据，从外观造型、面部和眼睛比率、主题、颜色组合甚至价格等等多个维度建立起人偶图像的数据集。现在我们已经收集了超过10万个图像来构建这个数据集，所以现在我们可能拥有世界上最大的人偶数据集。很快就会开源出来，供大家使用。

<- 左右滑动查看更多 ->

03

元数据（Metadata）和内容数字资产

更进一步，我们可以去使用内容素材的标签、数据背后的数据——我们称之为元数据（Metadata）。在我的公司（特赞），我们建立了一个系统来收集所有的内容数据，MuseDAM。我们和超过10万个创作者团队、创意团队合作，在实际的工作中，他们会使用这个系统来管理和描述他们所做的创意内容，包括图像、声音、三维模型等，这些创意内容的数据就被留存在系统里，这个系统实际上能接受70种不同类型的内容数据。

之后我们围绕这些内容数据，做进一步处理。当我们构建了计算内容数据的框架时，我们实际上能够逆转这个过程来使用元数据。元数据可以生成素材，然后素材可以生成内容，内容又能够激发创作者再产生新的知识，如此循环。这就是我们所说的内容生成的可能性。

2019年很早期的时候，我们和一个房地产巨头合作的商业项目，他们是最大的房地产开发商之一，当时在他们的团队中，雇佣了1000多名营销设计师，然后我们要做的是为他们打造一个设计机器人，从而帮助他们减少员工的数量，更高效地构建产品，同时保持品牌一致性。

我们也和上海市政府合作，激活了上海传统民间艺术金山农民画。这个过程很有意思。我们邀请观众画一些非常简单的东西，然后机器就会生成一幅金山农民画艺术作品，你可以在微信上分享给其他人，让更多人参与其中。同时这背后，我们还建立起一个金山民间艺术数据集。现在这些作品也会经常被展出在博物馆或者一些高规格的展览中，与其说是一种保存民间艺术的方式，不如说是一场展览，而且是以一种高度艺术化的方式。

现在我们有了AIGC Playground，这里包含了很多基础模型，有些非常具有开创性。除此之外，我们也在用DAM持续收集产生的内容数据。目前，我们拥有超过十亿的内容数据。这些都是非常重要的专有数据，从而能够将基础模型训练为专有生成模型。所以事实上每个使用系统的人，都可以使用基础模型，并通过自己的专有数据来训练模型。

举个例子。这是某一年感恩节我用Ipad画的特赞手（特赞的英文是Tech+Design，科技+设计，logo是两个大拇指）整个过程花了2个多小时。现在我们用这些图来训练机器，生成第一代模型，这样一来就可以让机器帮我生成相似风格的图了。接下来，我们从生成的结果中挑选了一些满意的图，生成第二代模型。第二代模型有20个单一资产，其中一个是手工绘制的，其余的是机器生成的。再往后的结果会更好。每次我们都会添加一些好的生成结果。所以这个模型最后会变成一种复合模型。

在内容生成的最底层，是内容的DNA。什么是内容DNA？就像每个人的DNA一样，它记录了一个人成长、发展的过程。我输入一张图片，然后使用稳定扩散训练模型（一个开源模型）生成，基于通用的内容DNA，你就可以看到这个图像如何形成的过程。在以前，如果我们查看JPG图像文件，你可能只看到文件创建时的大小，以及创建它的人，但你永远无法记录创作过程本身。现在我们将这些内容DNA转换到工作流引擎中，并且我们还可以在这过程中添加更多的工作流，比如我们还可以用chatGPT生成一些句子，结合图像、数字，最后生成一张类似工牌的图片。

04

AIGC 正如何影响未来的工作方式和经济发展？

在这两个模型训练的过程中，都要通过人类设计模板，和机器一起形成工作流，从而实现这个结果。因此，我们在这里所认为的人工智能生成内容的可能性并不一定是一次性的，它实际上会集成到一个操作系统中，可以组合到不同的工作流中，这就是我们目前在研究的。前面提到，我们也建立了一个内容管理工具 MuseDAM，把整个内容的创作过程记录下来。

如果我用这个模型去生成一部商业作品，那么通过这些内容DNA，我可以知道不同人对这部作品的贡献是什么。我输入的内容是基于第一代模型，然后由A成了第二代模型，B又基于第二代模型生成了最后的艺术品。如果这件作品卖出了100美元，那么这就成了回报分配的一种方式。就像比特币一样，被作为你付出的劳动凭证，我们称之为“创造力凭证”（POC）。最终，整个创意输入过程变成可以被记录的，然后如果某个东西被商业化，它实际上会被返还给创作者。

回到今天的主题，内容的可计算性和内容生成的可能性，我认为这些就是目前我们可以去做的一些事情。“为工具而来，到经济中去”。也许未来会有更有效率、更智能的工具，但实际上都脱离不了经济，而这一过程终将会改变我们工作方式和财富分配方式。

作者简介：

演讲视频

---

阅读更多：

招聘丨欢迎加入同济大学设计学博士后流动站入选MFA示范课程、产学合作育人立项、教学创新大赛获奖……同济设创喜报频传！
《老外讲故事·另眼观盛会》之同济设创Aldo Cibic教授和Kostas教授
徐江教授领衔《设计管理》课程荣获首届上海市课程思政教学设计展示活动一等奖
「可持续设计理念」课程系列23丨弃：如果给海上垃圾建个国……
课程成果丨2020级媒体传达：严肃游戏设计与开发
课程成果丨2021级工业设计：探索想象力边界，幻宇叙事形象设计
同济大学Jarmo Suominen教授参加李克强总理同在华外国专家新春座谈会
课程成果丨2019级媒体传达：数字化视域下的包容与可持续
课程成果丨2022 Studio3（设计实践研究专题3）：协同创新课程
课程成果丨2022 Studio3（设计实践研究专题3）：智能可持续时尚
课程成果丨2020级媒体传达：影像与心理课程成果丨本科Studio5：不止娱乐——功能性游戏设计与开发同济大学iDVX实验室荣获中国图象图形学学会自然科学奖二等奖
同济设创学院FABLAB实验室获评上海市级学生社会实践基地课程成果丨本科生Studio5：系统化视角下的学习设计与质量设计
课程成果丨第二届“同济-广汽创新设计策源营”——流动的舞台II设计驱动，赋能社区！设创学子激活同济校园创新力与生命力
新书推荐丨“一点设计”丛书最新出版：《设计商业与管理》回顾丨数据可视化工作坊：一场交换“隐私”的接力游戏
课程成果丨交互式数据可视化设计
《解放日报》专访娄永琪：上海，此刻，选择了设计！
《设计》专访丨胡飞：学科群建设将使同济设计教育更上层楼课程成果⼁D&I与LVMH/DIOR的可持续时尚设计
《澎湃新闻》专访Aldo Cibic：以设计激发和创造生活的乐趣首届世界设计之都大会：「同济设计」的呈现、思考与行动！重磅！上海国际设计百人智库发布，尖峰论坛助力上海世界一流设计之都建设！
同济培养怎样的环境设计专业人才？开创人才培养新体系，同济大学“智能设计本科双学位计划”启航！
课程成果 | Studio2 · 同济飞亚达时间可视化项目（一）：虚实之间
课程成果 | Studio2 · 同济飞亚达时间可视化项目（二）：时间之外课程成果丨研究生Studio2：人工智能与数据设计x环境设计课程成果丨2020级工业设计：技术驱动，健康未来同济设创国家级一流专业建设点全覆盖、三专业获评A+！娄永琪：教育可能是最需要注入设计思维的，因为它关乎未来！2022QS排名升至12，D&I连续五年领跑亚洲！

---