演讲实录丨安德鲁·维特：Reformatting Vision丨aai艺术与人工智能国际论坛
2021年5月，同济大学设计创意学院艺术与人工智能实验室（aai)成立，并举办了aai艺术与人工智能国际论坛，来自全球不同国家和地区的22位学者、艺术家通过线上线下结合的方式分享了他们的研究和实践成果，以及他们对艺术与人工智能领域颇具前瞻又具有非凡现实意义的观点。aai艺术与人工智能实验室与艾厂人工智能艺术中心合作梳理了每一位讲者的分享，以期为艺术、设计、计算机科学、文化研究等多个领域的学者和创作者提供有价值的帮助。本期为第七期分享。
往期分享：
第一期：凯瑟琳·海勒斯：谁是艺术家？
第二期： 你会收藏一幅人工智能创作的油画吗？
第三期：艺术天才会消亡吗？
第四期：人工智能照镜子会看见什么？
第六期：菲利波·法布罗基尼：Who the Author is
假设，你从几米远快速地看到一个从未见过的人。
请再后退几步，再看一次。
你是否还能认出TA的脸呢？
大部分情况下，我们都能识别出对方的脸。这是因为人类的视觉系统在识别过一个物体的单一图像后，即便物体的位置和比例发生了变化，我们依旧能准确地识别出来。然而，最先进的人工智能分类器，比如普通的神经网络就无法通过这样简单的测试。因为，神经网络需要在不同条件下用许多脸的图例来训练，这样才能在一系列的变化下识别出一张特定的脸，单单一张照片是无法做到这一点的。
这是人类视觉独具的特性之一，对工程师改善现有智能分类器是十分有意义的。然而，机器视角系统也并非笨拙无用，通过各种摄像头，检测仪器、分类建模等“视觉”去辅助机器在各种场景的应用，发挥着意想不到却又重要的作用。机器视觉不仅为机器人提供了必要的视觉技术，引导机器人进行更加复杂的操作，同时，也为许多科研人员、学者、艺术家、设计师等提供了一个全新的思维视角。
2021年5月份的aai人工智能艺术国际论坛上，来自艺术家团队Certain Measures的安德鲁·维特（Andrew Witt）通过分享他的团队所做的三个实验展示借助机器视角下进行的创作，从而描述人工智能和创造之间的关系，探索创造力和人工智能之间的互动。
(详细论坛视频请点击文末“阅读原文”)
Source: Andrew Witt’s slides
Source: Andrew Witt’s slides
随着人类和机器智能之间的界限变得模糊，一个充满无限想象的创意空间被打开，在这个空间里，数字力量与感知空间和物理空间展开了较量。Certain Measures是一个创作团体，它设想了一个由具有多重意义的杂乱问题所塑造的未来。由安德鲁·维特 （Andrew Witt）和托比亚斯·诺尔特（Tobias Nolte）创立的Certain Measures，利用各种可视化技术、科学的理念和虚构的集合艺术，在人与机器、自然与技术交错的空间里进行艺术创作。他们使用定制化的软件、机器智能和复杂的几何图形作为其创作的媒介，以建筑和雕塑装置、视频和沉浸式的体验以及各种刺激（对物理现实的数字处理充满想象）的形式，进行创造性的研究。
Certain Measures是一个连接设计、艺术和技术的工作室，对新兴人类（或后人类主义）和机器共享在这个全新的生态系统中的一致性和差距非常感兴趣，尤其是人类和机器如何看待和思考彼此之间的关系。
Certain Measures所研究的工作探索了人类和机器视觉之间的设计空间，通过对感知的思考与分析，寻找人类和机器之间共享的或不同的感知。因此，他们的创意实践中很大一部分是建立一台可视的机器（seeing machines），邀请观众们可以进入和观察这个机器被呈现出的感知过程。他们应用先进数据科学、计算机视觉、人工智能等先进的计算机技术，研究角度从雕塑到建筑，到城市，甚至再到更大的规模，提供了学科之间的对话过程。
Source: Andrew Witt’s slides
演讲中，安德鲁提及到了“不可能的图形”（impossible object），指在现实世界中不可能存在的物体，利用人类视觉系统的瞬间意识来对一个二维图像进行三维投射，形成光学错觉，因此它很难从绘画表现中察觉到空间感，并且仅可能存在于二维空间之中。
这个三角图像名为“彭罗斯三角”（Penrose triangle），是由英国数学家罗杰·彭罗斯（Roger Penrose）及其父亲莱昂内尔·彭罗斯（Lionel Penrose）在1950年左右设计及推广的，他们称其为“最纯粹形式的不可能”。这一系列的二维图像都是他们对人类感知进行的探索，帮助我们去理解和诠释空间。这些图像在随后的1970年成为了人工智能的首批测试对象之一，因为它们代表了某种程度上人类和机器感知之间的共同点，提出了错觉图像如何达到真实的物理状态的问题。
Source: Andrew Witt’s slides
安德鲁的团队早期的研究都围绕着这些不可能的图像，试着将幻觉图形转换成真正现实上能够存在的物体。
Source: Andrew Witt’s slides
他们从小型的模型去模拟二维形态转变成实际的空间形式，然而，建造一个物体与将其可视化是有很大的不同，他们意识到需要借助人工智能来完成这个过程。
Source: Andrew Witt’s slides
因此，他们对机器视觉尝试了第一次的实验——将机器视觉和图像分割，分析如何将这些不可能的物体切割成碎片，最后将其拼接成一个物体。利用复杂的数学方法把这些不可能的物体分割成尽可能小的扭曲条状，在接下来的几小时内组装成一些较大的结构。通过这种方式，他们可以构建一些高度复杂的结构，只需精确计算碎片，就能将这些不可能的物体具体化。
QUILTING++
Certain Measures
《QUILTING++》，2018
Source:https://certainmeasures.com/QUILTING
安德鲁团队早期的雕塑作品《QUILTING++》使用了他们从图像分析中定制的基于网络的优化方法，展示了从持续可发展的褶皱金属条组合成全新复杂的、结状的图案。这些雕塑都是由20到30个单独的条状物组成，产生了二维和三维之间模糊的视觉效果，而这些图形在某种程度上是这种分割过程的残留物，使人联想到这些不可能存在的物体的模糊美感。
Certain Measures
《QUILTING++》，2018
Source:https://certainmeasures.com/QUILTING
他们应用了复杂的曲率分析技术，允许使用最少的材料构建高度复杂的结构，提出了一个建筑表面的实验，从图形和空间之间的感知模糊性出发，尽可能有效地用条状物重组成一个巨大的织物。这个表面非常薄，但结构上又很坚固。
MINE THE SCRAP
Certain Measures
《废品挖掘》，2015-2016
Source:https://certainmeasures.com/MINE-THE-SCRAP
作为年轻的设计师，Certain Measures团队会尽可能便宜地建造雕塑，即使他们采用了高度优化的施工方法，仍然有30%-40%的原材料被浪费掉。因此，他们开始思考如何能更有效地制造这些复杂形式的雕塑。最初，他们试图对工艺本身进行调整和优化，后来他们决定更进一步，舍弃消除废物的想法，利用旧的建筑垃圾来创造新的形式。毕竟，没有什么比垃圾更便宜的。
Source: Andrew Witt’s slides
他们开发了一个被称为“MINE THE SCRAP”（废品挖掘）的数据驱动的工具，利用大数据来解决过度浪费，从现有的废品中设计出新的结构。这是一种定制的40维机器学习和模式识别引擎，将废旧材料进行分类并创建一种系统发育树，即废旧材料的家族树。
Certain Measures
《废品挖掘》，2015-2016
Source:https://certainmeasures.com/MINE-THE-SCRAP
就像是用随机的碎片来组装一个未知的拼图一般，这棵树创造了一个搜索引擎去拼接出一个新的结构。“MINE THE SCRAP”允许我们将输入的随机的非结构化的原始材料，通过这种复杂的扫描和分类过程，找到这些碎片独特的最佳组合方式。这使安德鲁团队可以建立一个谈判的过程，他们并非将某种想法具体化，而是从材料出发，去了解哪些想法是可能的，将它们拥有的原材料与最终想要创造的东西相匹配。
Certain Measures
《废品挖掘》，2015-2016
装置，视频
艾厂展览现场照
这件作品目前在艾厂“沙之书”的展览上还原制作出了高达4米的装置，使观众能够近距离观察人工智能生成的未来建筑概念。
Certain Measures
《废品挖掘》，2015-2016
装置，视频
艾厂展览现场照
安德鲁的团队早期的研究都围绕着这些不可能的图像，试着将幻觉图形转换成真正现实上能够存在的物体。
CLOUD FILL
Certain Measures
《云填充》，2017-2019
Source:https://certainmeasures.com/CLOUDFILL
Certain Measures团队随后开始在现有的建筑上实际运用这个算法，他们在前德国裸体主义殖民地拆解了一栋度假屋，将被拆解的木材通过扫描程序进行3D扫描，按照颜色、纹理、形状、风化程度进行分类和处理。
Certain Measures
《云填充》，2017-2019
Source:https://certainmeasures.com/CLOUDFILL
这些废品不会被归入垃圾填埋场，而是被储存在一个数字云的废品数据库中，成为了一种被他们称作“云填充”（CloudFill）的共享资源，可以动态地重新组合成未来的房屋。在这个过程中，可以观察到类似于创造性理解的过程，这种可视的和制造循环转变成扫描和生成的循环。扫描增强了分类的可能性，通过分类更好地去了解一个庞大的材料体，然后，生成能够创造一系列不同的方法去使用这些材料。
Certain Measures
《云填充》，2017-2019
Source:https://certainmeasures.com/CLOUDFILL
安德鲁将人工智能视为一种介于原材料的物理限制和人类野心之间的中间人，一种对建筑材料共生循环的催化剂。他们将这些拆解掉的材料为柏林的未来博物馆（Futurium）组装了部分房屋的构造。这些度假屋的墙纸碎片也被重新拼接起来，为房屋内部呈现了一种独特的视觉效果。这表明了人工智能的算法不仅能计算结构重组，还能根据碎片的视觉元素去进行组装。
Certain Measures
《云填充》，2017-2019
视频，装置
艾厂展览现场照
KINTSUGI++
Certain Measures
《金补丁++》，2018
Source:https://certainmeasures.com/KINTSUGI
Certain Measures开发的这套算法不仅可以应用于建筑规模，也可以用在较小的物体上。他们从日本艺术金缮（Kintsugi）得到启发，这是一种用金丝将破碎的陶瓷修复缝合起来的工艺。
Certain Measures
《金补丁++》，2018
Source:https://certainmeasures.com/KINTSUGI
他们在其开发的一种ML和AI分类的引擎上应用了这种类似的手法，将陶瓷碎片进行3D扫描，然后用这个引擎去想象可能出现的新的陶瓷结构，再用3D打印对其进行再现。
Certain Measures
《金补丁++》，2018
陶瓷，VR
艾厂展览现场图
这个作品目前在艾厂“沙之书”的展览上以虚拟眼镜双重投影的方式呈现给观众，提供了沉浸式的体验，邀请观众进入这个算法，体验这些碎片的交点，如银河汇聚和分歧般的视觉效果。
A Machine View
of Cities
Certain Measures
《A Machine View of Cities》，2018-ongoing
Source:https://certainmeasures.com/A-MACHINE-VIEW-OF-CITIES
安德鲁认为，我们可以把人工智能想成是一种分类的方式，并对整个建筑或城市的结构给予洞察和分析。我们可以借助机器的“双眼”去理解非常复杂和非常密集的数据集，如果将其应用于城市规模上，机器会看到什么？
Certain Measures
《A Machine View of Cities》，2018-ongoing
Source:https://certainmeasures.com/A-MACHINE-VIEW-OF-CITIES
安德鲁和他的团队就此开启了一系列的调查，他们称之为“机器眼中的城市”（A machine view of cities）。最早他们做了一个装置，名为“机器眼中的伦敦”（A machine view of London），在伦敦巴比肯中心的展览“AI: More than Human”展览上展出，他们将伦敦市中心的一百万座建筑进行ML分类，从形态上对它们进行处理，重新组合建筑形式关系的空间。
Certain Measures
《A Machine View of Cities》，2018-ongoing
Source:https://certainmeasures.com/A-MACHINE-VIEW-OF-CITIES
他们创造了一张如何分类和组合建筑的地图，在这个过程中，机器不仅在分析建筑，同时也在对建筑风格进行分析和分类。这个系统构建了一种被称为心电图的绘图，呈现出对空间的认知、相似性、类同关系等分析。这个项目是他们FormMaps系列作品之一，是一个持续进行的建筑研究项目，旨在比较和创建一个所有城市的建筑模式的完整目录。
我们可以从计算机的视角里看到城市是什么样的，或者说是看到了建筑本质的元素。Certain Measures开发了一个名为“新古典主义分类器”（The Neo Classifier）的工具，是一个针对新古典主义建筑的人工智能网络。通过扫描新古典主义的建筑物进行剖析，将其分割成其构成要素，从而创建一个完整的建筑形式的数据库，一个目前只有人工智能可以做到的数据库。当有了这些大量的数据信息后，便能尝试一些新的建筑形式。
Horizons
Certain Measures
《地平线》，2018
多渠道视频
Source:https://certainmeasures.com/HORIZONS
生成模型中存在着一种名为隐空间（Latent Space）的压缩数据的一个表示，能够将复杂形式的原始数据转化为更简单的数据表示，高效快速地处理和学习数据。Certain Measures团队通过算法中的隐空间使计算机在处理建筑数据时可以源源不断再生无止境的建筑形式。
Certain Measures
《地平线》，2018
多渠道视频
Source:https://certainmeasures.com/HORIZONS
这个项目名为《地平线》（Horizons），灵感来自于埃德·鲁沙（Edward Ruscha）的书籍《日落大道上的每一栋建筑》(Every Building on the Sunset Strip)中拍摄的70年代洛杉矶一条非常著名的街道，安德鲁设想这本书能否借助人工智能永远延续下去呢？
Certain Measures
《地平线》，2018
多渠道视频
Source:https://certainmeasures.com/HORIZONS
这个作品共有五种元素。在最上面的是用于训练人工智能神经网络的“建筑训练集”，这些建筑来自香港、荷兰、卡帕多起亚等地；第二行是一个可能的建筑模式的无穷尽排列表；中间则是由机器无限生成的建筑立面，不断滚动构成了一个梦想中的未来都市；第四行是建筑的分析信息，被称之为建筑物的独特“指纹图谱”；第五行是一个由神经网络为每栋新建筑创建的档案。
Certain Measures
《地平线》，2018
多渠道视频
艾厂展览现场照
这件作品目前在艾厂的“沙之书”展览上展出，邀请观众们走进一座连接人与机器想象力的都市，体验梦幻之城中的无尽街景。
Home is
Where the Droids Are
Certain Measures
《Home is Where the Droids Are》，2019
Source:https://certainmeasures.com/HOME-IS-WHERE-THE-DROIDS-ARE
Heather Roff，牛津大学政治及国际关系学院高级研究员，目前研究如何训练人工智能，曾经也是一位驯兽师。她将训练AI和训练动物联系在一起，她说：“动物和动物训练可以让我们考虑很多关于如何接近人工智能并与之互动对话，无论是现在还是将来。”（Animals and Animal training can teach us quite a lot about how we ought to think about, approach and interact with artificial intelligence, both now and in the future.）当然，很多人把人工智能看做是一个创造工具，但我们不能忽视它仍是一种超智能的机器。
Source: Andrew Witt’s slides
在过去，一只猫只是一只猫，一台电脑只是一台电脑，而如今，人类、动物和机器在这个智能划分梯度上的界限越来越模糊。为了探究人类、动物和人工智能的相对智能关系，Certain Measures团队试验了人工智能的动物表现形式，创作了名为“家是机器人的地方”（Home is Where the Droids Are）的项目，他们认为这些智能体具有类似动物的特征。
Certain Measures
《Home is Where the Droids Are》，2019
Source:https://certainmeasures.com/HOME-IS-WHERE-THE-DROIDS-ARE
这个作品探讨了家用机器人给我们带来的潜在实用性、装饰性和陪伴性，以及我们与它们在未来的关系。他们提出了一个俏皮生动的假想，在未来与机器的同居生活中，这些具有智能的自主物体与我们的宠物和植物一起生活，适应家庭生活的规则、文化、舒适度、消费文化以及时尚品味。在柏林文化中心“Housing the Human Festival”的展览上，他们展示了机器人在这种未来家居生活的一天，邀请观众去观察一个非常具有活力的客厅。
Certain Measures
《Home is Where the Droids Are》，2019
Source:https://certainmeasures.com/HOME-IS-WHERE-THE-DROIDS-ARE
这个项目围绕着我们身边逐渐增多的自主物体，它们将会不断学习如何定义自己的行为、欲望和爱，提出了如果我们不坚持将这些机器拟人化，不再强化它们人性的一面，而是让他们与人类共生在同一个世界里会怎么样。人工智能有可能不再是统一的、规范化的智能，它有可能成为类似丛林的状态，由一系列不同智能水平的机器组成，互相协商和互动，创造出新的生命形式、关系和生活方式。
人工智能提供了一个全新的视角，使人类能够通过机器的眼睛去以创造性的方式思考，同时以新的方式去观看这个世界。安德鲁认为，通过观察这些探测器、实验和视觉机器，我们可以重新发现用自己的眼睛看东西的意义。
Certain Measures
《废品挖掘》，2015-2016
装置，视频
艾厂展览现场照
目前，Certain Measures的四组作品均在艾厂“沙之书”的展览上展出，欢迎参观，展期为2021年10月30日-2022年4月11日（周一、周二闭馆，周三至周日正常开放，法定节假日及根据疫情防控需要开闭馆将另行通知）。
地址：上海市闵行区春西路800号
资料文献：
https://news.mit.edu/2020/bridging-gap-between-human-and-machine-vision-0211
https://www.automate.org/industry-insights/machine-vision-enters-augmented-and-virtual-reality-environments
https://zhuanlan.zhihu.com/p/364331726
https://arxiv.org/abs/2106.00792
https://en.wikipedia.org/wiki/Freik%C3%B6rperkultur
https://certainmeasures.com/HOME-IS-WHERE-THE-DROIDS-ARE
https://zh.wikipedia.org/wiki/%E6%BD%98%E6%B4%9B%E6%96%AF%E4%B8%89%E8%A7%92