图灵机 | 作为数据的图像与审美计算（aesthetic computing）

栏目介绍

没多久2020年就要过去一半了。经历过这几个月，不消说，人间要迎来巨变了。零壹Lab特别开辟新栏目“图灵机”，由零壹Lab的成员或读者提出疑问，再邀请相关专家和思索者提供切中肯綮的回答。一问一答，图灵机不会代替你思考，却能见机锋，能见妙趣。请在留言评论区留下你的问题和感想，图灵机期待为你激荡脑力！从零到一，这是开荒的时代。                                                                                                                                                  ——徐力恒

提问者：雨萌

二是，由于数字人文的研究常常涉及到数据和图像这两个部分，传递信息的途径用图像过渡时，会出现很多问题，比如信息不连贯等。如果用数据和图像来传递信息，我们如何保持信息的逻辑性呢？

回答者：陈静

关于雨萌的第二个问题，我想从数据或者图像能提供什么，以及是否能提供美感来试图解答一二。

数字技术时代，一切皆数据。但数据未必是信息（尽管在信息论看来，一切皆信息）。但我更倾向于认为具有一定组织方式并且具有一定意义的关联性的数据才是信息。所以如何将离散的数据通过一定的方式或者结构组织起来从而形成可以理解的意义，这个是需要处理过程的。

从代码的层面看，无论是数字化的还是数字生成的图像，都是有限数值像素的表示。当图像显示在界面上的时候，这些数值是无法被直接看到的。一般情况下，可以通过查看其属性或者某些元数据读取软件来获取相关技术元数据。当这些元数据被以某种结构化的方式组织起来，并被赋予了意义（符合了既定规则），才构成了我们通常意义上说的图像的数据信息。因此，这部分数据其实是我们所谓的数据的数据，是对图像数据的描述。（好吧，信息科学里会有更专业的解答）。那么这个和图像有什么关系？以往在艺术研究里说的图像信息，其实就是图像内容。我们往往说一幅画作或者照片，拥有大量的信息，一般是指内容的丰富性，即画面指涉物的多少。在图像学里，往往会涉及到前图像志和图像志阶段的解释工作，比如潘诺夫斯基谈到的第一主题（自然主题）和第二主题（程式主题），这些都是在画面本身依据观看者的个人经验可以识别的对象。

对于计算机而言，第一种数据，数字图像的技术性数据，是比较容易获得的，甚至是数字图像与生俱来的，比如数字尺寸、像素大小、色彩值、数字化或者生成数字图像的设备型号等等。而第二种描述性的元数据，则比较难直接获得，这就需要从专业角度对内容进行标注，用可机读的规范语言进行描述，一般这部分是由信息科学人员、图书馆或者博物馆元数据管理人员和专业人士（艺术史家）等一起完成的。

这两种数据之于艺术的计算研究都有意义，比如就有学者Stefka Hristova从图像的色彩数据入手对艺术史家瓦尔堡的《记忆女神图集》Panle 45中图像进行了数据分析，从对比度（contrast）的角度对瓦尔堡此组图片的“激情与暴力”主题以及grisaille技法进行了新的阐释。

Stefka Hristova, Images as Data: Cultural Analytics and Aby Warburg’s Mnemosyne

第二种数据在图像类数字档案中比较多见，比如我们会根据图像的一些基本要素进行统计分析，提供一种量化分析结果。当然，因为图像标注标准的差异和标注项的多少，其分析结果和可视化呈现也有着不同程度的差别。

（耶鲁大学的Photogrammar项目对美国农业书FSA项目的照片进行了可视化分析和呈现，其中有部分就是针对这批在国会图书馆中已经建档的图片的“元数据”进行的统计分析）

（美国MOMA对341张的一个照片集合做了多角度分析和元数据标注，并利用这些数据进行了可视化分析和呈现）

近年来，图像数据在计算机领域得到了很大的关注。像ImageNet这种包含了1400万图片的训练数据集为图像识别算法的研发提供了极大的便利。而这1400万图像标注工作（俗称“打标”）则是由李飞飞团队（主要是研究生）及亚马逊众包平台上的用户共同完成的。这些标签的分级遵循了WordNet英语语料库（名词）的框架，共有2.2万类，包括了32326个同义词集（synset）。

（ImageNet上关于synset的介绍）

ImageNet数据集对于计算机视觉研究做出了巨大贡献（可参见CVPR 2017 李飞飞总结 8 年 ImageNet 历史，https://www.jiqizhixin.com/articles/2017-07-27-2 ）。与此同时，ImageNet也因为其存在的数据偏见问题而备受质疑，这个我们可以用另外一篇来讨论。

（WordNet structure 示例）

如果说ImageNet这样的数据集主要是日常照片为主的话，像WikiArt这样的数据集则主要是艺术类图像。基于后者的研究也多在艺术主题方面展开，比如色彩、风格、原真性和情感研究等等（参见James Z. Wang, Baris Kandemir and Jia Li, ``Computerized Analysis of Paintings,'' The Routledge Companion to Digital Humanities and Art History, Kathryn Brown (editor), Routledge, Chapter 22, 16 pages, 2020.）在这个意义上，图像作为数据，其直接参与到了意义的阐释和研究过程中，那么对于图像的解释，特别是传统的依赖于个人经验和学识的研究方式就转变成了对于数据和数据分析结果的解释。也正是在这个意义上，数据理解力成为了很重要的图像研究方法。Johanna Drucker提出的“Graphesis”（图形发生学）也是在强调新的图像研究的认知方式转变，要让图形来解释图形，而不是以文字为第一语言来解释图像。

好像说到这里，还没谈到美学问题。但经过上面的一个简单梳理，我们可以看到，随着图像数字化或者数字图像的出现，其生成和呈现方式的变化已经促使了对图像的认识和解释方式的变化。那么数字图像的美感（beauty）和审美经验（aesthetic experience）是否有发生变化呢？首先，数字图像在硬件界面呈现的时候，其视觉呈现效果会受到包括硬件和软件诸多因素在内的影响，比如屏幕的分辨率高低、显卡的好坏、使用软件环境的限制，甚至网速也会影响图像的呈现效果和体验。同时，被数字化的图像，比如绘画作品的二维平面化后不仅会造成原作的色彩失真（数据采集与色彩管理过程中的损失和偏差），也会失去其原作的肌理感和笔触的细腻感（物理属性无法被数字化、数据量不够导致的低像素、三维体积感被取消）。这些都是数字图像，尤其是常常艺术作品被诟病的原因。这些都对。但往往被忽略的一点是，这些都是与理想状态下的艺术品欣赏做对比的。事实上，在人潮拥挤的博物馆，隔着至少1米多警戒带的情况下，能细致的欣赏一幅画，并能体会其细节，是比较难的。或者说，也不是一般观众所能注意到的或在乎的。我们对于数字图像的批评其实更多的是因为艺术品空间的取消，与其“原生”环境的剥离。在博物馆中可以成为艺术品，在每个人的屏幕上，这就是一张图了。艺术光晕被消解。

第二点，审美经验的问题。审美经验其实从来不限于艺术。美学在历史上更多地是个哲学问题。讨论艺术也不一定非要讨论审美的。所以审美经验不见得仅限于艺术：常有各种科学界大牛讨论各种数学的美、物理的美、宇宙的崇高、生物的情感等等。那么计算为什么不能没，计算什么不能带来审美体验？换个角度，为什么不能从艺术哲学地角度去讨论计算？所以Paul Fishwick（计算机学教授，工程师，UTD的Arts and Technology Distinguished University Chair）编了一本《审美计算》（Aesthetic Computing）（当然是在Leonardo丛书的名下，Roger Malina教授编的，Roger，你可不可以少编点书？我都看不完了！）专门讨论这个事情。Fishwick在导论中谈到了一个基础模型，计算经过“主题/媒介”这个过滤器以后，经过艺术理论和实践的加持，就成为了审美计算。他认为计算专业不光是提供生成工具，而且还为艺术提供了原生介质（raw medium）和主题原料(subject material)。

好吧，必须承认，看到这个图的时候，我是有点楞了的，这个图把计算到审美计算的过程说得也太简单了吧。不过再看看内容，特别是他举例了processing的例子，大概也就明白了点。作为一门基于Java的编程语言，processing确实是aesthetic computing的典范。尤其是Casey Reas自己创作的作品（https://reas.com/），大概就能明白，编程不管是一种计算机的功能实现或者描述，也是一种艺术的创造过程。但这个创造过程需要的是基于计算机的创造性想象和逻辑语言。换句话说，回到前面一个问题的回答，代码作品的理解是需要从代码层面的，同样，审美计算的前提是先得有计算。

好吧，回到雨萌的问题，我想我的回答可以简单地总结为两句：一、数字（技术/媒介）改变了艺术创作的方式和语言，理解必须从底层开始；二、审美体验取决于你沉潜的深度以及你对计算、代码的理解深度。不看不知道，不懂看热闹。

补充阅读：

【造就Talk·陈静】：我们本身都存在性别偏见，又如何要求算法保持客观？

图灵机向零壹Lab的读者们诚征问题！！！

如果你对此也有所思考，请在评论区留言，说出你的疑问~ 

1

END

1

主编 / 付梅溪

责编 / 马戎千

美编 / 马戎千