【文艺理论与批评】向帆 | 可视化设计视野中的视觉艺术研究

“图像是一条没有编码的信息”¹，而数据可视化则是数据探索和分析推理的工具，因此视觉艺术研究和数据可视化听起来是矛盾的。但实际上，法国哲学家罗兰·巴特在《摄影的信息》（1961）中就指出，虽然图像并没有像文本一样明显的语言结构，却自有隐含的编码系统，这个系统“由一批套路性的程式（图式、颜色、图形、手势、表情、元素排列）等构成”²。2010年左右，开始出现一些图像可视化的尝试，那些有兴趣借力数字技术的研究者已经开启了在海量文献中探索图像间隐含关系的实践，巴特的预测迎来了可被验证的时代。

背景

2000年以来，人文科学研究就开始运用大量的文本可视化软件来观察海量文本数据（文学、历史记录或社交媒体）和空间数据（人物、地点和事件的位置），然而视觉艺术研究的案例不多见。其原因有二：一方面，在大多数研究者的观念中，图像不是数据，视觉对象不能分割为独立的元素进行科学分析；另一方面，目前没有任何上手即用的图像可视化工具，如同voyant.com等文本可视化工具那样，仅仅需要粘贴大量文字就可以自动完成分词、统计与可视化。令人欣喜的是，在技术限定的情况下还是有少数的实践者、项目和理论可供参考，本文从早期的实践开始观察，描述可视化工作的路径与意义，阐明其中的重要概念与思考。

对于先行实践的观察

（一）文本可视化方式在大量的图像还不能像文本那样被宏观地观察和分析的时候，已有研究者先行用文本可视化来分析艺术历史。例如，2018年年底《科学》杂志发表了论文《量化艺术中的声誉与成功》³。这个项目为了观察艺术家个体的成功之道，从Magnus网站收集整理了50万艺术家的497,796场展览信息、127,208次拍卖纪录数据，通过可视化的力导向图呈现了一个包含143个国家、跨越36年（1980-2016）的世界艺术网络（图1）。图 1 力导向图展示了世界艺术机构的亲疏关系和重要性 , 其中每一个节点是一个艺术机构
力导向图的可视化原则基于艺术机构（画廊、博物馆）的展览信息相似度。艺术机构节点的大小与每个艺术机构的特征向量中心度成正比（特征向量中心度是指在网络图形中度量节点重要性的一种指标，它可以帮助计算出网络中哪一个节点更重要）。如果某两个艺术机构都展出同一个艺术家的作品，那么这两个艺术机构的节点就会被连接起来，连接权重值表示了艺术家的多少；节点的色彩则按照世界不同地区分类，红色系是北美，棕色系是亚洲地区，冷色系是欧洲地区。最终，我们可以轻易发现最大的节点是纽约当代艺术博物馆（MoMA）。这个研究项目不仅揭示了世界上五个最重要的艺术圈，还总结出艺术家快速成功的路径模式是将自己的前五个展览放入世界顶级展馆。作者认为这种方式可以揭示那些限制艺术家通往梦想舞台的屏障，并提出了有助于打破平衡的艺术竞争规则。有趣的是，这个研究并不是在任何艺术研究机构完成的，它的第一作者山姆·弗雷贝格（Samuel P. Fraiberger）是一个计算社会科学家，就职于美国东北大学网络科学研究院、哈佛量化社会科学研究院，他对使用数据和科技解决社会问题充满信心，提倡基于超大数据规模进行社会学研究。该项目在可视化方法上并不新颖，“可以说眼前可见的形式各异的可视化图表都是19世纪统计图表的变异”⁴，以点、线、大小、色彩来表达数据的形式从19世纪开始就非常普遍，只是借力于计算机可以处理更大量、更多维的数据。让信息离开研究对象本体，以极端简化的方式进行观察，这虽然已经成为了现代科学的基本模式（例如帮助科学家看见无形的电波、肉眼无法观察到的基因），但是对于视觉艺术研究来说却仿佛是面对着一种视觉对象来研究另一种相异的视觉对象。（二）交互可视化方式摄影艺术史研究往往需要对某一阶段的艺术群体进行研究，但是面对上百张摄影作品、上百个摄影师时，研究应该如何展开才能进行大范围分析呢？MoMA就面对了这样一个问题：“托马斯·奥尔特摄影收藏”项目，包括341张来自不同地方、不同作者、不同时期的照片。当MoMA需要确切地判断这一收藏项目在艺术历史中的价值与意义时，他们提出的解决方法是将艺术史研究与科学这两个通常完全不相干的领域联系起来，通过可视化摄影作品的物理数据和艺术家信息，让任何人都能观察其材料、技术、风格、主题与艺术家群体之间的内在关系。当我们打开这个可视化网站Object: Photo⁵,从带有时间信息的世界地图开始我们能够理解作品创作于两次世界大战的间歇，大部分拍摄于德国和法国，而远离巴黎和柏林的莫斯科也有少量作品；当我们点击莫斯科，可以看到包括至上主义艺术家埃尔·李西茨基（ELLisstzky）在内的艺术家名单；然后可以选择观看李西茨基在1924年完成的作品：一张多重曝光的黑白摄影作品的画面，及其物理属性（正面、反面、材料）和艺术家信息（毕业院校、相关研究）。除了以上这种从宏观到微观的观察方式，人们还可以快速地比对相同材料、工艺、主题和风格的作品，寻找作者间在展览、教育和生活等方面的联系。与其说这是一个可视化平台，不如说它是一个以摄影作品为中心的信息空间，让人们可以在社会、经济和技术的多重背景下理解一段重要的艺术运动：摄影曾经如何挣脱绘画传统和笨重设备而获取自由。这个可视化项目不仅完成了为整个收藏品项目提供视觉分析的任务，还可以帮助鉴别藏品中的单张艺术作品、对其艺术价值进行精确定位。（三）直接图像可视化视觉艺术研究既不能像科学研究那样在实验中创造数据，也不可能像历史学、文学等学科那样仅仅运用文本可视化工具，它依赖于视觉媒介承载的可见记录：报纸、照片、信件、日记等。在20世纪中叶，法国作家安德烈·马尔罗（Andre Malraux）就在他的“没有围墙的博物馆”里描述过自己通过比较大量摄影作品所得到的发现⁶；半个世纪之后，美国学者列夫·曼诺维奇（Lev Manovich）又沿着安德烈的想象走得更远：“是否可以让我们在一个博物馆网站上比较百万幅艺术作品？或者一亿幅社交媒体上的用户作品？”⁷他本人从2007年开始在加州大学圣地亚哥分校开发直接面向图像的可视化技术，他们公布的开源技术让人们可以获得对海量艺术作品的宏观观察，并发表了一系列实验成果：比较一百万张漫画作品⁸、比较印象派艺术家的作品，还针对社交媒体的图像开发了可交互的可视化平台“百老汇大街”⁹。图 2 Award Puzzle 中的色彩可视化图 3 Award Puzzle 中的画幅可视化

笔者曾经自主开发完成了交互可视化项目“Award Puzzle——全国美展获奖油画作品可视化”（以下简称“Award Puzzle”）¹⁰，这个项目不仅可以让人们看到2276张作品所合成的宏观场景，还可以将之映射到时间、色彩（图2）、画幅（图3）、地区等维度，可以让人们直观看到获奖作品的色彩构成了一块高亮度黄红色斑块、获奖作品的尺幅近年来有增大趋势等信息，或辨识出中国油画获奖作者的主要分布区域。让人意外的是，当我们改变可视化中的信息结构，将作品图像与获奖次数、艺术家个体相联系，我们就可以凭肉眼观察发现一些多次获奖作者的作品从主题到表现都有极大的重复性，这直接激发了对于美术作品评价方法的讨论¹¹。

可以说，直接图像可视化把图像观察的工作又交回给了人眼的阅读，让人可以在新的景观中去辨识差异性，而不是完全由计算来决定元素之间的远近差异，例如，我们可以一眼看出某几张画很相似，还可以轻松发现那些色彩极端红、极端蓝或极端暗的作品。

可视化中冲突的概念:作品与数据

“人类经验的任何记录都可以成为人文学者的数据来源”¹²，但从有形的记录（报纸、照片、海报、图像）中捕获数据的方法长期被质疑，因为在数字化过程中，不同硬件设备与图像处理软件都会影响数据的生成。在本文第二节描述的Award Puzzle项目中，我们使用多个步骤获取每张作品的色彩数值，再通过机器学习计算其相似度，每个步骤中所使用的硬件、软件、算法都需要自证其合理性，原始数据要通过项目网站向社会公开。值得注意的是，研究者往往在研究工作开启之前就根据经验预设了明确的“数据需求”，但是可视化的价值远不止于验证既有的假设，它尤其适合在复杂的关系之中显现未知的规律，重大的发现往往在预想的因素之外。因此，在可视化过程中，艺术研究者需要和设计师、工程师同步进行开放性的合作，参与到数据结构的建设之中。例如，在Award Puzzle的早期开发过程中，我们的数据是以作品为中心构建的，每一幅作品的元数据包括作品名、题材、作者地区、获奖年份等，但是当我们决定深入研究作者与作品的关系时，我们就以作者为中心建立了另一套元数据。将作品和作者这两种元数据关联起来进行可视化，我们就发现了以前未被意识到的现象：藏族主题的作品来自全国各地，西藏画家则只画藏族主题。

可视化工具与方法：通用模版与视觉设计

“可视化”是指将离散的数据和视觉元素对应起来的方法，然而长期以来人文学者并没有意识到这个方法本身需要专业的视觉知识，而是将之理解为运用Excel软件将数据转化为网络图、柱状图、饼图、地图的方法，忽略了可视化中的转化机制和原理，从而导致无论诗歌、小说还是传记的可视化成果都呈现为同一种视觉形式，这种同一的形式不仅不能揭示规律，甚至还会造成误判。这种做法宛如将任何食材都装入绞肉机，然后对着搅碎的对象进行解读，而忘记了不同的食材需要不同的处理工艺这一烹调原则。对可视化的粗浅运用的原因，笔者在论文《词意辨析：可视化、视觉化、Visualization及信息图形》中有论及：“可视化”从字面看强调的是从不可视状态转化为可视，但是可视未见得就可认知，这一问题并没有被普遍认知。¹³这也正是通用的Excel可视化方式值得质疑之处。可视化研究和实践的代表人物本·弗莱（Ben Fry)在其著作《视觉化数据》的序言中就明确道：“每一个项目都有独特的需求”，“可视化应该传达它所表达的数据集的独特属性。现成的可视化工具可以帮助生成一个数据集的图像，但是这都是些打包在软件中的僵化套路。用Execl制作的任何柱形图、散点图看起来还是Excel做的柱形图而已”。¹⁴由于尚没有通用的图像可视化工具包，深谙视觉语言的研究者应该更早意识到可视化概念中的误区。通用模型可以帮助人们快速观察数据，但是没有任何通用的模版具有针对性，因此它是一个起点阶段的工具，当我们需要实现深度的观察和表达，就必须在研究期间运用视觉设计。已经有人文学者逐渐意识到设计是数字人文研究活动中不可或缺的重要专业领域，因为通用可视化工具无法满足研究需求。《数字人文宣言2.0》就表达了对设计的重视：“设计不仅可以被认为是一个必要的概念和专业知识，还可能在参与人文研究中重新定义自己，它关注复杂性、媒介特性、历史文脉、分析深度、批评和解释。”¹⁵也就是说，视觉设计不是一个关于美化的概念，而是一种以用户为目标进行解释性表达的视觉思维方式。

必须合作的解读方式：近读与远读

远读是世界文学研究者莫莱蒂在论文《世界文学的猜想》（Conjectures on World Literature，2000）中提出来的概念，它意味着通过聚合和分析数据的宏观模式来阅读海量的文本。与远读相对的，人们所熟悉的逐字逐句地研读特定文本的方式被称为近读（也译为“细读”）。莫莱蒂提出的远读方式就是可视化，他以手工可视化的方式观察文学作品中的人物关系，并声称可视化绘制的过程是一种“短暂的幸福”。“距离是一个知识的条件”，莫莱蒂曾面对技术条件的限制，“如果你想更多地理解这个系统的整体性，我们必须失去些什么。”¹⁶人文研究中远读与近读必然并行，因为远读所发现的线索需要近读考证，而近读中的猜测需要远读验证。笔者在中国家谱树的绘制过程中宏观地发现了大量一子多父的现象，以南宋诗人王阮拥有两个爷爷的现象为例，查证后发现他的父亲未必是王彦博，虽然王阮在诗文中称王彦博的父亲是自己的祖辈，但这很有可能是他为谋求仕途而在刻意伪造自己的身世。这种结合近读与远读的考察方式对曾被广泛采纳的史料提出了有力的质疑。¹⁷成熟的交互可视化技术已经可以支持同时近读和远读大量图像。例如，Award Puzzle项目可以让观众一边观察某件艺术作品，一边在可视化界面上看到该作品所处的位置。

展望：人工智能与可视化相结合

在人工智能图像分析技术能够被社会共享后，其中的人脸识别、对象发现、图像相似度对比等技术被我们运用于全国美展获奖油画作品。通过机器学习¹⁸这一人工智能方法，我们获得了比以前更多的证据来验证猜测。图 4 采用机器学习的对象发现技术（以沙发为对象）得到的结果图 5 采用机器学习的相似度发现技术得到的结果（部分）。虽然从人眼来看，这些作品的相似性未必那么高，但是这个结果是从 2276 幅作品中圈围出来的，机器学习极大提高了精准定位相似作品的效率

例如，我们设计了实验来验证网络媒体的猜测：是否“沙发上的女人”为内容的作品特别多？获奖作品是否越来越类似。针对“沙发上的女人很多”这种说法，我们首先用对象发现技术检索“沙发”，获得了所有被侦测到有沙发的作品名单，以及疑似沙发的可靠值。当我们根据这个名单用可视化的方式罗列出这些作品，我们就可以看到机器发现了大量包含有椅子、有坐相的作品；当我们在这些作品中检索坐在沙发上的女人，实际作品就并不是很多，只是其中五件作品集中于第12届展览（图4）；当我们通过将相似度较高的作品用可视化的方式并排排列，大量相似度较高的作品集中于风景画（图5）。     

人工智能图像分析技术的运用虽然尚在早期阶段。我们有理由相信，通过提升机器学习的训练量、优化训练方式，将可以获得更精准的数据结果，一旦这些数据经由可视化的方式展现出来，必将显形视觉艺术作品中某些至今未知的隐性关系。

总结

看似没有编码的图像，在数字时代已经可以被转码、编码和解码。无论对于可视化充满信心还是保持警惕，莫莱蒂对远读介入文学研究的观点值得参照：新的方法“必须可以自证，不仅能够证明它能够完成正常的分析，而且应该比现有的分析方法做得更好，或者至少同样好”¹⁹。既然艺术研究的最终成果才是判定可视化有效性的根本依据，那么只有艺术研究者主导、组织跨学科的协同合作，整合数字技术与设计思维，才可能真正释放新工具在艺术研究领域的潜力，并且厘清其中的误区和局限。基于图像分析技术的可视化方法必然为艺术研究领域所用，本文不仅旨在阐明可视化在艺术研究中作为观察、分析、解释、展示工具的潜力，更为未来广泛的研究者提起人文研究至今缺失的认知：可视化不是可见，从文献到数据、再到可视化成果的一系列转换实际上是一个视觉设计的过程，可靠的可视化成果需要数字技术、设计思考与艺术研究三个知识领域的协同合作。

1    Barthes, R. “The photographic paradox”, In Image, Music,Text, Translated by Stephen Heath, New York:Hill and Wang,1982, p.17.

 2   Barthes, R.,“The photographic paradox”, In Image,Music,Text, p.18.

 3   Fraiberger,S.P.,Sinatra, R.,Resch,M.,Riedl, C., & Barabasi, A.-L.(2018),“ Quantifying reputation and success in art”,Science, 362(6416), 825.doi:10.1126/science.aau7224.

 4   Lev Manovich, “What is Visualization”, 2010,http://manovich.net/index.php/projects/what-is-visualization.

 5   https://www.moma.org/interactives/objectphoto.

 6   Linda Nochlin, “Museum Without Walls”, New York Times, May 1, 2005.

 7   Lev Manovich, “Museum Without Walls, Art History Without Names: Visualization Methods for Humanities and MediaStudies”, 2012, http://manovich.net/index.php/projects/museum-without-walls-art-history-without-names-visualization-methods-for-humanities-and-media-studies.

 8   Lev Manovich, “How To Compare One Million Images”, 2011, http://manovich.net/index.php/projects/how-to-compare.

 9   http://www.on-broadway.nyc.

10  zeelab.cn/AP/desktopNew.html.

11  向帆：《视觉文献的视觉化设计——全国美展获奖油画作品视觉化工具AwardPuzzle设计探索》，《装饰》，2016年第7期。

12  Borgman, Christine L., “The Digital Future Is Now: A Call to Action for the Humanities”, Digital Humanities, 2010.

13  向帆：《词意辨析:可视化、视觉化、Visualization及信息图形》，《装饰》，2017年第4期。

14  Ben Fry, “Each Project Has Unique Requirements”,Visualizing Data, O’Reilly, 2008, p.16.

15  Schnapp J.,Presner T. (2009) : The digital humanities manifesto 2.0, Humanities Blast. http://www.humanitiesblast.com/manifesto/Manifesto_V2.pdf, 23 Mar 2014.

16  Franco Moretti,“Conjectures on World Literature”, Distant Reading, London:Verso Books, 2013, p.48.

17  向帆、朱舜山：《中国家谱树的绘制实验报告——基于中国历代人物传记资料库的视觉化实践》，《装饰》，2018年第10期。

18  机器学习是人工智能中具有代表性的一种技术之一。针对图像领域的机器学习技术，就是让计算机可以经过学习大量图像获得模式之后，能够自己定义图像。例如，当机器学习了上万张玫瑰花的图像之后，机器就能够从色彩、形状、光影等数据关系中获得具有关联性的模型，然后就可以自动判定另一些图像里有没有玫瑰花。现在，我们已经可以在网络上获得许多帮助进行图像分析的机器学习技术，例如：人脸识别、对象发现、图像相似度对比等。最近，机器学习技术中的这些技术被我们运用于全国美展获奖油画作品，让我们可以在2272张作品中比较相似度、发现具有某种对象的作品。

19  Franco Moretti,Style,“Inc.:Reflection on 7,000 Titles”, Franco Moretti, Distant Reading, London:Verso Books,2013, p.204.

数字使人文更新

投稿邮箱：[e-mail]

数字人文门户网站：www.dhlib.cn