破损壁画的数字化复原研究——以敦煌壁画为例
内容摘要
敦煌莫高窟是世界文化遗产、佛教文化的宝库，具有悠久的历史和极高的艺术价值。然而经过岁月的洗礼，莫高窟的壁画正面临着多种病害的侵蚀。物理手段的修复方法存在难度大、周期长、成本高等挑战，通过数字化手段对壁画进行复原，是近年来国内外文化遗产保护的热点方向。
本文针对典型破损壁画，从信息艺术设计交叉学科的角度出发，综合设计学、美术学、计算机科学等学科领域知识，运用文献调研法、需求分析法、设计研究法、用户体验法等研究方法，提出了交互式壁画数字化复原系统的设计范式，实现了利用壁画的线描图信息对破损敦煌壁画进行复原。本文的复原结果得到了敦煌研究院相关领域专家的认可，可以应用到文化遗产的保护实践当中。
1
敦煌壁画的现状与困境
敦煌莫高窟共有泥质彩塑2415尊，壁画4.5万平方米，是世界上现存规模最大的佛教石窟类文化遗产，具有悠久的历史和极高的艺术价值。
然而，许多精美的壁画因为自然与人为等因素，存在疱疹、起甲、霉变、龟裂、酥碱、人为刻划、烟熏等病害。这些病害不仅破坏了壁画的内容，影响其艺术表达的完整性，甚至威胁洞窟的安全。
过去文物保护专家一直致力于通过物理和化学的手段对壁画进行实体修复，通过工程地质分析与环境监测，对洞窟的结构进行加固；同时探究壁画病害产生的内在机理，采用灌浆、脱盐等手段对壁画进行修复。然而，由于壁画的文化遗产属性，对壁画进行接触性的修复必须遵守保持其原真性的原则，所以实体修复只能在一定程度上延缓病害对壁画的破坏，并不能修复已经破损的壁画内容。实体修复还存在难度大、周期长、成本高等问题，甚至有可能引起保护性破坏。
文化遗产的数字化保护理论与方法是一个新兴的多学科交叉研究方向，有希望收到实体修复所达不到的复原效果。在数字化领域对壁画类文化遗产进行保护和复原，可以突破时间和空间的限制，是文化遗产得以“再生”和“永生”的重要途径。
2
现有的壁画数字化复原方法
壁画类文物以二维平面特征信息的艺术表达为主，对其进行的数字化复原主要采取通过计算机图形学和数字图像处理的方法，对壁画的画面构图和色彩纹理进行恢复。具体的数字化复原过程与实体修复的流程相似，首先要找到壁画图像破损的地方，然后使用合适的线条或者颜色纹理，对破损区域进行合理的填充。
针对壁画的数字化复原，国内外已经有一些相关研究工作，主要分为设计专用软件来复原壁画和使用Photoshop等图像编辑软件来复原壁画两种。从中，可以总结出几点不足：
首先，有些复原方法是全自动的，然而自动化的方法并不适用于所有破损壁画的几何复原问题。比如对于破损非常严重的壁画，无法通过边缘检测和纹理合成的方法生成其绘画构图的结构，复原这一类壁画，还需要额外的信息输入来辅助计算。另外，对于内容复杂且破损形式多样的壁画，自动的裂痕检测结果噪声比较大，往往不能对所有的破损部分起到作用，并且容易将一些没有破损的颜色误检出来，因此需要引入一定的专业知识与人机交互来辅助的选择。其次，还有些复原方法是全手动的，这种方法过于自由，很难保持壁画风格的一致。
3
敦煌壁画特点剖析
数字化复原研究工作旨在复原破损壁画的几何结构和色彩肌理，敦煌壁画的绘画构成可以分为“线、色、神”三个部分。
-“线”，是敦煌壁画绘画造型的基础，它构建了整个壁画的几何形态，不同朝代壁画的线描有不同的规律和形态特征。数字化复原研究首先就要研究原壁画的几何线条结构复原，起甲、酥碱、空鼓等病害都可能对壁画的线条结构产生破坏。
-“色”，是敦煌壁画得以瑰丽灿烂的核心，在敦煌破损壁画中，对颜色的破坏最为明显，而不同朝代的色彩运用和赋彩手法不尽相同。要进行颜色的数字化复原研究，就要先搞清研究对象的颜料运用与绘画方法。
-“神”，敦煌壁画以人物为核心，人物个性突出，栩栩如生，数字化复原结果要做到“形神兼备”，就需要引入人机交互的手段，否则无法给人以古代艺术的审美体验。
敦煌壁画内容丰富繁杂，叙事场面宏大，画面人物众多，绘画风格与技法和西方壁画有一定差异，所以针对西方壁画数字化复原的研究工作不能完全适用于敦煌壁画的数字化复原。幸运的是，现存有许多敦煌壁画的线描作品，包括壁画画师当年的线描手稿、艺术家后期进行的线描临摹创作等，这些线描作品可以作为数字化复原，尤其是“线”的修复参考。图1展示了大英博物馆的部分敦煌线描藏品。
大英博物馆部分敦煌线描藏品
4
交互式破损壁画数字化复原研究
基于前文的分析与考虑，笔者使用线描图作为壁画几何复原的信息来源，通过计算机辅助结合人机交互的方法，复原壁画的几何结构信息。从用户调研、需求分析、数据准备、核心理论、系统设计、用户实验等几个角度，力求探索壁画数字化几何结构完整复原的方法，实现交互式壁画数字复原的实用系统。
1.用户定位和用户需求
以用户为中心的设计研究，首先需要确定设计研究面向的目标人群或典型用户，了解他们的需求，分析归纳形成设计的功能点，并通过不断迭代的方法来优化设计过程。通过广泛的调研与考证，笔者最终确定壁画数字化复原软件的典型用户主要为实体壁画修复专家。
通过对5位来自敦煌研究院保护所的壁画实体修复专家的访谈分析，我们从学习性、实用性、功能性、展示性、结果需求这五个维度进行了主观需求分析总结，总结结果见表1。
表1. 典型用户需求分析调研分类表
对于复原结果，专家有非常高的要求，首先是要求肉眼可辨的病害完整复原；其次是要求复原的结果要符合文物修复的原则，保持壁画的原真性和画面的和谐性。另外，专家们对于复原的时效性也有一定的要求。由于实体修复工程经常持续一个非常久的周期，壁画在修复工程期间是不对游客开放的，这是实体修复的弊端之一，所以实体修复专家希望数字化的壁画复原可以在较短的时间内收到令人满意的结果。
2.数字化复原理论与数据准备
壁画的数字化复原可以分解为图像分割、破损标注、内容填充这三个步骤，每个步骤都需要依赖特定的计算机图像处理技术实现。
-图像分割就是在进行破损修复之前，先对大尺寸的壁画图形进行具有视觉意义的区域分割，然后在每个小的区域内进行进一步的处理。这不仅可以降低后续处理的难度，也可以提高算法执行的效率。
-破损标注就是通过自动或人工辅助的方法，将壁画里由于各种病害造成的破损部分标注出来。
-内容填充是在标注出破损的区域之后，使用恰当的像素和图像纹理对破损的区域进行填充。
依赖于壁画数据集、线描数据集和样式数据集提供的构图、色彩、形态、风格等信息，笔者提出交互式壁画数字化复原理论，应用经典以及前沿的图像处理方法，引入人的知识与指导，探究典型破损壁画的数字化复原理论与方法，该理论的整体框架如图2所示。
典型破损壁画的数字化复原理论
笔者建立了从数据采集、数据数字化、数据整理、数据集建立到交互式壁画复原系统的一套工作流程。该系统的逻辑框架如图3所示。
交互式壁画数字化复原系统逻辑框架图
交互式壁画数字化复原系统将复原过程分为图像分割、破损标注、内容填充三个线性进行的步骤，每一个步骤依赖于上一个步骤产生的结果。该系统以典型破损壁画作为系统输入，首先通过线描数据的信息加成，进行图像分割和优化分割，形成分割后区域；其次，使用破损标注算法，对壁画的破损部分进行交互式标注，形成破损区域；再次，在破损区域内使用交互式填充的方法对其结构纹理等信息进行填充，在填充的过程中可以参照样式数据；最后，形成复原后的壁画作为系统输出。输出的壁画复原结果需要符合壁画实体修复的原则，即保持壁画原状、“以旧修旧”、复原的结果和谐并符合审美等。
为了给壁画数字化复原研究提供完整的数据支持，笔者通过实地拍摄、数字扫描、图像提取等方法，形成三类数据集。这三类数据分别是壁画数据集、线描数据集和样式数据集。数据集的类型、规模、尺寸、分辨率等具体信息如表2所示。
3.系统原型设计
依照交互式壁画数字化复原系统的理论框架，并结合用户调研和需求分析结果，笔者对该系统进行了原型设计，包括界面设计、交互设计和程序设计。
根据用户需求整理的结果，针对界面设计的需求主要包含：界面简洁，功能区划分明确，功能点一目了然，视觉设计大方美观等。笔者绘制了交互系统的界面视觉设计图，如图4所示。
交互式壁画数字化复原系统视觉设计图
如前文所述，交互式破损壁画数字化复原主要包含3个交互功能点，即图像分割、破损标注和内容填充。接下来着重介绍这3个核心交互功能的交互逻辑、交互方法和算法设计。图像分割的目的是将壁画图片分割为具有视觉识别含义的小区域。系统首先使用基于连通域分析的自动图像分割算法，利用线描图提供的绘画构图信息对壁画图像进行初步分割。如果用户对其不满意，可以进行交互式优化。优化的方式有区域合并和区域拆分两种：区域合并可以将两个及以上的区域进行合并操作，操作结果将合并后的区域视为一个新的区域；区域拆分可以将一个连通区域拆分成两个新的不连通区域，并删除原来选择的区域。区域合并操作可以将一些具有相同颜色和纹理的区域进行合并，比如菩萨画像的脸部和手臂皮肤等，使分割结果更符合壁画的绘画内容与结构；区域拆分操作可以修正由于手绘所产生的线条缝隙带来的不理想的分割结果。在拆分的过程中，利用系统提供的缺口查找功能来探查线条中的缺口，可以提高区域拆分的效率。
图像分割的交互界面与初步运行结果
图5展示了图像分割步骤的交互界面与初步运行结果。可以看出，此时的算法自动分割结果将壁画图像分为许多具有视觉意义的小区域。然而很多区域本应该属于同一视觉部位却没有自动归类，比如菩萨的大臂、小臂等；有些区域本应分开却没有分割完全，比如菩萨的背光和壁画背景。此时引入区域合并和区域拆分功能，对初步的分割结果进行交互式的优化。最终的优化结果如图6所示。
自动图像分割（左）和优化后结果（右）
破损标注的目的是使用人工辅助的方法，将壁画图像里因为各种病害形成的破损标注出来。如前文所述，由于壁画的病害表现形式多样、影响面积大，加之壁画本身的绘画结构复杂，无法使用自动检测的方法检测病害，所以我们引入了交互的手段进行半自动化标注。缺损区域的交互式选择是一个交互迭代的过程：用户首先滑动选择颜色扩展范围的阈值，选择完毕后使用鼠标左键点击任意一块用户判定为破损的区域，系统自动将壁画图像中RGB值在用户选择的颜色及其扩展范围内的所有像素选中，并实时反馈给用户。
用户如果对本次操作的结果满意，则点击保存此次操作；如果对此次操作的选择结果不满意，点击右键即可取消本次选择。每次操作保存后，重复进行下一次的迭代操作，操作结果累加到上一次的结果中，直至用户对破损区域的整体选择结果满意。这个过程和结果如图7所示。
破损标注的交互界面与运行结果
数字化复原的最后一个步骤，就是借助人机交互手段，使用完好的颜色和纹理对破损区域进行内容填充，这是整个流程中最重要的一个步骤。笔者使用Criminisi的算法，并对其进行了扩展，通过计算像素点的连续性和置信性，采用最优像素点最先填充的策略，由内向外地填充破损区域。用户首先选择一个待复原的目标区域，然后选择一个参考区域，参考区域内的颜色和纹理信息用来填充目标区域。如果用户选择的目标区域破损程度不高，那么用户也可以将这个目标区域选择为参考区域，利用其完好部分的颜色和纹理。目标区域和参考区域确定之后，用户需要滑动调整单步填充的尺寸。填充尺寸决定最终填充的纹理密度，尺寸越小填充速度越慢，填充的纹理越精细；尺寸越大填充的速度越快，填充的纹理越粗糙。最后，用户需要指定重新填充整个目标区域，或者只填充区域内的破损部分，这种选择是为了适应目标区域内破损部分的占比。若占比较高，则重绘整个区域能够使得复原的结果更有视觉上的统一性。在上述操作结束之后，用户点选复原功能，系统算法会自动填充目标区域内的破损部分。此步骤的系统设计和运行结果如图8所示。
4.复原结果与用户实验
笔者使用敦煌莫高窟320窟的菩萨像作为典型破损壁画进行复原实验。320窟于唐代绘制完成，壁画的内容与风格具有典型性，其菩萨像受到多种病害的侵蚀，而又保存相对完好。笔者邀请了敦煌研究院美术所的专家关晋文绘制了相应的线描图作为复原的参考。对该幅壁画的最终复原结果如图9所示。
敦煌莫高窟320 窟菩萨像最终复原结果对比图
由于目前文化遗产复原，尤其是数字化复原领域，尚没有统一的、量化的成果评价标准，也就是说，对复原成果好坏的判定，是一个主观的评价过程。这个过程需要具备丰富的相关专业知识的专家来进行，才能保证评判的科学性和有效性。针对本文的壁画数字化复原相关成果，笔者邀请了来自甘肃省敦煌研究院数字中心、网络中心、保护研究所、美术所的共计6位专家进行了专业角度的评判。图10是专家论证的现场照片。专家从原真性、完整性、可识别性、艺术性四个角度对本文的数字化复原成果进行了客观的评价。
评价结果表明，本文复原后的壁画具有非常明显的敦煌壁画特征，保持了原始壁画的构图、色彩与纹理规律，达到了领先水平，目前的实体修复技术和手段尚无法实现如此高精度的复原结果。数字中心的专家同时认为，本文的数字化复原成果在文化遗产保护与传播领域也可以发挥较大的作用，向大众普及和展示数字化复原技术与成果，有助于其文化遗产保护意识的提升。
壁画数字化复原专家现场论证图
同时，针对本文提出的交互式复原软件系统，笔者设计了以任务为驱动的用户实验环节，并采用问卷调研的形式对用户的体验结果与反馈意见进行统计打分。在用户意见反馈阶段，大部分用户认为该软件系统能够很好地用于专业人员进行壁画数字化几何复原工作，对于壁画的复原结果非常满意。
5
结语
笔者针对敦煌莫高窟的典型破损壁画，提出了基于线描图的交互式壁画数字化复原方法，实现了交互式壁画数字化复原软件的原型设计，并在典型用户人群中进行了量化的用户实验。结果表明，本文的研究方法能够有效地帮助解决典型破损壁画数字化复原的问题，并且具有易学、易用、高效率等特点。复原的结果得到了敦煌研究院壁画修复专家的认可。本文的研究尚有可以发掘和优化的方向，未来笔者将在复原样例扩展、数字化数据集规模扩大、复原算法优化、视觉设计和交互设计优化等方面继续进行探索。
来源：《装饰》2019年第1期
原文：《破损壁画的数字化复原研究——以敦煌壁画为例》，文字有删减。
作者：付心仪（清华大学美术学院）、麻晓娟（通讯作者，香港科技大学计算机科学与工程学院）、孙志军（敦煌研究院网络中心）
延伸阅读：《装饰》杂志2019年第1期介绍
《装饰》杂志欢迎您的来稿
E-mail：zhuangshi689@263.net
地址：北京市海淀区清华园清华大学美术学院A431 中国装饰杂志社编辑部
电话：010-62798189 010-62798878
邮编：100084
官网：http://www.izhsh.com.cn
建议邮件 书信亦可
在微信中回复“投稿”即可获得投稿须知