李清泉等:敦煌古壁画数字修复
点击“武汉大学学报信息科学版”关注我们
(本文刊载于"测绘遥感学科发展高端论坛专刊"(《武汉大学学报·信息科学版》2018年第12期))
古代壁画受保存时间、保存环境、保护技术等限制,无法避免地承受着如褪色、脱落甚至大面积起甲等损害。
传统人力手工修复技术存在操作不可逆的问题,因此数字图像修复技术被广泛用于虚拟修复中。
本文提出了一种线描图指引下基于稀疏表示模型的壁画修复算法,能使破损的壁画部分得到无损的数字修复。
第一作者:李清泉, 博士, 教授, 国际欧亚科学院院士, 主要研究方向为精密工程测量、时空数据建模与分析。
通讯作者:王欢, 博士生。
敦煌壁画素有“墙上博物馆”的美誉,具有极高的历史和文化价值。但是,敦煌壁画历经千年,正承受着脱落、起甲、变色等多种病害的威胁,图 1(a)所示即为一幅破损壁画。
传统的人力手工修复都是不可逆的操作,具有一定风险。而数字化的壁画修复由于不需要对原始作品进行直接处理,并且能按艺术需求对修复结果进行调整,让无损修复成为可能,也提高了修复的灵活度,已广泛应用于现代文物修复工作中。
图像修复作为计算机视觉和图像处理领域中重要的主题之一,其概念由Bertalmio等提出。目前图像修复主要分为基于几何学和图像块的修复方法两大类。但该类方法存在一个普遍问题,如果缺失区域所需的信息不能在图像已知区域中找到,则通常无法得到令人满意的修复结果。
近年来,很多专家学者致力于数字化的敦煌壁画修复,通过改进上述方法取得了一些有意义的成果,但修复效果一般。
原因在于:
①没有将线描图作为结构区域的修复指引;
②依赖于传统方法中先结构后纹理的修复策略。
为了更好地解决上述问题,本文针对破损的敦煌壁画,根据对应的线描图(图 1(b)),利用人机交互的方式将破损图像中破损区域缺失的结构信息补全;并采用一种先纹理后结构的修复策略,通过全局随机抽取和结构复杂度排序选出破损边界上的待修复块。
在修复阶段,通过局部纹理和结构上的连续性约束,建立稀疏表示模型,由待候选块的稀疏线性组合估计待修复块,实现破损壁画的修复。
壁画修复算法介绍
本文算法步骤如下:
①给出预处理后带结构信息的壁画图像I待修复区域;
②将待修复边界∂Ω∂Ω以p点为中心的待填充块分为结构块集合S和纹理块集合T;
③如果T≠∅T≠∅,随机在T中选取一待修复纹理块ΨT,利用全局搜索找到K个SSD(sum of squared difference)准则下的待候选块;
④建立约束方程,求解得到稀疏表示模型中K个待候选块的线性组合去填充ΨT,之后更新置信因子项C(s)、∂Ω∂Ω、S和T,重复步骤②至④,直到T=∅T=∅;
⑤如果T=∅T=∅, S≠∅S≠∅,计算S中每一个Ψs的优先权;
⑥选择优先权最大的块Ψm作为当前待修复块,之后再进行步骤③至④,直到S=∅S=∅,结束整个修复过程。
待修复敦煌壁画图像预处理
在进行破损敦煌壁画修复之前,需要对原图预处理。首先,在资深敦煌壁画修复工作人员的指导下,在破损区域处填充绿色掩模,这样能准确地识别出待修复区;之后根据对应的手工线描图,利用人机交互法在绿色掩模处添加破损区域里缺失的结构信息,则可得到带有辅助结构信息的待修复敦煌壁画I。
为了更好地解释本文算法,将上述预处理后带有辅助结构信息的壁画I替换为另一张完好的壁画来做示意图,该示意图选自文献[9]敦煌660数据集。本文对该示意图做相同的预处理,记为Id。
如图 2所示,第一排左图为原图,第二排Ωc为Id中已知区域,绿色掩模共有3处,记为Ω1、Ω2和Ω3,其中在Ω3区域里添加了黑色线条作为结构辅助信息,红色为待修复区域的边界,分别记为Ω1、Ω2和Ω3;第一排右图中白色边界为通过数学形态学提取的破损边界。
待修复块的选择策略
本文提出一种新的待修复块的选择策略,首先将所有以p点为中心的待填充块Ψp分为纹理块和结构块。对于纹理块,采取全局随机抽取的方式选出ΨT,而对于结构块,本文定义了一种块结构复杂度(patch structure complexity,PSC),将结构复杂度较低的Ψs作为优先修复对象。
主要内容包括以下三点:
1) 分类及修复顺序
2) 纹理块的全局随机抽取
3) 结构复杂度的块优先权
具体可点击“阅读原文”查看原始论文。
图 3 边界块分类
建立基于稀疏表示的修复模型
图 4 块修复算法的原理示意图
具体步骤请点击阅读原文查看相关详细推导过程。
实验结果和分析
为了验证本文算法的有效性,本文以Xu等算法为对比算法,将其结果与本文算法进行分析比较。算法中所涉及的壁画数据图 1由敦煌研究院提供,图 5(a)来自敦煌660数据集。本算法中的重要参数取值为:待修复块大小取5×5,待候选块个数和平衡参数β分别为25和0.8。
图 5 不同算法下敦煌壁画修复结果
图 6 不同算法下破损敦煌壁画修复结果
无论从壁画修复结果还是破损壁画修复结果,都可以发现,本文提出的算法能很好地解决Xu等算法在修复时出现的问题,最终得到较好的修复结果,主要原因有以下几点:
①提出了先纹理后结构的由易而难的修复策略,降低了各个阶段修复的错误率;
②定义了一种全新的块结构复杂度和块优先权函数,提高了结构区域的修复准确率;
③稀疏表示模型下求解的待候选块的线性组合较好地估计出待修复块。
唯一不足的是在修复图 6(f)时,左上角出现了纹理的不连续现象,这是今后需要改进的地方。
结语
本文提出了一种线描图指引下基于稀疏表示模型的壁画修复算法。利用稀疏表示模型求解候选块的线性组合,运用结构复杂度排序和全局随机抽取策略分别提高修复的准确性和效率。
实验结果表明,本文算法对敦煌壁画破损图像修复具有较好效果。在未来的工作中,将致力于完成对破损区域和与之相对应的线描图的自动配准,从而代替人机交互式的手工配准工作。另外,还需要设计一种图像修复的评价标准,更好地描述修复结果的好坏。
【相关阅读】
专栏:测绘地理信息科技转型升级——从数字化走向智能化|2019年第1期
测绘遥感学科发展高端论坛大地测量学与导航专栏
测绘遥感学科发展高端论坛专刊地图学与地理信息专栏
视频:1分钟了解测绘遥感学科发展高端论坛专刊(附会议议程和专刊目录)
长按下方二维码关注我们
国际影响力优秀学术期刊
EI索引源刊
中国精品科技期刊
http://ch.whu.edu.cn
whuxxb@vip.163.com
学术|权威|科普|有趣
点击“阅读原文“获取本篇论文。