查看原文
其他

他们用卷积神经网络,发现了名画中隐藏的秘密

神经小刀 HyperAI超神经 2019-12-25
By 超神经


场景描述:著名的艺术珍品《根特祭坛画》,正在进行浩大的修复工作,以保证现在的人们能感受到这幅伟大的巨制,散发出的灿烂光芒。而随着技术的进步,高分辨率数字技术的介入,数据信息的逐渐增多,也让 AI 技术能够在画作修复上大显身手。那么在《根特祭坛画》的修复上,AI 技术能够带来哪些惊喜?


关键词:世界名画   画作修复  图像生成


作者:神经小刀编辑:神经小兮


《根特祭坛画》(又名《神秘羔羊之爱》),是比利时国宝级瑰宝,也是世界上迄今最具影响力的油画,最受艺术领域关注的大师级作品。


它由 Van Eyck(凡·艾克)兄弟,于 1415 年到 1432 年,历时 18 年完成,是一幅由内外 20 个画板构成一种折叠式巨大画作,完全打开时长 3.5 米,宽 4.7 米。


真迹现存放于比利时根特的圣·巴夫大教堂


但正因为名气太大,这幅画自问世以来,遭遇了多次横祸。


而且,除了人为破坏之外,它也与很多世界名画一样,难逃因灰尘、潮气等的侵蚀,导致画面变色、失去光泽。因此,画作的修复需求也越来越迫切。
近日,伦敦大学与杜克大学利用人工智能来解码《根特祭坛画》的高分辨率 X 射线图像,其研究结果发表在《Science Advances》期刊上:《Artificial Intelligence for Art Investigation: Meeting the Challenge of Separating X-ray Images of the Ghent Altarpiece》。


这一研究有望提高我们对艺术杰作的理解,并为艺术调查,保护和展示提供新的机会。


名画伤痕累累,修复工程浩大


祭坛画是一种画在木板上,安置在教堂圣坛前面,用于装饰的复合画作。《根特祭坛画》取材于圣经,描绘了其中的经典场景,涵盖了 100 多位人物。


这幅作品也是现代油画的开山之作,Van Eyck 兄弟在创作中,首次试验用油调色,使用新的涂料、松脂以及乳剂,以让画面保持经久鲜润的效果,此外,它还因为材质和纹理渲染,以及精致而复杂的构图成为一代瑰宝。


左右分别是闭合和打开的样子


自 1432 年首次展出之后,《根特祭坛画》经历了 7 次被盗、涉及 13 次不同形式的犯罪事件,堪称被盗窃最多的名画,时至今日,仍有一块画板下落不明。


除此以外,和其他艺术珍品一样,它也一直在经历着时间的考验。原画被长年累月的积尘和蚀变所摧残,光泽和画面都打了折扣。


油画创作中,使用天然树脂制成的清漆,甚至是合成材料,都会随着时间的推移而降解发黄,变得浑浊。造成表面模糊,画面的色调平衡和图像中的层次感被极大地改变。


因此,根特祭坛画已经经过了多次的清洁和修复,在一次修复中,工作人员惊奇地发现,画作共有 3 层,重绘面积达到了 70 %,意味着该画经历过两次未被记载的大型修复。
修复前(左)和修复后(右)的色泽发生了很大变化


2012 年 10 月起,在进行了详细的评估之后,博物馆对它开启了浩大的修复工程。专家们也决定将修复目标从「恢复画面色彩」改为「复原画作的最初面貌」。
工作人员正在进行修复,修复期长达八年


这项工作需要耗费大量的人力和财力,预计最早将于 2020 年完工。修复的过程包括去除表面灰尘与清漆、恢复画作的色彩的工作,也包含多种扫描成像,建立电子模型的过程。


毋庸置疑,这是一项高难度的工作。而现在, AI 技术的发展,正为修复工作做出贡献。


修复难题:解读 X 射线图像


在画作修复中,目前已经有了一些成熟的机器学习案例,包括不同阶层的画面的材料识别,裂纹的数字图像修复,隐蔽的设计和可视化呈现。
而在根特祭坛画的修复中,伦敦大学和杜克大学的研究者,最近用深度学习的方式,解决了 X 射线图像扫描上的技术难题。


X 射线照相术(XR)是画作修复中的一项重要方法。它利用不同材料对 X 射线吸收程度不同的原理,能够表现出画作中的隐藏细节。


在根特祭坛画的修复工作中,建立完整 X 射线图片,也是修复的一个重要步骤。X 射线图像通过显示清漆或覆盖涂层隐藏裂缝,油漆磨损或其他结构区域的问题,能够帮助修复工作的进行。


此外,扫描图像还可以向工作人员揭示艺术家的工作方法,揭示画布或面板的物理结构及其支撑,以及创作中使用的不同涂层。


但对于根特祭坛画此类作品,在其 X 射线图像图片的解读上,却面临一个严峻的考验。


根特祭坛画中,有几块画板正反面都绘制有图案,X 射线扫描出复杂的三维吸收图案,最终却被记录成二维文件,所以呈现出来的是混在一起的复杂图像。


有几块画板正反面都绘有图案所以得到的是混合的 X 射线图片(最右)


其中包括多重信息,比如油漆表面形态,显示橡木支撑的结构,木纹、木钉的位置,以及油漆层中的裂缝和磨损。要想获得有价值的信息,必须在这些杂乱的信息中,分离出要分析的单个画层


由此带来了一个巨大的解读难题,而挑战则在于,如何将混合了双面板的 X 射线图像,分离成相应「单面」绘画的单独 X 射线图像。

破解之术:卷积神经网络


为了解决这个难题,伦敦大学和杜克大学的研究团队,在比利时皇家遗产文化研究所和西蒙斯基金会的支持下,开启了一项研究,提出了一种基于卷积神经网络(CNN)的自监督框架,完美地破解了它。


X 射线得到的混合图像,其实是面板两侧的图像的非线性组合。而这项研究的核心,在于通过建模的方式,找出最终混合图样和每个侧面信息的映射,再借助于一些细节的帮助,进行 X 射线信号的分离。


所以他们的思路转化为,在完全监督的源设置中,从包含混合和单个信号的训练集(可能由同一艺术家以相似的样式绘制的不同绘画)中,让算法分析学习出混合图像到源信号的对应关系。


为此,他们设计了一个自我监督的神经网络,学习如何将 RGB 图像转换为 X 射线图像,然后作为单面板的虚拟图像「重建」,然后通过最小化重建 X 射线图像的误差,比较与原始混合的 X 射线图像之间的差异,让模型学会实现这种分离。
将 RGB 图像转换为 X 射线图像的神经网络结构
整个过程不使用大量标记数据,而是使用了高分辨率的图像(允许创建大量输入补丁),并基于隐式标记训练网络。


具体细节上,他们构建了七层的 CNN ,每个卷积层之间含有批量归一化和整流线性单元(ReLU)激活层。网络的结构受到了 pix2pix 结构启发(pix2pix 使用条件对抗网络进行图像到图像转换)。


通过训练之后,模型实现了输入混合的 X 射线图像,输出两个单独的面板图片。
分离效果超过了所有其他的方法


这种新的方法,在两个独立的测试图像集上得到了应用,很好地再现了画板中「亚当」和「夏娃」的单独细节,其清晰度也远远地超出了预期。


人工智能,让艺术珍品更长久


通过他们的研究,X 射线图样的分离问题得到了完美解决,甚至研究者都没有预料到,通过对深度学习的方法,得到了如此惊人的清晰度。


一位研究人员兴奋地将这个过程,比作是物理学上的探索:通过实验尝试,找出了没有相关理论解释的意外成果。


而接下来,研究团队希望在其他一些著名的杰作上,尝试这种方法:「我们希望看到类似的人工智能方法,对揭示绘画中其他的隐藏特征带来帮助,例如发现早期隐藏的设计」。


而对于著名的《根特祭坛画》,相信有了 AI 技术的加持,必然能更快地闪耀出它最初的光芒。



论文地址:https://advances.sciencemag.org/content/5/8/eaaw7416/tab-pdf
—— 完 ——

扫描二维码,加入讨论群

获得更多优质数据集

回复「读者」自动入群

更多精彩内容(点击图片阅读)

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存