深度学习能辨识壁画上的艺术元素吗？

Original 曹建芳中国图象图形学报 2022-07-02

图片来源网络

在古丝绸之路的敦煌，一座莫高窟，即拥有4.5万余平方米古代壁画，这些古代壁画是人类最为瑰丽的珍宝，也是列入《世界文化遗产名录》的文化遗产。壁画的艺术元素鉴别、创作时代鉴定、绘画风格规律分析、壁画修复等构成文化遗产研究与保护的重要工作。其中，对壁画中的艺术元素实例进行自动分类与识别是后续高层模式识别与艺术内容鉴定的关键技术。

今天图图带大家阅读《中国图象图形学报》2020年第1期封面论文《特征融合AlexNet模型的古代壁画分类》,成果来自太原科技大学计算机科学与技术学院曹建芳老师团队。

关注我们一起努力

题目：特征融合AlexNet模型的古代壁画分类

作者：曹建芳, 崔红艳, 张琦

关键词：壁画分类；特征融合；AlexNet模型；卷积神经网络；壁画数据集

引用格式：曹建芳, 崔红艳, 张琦. 2020. 特征融合AlexNet模型的古代壁画分类. 中国图象图形学报, 25(1): 92-101

全文链接：

http://www.cjig.cn/html/jig/2020/1/20200108.htm

一、研究目的

壁画，是墙壁上的艺术，有石窟壁画、寺观壁画、墓室壁画等。中国古代壁画艺术，兴起于汉晋，盛于唐宋，延至明清，是历史最悠久的绘画形式之一。作为建筑物的附属部分，其装饰和美化功能使它成为环境艺术的一个重要方面。

壁画内容涉及广泛，包含宗教、政治、历史、经济、文化、医学和社会生活等广阔领域，从佛经、教义、神话传说、历史故事、生活场景到山水风光、翎毛花卉、图案装饰等几乎无所不包，内容丰富多彩。

随着计算机技术图像处理方向的不断发展和推广，古代壁画图像也向着数字化时代迈进，如何有效利用这些海量数字资源是一个亟待解决的问题，首要需求就是确定研究对象。

对壁画图像进行分类研究，方便研究者快速有效地从数字壁画库中搜索目标图像，以便对壁画图像进行有序管理和保护。传统特征的提取方法有一定的效果，但需要丰富的先验知识，同时提取到的特征会存在表达不充分和泛化能力不强的问题。

2012年AlexNet网络的问世，深度学习（Deep Learning）成为主流，已经有实验证明在大规模的图像分类上，深度学习技术已经远远胜过了传统的特征编码方法。尤其卷积神经网络深度学习能自主提取特征，从底层的视觉特征抽象到高层的语义特征。

图片来源网络

因此，论文将卷积神经网络用于壁画分类，借鉴经典卷积神经网络AlexNet网络结构，综合考虑壁画数据量和网络结构的影响因素，通过对比实验确定模型参数，提出一种既具有纵向延伸，又兼有横向扩展特点的卷积神经网络模型来实现壁画图像的自动分类。

二、研究方法

针对单层网络可能对图像的特征学习不够充分，结合宽度的影响因素，以经典AlexNet网络模型为基础，将网络拓宽到两个通道充分提取壁画特征，提出了一种结合特征融合思想的卷积神经网络模型用于古代壁画图像的自动分类。网络结构如图所示。

基于特征融合AlexNet的壁画图像分类模型

首先，提取壁画图像第一阶段的边缘等底层特征；

其次，采用结构不同的双通道网络对提取的第一阶段特征进行第二阶段的深层抽象，得到两个通道的特征；

最后，融合两个通道的特征，共同构建损失函数得到分类结果，从而提高模型的鲁棒性和特征表达能力。

壁画图像分类流程图

三、数据集

论文所有数据均来自《中国敦煌壁画全集》和《中国丝绸之路的墓室壁画》画册的扫描版，时间上从汉代沿革到清代，地域上跨越了东部、中部和西部，涵盖了不同朝代不同地区的壁画题材。

通过对收集的古代壁画艺术图像进行研究，将数据集的类别设定为佛像、菩萨、祥云、世俗人物、佛弟子、动物、植物和建筑等八类艺术形象。论文对采集到的数据使用缩放、亮度变换、加噪和翻转等数据集增强算法来进行扩展。

不同形象图像示例

不同朝代图像示例

不同地域图像示例

扩展数据集示例

四、实验结果

在所构造的壁画图像数据集上，论文模型最终达到了85.39%的准确率。

与未进行预训练的经典模型同时运行1万步的比较结果如下图所示。可看出论文网络结构不易产生过拟合现象，究其原因主要是其他网络都属于大型的深层次模型，训练参数大，耗时较大，同时对图片数量要求比较严格，当数据集较小时容易产生过拟合，提取的特征不能充分表达壁画特征。

与结合预训练的经典模型相比，准确率大致有1%-5%的提升，如下图所示。主要是由于论文模型并未在ImageNet这样的大数据集上进行预训练，而是直接从壁画图像自身开始训练模型，提取的特征更贴合壁画图像特征，说明自然图像与融合了人的主观设计思想的壁画图像在特征提取方面还是有一定的差距。

与一些改进的卷积神经网络模型相比，准确率均有大约5%的提高，如下图所示。说明论文模型设定的网络层数可以学习到更加丰富的特征，同时不同的卷积核的使用也丰富了网络的表达能力。

整体来看，论文方法从硬件条件、网络结构和内存消耗上来说代价更小。

五、结语

壁画是个百科全书，取之不尽。通过壁画可以看到很多画以外的东西，宗教、考古、民俗、体育、陶瓷、服装等各个专业的人都可以从中受到启发。“铭书非晋代，壁画是梁年”，壁画是我国艺术宝库中的瑰宝，它既有深邃的艺术价值，又具有现实的史学价值，还具有很高的开发利用价值。“石碑文不直，壁画色多枯”，对壁画的保护和分类管理方面的研究应多多重视。

六、作者简介

曹建芳，博士，教授，太原科技大学硕士生导师，忻州师范学院科研处副处长。

主要研究方向为数字图像理解、大数据技术等。所带领的古代壁画图像智能修复关键技术研究团队，主要致力于从事图像分析与模式识别、壁画图像数字化传承与保护、五台山文化等领域的研究工作。

E-mail：kcxdj122@126.com

崔红艳，硕士研究生，主要研究方向为机器学习与数字图像处理。

E-mail:1294865211@qq.com

张琦，硕士研究生，主要研究方向为数字图像理解。

E-mail：806660935@qq.com

七、推荐阅读

图片来源网络

为了探究深度学习算法在数字壁画修复上的应用前景及问题，图图访问了西南林业大学的强振平老师和云南大学的徐丹老师，点击深入阅读：