查看原文
其他

浙大博导用AI修复古画,这招靠谱吗?

奋发向上的 浙江大学 2023-08-28


古画,不应该总是灰蒙蒙的。


在这个数字化时代,我们面临着越来越多的文化遗产保护挑战。古画的色彩复原就是其中之一。


在去年中国国家博物馆揭幕的“中国历代绘画大系”成果展中,浙江大学艺术与考古学院百人计划研究员唐谈遇到了一位可爱的小女孩。小女孩问她妈妈:“妈妈,为啥这里的画看起来都旧旧的,它们原来就是这种颜色吗?”


这让唐谈意识到,时光荏苒,即便我们的数字采集手段再先进,遗失的色彩也无法穿越时空回到我们身边。于是,他想到用AI做一个大模型,来找回“遗失的美好”。


“说用AI修复古画可能不够准确,我们更多的是借助人工智能的一种‘再创作’。”唐谈介绍,团队的项目叫做“诗画一律:在诗意中寻找古画的色彩”,立志于艺术与科技的无界探索和交叉研究,探索利用AI赋予中国传统绘画新的生命力。





是“理科脑”,也有“文艺范”


唐谈今年刚过29岁,博士刚毕业2年,年轻、朝气,思路敏捷、讲话爽脆。


他的个人主页上,有一串简单的履历:本科就读于浙江大学竺可桢学院数学与应用数学专业,直博毕业于浙江大学计算机科学与技术学院计算机科学与技术专业,立足“学霸人设”。如今,他的身份是浙江大学艺术与考古学院百人计划研究员,担任博士生导师。


一个纯粹的理科生,为什么会转身进入艺术领域的探索?


唐谈在介绍中国历代绘画大系项目。受访者本人提供


“我从小就学过素描,对书画很感兴趣。在浙大读书多年,又接触到中国历代绘画大系项目。”他回归学校教书,和浙江大学一个历时十八载的大项目有关——中国历代绘画大系。由浙江大学、浙江省文物局编纂出版“中国历代绘画大系”,是2005年习近平同志亲自批准,多年来一直高度重视、持续关注的一项规模浩大、纵贯历史、横跨中外的国家级重大文化工程。


2021年5月,“盛世修典——‘中国历代绘画大系’成果展”在全国范围内启动。传统水墨丹青与现代数字科技深度交融,充分展示了“大系”的中国特色、中国韵味、中国气派,全面展现了历代绘画精品的博大精深和文化保护传承利用的广阔前景,一批又一批观众在历史长河与时代律动中,感受着生生不息的中华文脉。


“大系”在策展上并不满足高清图像打印件的简单呈现,而是需要艺术与科技的深度融合,让中国古代绘画真正“活起来”,让观众有更多沉浸式的体验。在这个契机下,唐谈加入了“大系”策展团,用擅长的学科知识,探索人工智能在艺术设计中的可能性。“我时常思考,是否可能在展览中,将古画遗失的色彩再带回我们的世界。”


今年初,这个带着“文艺范”的年轻人,着手开始探索。



以“诗与画”,寻找“意境色”


“完成这项任务需要一种力量,它能够穿越时空,永葆本色,为我们进行色彩还原提供依据。但是这个依据从哪里来?”在今年的第二届全民阅读大会上,唐谈找到了答案。


浙江展览馆的“大系”特展上,一个小男孩在父母面前朗诵起吴昌硕《厓菊图》上写的题诗。“南山高百丈,探秋时一上”、“根下丹泉流,泉甘菊苗长。”在朗朗诗声中,唐谈意识到,是文字,拥有穿越时空的力量——“古画也许会褪色,但古诗不会。相反,诗歌通过文字传递意境,唤起情感的共鸣,在时间长河中架起一座桥梁,串联起古往今来的人们。”


这种力量,为他寻找古画的色彩打开了一扇新的大门。


唐谈(左)指导学生使用AI工具修复古画。潮新闻记者 姚颖康 摄


“诗画本一律,天工与清新”,语出苏轼的《书鄢陵王主簿所画折枝二首》。诗是语言的艺术,绘画属于造型艺术。诗与画的关系在西方有着激烈的争辩。唐谈认真分析了苏轼的“诗画本一律”观点,作为两种不同的艺术形态,两者的“一律”必然是一种“深层”的“相通”。苏轼认为绘画和诗有着相似的创作规律,相似的欣赏原则,相似的创作目的和相似的审美类型,这也就是两者“一律”的根本原因。为了刻画这种深层次的相通关系,唐谈和团队引入了跨模态大模型,通过大数据与深度学习来寻找诗与画的映射关系。


唐谈以董源的《龙宿郊民图》,给我们通俗地讲解了大模型的“智慧”。


这一幅创作于五代的绢本设色图,是青绿山水画的代表作品。但因为年代久远,现存真品的画面已显得较为暗淡。


“怎么找回山间的色彩?我们的大模型讲究‘诗画一律’,光以画推画,信息量有限,还得要找到一首诗。”唐谈提到,在这幅作品上,有乾隆皇帝的长篇题跋。AI以此为核心,首先创作出一首七言诗——“山势舒坦静若盼,矾头云卷烟霞间。树木葱茏争荫浓,江畔风吹树叶飘。灯笼树梢点缀处,彩旗飘扬两舟前。春雨沐草滋人生,祥龙喜兆降瑞年。”


只选中图片,页面的左边就会显示出上百幅不同年代与之相关的作品。但当他选中前两句表达山头景色的诗句时,页面的右边就跳出了几幅作品和热力图。“这是AI认为最接近这幅画和诗歌意境的作品,比如这幅《江堤晚景图》,也是青绿山水代表作之一。”他解释说,一般来讲,AI选出的画和原画都有着较为深厚的关系,可能是有师徒关系甚至是同一作者的作品,也可能是同一时期或者风格相近的作品。


选中修复区域,一片极具意境感的青绿色便渲染到《龙宿郊民图》的山巅,过程只需要几秒到十几秒。



要“快精准”,更要“人情味”


目前,唐谈团队的诗画融合大模型已经实现了高效探索古画色彩空间的手段,但是这项技术能否真的应用于古画修复流程?


“能!”唐谈坚定地回答,团队在开发过程中也请教了多位古画修复师和相关领域专家,尽管对于AI修复古画在概念上还存在争议,但是大家普遍认可,大模型能帮忙从业者节省时间,提升效率。


传统的古画修复流程大致可分为洗、揭、补、全等多个步骤,这项工作要求修复专家在拥有深厚的文学知识同时,也拥有极深的艺术造诣,一幅作品的修复往往要花上几个月到数年的时间。比如《菩萨焚香图》,艺术家文晢的整个修复临摹过程耗费九个月,大量的时间花费在了文献考究,例如,作者会从早期的黑白照片中去寻找当前壁画缺失的部分,细致的画工也需要时间来打磨。


唐谈在测试数字展陈设备。潮新闻记者 姚颖康 摄


“数字化提供了更便捷的修复条件,通过我们的大模型,修复师原本以‘周’为单位的资料搜集过程可以缩短到一两天,大大减少试错成本。”唐谈认为,现代艺术家可以使用多种数字设计工具来临摹旧时画作,对于培养下一代的修复专家也有帮助。


古画的创作者和欣赏者,最终都是人。唐谈说:“我们用这种方式修复古画,是融入了人的创意,让我们的画更有人情味,而不只是冷冰冰的数学符号。”


目前,唐谈的探索仍未结束。


“绘画强调色彩和意境,意境最难掌握,我们也在质疑chatGPT的文字缺乏诗意,在利用AI修复古画时,怎么掌握这个度?”在7月的一次演讲中,现场观众提出尖锐问题,在唐谈看来,意境是读到诗句时,在脑海中形成的一幅画卷,如何实现“诗画共鸣”,正是团队不断努力的方向。“传统绘画色彩修复不仅仅是一项技术活,更是一种文化传承的责任。我们的愿景是将传统绘画色彩修复与当代科技相结合,努力实现文化遗产的保护、传承与发展。”



内容来源:潮新闻客户端(文字记者 陆遥 姚颖康 通讯员 柯溢能)

今日编辑:浙江大学融媒体中心学生记者团 韩鸣筝

责任编辑:周亦颖


推荐阅读


1.浙大学子的迷彩青春,真飒!2.快看!浙大学生挖出了……3.再!夺!金!陈小丽,好样的!4.首日摘金!浙大学子出征成都大运会5.厚植党建土壤,用心守护人才繁花6.关注!这份小贴士,伴你安全过夏!

点个赞和在看,一起为唐谈点赞!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存