学者观点 | 非真实感绘制技术研究现状+挑战

非真实感绘制技术(NPR)关注不同艺术风格的模拟和不同艺术特质的表现，追求不具有照片般真实感的手绘风格，分析和挖掘文化艺术作品的情感和内涵，已广泛应用于艺术作品的数字化模拟、广告宣传、媒体娱乐和网络教育等邻域。深度学习因其强大的特征提取能力，研究者也提出基于深度学习的艺术风格作品数字化模拟。

NPR封面推荐：水墨图像模拟

《中国图象图形学报》2014年6月封面

NPR封面推荐：云南绝版套色木刻模拟

《中国图象图形学报》2015年7月封面

图图推荐云南大学钱文华教授、徐丹教授团队的最新成果《非真实感绘制技术研究现状与展望》，论文发表在《中国图象图形学报》2020年第7期的“学者观点”栏目，上线后获得极高关注

• 总结了非真实感绘制技术的研究现状，指出本领域面临的技术问题，以及值得关注的重点方向

• 对基于深度学习的非真实感绘制模型进行重点归纳总结

• 详细描述了不同方法的创新工作并分析了存在的问题、应用前景等

论文信息

论文标题：非真实感绘制技术研究现状与展望

论文作者：钱文华,曹进德,徐丹,吴昊

作者单位：云南大学信息学院；东南大学自动化学院

全文链接：

http://www.cjig.cn/html/jig/2020/7/20200701.htm

非真实感绘制技术研究现状

一、基于图像建模的艺术风格模拟

研究者从图像建模的角度，基于笔触渲染、图像类比、图像滤波的方法，对水彩画、素描画、油画等大众喜闻乐见的艺术作品，水墨画、中国书法等来自中国的艺术作品，以及蜡染画、版画等少数民族的艺术作品进行数字化模拟研究，产生了大量优秀的艺术风格数字化模拟作品，并成功应用于动画、遗产保护等领域。

图1 抽象画数字模拟结果(钱文华 等，2015)点击蓝字，了解文献详情

图2 铅笔画数字模拟结果(周汐 等,2015)

二、基于深度学习的艺术风格转换

基于深度学习的非真实感绘制提高了网络的泛化能力，同一网络可对多种不同艺术风格进行传输，为非真实感绘制和艺术风格模拟提供了新的模型和方法。然而，网络模型需要输入的内容图像和风格图像具有相似性，当内容图像和风格图像差异较大时，产生的结果图像质量较差；基于深度学习的方法往往针对特定的艺术风格构建网络模型，针对每一类艺术风格构建不同的网络模型，提高网络模型的泛化能力本身就是难点所在。

图3 深度风格转换结果（Luan等，2017）

图4 卡通风格化CartoonGAN(Chen等，2018)

表1 非真实感绘制方法比较

三、中国特有艺术作品的数字化模拟

非真实感绘制技术研究的不断深入以及应用领域的不断扩展，针对中国特有艺术作品，如中国工笔画、中国水墨画、剪纸、中国书法等艺术风格的模拟和绘制方法也逐渐被提出。此外，针对少数民族文化艺术作品的数字化模拟和绘制方法。然而，中国特有的艺术风格形式多样，模拟结果与艺术风格化图像在针迹、笔划、纹理等细节相似度不足；此外，由于时代变迁，部分艺术作品存在着丢失、损坏等情况，获取的数据样本不足，限制了这部分艺术作品的采样、模拟。

（a）刺绣艺术风格迁移流程图

（b）目标图像、参考图像与模拟结果

图5 刺绣艺术风格模拟(郑锐 等，2019)

四、非真实感艺术效果情感识别

对艺术风格的情感特征分析和识别，有利于提高数字化模拟结果与艺术风格的相似度，成为非真实感绘制技术研究的难点之一。通过画面分析情感特征，获得情感倾向，有利于非真实感绘制模拟结果表示出创作者意图，同时能有效提高智能信息检索的精度和效率，可以为用户提供个性化的非真实感数字化模拟服务，在作品中融入用户的情感。

图6 真实东巴画艺术效果

五、非真实感视频场景绘制

视频场景的艺术风格模拟，扩展了非真实感绘制技术的应用领域，在自然景物模拟、网络传输、游戏、动画、娱乐等领域有较大社会和经济价值。当视频场景较复杂、纹理结构多样时，获得连续、自然、流畅的非真实感场景仍然具有挑战；不同艺术风格如何在视频场景进行模拟和传输也是研究者追求的目标。

图7 视频场景风格化传输(Delanoy 等，2019b)

非真实感绘制技术面临的问题

一、不同艺术风格的数字化模拟

对不同艺术风格和艺术媒质的模拟和仿真始终是非真实感绘制追逐的主要目标，如何模拟不同风格的多样性艺术作品，增强艺术表现力，成为非真实感绘制技术面临的问题之一。

二、视频帧间连贯性

随着数据规模的不断扩大，视频场景的复杂化，网络、影视媒体等领域对特定非真实感绘制效果的要求逐渐增加，如何确保视频帧之间的连续性，提高深度网路模型，减小风格化绘制之后视频播放时视频帧之间的抖动和跳变，提高绘制算法的通用性、灵活性，是非真实感绘制技术面临的问题。

图8 视频帧分块和风格传输(Frigo等，2019)

三、非真实感绘制艺术效果的情感识别

由于绘画种类的多样性、复杂性，仍需要探索不同绘画大师、不同民族艺术风格绘画作品的情感提取、分类、识别方法，探索和理解艺术作品高层语义特征，从创作者的角度出发，模拟艺术风格特征的同时，表现出艺术风格原有的情感特征，提高模拟结果的准确性。

（a）莫奈绘画作品；（b）频域特征；（c）不同方向能力特征

图9 莫奈艺术作品及情感特征提取(Zhu 等,2017b)

四、非真实感绘制艺术效果的评价标准

可通过客观与主观评价相结合的方式，结合人们观察图像的视觉兴趣计算评价测度，挖掘和识别艺术图像的情感特征，有利于研究者分析模拟艺术作品的好坏，提高艺术表达的准确性，更加符合人们的审美标准，此外，评价指标的结果可以作为非真实感绘制网络中算法和参数的优化依据，进一步提升绘制效率，扩展应用领域。

作者简介


钱文华，教授，主要研究方向为图像处理、计算机视觉。E-mail: [e-mail]

点击进入个人主页

曹进德，通信作者，教授，主要研究方向为人工智能、数学。

E-mail: [e-mail]

徐丹，教授，主要研究方向为模式识别、计算机视觉、图像处理。

E-mail:[e-mail]

吴昊，讲师，主要研究方向为图像处理、图像修复。

E-mail:[e-mail]

学报相关论文

杨秀芹, 张华熊. 2020. 双核压缩激活神经网络艺术图像分类. 中国图象图形学报, 25(5): 967-976

李宗彦, 钱文华, 徐丹, 普园媛. 2020. 多尺度双通道卷积神经网络下的刺绣模拟. 中国图象图形学报, 25(2): 343-353

盛家川, 李玉芝.  2018. 国画的艺术目标分割及深度学习与分类. 中国图象图形学报, 23(8): 1193-1206

潘龙, 纪庆革, 陈靖. 2017. 线积分卷积与双色调映射相结合的彩色素描模拟方法. 中国图象图形学报, 22(7): 875-885

钱文华, 徐丹, 官铮, 普园媛, 喻扬涛, 杨萌.2017. 粉笔画艺术风格模拟. 中国图象图形学报, 22(5): 622-630

"图图Seminar" 直播回放

回放平台

知网平台：

http://k.cnki.net/Room/Home/Index/181822

B站：

https://space.bilibili.com/27032291

往期目录

汪荣贵——机器学习基本知识体系与入门方法

陈强——从Cell封面论文谈AI研究中的实验数据问题

石争浩——从先验到深度：低见度图像增强

行知论坛——南理工行知论坛&图图Seminar：智能画质增强专题

孙显——遥感图像智能分析：方法与应用

章国锋——视觉SLAM在AR应用上的关键性问题探讨

林宙辰——机器学习中优化算法前沿简介

白相志，冯朝路——“医学图像与人工智能”主题论坛

李雷达——以人为中心的图像感知评价：从质量到美学

汪荣贵——深度强化学习系列课程1-4讲

张明敏，郭诗辉——“人工智能与虚拟现实”主题论坛

高连如——高光谱遥感图像处理与信息提取

杨杨——“出身决定论”？看科研之路如何逆袭

     好文推荐
❂ 专家报告
❂ 论文写作

本文系《中国图象图形学报》独家稿件

内容仅供学习交流

版权属于原作者

欢迎大家关注转发！

编辑：秀   秀

指导：梧桐君

审校：夏薇薇

总编辑：肖   亮

声  明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。

我就知道你“在看”