数据共享 | 面向本征图像分解的高质量渲染数据集
第423篇原创，您的关注是对图图最大的鼓励！
中国图象图形学报本征图像分解是计算机视觉邻域的经典研究问题之一，旨在从图像中估计出场景中的光照成分和纹理成分，在计算机视觉许多算法和应用中有着很高的应用价值。
今日图图推荐《中国图象图形学报》“三维视觉和智能图形”专刊的数据集论文——面向本征图像分解的高质量渲染数据集。
论文通过大规模真实感渲染，提出了一个包含21 000组图像的场景级本征图像数据集，并设计了一个针对本征图像分解问题的图卷积网络。成果来自北京大学陈宝权教授团队。
面向本征图像分解的高质量渲染数据集与非局部卷积网络
论文作者：王玉洁, 樊庆楠, 李坤, 陈冬冬, 杨敬钰, 卢健智, Dani Lischinski, 陈宝权
引用格式：王玉洁, 樊庆楠, 李坤, 陈冬冬, 杨敬钰, 卢健智, Dani Lischinski, 陈宝权. 2022. 面向本征图像分解的高质量渲染数据集与非局部卷积网络. 中国图象图形学报, 27(2): 404-420
[DOI: 10.11834/jig.210705]
全文链接：
http://www.cjig.cn/html/jig/2022/2/20220207.htm
论文针对基于单张图像的本征分解任务，提出了一个包含20K训练图像样本的合成数据集，提供了逐像素的反照率标签和亮度图像标签。在数据集构造时，采用了与现实室内场景高度接近的三维场景模型，使用了丰富的纹理素材，并模拟了室内的真实光照环境，最终使得数据集中的图片具有高度的照片真实感。与之前提出的数据集相比，该数据集中的图片具有更丰富的纹理，在场景布局上更加复杂，更加符合真实室内场景的光照，并且噪声更少，从而有利于使训练得到的深度学习模型具有更强的泛化能力。论文将此前的几种深度学习方法，在该数据集和对比数据集上进行训练，所得到的实验结果验证了所提出数据集的有效性。
同时，论文提出一个基于图卷积网络的本征图像分解模型，在论文中所提数据集上训练，实现了较好的定量结果和明显提升的视觉结果，并具有较好的泛化能力。此外，论文在一系列应用任务上，对比分析了所提方法产生的分解结果的质量。
数据集获取地址：
https://github.com/rongduo/photorealistic_inrinsic_dataset
通过与对比方法的一系列比较，综合验证和分析了论文所提数据集和方法的有效性。此外，通过将所提方法和其他两种前沿的本征分解方法的分解结果应用于一系列图像编辑任务中，进一步直观地展示了每种方法产生的分解结果的质量以及在应用任务中的效果。
然而，在不利用几何信息的情况下,深度学习网络对纹理的变化和由阴影等光照现象产生的颜色变化的区分能力有限。同时,仅将图像分解成为反照率图像和亮度图像，所能支持的编辑任务有限。未来考虑对场景的几何信息、光照信息和表面材质属性等进行联合估计或优化,提升分解质量，并支持更丰富的应用任务。
王玉洁，山东大学博士研究生，主要研究方向为本征图像分解、全息图像生成与压缩及三维深度学习。
E-mail:yujiew.cn@gmail.com
曾任教育部科学技术委员会信息学部委员以及 ACM TOG 编委和 IEEE VIS 指导委员会成员。获美国国家科学基金会杰出青年学者奖(NSF CAREER Award 2013)、中国计算机图形学大会杰出奖(2014)。获国家杰出青年科学基金资助(2010)。入选长江学者特聘教授(2015)、万人计划领军人才(2016)、中国计算机学会会士(2018)、IEEE Fellow(2019)、中国图象图形学会会士(2021)、IEEE Visualization Academy(2021)。E-mail：baoquan@pku.edu.cn
樊庆楠，高级研究员，主要研究方向为计算机视觉、计算机图形学。
E-mail: fqnchina@gmail.com
李坤，副教授，主要研究方向为计算机视觉、计算机图形学、图像/视频处理。
E-mail:lik@tju.edu.cn
陈冬冬，高级研究员，主要研究方向为图像生成和表示学习。
E-mail:cddlyf@gmail.com
杨敬钰，教授，主要研究方向为计算机视觉、智能图像/视频处理。
E-mail: yjy @tju.edu.cn
卢建智，架构师，主要研究方向为分布式计算、渲染。
E-mail: ljz@3vjia.com
Dani Lischinski，教授，主要研究方向为计算机图形学、图像视频处理和计算机视觉。E-mail: danix@mail.huji.ac.il
《中国图象图形学报》
前沿/热点专题征文来了~
“类脑视觉”专题征文
《中国图象图形学报》
前沿专刊专栏上线啦~
本文系《中国图象图形学报》独家稿件
内容仅供学习交流
版权属于原作者
欢迎大家关注转发！
编辑：影南
指导/审核：秀秀，梧桐君
总编辑：肖 亮
声 明
欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。