亮风台新提端到端AR投影光学补偿算法 | CVPR 2019 Oral
【编者按】作为计算机视觉领域里的顶级会议，CVPR 2019 录取论文代表了计算机视觉领域在2019年最新的科技水平以及未来发展潮流。今年有超过 5165 篇大会论文投稿，最终录取 1299 篇。这些录取的最新科研成果，涵盖了计算机视觉领域各项前沿工作。而此次介绍的来自美国天普大学（Temple University）和美图-亮风台联合实验室的黄兵姚和凌海滨提出了端到端的投影广度补偿的策略。据了解，相关论文《End-to-end Projector Photometric Compensation》还入选了CVPR 2019 的 oral presentation，代码已经开源。
论文地址：
https://arxiv.org/abs/1904.04335v1
黄兵姚1,2，凌海滨1
1 天普大学
2 美图亮风台联合实验室，亮风台信息科技
摘要
投影仪光度补偿旨在修改投影仪输入图像，使得它可以抑制或抵消投影表面上面纹理或图案带来的干扰。
在本文中，我们首次将补偿问题表述为端到端学习问题，并提出一个名为CompenNet的卷积神经网络来隐含地学习复杂的补偿函数。 CompenNet由一个类似UNet的骨干网和一个自动编码器子网组成。这种架构鼓励相机捕获的投影表面图像和输入图像之间的丰富的多级交互，因此捕获投影表面的光度和环境信息。此外，视觉细节和交互信息是在多级跳过卷积层中进行的。该架构对于投影仪补偿任务特别重要，因为在实践中仅允许使用很小的训练数据集来保证模型学习的速度。
我们做出的另一项贡献是一种新颖的评估基准，它独立于系统设置，因此可以进行定量验证。据我们所知，由于传统评估要求硬件系统实际投影最终结果，因此以前无法获得此类基准测试。从我们的端到端问题公式出发，我们的主要思想是使用合理的替代来避免这种投影过程，从而达到独立于系统设置的评估标准。我们的方法在基准测试中得到了仔细的评估，结果表明，我们提出的解决方案在定性和定量指标上都优于现有技术水平。
1. 介绍
图1. (a) 正常光照下的具有纹理和颜色的投影屏幕。(b) 投影仪投射的图片（也是我们想要看到的效果）。(c) 相机拍摄到的，没有补偿的投影结果，即将(b)直接投影到(a)上。(d) 我们模型计算出的补偿图。(e) 相机拍到的补偿后的效果，即将(d)投影到(a)上。比较(c)和(e)，我们看到明显提升的效果和细节。
投影仪广泛用于演示，电影，结构光和投影映射等应用。为了保证用户看到的投影质量，现有的投影仪系统典型地要求投影表面（屏幕）是白色和无纹理的，并且处在在合理的环境光照下。然而这种要求在很大程度上限制了这些系统的适用性。为了解决以上限制，投影仪光度补偿，或简称投影仪补偿，旨在通过修改投影仪输入图像来补偿投影表面以及相关的环境光度。如图1所示，其中补偿的投影结果（e）明显比未补偿的投影结果（c）更令人视觉舒适。
典型的投影仪补偿系统包括相机-投影仪对和放置在固定距离和方向上的投影表面。首先，投影仪将一系列采样图像投射到投影表面，然后投射的采样图像会根据投影表面材料被吸收，被反射或被折射。一旦相机捕获了所有投影的采样图像，我们会根据投射的和捕获的采样图像对来拟合一个从投影仪输入图到相机捕获图的复合辐射传递函数。然后使用该函数（或其反函数）推断新的投影仪输入图像的补偿图像。现有的解决方案通常显式地地对补偿函数进行建模，其中通过各种简化的假设，使得补偿函数的估计变得容易。然而，这些假设往往是违反实际情况的，例如依赖于背景（第2节）。此外，由于投影，反射和捕获这个光学过程的巨大复杂性，对补偿过程显式建模几乎是不可能的。在本文中，我们首次提出了端到端投影仪补偿方案，用以解决上述问题。我们首先将补偿问题重新定义为一种可以在线学习的新颖形式，如同投影仪补偿实际要求的那样。这种问题构造就使得我们开发出一种名为CompenNet的卷积神经网络（CNN），以隐含地学习复杂的补偿函数。特别是，CompenNet由两个子网组成，一个类似UNet的骨干网和一个自动编码器子网。首先，自动编码器子网激励相机捕获的投影表面图像和投影仪输入图像之间的丰富的多层次交互，这样我们可以提取到投影表面的光度和环境信息。其次，类似UNet的骨干网络，我们也使用多级跳过卷积层将视觉细节和交互信息传送到更深层和输出层。这两个子网共同使CompenNet在实践中有效，并使得CompenNet学习从相机捕获到的投影图像到投影仪输入图像的复杂反向映射。此外，我们还设计了一个预训练方案，只需牺牲一点精确度就可以进一步提高网络训练效率。本文讨论的另一个问题是目前这个领域缺乏一个投影仪补偿模型的评价基准，主要是因为传统评价高度依赖于环境设置。具体地说，为了评估补偿算法，理论上，其实验结果是需要实际投影和捕获，然后再定量地与真值进行比较。这个过程使得共享相同的评价基准不切实际的。在我们这项工作中，我们提出一个替代评价协议，该协议不要求实际投影。这样，我们首次构建了一个可共享的独立于环境设置的评价基准。
本文提出的投影仪补偿网络，即CompenNet，在替代评价基准上进行评估，该基准经过精心设计，以涵盖各种具有挑战性的因素。在实验中， 与最先进的解决方案相比CompenNet显示出明显的优势。总之，在本文中，我们做出以下贡献：
1. 我们首次提出了一种用于投影仪补偿的端到端解决方案。这种解决方案允许我们的系统有效地和隐式地捕获投影仪补偿过程中涉及的复杂光学过程。
2. 我们提出的CompenNet有两个重要的子网，它们可以让投影表面和投影仪输入图像之间实现丰富的多层次交互，并通过网络传输交互信息和结构细节。
3. 我们提出了一种预训练方法，以进一步提高我们系统的实用效率。
4. 我们首次构建了与独立于环境设置的投影仪补偿评价基准，这有助于这个领域将来的研究工作。源代码，基准测试和实验结果可在https://github.com/BingyaoHuang/CompenNet上获得。
2. 相关研究
理论上，投影仪补偿过程是一个非常复杂的非线性函数，涉及相机和投影仪传感器的辐射响应，镜头失真/渐晕，散焦，表面材料反射特性和相互反射。目前已有大量的研究致力于设计实用和准确的投影仪补偿模型，这些模型大致可分为情景相关和情景独立的模型。详细的讨论可以在[4,12]中找到。
情景独立的方法通常假设在投影仪输入图像和相机捕获图像的像素之间存在近似的一对一映射，即，相机捕获图像的像素仅取决于其对应的投影仪输入图像的像素，和被这个投影仪像素照明的表面块。即，每个像素大致独立于其邻域像素。 Nayar等人的先驱工作提出了一种线性模型，该模型使用3×3颜色混合矩阵将投影仪光线亮度映射到相机检测到的辐照度。 Grossberg等通过在相机捕获的辐照度上添加3×1矢量来改善Nayar的工作并对环境光照进行建模。然而，他们需要一个光谱辐射计来标定相机的均匀辐射响应函数。此外，正如[20]中所指出的，即使使用光谱辐射计，通常也会违反均匀辐射响应的假设，更不用说线性度。考虑到传递函数的非线性，Sajadi等用93 = 729个采样图像拟合了一个平滑的高维Bezier贴片模型 。 Grundhofer和Iwai提出了一种基于薄板样条（TPS）的方法，并将采样图像的数量减少到53 = 125，并通过全局优化步骤进一步处理剪切误差和图像平滑度。除了以数学方式优化图像颜色之外，有一些方法还特别关注人类视觉感知特性，例如，Huang等人通过探索人类视觉系统的色彩适应和感知锚定属性来生成令人视觉愉悦的投影图像。此外，使用色域缩放可最大限度地减少由于相机/投影仪传感器限制导致的剪切伪影。尽管以上方法在很大程度上简化了投影仪补偿问题，但由于诸如投影仪和投影表面的距离，透镜畸变，散焦和表面相互反射等许多因素，在实践中通常会违反情景独立的假设。此外，显然一条投影仪射线可以照射多个表面块，一个表面块也可以被其周围表面块的相互反射来照明，并且相机像素也是由多条贴片反射的光线确定的。
情景相关的方法通过考虑来自邻域的信息来补偿像素。 Grundhofer等通过先前分析投影表面和图像来处理视觉伪像并提高亮度和对比度。Li等通过稀疏采样和线性插值将采样图像的数量减少到至少两个。他们提取多维反射矢量作为颜色传递函数控制点。由于采样点的尺寸小，这种方法可能是敏感的投影或聚焦和镜头渐晕。使用这些不可靠的样本进行简单的线性插值可能会增加补偿误差。除了计算一个补偿模型，Aliaga等引入了运行时线性缩放操作来优化多个投影仪补偿。Takeda等提出了一种使用紫外LED阵列的相互补偿方法。情景相关类方法通常通过集成更多信息来改进先前的情景独立的方法。然而，由于全局照明，投影表面和输入图像之间的复杂相互作用，很难对理想的补偿过程进行建模或近似。此外，大多数现有工作集中于减少像素颜色误差，而不是同时改善与目标图像的像素颜色误差和结构相似性。我们的方法属于情景相关类，并且实际上通过使用CNN结构来捕获更丰富的情景信息。作为第一个端到端的基于学习的解决方案，我们的方法隐式且有效地模拟了复杂的投影仪补偿过程。此外，我们提出的评价基准是第一个可以被共享的，可验证的定量评估的基准。
我们的方法其实受到了最近的基于深度学习的图到图迁移模型的启发，如pix2pix，CycleGAN，风格转移，图像超分辨率和图像着色等。也就是说，作为第一个基于深度学习的投影仪补偿算法，我们的方法与这些研究有很大的不同，并且有其特殊的约束条件。例如，与上述训练一次然后就可以运用在不同场景的CNN模型不同，在我们的场景下如果系统设置发生了变化，则需要快速重新训练投影仪补偿模型。然而，在实践中，采集训练图像和训练模型都是耗时的。此外，诸如图像裁剪和仿射变换之类的数据增强不适用于我们的任务，因为每个相机像素与其对应的投影仪像素的邻域以及由像素照射的投影表面贴片强耦合。此外，一般图到图的迁移模型不能拟合在全局光照，投影仪背光和投影表面之间的复杂光谱相互作用。事实上，在我们的实验评价中，我们所提出的方法在定性和定量指标上明显的优于经典的pix2pix模型。
3. 深度投影仪补偿
3.1 问题定义
我们的投影仪补偿系统包括一个相机-投影仪对和一个平面投影表面。 令投影仪输入图像为x; 并让投影仪和相机的复合几何投影和辐射传递函数分别为πp和πc。 设表面光谱反射特性和光谱反射函数分别为s和πs。 让全局照明辐照度分布为g，然后相机捕获的图像~x，由下式给出：
投影仪补偿的问题是找到一个投影仪输入图像x*，名为x的补偿图像，使得相机捕获的图像与所希望的观看者感知图像一致，即，
然而，在上述情况下的光谱相互作用和光谱响应是非常复杂的，并且传统方法并不能很好的解决。 此外，实践中也很难直接测量g和s。 出于这个原因，我们使用相机捕获的全局照明和投影仪背光下的表面图像，并用这张图捕捉它们的光谱相互作用：
图2：所提出的投影仪补偿管道的流程图包括三个主要步骤。 （a）投影并捕捉投影表面图和一组采样图像。 （b）使用投影表面图和捕获的图像对训练所提出的CompenNet，即π†θ。 （c）利用训练的模型，补偿输入图像y并投影。
其中x0理论上是一张全黑的图。 实际上，即使输入图像为黑色，投影仪也会输出一些背光πp（x0），因此我们将这个因子封装在~s中。 当全局照明较低时，~s会受到因相机动态范围导致的色域剪切影响，因此我们将x0设置为纯灰色图像以提供一些照明。 将方程式2中的复合辐射传递函数表示为π并用~s代替g和s，我们得到补偿问题为
其中π†是π的逆函数，显然没有闭解。
3.2 基于学习的表述
基于学习的解决方案的关键要求是可用的训练数据。 在下文中，我们推导出一种收集此类数据的方法。 观察§3.1中的问题表述，我们发现：
这表明我们可以从采样的（~x，x）和一张投影表面图学习π†，如图3所示。 事实上，一些先前的解决方案使用了类似的想法来拟合π†，但是基于一些简单的假设和没有考虑~s。 相反，我们使用深度神经网络解决方案重新制定投影仪补偿问题，该解决方案能够保持投影仪补偿的复杂性。 特别是，我们使用端到端可学习卷积神经网络对补偿过程进行建模，该网络名为CompenNet，本文中表示为π†θ（见（图2（b）），使得：
其中^x是~x（不是x）的补偿，θ包含可学习的网络参数。 值得注意的是，只要环境设置不变，就可以固定~s，因此在训练和预测中只需要一个~s。 通过使用方程式5，我们可以生成N个训练对，表示为
我们的损失函数旨在通过结合逐像素L1范数和SSIM损失来共同优化补偿图像的结构与目标图像的相似性：
这种损失函数优于其他损失函数的优点显示在[39]和我们在表3和图5中的综合实验比较中。
3.3 网络设计
基于上述公式，我们的CompenNet设计有两个输入图像，~x和~s，分别对应于相机捕获的未补偿图x和相机捕获的投影表面图。 网络架构如图3所示。两个输入和输出均为256×256×3 RGB图像。 两个输入图像都被馈送到一系列卷积层以进行降采样并提取多级特征图。 请注意，在图3中，我们给出两条不同的颜色的路径，以指示两个分支不共享权重。 然后通过逐点加法组合多级特征图，使模型能够学习在全局光照，投影背光，表面和投影图像之间的复杂光谱相互作用。
图3：CompenNet的体系结构（省略了ReLU层）。 所有卷积层由3×3卷积核组成，所有转置卷积层由2×2卷积核组成。 上采样和下采样层都使用两步。 每层的卷积核数量标在其顶部。 跳过卷积层以彩色箭头显示，为了简介表示，层数和层数标记为＃layers_＃filters。 学习从相机捕获的未补偿图到投影仪输入图（左：~x →x）的反向映射与学习从期望观察者感知的图到补偿图的映射（右：x →x *）其实是相同的。
我们还通过跳过卷积层将低级交互信息传递给高级特征。在网络中间部分，我们通过逐渐增加特征通道来提取丰富的特征，同时保持特征图的宽度和高度不变。然后，我们使用两个转置的卷积层逐渐将特征映射上采样到256×256×32。最后，网络的输出是图3底部的三个跳过卷积层和网络最后层的输出的和。注意我们在输出之前将输出图像像素值钳位到[0,1]。我们发现用更多的CNN层和卷积核，例如，512个卷积核可以产生更好的补偿结果，但是会过拟合，并且会增加训练和预测时间。但是，如果某个应用场景更偏重精确而不是速度，它可以添加更多卷积层，增加迭代次数并相应地捕获更多训练数据。在本文中，我们选择图3中的架构来平衡训练/预测时间和采样数据量。为了使该方法更实用，我们还通过使用白色投影表面投影和捕获N（N = 500）个采样图像来提供预训练模型。一旦设置（例如，投影表面或全局照明）改变，我们可以使用较少的（例如32个）采样图来微调预训练的模型，而不是重新捕获500个训练图像。该技术节省了数据准备和模型训练的时间，相对于现有解决方案这更说明了我们的优势。我们在§5.3中证明了预训练模型的有效性。
3.4 训练细节
我们使用PyTorch实现网络模型并使用Adam优化器，我们设置β1= 0.9和L2范数惩罚因子设置为10-4。初始学习率设置为10-3，并且我们每800次迭代将其衰减5倍。 使用Kaiming He的方法初始化模型权重。 我们将批量大小设置为64，并在两个Nvidia GeForce 1080 GPU上训练模型1000次迭代，完成训练需要大约10分钟（500个训练样本）。 补充材料提供了不同超参数的评估。
3.5 补偿管道
总而言之，所提出的投影仪补偿管道包括图2所示的三个主要步骤。（a）我们首先将纯灰色图像x0和N个采样图像x1，...，xN投影到平面投影表面并用相机捕获它们。然后使用单应矩阵将每个捕获的图像变换到投影仪的正视图，并使用我们令变换后的相机图为~xi。（b）之后，我们收集N个图像对（~xi，xi）并训练投影仪补偿模型π†θ。 （c）最后，利用训练模型，我们为输入图像y生成补偿图像y *并将y *投影到表面。
4. 评价基准
目前为止，还有一个问题没有解决，即以前的研究中缺乏一致的定量评估基准，主要是因为传统评估实验高度依赖环境设置。理论上，为了评估补偿算法，其算出的输入图x的补偿图像x *应该被实际投射到投影表面，然后再由相机捕获，最后与真值进行定量比较。这个过程显然是不实用的，因为它要求所有参与比较的算法都具有相同的投影仪-相机-环境设置，以便公平地比较不同的算法。
在这项工作中，根据我们的问题定义，我们得出了一个有效的替代评估协议，该协议不要求实际的投影。基本上，根据方程式5，我们用采集训练样本相同的方式收集测试样本。我们也可以用类似的方式评估算法。具体而言，我们在与训练集X相同的系统设置下收集M个样本的测试集
。然后，可以通过平均所有测试集上的输入图像yi及其算法输出
上述协议允许我们构建一个投影仪补偿评估基准，该基准由K个不同设置组成，每个设置具有训练集Xk，测试集Yk和表面图像~sk，k = 1，...，K。
系统配置。我们的投影仪补偿系统包括图像分辨率为960×640的佳能6D相机，以及分辨率为800×600的ViewSonic PJD7828HDL DLP投影仪。相机与投影仪之间的距离为500mm，投影表面在相机 - 投影仪对前方约为1,000mm。相机曝光模式，对焦模式和白平衡模式设置为手动，在数据采集和系统验证期间固定全局照明。
数据集。为了获得尽可能多样化的采样颜色和纹理，我们从因特网下载700个彩色纹理图像，并且对于每个训练集Xk使用N = 500，对于每个测试集Yk使用M = 200。总共K = 24个不同的设置准备用于训练和评估。未来的工作可以复制我们的结果，并在基准测试中与CompenNet进行比较，而无需复现我们的环境设置。有关更多相机捕获的补偿结果和基准测试的详细配置，请参阅补充材料。
（链接：
http://www.dabi.temple.edu/~hbling/publication/CompenNet_sup.pdf）
5. 实验评估
5.1 与现有技术进行比较
我们将我们的投影仪补偿方法和情景独立的TPS模型，改进的TPS模型（下面解释）和经典的图到图迁移模型pix2pix在我们的基准库上进行了比较。我们首先捕获了原始TPS方法中使用的125对纯色采样图像。我们还使用我们了多样化的纹理训练集Xk来训练TPS方法，并命名为TPS textured。表1和图4中的实验结果表明这使得TPS在原始TPS方法上有改进。然后，我们将我们的方法与pix2pix进行比较，以证明投影仪补偿问题的挑战，以及我们的配方和架构的优势。 我们采用了pix2pix的默认实现，并根据补偿问题对其进行了一些调整：
（1）如§2所述，数据增强会破坏投影仪，相机和投影表面的强耦合，因此，我们禁用裁剪，调整大小和翻转，从而在相机，表面和投影仪图像之间进行耦合。
（2）我们训练pix2pix模型时批量大小设置为1并进行10000次迭代，这大约需要10分钟。比较结果表明，我们的方法在此任务上的表现优于pix2pix。我们发现，当数据大小增加时，TPS textured获得略微增加的SSIM并略微降低的PSNR。当训练数据大小为250时， Pix2pix显示最低的PSNR和SSIM，当训练数据大小为500时其具有最高的PSNR和SSIM。当训练数据大小从125增加到500时，只有建CompenNet实现更高的PSNR和SSIM（表1）。尽管CompenNet的性能有所提高，但大数据量的缺点是增加了数据捕获时间。实际上，拍摄数百张采样图像非常耗时，因此，针对有限的训练对和训练时间时，我们提出了一种预训练模型，其性能优于默认模型（§5.3）。除了上述的现有技术，我们还测试了不基于模型的“连续反馈的优化”方法，并发现它运作良好。然而，它的缺点是每个单帧都需要采集几个真实的投影，捕获和迭代。因此，该方法不太实用，也不能用于替代评估基准。
5.2 表面图像的有效性
为了展示我们提出的基于学习的问题定义和投影表面图是模型的一个必要输入，我们比较了没有表面图输入和相应的自动编码器子网的CompenNet，我们将其命名为CompenNet w/o surf。结果如表1所示。首先，当模型输入（CompenNet）中包含~s时，我们可以看到PSNR和SSIM的明显增加以及RMSE的下降。这表明我们基于学习的公式比忽略表面图像中编码的重要信息的模型具有明显的优势。其次，在PSNR， RMSE和SSIM指标上，即使CompenNet w/o surf没有~s也优于TPS，TPS textured和pix2pix。值得注意的是，对于新的投影环境设置，仅仅更换表面图像效果不佳，我们必须要从头开始训练新的CompenNet。幸运的是，通过预先训练的模型，我们可以从合理的初始化中进行微调，以减少训练图像的数量和训练时间。
5.3 预先训练的模型的有效性
我们比较默认的CompenNet模型（使用He 的初始化），和用投射到白色表面的500个训练对预训练的模型。然后，我们在多个不同设置下训练和评估的两个模型。
图4：不同表面上TPS ，TPS textured，pix2pix 和CompenNet的比较。 第1列是相机捕获的投影表面。 第二列是相机捕获的未补偿投影图像。 第3至第6列是不同方法的相机拍摄到的补偿结果。最后一列是投影仪输入图的真值。 每个图像都配有两个放大的小图，以便进行详细比较。 当使用各种纹理图像进行训练时，TPS比使用纯色图像的原始版本产生更好的结果，但仍然存在硬边缘，块状效果和颜色错误。 与CompenNet相比，pix2pix会产生不平滑的像素化细节和颜色错误。
图5：CompenNet的定性比较，训练损失函数分别为L1，L2，SSIM和1 + SSIM。 它表明，L1和L2损失函数无法成功地补偿表面图案。 1 + SSIM和SSIM损失函数产生类似的结果，但SSIM放大图中的水比1+ SSIM和真值的更蓝。
为了证明预训练模型在有限的训练对和训练时间内获得改进的性能，我们仅使用32个训练对和500次迭代训练模型。 结果报告在表2中。显然，我们看到预训练的模型优于默认CompenNet即使是24个训练和评估设置也有不同的照明和表面纹理作为预先训练的设置。 我们的解释是，尽管表面具有不同的外观，但预训练模型已经学习了部分辐射传递函数
表1：补偿算法的定量比较。 结果在K = 24个不同设置上取平均值。
这种预先训练的模型使我们的方法更加实用，即，只要不改变投影仪和相机，就可以用更少的训练图像快速微调预训练模型，从而缩短图像捕获和训练时间。 另外用32个训练对和500此迭代训练的CompenNet，比表1中的TPS ，TPS textured和pix2pix 表现更好。此外，CompenNet的参数（1M）比pix2pix的默认生成网络（54M参数）少得多。 这进一步证实了投影仪补偿是一个复杂的问题，并且不同于一般的图到图迁移任务，精心设计的模型是解决该问题所必需的。
5.4 不同损失函数的比较
现有的传统工作用逐像素L2损失函数来线性/非线性回归得到复合辐射传递函数，这种损失函数会过度平滑结构细节的同时惩罚大的像素误差。我们研究了四种不同的损失函数，即逐像素L1损失，逐像素L2损失，SSIM损失和1 + SSIM损失。定性和定量比较分别如图5和表3所示。与SSIM损失函数相比，逐像素L1和L2损失函数不能很好地补偿表面图案，注意图5中红色放大的图中的硬边缘。与定性结果一致，表3中也显示出逐像素L1和L2损失函数明显缺点。虽然仅实用SSIM损失可以获得最佳的SSIM值，但其PSNR和RMSE是第二差的。经过我们的全面实验，我们发现1 + SSIM损失获得了最佳的PSNR / RMSE和第二好的SSIM，因此，我们选择它作为我们的CompenNet的损失函数。此外，即使我们用逐像素L1损失训练CompenNet，它也比TPS，TPS textured和pix2pix在三个指标上好，这进一步说明了我们针对任务设计的公式和网络结构的优势。
表2：使用He方法随机初始化的CompenNet和预训练的CompenNet之间的定量比较，两者均仅使用32个样本训练，500次迭代，批次大小为32，训练耗时大约170s。
表3：不同损失函数下CompenNet的定量比较。
5.5 缺点和不足
我们专注于为投影仪补偿问题引入第一个端到端解决方案，该方法可用于平面的，不一定是理想的反射/几何质量的投影表面。此外，我们还没有针对具有特殊反射性能的表面，比如水，强光反射，几何相互反射和半光泽的表面进行实验，因此在这些情况下我们的模型可能效果不佳。
6. 结论
在本文中，我们将投影仪补偿问题重新表述为一个学习问题，并提出一个名为CompenNet的精确实用的端到端解决方案。特别是，CompenNet明确捕获了环境，投影表面和投影仪图像之间复杂的光谱相互作用。我们的数学模型和架构的有效性得到了综合评估的验证。此外，我们首次为社区提供了一种新颖的独立于设置的评估基准数据集。我们的方法在该基准测试中得到了仔细评估，结果表明，我们的端到端学习解决方案在质量和定量上都超过了现有方法。为了使我们的模型更加实用，我们提出了一种预训练方法，它更增加了我们方法相对于现有工作的优势。
（*本文为 AI科技大本营投稿文章，转载请联系原作者）
◆
征稿
◆
推荐阅读