静园5号院科研讲座 | Karol Myszkowski教授谈现代化感知显示
关键词：现代化感知显示
编者按
2019年5月10日，德国马克斯·普朗克计算机科学研究所的Karol Myszkowski教授来访北京大学前沿计算研究中心，并在静园五院作了题为“Perceptual Display: Towards Reducing Gaps Between Real World and Displayed Scenes”的专题报告。本次报告由中心执行主任陈宝权教授主持，听众主要为北京大学及其他兄弟单位的师生。
Karol Myszkowski教授与陈宝权老师合影留念
本次报告中，Myszkowski教授以现代化感知显示（Perceptual Display）为主题，探索利用人类视觉感知模型来提升显示质量的算法。报告从提高图像质量、立体三维显示、眼球追踪引导等方面展开介绍。
感知模型将有助于提升图像的显示质量
由于显示设备空间分辨率的限制，显示一些精细的空间细节（例如发丝、小文字等）较为困难。Myszkowski教授引入了人体视觉成像机制的考量，提出了一种应用运动图像实现超分辨率效果的方法。该方法使用高刷新率的显示器显示沿着特定轨迹、随时间快速变化的图像，由于视网膜的视觉暂留效应，快速变化的多帧图像将产生融合效果，产生超分辨率像素，使得感知显示系统得到明显改善。
运动视频的帧速率将显著影响运动图像的视觉质量，目前的电影场景常使用24FPS或48FPS。较高的帧速率可以提高图像的清晰度，并减轻模糊、闪烁或抖动，但代价是失去了电影美感，这种现象常被称为“电影外观”（cinematic look）。Myszkowski教授提出一种更具有艺术性和自由度的视频显示模型，核心思想包括：采用介于高、低之间的帧速率（例如36FPS）；帧速率根据时间变化而变化；在不同的图像区域采用不同的帧速率等。该项技术使得艺术家得以在电影美学和视频客观品质之间作出权衡。
视频帧率可根据艺术家的调整而作出改变
2
立体三维显示
人类通过多种立体线索来感知深度，其中双目视差是立体线索的主要来源。然而，由于显示设备的限制（例如显示设备的角分辨率较低），利用该线索再现深度的范围受到明显约束。Myszkowski教授提出利用运动视差线索恢复深度信息，发现在许多实际场景中，运动线索几乎可以不受限制地从2D屏幕中提取，并提供了足够用于立体深度恢复的信息。
3
依据眼球追踪等方式调整立体深度
在现有的显示设备上展示高质量的立体场景是一项具有挑战性的工作，需要对显示内容进行诸多处理以保证视觉舒适度。Myszkowski教授提出可以利用眼球追踪或预测其他凝视信息来完成立体深度调节。工作的核心思想在于对眼睛凝视的区域应用渐变深度调节，已达到理想的观感。基于此模型，可以开发对立体内容进行局部修改的实时控制器，以调整深度重建和视觉舒适度的权衡。
在本次报告中，Myszkowski教授介绍了基于感知模型对图像显示进行引导、调整以及增强的系列工作，在不需要改变物理显示设备的情况下利用算法实现“智能显示”，相关技术已经越来越多的应用于智能显示设备、电影摄制等领域。
文字 | 尹英达
图片 | 周强
Visual Computing and Learning (VCL)
往 期 报 告
— 版权声明 —
本微信公众号所有内容，由北京大学前沿计算研究中心微信自身创作、收集的文字、图片和音视频资料，版权属北京大学前沿计算研究中心微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。
点“阅读原文”看报告概要等信息。