CVPR 2023 | 3D循环视频构建 (3D Video Loops from Asynchronous Input)
论文链接:
https://arxiv.org/abs/2303.05312
项目主页:
https://limacv.github.io/VideoLoop3D_web/DEMO:
https://limacv.github.io/VideoLoop3D_web/
一、论文简介
在这片文章中,我们提出一个方法,它能从不同步的多目视频重建出一个3D的动态循环视频,并且提出了一种场景表示,它能较好的压缩3D视频,并且能在手机端实时渲染出来。目前代码和数据集均已开源,感兴趣的朋友们多多star!
深入具体方法之前有几个概念需要说明。
什么是3D视频:会动的三维场景 / 可以在任意视角下看的三维视频。注意不是指的那种3D电影,3D电影的视角其实只有两个(左眼和右眼)。
什么是3D循环视频:在3D视频基础上,是一个循环视频(looping video),循环的意思是从视频最后一帧切换到第一帧时,肉眼看不出明显的切换痕迹。这样有一个好处,就是对于本身就接近循环的场景而言,我只需要一段短视频,就可以源源不断的生成无穷无尽的视频。它的具体应用,比如用于一些网页的teaser,配图,或者当作一些虚拟背景,比如虚拟会议的背景,VR应用的背景,等等。
什么是不同步的多目视频:这是一个不严格的定义,对于这个方法的输入来说,我需要在不同视角下拍一段视频,每一段视频需要基本在同一视点(相机位姿不变),但是不同视角的视频可以不同步,即可以用一个相机分别在不同的视角拍摄,这样完全不同步的数据我们的方法也是可以处理的。
输入一个视角不变的视频,相当于我们有FxHxWx3的一个视频。
我们通过优化方法得到每个像素位置的最佳循环,即对于HxW个像素,每个位置在F帧中取出一个较好的循环片段,这个片段的结尾和开头的差别不能太大。
这样我们能重新组合出一个新的视频,利用一些blending的操作,我们可以吧一些不太连续的片段给变连续。
Fast computation of seamless video loops https://hhoppe.com/proj/fastloops/
3D视频表示,其实3D视频本身就是一个还在发展的方向,因为即使对于静态场景而言,比较好的重建出3D也是比较难的事情,对于动态视频而言,又增加了一个维度,所以问题更加困难。最近有几个用NeRF来重建3D视频的工作,都非常不错,之后有时间来系统整理一下这方面的工作。但是这篇文章没有用NeRF,或者TensorRF,Triplane,NGP等NeRF-like的3D场景表示,主要是因为NeRF的训练非常占用显存,特别是如果在训练过程中一次性训练一个大的video patch,对于NeRF-like的场景表示来说GPU memory占用是不可想像的(大致估计如果用NeRF来优化本文中的方法,需要大概6TB的显存)。
Multiplane Image (MPI) 场景表示
三、 具体方法1 - MTV场景表示
四、 具体方法2 - 3D循环视频优化
两阶段优化方法
Looping loss
五、结果
六、不足之处
训练得到的结果其实还是有一些artifacts,并且这些artfiact在输入不满足假设的情况下会加剧,比如输入的场景不是循环的情况。 它和NeRF相比,不能模拟高光等与视点有关的视觉效果,并且严格意义上是2.5D,并不是真正的3D 目前优化阶段还是需要吃比较多的内存(20GB左右),所以这些结果都限制在640x360的分辨率
作者:马力
https://zhuanlan.zhihu.com/p/614619564
扫码观看!
本周上新!
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线480+期talk视频,2400+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章,并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励
投稿方式
发送邮件到
chenhongyuan@thejiangmen.com
或添加工作人员微信(chemn493)投稿,沟通投稿详情;还可以关注“将门创投”公众号,后台回复“投稿”二字,获得投稿说明。
>>> 添加小编微信!
将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”: bp@thejiangmen.com
点击右上角,把文章分享到朋友圈点击“阅读原文”按钮,查看社区原文⤵一键送你进入TechBeat快乐星球