下一代社交平台？三维重建万物

SIGGRAPH 2020

Consistent Video Depth Estimation

想象一下：

轻松的下午茶时间，你正专心制作咖啡，突然潮水涌上地面，把你淹没。而你浑然不知……

https://arxiv.org/pdf/2004.15021.pdf

借助于三维重建技术，我们获得了现实环境的空间信息，从而在虚拟空间上可以把潮水精确地与现实叠加。

 ？三维重建

3D Reconstruction

三维重建是：对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。

如何进行三维重建？

无界社区成员王铮，为我们描述了基于深度学习的三维重建方法：

首先，每一个二维图像都有事先采集好的三维模型；

其次，利用数学中的投影方法，将二维图像中的物体局部与三维模型中的物体局部进行匹配，而匹配的目的是让算法知道二维图像的结构特征在三维的空间中长什么样子；

最后，通过对各种物体的匹配方式的学习，算法知道了如何将二维结构变成相对应的三维形状。

可以把以上过程想象成捏橡皮泥，算法学习完后，给计算机 “看” 一张图，计算机就“捏出”一个三维模型。

a：用户画一个正面图

b：模型输出一个三维形状

c：用户利用三维形状的侧面画一个侧视图

d、e：模型输出更新后的三维形状

这是从图像恢复到三维模型的一个例子

图自teamlab官网

再比如，这是在Teamlab island活动上，一位小朋友在纸上画画，他画完一条鱼，走到投影屏幕旁边，画好的鱼就 “跳进” 海里了。这对正处于对世界充满好奇的青少年孩子来说，极具吸引力！详见专访：如何让你画里的鱼，游进海里？

还有哪些可以被三维重建？

- 室内场景

Indoor Scene Modeling by Single Image Understanding

在给定一幅RGB图像的情况下，通过推理室内环境上下文，同时恢复语义内容、三维几何和对象关系。

https://arxiv.org/pdf/2002.09790.pdf

- 服装重建

Detailed Garment Recovery from a Single-View Image

从照片中提取服装信息，然后在 3D 空间中重现服装。如下图，从 a 图在三维空间重建为 b 图，然后再把服装穿在其他 3D 模特身上。

- 人体重建

此项技术由pinscreen avatar SDK提供支持，我们每个人都可以生成自己的三维模型，从而在虚拟世界得到映射。

https://www.pinscreen.com

MIXLAB无界社区成员

刘皓旭专访

Seven.AI

以3D视觉为技术核心的AI公司，致力于打造下一代的信息承载和展现方式。

—— 刘皓旭 SevenAi 创始人

第一阶段的DEMO

“ 我们即将推出的这款产品呢，形态上可以暂定认为是3D内容分享平台。不同于现有的内容平台基于文字、图片或者视频，我们这款产品更加注重的是用户与信息或者说是与物体和场景的交互。

也不同于虚拟场景和物体，我们重建出来的是整个现实世界，将整个3D现实世界放在用户的眼前，能够给予用户更真实的观感和体验。

依托于我们的技术优势，可以快速实现完成高质量模型的创建，用户对模型的创作可以像制作视频一样的简单。产品还在研发中，不方便过多的透露更多的细节，感兴趣的可以持续关注。”

订阅号：SevenAi_ 

网页：http://www.sevenai.cn/

- 全文结束 -

【本周日 · 线上活动】

Mixlab闪聊 🚀

【主题】LOWCODE

【时间】9.13日 20:00 

【人数】30人

【闪聊发起人】 张然

今年DeeCamp项目总冠军参与者之一。

现奥地利IST Austria 图形学和智能设计（博士）。

【参与方式】腾讯会议：167466048

扫码加微信，领取会议密码

💡大家可以带着问题来聊，

也可以分享自己的相关观点或者经历，

希望大家能就一些观点，有收获，有火花~

欢迎一起来探索未知世界

更多资料请查阅：Mix+人工智能专刊

520+已加入👇

每期由mixlab社区精选、收录人工智能的相关内容。包括AI产品、AI技术、AI场景、AI投资事件、AI的思维方式等。MIX的主题包括：AR、VR、计算设计、计算广告、智能设计、智能写作、虚拟偶像等。

付费加入星球后，即可免费加入科技前沿外刊群：《新科学家杂志》、《英国金融时报》、《华尔街日报》、《经济学人》、《纽约时报》、《泰晤士报》等当日最新外刊。

转发求支持！