超用户预期？AR+多屏协同的技术与体验

「 3块屏幕的故事，新技术带来新体验 」

- 多屏协同趋势

微软Your Phone、戴尔Dell Mobile Connect，华为Huawei Share 和联想Lenovo one 等，将手机投射到 PC 的方式似乎成了一种趋势，但这些体验屏幕之间的交流是“虚拟”的。技术上可以通过在电脑上部署服务，通过wifi实现连接。

- AR跨屏体验

多屏协同已是趋势，那么，有什么技术是跟跨屏相关的呢？

——AR增强现实

adobe的这一款应用，老师在电脑上标注，学生通过手机AR查看书籍上的标注，实现了不同屏幕、不同用户角色的互动。

- AR超乎用户预期的体验

如下图所示，一款由Cyril Diagne（艺术家/设计师/程序员）所开发的可“克隆万物”的demo，最近走红网络。

一部手机，基本只靠对准镜头，然后移动，即可完成以往至少需要5个步骤才能完成的工作：

手机拍照、传输至电脑、抠图、复制粘贴、调整位置

再一次验证了一项新技术的本质是由各种以往的小技术所重组而成。新技术带来了新体验，AR作为连接虚拟与现实的桥梁，实现了屏幕之间的“物理交流”，体验由此超越用户预期。

- 技术

作者的实现稍显复杂：

手机端选取了react native来实现拍照、叠加图像的功能：

电脑端通过python封装了BASNet，用于实现抠图：

手机图像与电脑图像的对应关系则采用opencv里封装好的SIFT来实现：

那么有没有其他实现方案呢？毕竟这只是个demo，距离工程化还需要点时间。

“

跨屏+AR=？

手机跟电脑有各自适用的场景，而AR可以引入现实空间，相当于有了3块屏幕，互相之间会碰撞出什么火花？需要我们不断地探索。

”

我在知识星球里记录了不少关于AR的案例、经验、思考。欢迎跟我交流