—— 青亭网
其他
北航周忠：实景数字孪生，融汇世界感万物
小青｜编辑
2020年12月23日，由青亭网主办、Pico协办、中国虚拟现实技术与产业创新平台、北京图象图形学学会、AWE Asia、深圳市增强现实技术应用协会、清华经管创业者加速器、创业公社战略支持的“第四届VR/AR产业创新者峰会”正式在北京举行，本次峰会主题是“聚变·共生”。
大会围绕VR/AR技术在垂直行业的商业应用展开，共探VR/AR在传统行业的应用和案例分享，挖掘探索商业新机遇，共同构建合作新桥梁。
北航VR/AR国家工程实验室副主任周忠，在本次峰会带来了名为《VR/AR与数字孪生》的主题演讲。
以下是周忠的演讲实录：
我今天跟大家交流的题目是《VR/AR与数字孪生》。首先给大家推荐一本书《新基建：数字时代的新结构性力量》。大家都知道我们国家现在面临着这样一个特别的发展时期，所以将信息基础设施建设提到了一个新的高度，去年开始，从中央到很多地方政府都已经在开始新基建的建设。这本书的主编是原发改委副主任徐宪平，组织了很多单位进行了大量实地调研和研究讨论，值得一读。
这本书里面有两点和我们VR/AR相关，我想说明一下：
第一点，我国为什么要开展新基建？重要原因之一是因为我们预计即将迎来物联网时代的爆发，随着5G商用来临，物联网将迎来高峰时期。例如：我们从目前一个人可能最多有两个到三个手机，一两台笔记本，再加台式机，逐渐发展到一个人身边有几十个甚至几百个传感器，渗透到健康、家庭、办公等场景。所以物联网时代是我们要关注的一个方向，它需要基础设施建设。
第二点，这本书提出VR/AR是新基建中的重要内容，介绍了新基建VR/AR部分的五层结构，至于是什么样，大家可以关注一下这本书。
我们知道，VR/AR在2016年开始爆发，经历了几年的沉淀，现在又看到了新机会，有新的起色。实际上确实是这样的情况，特别是元器件、网络等，以及云服务的改善，使VR/AR的应用、技术都有了非常大的进步。
今年很多学术会议，例如IEEE VR，在VR场景里面去开展会议研讨，取得了很好的效果，因为之前大家是没有这样一个动力去做这件事，现在放到网上觉得还不错。VR头显只是一个终端，并不是最关键要素，最重要的是首先人们要能接受通过网络共享到场景内容里面去实时交互，体验到好处。同时像Facebook今年公布的VR眼镜原型，像普通墨镜一样，未来我们的VR/AR头显可能变成这样，几毫米厚，非常轻薄小巧，这完全是有可能的。
从内容制作来看，当时2016年包括电子司也组织编撰VR技术白皮书，当时我们在做研讨时也在提内容是短板的问题，现在来看虽然在通用技术上并没有很大的突破。但一些专业内容制作产品上有了很大提升，例如像商品、人物、体育活动、户型等的三维扫描找到了成熟方案，现在可以实现大批量快速建模，推动了电子商务、VR看房等应用得以迅速发展。
去年开始，数字孪生在国内成为非常热门的话题。实际上，从2016年开始，Gartner连续四年就把它列为十大战略技术之一，一方面说明对它的认识在不断深化；另一方面，人们对它的认识在产业界热度推动下又有所提升。
数字孪生概念对于一个物理世界来说，我们要做的内容还有很多，借助于物联网、大数据，实际上就是把越来越多的数据提取出来进行组织，这个本质上来说是对真实世界的映射与叠加，虚拟现实技术对它有很重要的作用。VR的虚实融合一共是两类，一类是AR以及微软、Magic Leap推的MR概念，实际上MR原来的概念更宽，但是现在在这些大的公司引领下，希望把MR设计为一个更高级的AR，另一类是增强虚拟环境。我把这两类重新区别，AR和MR是第一人称，我们戴上眼镜关注的是如何第一人称看世界；增强虚拟环境和数字孪生是第三人称，更关注的是把各类结构化非结构化数据叠加到场景中，探究融合场景。
这几年我们联合了十家单位共同承担物联网与智慧城市的国家重点研发计划项目，希望解决智能建模、虚实融合、动态仿真这三个关键的应用基础问题，实现物联网和智慧城市的建模、仿真、VR/AR技术做一个深度融合，来支撑大规模城市级的数字孪生场景，并在多个行业进行示范应用。
下面我就介绍我们这方面所做的三件相关事情，看看VR/AR如何支撑数字孪生？VR/AR的内容如何跟云结合？以及VR/AR如何支撑人工智能？
第一个实景数字孪生，我们希望数字孪生跟VR/AR结合，应该能成为一种实景的数字孪生。现在业界在讲数字孪生的概念时，引用的是设计、制造、工厂，但在讨论应用与愿景的时候，大多举的例子是运营监测，这个也说明概念都是在发生变化的，最初的数字孪生概念是制造业所提的，包括NASA。VR/AR更强调实时性、交互性，所关注的更多是运行、监控监测、模拟、预测，我们希望达到的实时世界直播，要把视频、物联网、数据等内容融合到里面，这样一个场景本身是在一个三维的世界里面。这个三维世界既有有虚拟世界，又有实景。这里面我们看有很多的数据，有些数据来自于物联网，像地理位置是静态标签，动态标签包括：车位、车的数量、车牌照等。所有数据通过VR/AR的方式，让数字孪生更具有深度的空间整合性。
我们可以想象，如果数字孪生只是给用户一堆数据，那就失去它的本质。它的本质是空间，只有空间才能把所有这些内容深度融合到一起，才能提供我们深度的具有空间的分析。
以下两个案例，可以让看看数字孪生+实景，之后带来什么价值。
第一个案例，是关于电站。现在电力行业已经在做无人化准备，但无人化的基础是数据联网，像北京大约有1万5千个电站，电站的控制柜里有大量数据，但很可惜这些数据目前还不能够完全通过物联网传递到网上，所以电表需要改造，很多其它的电力设备也要做大量改造。每个电站里面的设备信息，例如控制柜，仪表，指示灯都非常有价值，如何把这些信息整合起来推给远端，让远端通过数据分析更好的管理，更好的发现问题和应急处置。所以无人化的一个关键就是，如何把所有信息能够通过三维以及数据内容整合的方式进行提供，目前这个工作也正在进行中。
第二个案例，是智慧城市提供生活服务、提供社会治理、网格化管理。比如说某一个城市里面架设了20多个高点摄像机，这里面标签其实都是AR标签，实际上是来自于真实的世界，有它的一些真实世界数据接入。当我们把数据和摄像头的数据、图像都整合到一起的时候，我们可以看到我们这个世界比你去现场看到的世界还要更丰富，而且还要更真实，因为我们即使去现场，也不可能是通过透视的角度看到各种数据信息，实际上通过这种方式是可以的。这就是我们希望通过VR/AR能够给数字孪生所带来的直播的实景数字孪生。
第二个工作是关于建模。我们大概在2015年开始做这方面的工作，当时我们认为现实世界拍一张照片很难让计算机全自动去实现建模，当时实时数据更新非常困难，成本很高，而现在很多城市都在讲智慧城市，建设大量BIM模型，而BIM模型更新修改和同步非常麻烦，但楼宇改造重建是很正常的，所以数据能否更实时或者低成本的维护是一个关键。
我们做了什么工作呢？我们希望尽量通过低成本的方式，比如说单幅照片建模，给一张照片，我们希望通过交互式的方式直接在地面把它建出来，这个成本相对低一些，不会太复杂，但是它会带来一个问题？导致场景真实感，或者精细程度没有那么高。如果对一些场景并不需要精细级别高的，其实这种方式是很合适的。我们这项技术2018年的时候在国际学术会议上也得了一个奖。
最近几年我们把这个东西搬到了云上，希望通过云来维护一个世界或场景。也就可以通过拍一张照片，就能处理建模，并整合到平台上，最后提供一个虚实融合的场景。
我们始终想要达成的一个目标是，有没有可能做到全自动。但全自动肯定要有条件，我们发现确实很难，我们设定了一个条件，要求倾斜模型，但同时发现倾斜摄影的模型经常会过时，那能不能十年更新一次。最后我们通过单张照片就直接全自动更新，这里包括三个技术：
第一，拍一张照片直接给它精确定位。基础条件底层要有三维，绿色框就是无人机在空中飞的实时影像，底图就是模型，我们可以看到非常的准确，当然其实有条件的。第二，当我们的实时定位准确，可以用一组照片把一个局部的场景直接建出来，就是因为底下有个基础的依托，有这个依托作为一个场景标的，倾斜模型原来没有的地方，算法也可以给你建出来，这是用的80张照片把某一个区域建出来效果。第三个问题，如果底图模型是过时的，有好多我们城市建筑的修改，那怎么办？我们在这方面也做了一个尝试，北航青岛研究院用两年多前的场景模型，可以看出场地变化很大，而且一个夏天一个是冬天，纹理效果也不同了，这个技术可以通过照片实时更新，而且速度很快，并不需要很高计算量。不过它也有一个要求，大概70%、80%的场景结构还是要不能变化，如果场景完全变了，咱们也没有办法，因为它的特征是没有办法去匹配。
第三，就是我们VR/AR能给人工智能带来什么？我们知道现在人脸识别，天津市已经给禁了，美国也有很多州禁了，前不久也有新闻说这个问题，如果手机丢了，我们没有设密码，这个时候很可怕的，不光是你的微信支付宝存的钱不安全，而且他可以拿这个直接做京东打白条、花呗等等，直接拿去做贷款。因为人脸特征是稳定不变的，基本上一辈子都可以对应，所以一些违法分子拿到人脸数据，会想办法找技术突破，然后就会导致不可控的滥用和后果。
我们做了一个什么事情呢？我们想可以用VR/AR把每个摄像头智能行为赋予一个场景，像这个场景，大家知道VR/AR里面是有统一坐标系的，我们把视频图像投到地面，它就能够赋予这个相机跟其他位置的关联关系。我们最后生成这样一个图，这个闪烁的线代表的是同样的对象。
我们看得到这个之后，再具体看每一个对象的样子，在多个相机里面每个人所经过的样子是有很多很大的变化。如果有VR/AR基础，会让摄像头的背景天生带了空间场景关系，如果不带可以说它这里面识别率不会太高，但是有了这个约束之后，就能知道这个人几点，在哪出现，这个范围是可以来限制检索范围的。
而且很关键的是，得到这个空间底图之后我们能做什么？意味着我们能做更多空间地理位置相关的统计、监测、预测等。举个例子来说，一个人在某个地方他停留多长时间？他的轨迹是什么样？他在场景里面的一些行为特点，对什么地方更关心关注？实际上跟语义相结合，会有更多的场景。但这些的表观特征并不是稳定的，不但可以获得有价值的各类数据，还不需要人来配合提供隐私数据。
无论VR/AR技术是To C、To B，最终还是要解决行业里面的实际问题。VR/AR的大量技术已得到充分研究与验证，集成性、工程化将成为主流。而器件、引擎、平台等核心基础系统需要持续投入与突破，才能建立良性的产业生态，希望业界同仁们一起努力，我的交流就到这儿，谢谢大家！
（ END）
推荐阅读
—— 青亭网