今天，段博士带你登月去上一堂未来课！

 “今人不见古时月，今月曾经照古人。”

提及中秋，人们总是把对月亮的无限憧憬化作美好遐想，像嫦娥奔月、吴刚折桂、白兔捣药，可惜的是，受技术条件的限制，古人未能真的登上月球一探究竟。

随着时代的发展和科技的进步，月亮这个神秘的星体，被揭开越来越多的面纱。时至今日，我们知道了月亮不发光、知道了月亮“千疮百孔”，也知道了阴晴圆缺的秘密。科技让我们与月球的距离，近在咫尺。

这个中秋，与教师节不期而遇，撞了个满怀。借这起20年一遇的双节邂逅，9月8日，联想研究院联合联想中国区，举办“揭秘实验室”的“嗨聊”直播——一堂未来课，邀请联想研究院资深研究员、智慧教育未来教室负责人段勇博士，通过直播的方式，为大家呈上一堂特别的未来课。

1

直播探月

展开教育元宇宙图景

登月需要几步？段勇博士告诉你答案。

直播现场，段勇博士却凭虚实融合的沉浸互动技术，带领观众身临其境地体验了一场奇妙的探月之旅。

只需快速扫描一遍身体，段勇博士就拥有了一套量身定制的宇航服。现实中的他同虚拟的他实现了完全的动作同步。

段勇博士幽默地采用了复古的火柴点火方式，随后一飞冲天。飞行之中，我们可以看到地球的整个轮廓，随后很快飞出大气层，接近了月球。

古往今来，没有多少人如此近距离的观察月球。你会发现，月球没有想象中那般美丽，看上去像是用水泥做的，千疮百孔，没见到嫦娥，也没看到玉兔，更没有桂树。

同时，你会很直观地了解到，月球自身不会发光，而是反射太阳的光，所谓的阴晴圆缺，是地球、月球和太阳之间位置的周期性变化导致的现象。

最终，段勇博士实现了“登月”壮举，更近距离地看到了月球的样子。

经过这番探月之旅，你会发现竟然在无意间获得了一次沉浸式学习的体验，不知不觉就记住了关于月球的诸多知识，这种体验是当下在线教育所不能达到的。

在线教育在打破时间和地域界限进行高效率教学的同时，牺牲了线下课堂教师对学生耳提面命的沉浸式效果。于是，将在线教育和线下教育的优势融合，提升教学的临场感与沉浸感，探索虚实融合的教育元宇宙图景就此展开。

未来教室——联想打造的虚实融合的未来课堂教学系统，则成为开拓教育元宇宙的先驱。

2

沉浸互动

构建全新计算体系

元宇宙概念爆发以来，诸如虚实融合、虚实互动、数字孪生这样的概念越来越多地出现在我们的生活中。

事实上，元宇宙作为一种在线虚拟数字生活空间，仍然需要电脑、手机、平板、AR眼镜、VR头显等计算设备作为接口或载体。

自电子计算机诞生以来，计算设备的形态不断发生着变化，但其基本结构并未改变，依然包括以下三部分：输入、输出和计算。以台式机为例，就是键鼠、显示器和主机。

虚实融合的沉浸互动系统本质上仍是一个计算系统，自然也由这三部分组成。不同的是这三部分相较传统的计算系统有了全新的特点和要求，即“沉浸”输出（声画效果要有让人置身其中的感觉）、“自然”输入（基于直觉操作自然的愉悦互动体验）和“智能”计算（让计算机去理解使用者和环境）。

比如沉浸显示可以按照与人眼距离的远近进行划分。AR眼镜与VR头显距离人眼最近，车载HUD、镜面显示等设备的距离适中，CAVE、全息投影等方案则距人更远。随着设备与人的距离越远，显示幅面尺寸也会越大，以满足沉浸观看的需要。相较沉浸显示，立体显示则基于双目视差的原理给人带来3D感。根据是否佩戴辅助设备可分为辅助立体显示和自由立体显示，而后者又包括多视点3D显示、体3D显示、光场3D显示和全息3D显示等。

自然交互主要基于人类的一些本能，比如视觉、听觉、触觉、味觉、嗅觉等。与早期的命令行用户界面（CLI）和图形用户界面（GUI）不同，自然用户界面（NUI）的交互方式一般包括手势、体感、眼动、表情、语言、触力反馈等。

至于智能计算，以经典的计算机视觉为例，通过二维图像构建三维几何是其研究的重要内容，能将人与环境进行模型化和数字化，比如基于特征的配准、运动恢复结构、立体视觉、多视点三维重建以及基于图像的渲染等技术。从计算机视觉到模式识别和机器学习，建模和抽象的层次增加。如果说经典的计算机视觉更接近人眼的功能，那么模式识别和机器学习则更接近人脑的功能，是一种认知智能，能够对人与环境进行理解，比如手势识别，姿势跟踪，行为理解，语音识别，语义理解等。

联想未来教室就是这样一个以“自然”输入、“沉浸”输出和“智能”计算为特征的集成计算体系，打造虚实融合的未来课堂教学系统。

3

虚实融合

四绝技共创未来教室

联想未来教室设计并构建了四个虚实融合的教学系统，分别为全息讲台、远程拟真、全息桌子和智能镜子。在每个系统的设计中都引入不同类型的中远距离大幅面沉浸显示设备，构建适应其显示特点的自然交互技术，并探索应用到教学场景的最佳实践，使师生能通过融入教学环境的各类设备，以裸眼、自然且沉浸的方式直接体验元宇宙的数字世界。

直播中，段勇博士分别演示了这四个虚实结合的教学系统。

他先是模拟了一个上课的场景。在上地理课时，可以在空中虚拟出逼真的地球并与其互动，任意选择国家、地区乃至城市，并进行旋转、缩放以及呈现与之关联的图片，还可以直观地获得各种动物的分布情况和具体信息，也能转瞬间穿越南北两极，将整个地球尽收眼底。而想要了解天文知识，则可以挥舞手指退出地球看向星空，迅速获得天文星座的信息与画面。此外，段勇博士还可以进行虚拟的物理和化学实验，所有虚拟道具都可如臂使指，并能在实验时触发相应的现象。

为开发更多“玩法”，段勇博士还展示了几个有趣的场景。比如“天降彩蛋”可以使现实中用户的动作恰到好处地和虚拟的彩蛋发生互动，甚至还能用身体去接住它们；再比如“火影忍者”可以让现实中的用户获得虚拟的特效加持，例如给自己的身体召唤火焰；“扫一扫”可以模拟对人体扫描的效果，精准获取使用者的位置与轮廓；而“绝对零度”则能够用屏幕去模拟不同的材质，如果模拟冰面效果，那么用户在接触它的时候，其虚拟分身也会获得一个冰冻状态。

这就是全息讲台教学的使用场景和互动方式，即整个人都作为交互的载体，和虚拟的数字世界发生互动，产生虚实融合的效果。

以全息讲台为例，打造虚实融合的沉浸互动系统涉及以下关键技术：“虚”——通过动态化场景三维重建技术实现数字构建；“实”——通过沉浸式虚实空间配准技术实现虚实映射；“融”——通过大幅面增强现实渲染技术实现虚实叠加；“合”——通过多模态融合沉浸互动技术实现虚实互动。

接下来的三个教学系统，也同样基于这些技术。当然，由于应用场景、显示方案以及交互技术的差别，所呈现的效果也各有侧重。

全息讲台教学着眼于本地教学沉浸感的提升，远程拟真教学则尝试增强远程教学的临场感。该场景加入了摄像机、麦克风和扬声器，以满足教师与学生的音视频实时互联互通的需求。联想研发的5G+4K超高清实时音视频方案也达到业界领先水平。通过引入大幅面全息投影膜和弧形投影幕，提升教师端授课和学生端听课的临场感和沉浸感。通过将教学双方所处物理空间在虚拟环境中融合连通，使教师仿佛亲临课堂现场，让学生感觉教师就在眼前。

在交互设计上，教师可在平板上书写，写的内容会同步到黑板上；也可以通过手势对虚拟场景中的三维对象进行旋转、缩放、选择、重置等操作；还可以通过体感控制虚拟人物的动作以及用语音搜索信息辅助教学等。

全息桌子是由半透半反玻璃构成的像金字塔一样的四面椎体，通过反射顶部显示器的画面，形成具有空间纵深感的三维影像，并且四个面能分别呈现三维模型的不同侧面，这非常适合教师和学生围着设备面对面观察、沟通和交流。

全息桌子的交互设计借鉴了人们在日常生活中操作真实三维物体的方式，采用虚拟手隐喻，在金字塔三维空间构建用户手的虚拟化身，对三维物体进行旋转、缩放、选择和重置等操作。

目前，全息桌子应用于心脏疾病医疗教学和肝脏疾病医疗教学等场景，比如呈现冠心病、主动脉瓣闭合不严等心脏疾病的发病机理，或者基于人体CT图像重建肝脏并识别其内部的肿瘤，并进行简单的术前模拟等。

不仅如此，全息桌子还被用于知识森林可视化和虚拟实验等K12教育的场景。知识森林是聚合碎片化知识的教育知识图谱，能够缓解知识碎片化引发的认知问题。全息桌子将课程知识体系以森林、树林、树木的方式在师生面前展现开来，激发学生探索知识的欲望，也满足教师对某些知识点的演示讲解需求。对于需要结合实验环节才能更好掌握的知识点，可以通过虚拟实验，比如青蛙解剖，进行三维互动知识学习。

智能镜子基于镜面的反射特质提出镜像交互，即用人的物理镜像作为交互的载体与镜子中的数字内容进行互动，目前主要应用于健康关怀、游戏化教学等场景。参考当下比较火的健身镜，用户可以对着镜子进行某些健身动作，动作达标后，可以通过虚实融合的技术，让镜中的自己呈现一些特效，比如燃起火焰，给人以燃烧卡路里的暗示。也可以利用智能镜子玩一些体感游戏，将镜子中的手化身为游戏控制器。

基于虚实融合的沉浸互动技术打造的教学系统也在实际中得到了应用。比如联想未来教室落地西安电子科技大学和华中师范大学，可以实现北京、西安和武汉三地的联合教学。如果北京的未来教室作为教师端，西安和武汉的教室作为学生端，那么北京的教师就能够在西安和武汉远程重现并进行虚实融合的教学。再比如全息桌子落地深圳罗湖未来学校，为师生提供知识森林可视化和虚拟实验互动教学体验。大规模对照实验数据表明，使用联想沉浸式教学系统进行教学时， 78%的学生在课堂上更加投入，他们的学习效率提升了29.1%。

当然，除了教育，上述的一些方案也被用在了医疗、健康、餐饮、零售等行业。未来，虚实融合必将拓展到更多的应用场景，比如远程办公、远程协作等需要互联互通的场景，甚至远程相亲也未尝不可。

想象一下，中秋节在月亮上相亲的快乐。

微信搜索“一起联想”视频号，点击直播回放即可观看这堂未来课！

一起发现更好的联想

ONE LENOVO

推荐阅读