基础教育数字化发展研究|曹晓明 谢娜.高沉浸式学习环境:学习环境设计的新视角
引用格式
曹晓明 谢娜.高沉浸式学习环境:学习环境设计的新视角[J].中国教育信息化,2023,29(11):121-128.DOI:10.3969/j.issn.1673-8454.2023.11.013基础教育数字化发展研究
高沉浸式学习环境:学习环境设计的新视角
曹晓明 谢 娜
摘 要: 2021年兴起的教育元宇宙为学习环境的设计提供新视角,为回应对学习过程中沉浸体验日渐增长的需求,设计与构建高沉浸式学习环境(High Immersion Learning Environment, HILE)。从沉浸式学习环境的发展现状出发,提出融入XR、数字孪生等技术的一种高沉浸式学习环境,阐述其内涵与特征,并对其架构与应用场景进行设计与分析。HILE的四大特征(融合性、自然性、发展性、人本性)与四层架构(物理层、技术层、功能层、应用层),能实现多情境创设、自然沉浸与自主孪生,支持创设沉浸教室、虚拟远程教室、虚拟学习社区等10类学习情境,应用范围涵盖学科教育、特殊教育、文化场馆教育等在内的所有正式与非正式学习场合。基于HILE的前瞻性研究,对打破目前沉浸式虚拟环境的固有局限性与弊端、促进学习者的高沉浸感学习体验,具有重要意义。
关键词: 高沉浸式学习环境;HILE;沉浸式虚拟环境;教学情境
中图分类号: G434
文献标志码: A
文章编号: 1673-8454(2023)11-0121-08
作者简介: 曹晓明,深圳大学教育学部教授,博士(广东深圳 518060);谢娜,深圳大学教育学部硕士研究生(广东深圳 518060)基金项目: 2020年教育部人文社会科学研究一般项目“智慧学习环境下基于多模态融合的学习参与度识别机制研究”(编号:20YJA880001)一、引言
2021年“元宇宙”概念在5G、XR、数字孪生等支撑技术的发展下迅速崛起。自新冠疫情以来,更多教育者切实感受到在线教学中师生缺乏互动、学生缺乏学习存在感等诸多弊端,而具有交互性、沉浸性、多元性等特征的教育元宇宙[1]作为弥补这些缺点的新型教育手段,备受大家的关注与重视,其最突出的优势就是能够为教师和学习者提供一种沉浸式的教学互动场域,同步满足师生在物理和虚拟世界的教与学需求。[2]因此,教育元宇宙的提出不仅是对未来学习场域的美好憧憬,还是当前对增强学习投入度、提升教学质量的沉浸式学习环境迫切需求的体现。
“沉浸”多比喻处于某种境界或思想活动中。美国心理学家米哈里·契克森米哈赖(Mihaly Csikszentmihalyi)提出的沉浸理论(flow theory)认为,当人们进入因聚精会神地投入到某种活动中并完全不受其它因素干扰的沉浸状态时,其内在动机处于最佳状态。[3]有学者认为,沉浸式和体验式的教学模式是新一轮教育改革创新的主流趋势。[4]沉浸式学习环境发端于20世纪60年代加拿大的沉浸式双语教育,即教师以第二语言授课,让学生在第二语言环境中掌握第二语言;[5]而后逐渐发展起来的情境教学法主张基于情境进行教学,让学生在与情境互动、参与实践的过程中建构知识,某种意义上,“情境”也是一种沉浸式学习环境;虚拟现实技术的出现与发展使沉浸式学习环境不再停留于图画展现、音乐渲染、语言描绘等单一感官体验的低沉浸感构建方式,而是晋升为结合具身认知理论,利用混合现实、数字孪生等技术实现多通道感知渠道的高沉浸感构建方式,如具身型混合现实学习环境(Embodied Mixed Reality Learning Environments, EMRLE)[6]、基于数字孪生的全息课堂[7]等。本研究通过对比分析目前的沉浸式学习环境,基于XR与数字孪生技术,以学习者获得沉浸学习体验为导向,探究HILE的内涵、特征与架构,并对其应用场景进行分析,以促进HILE的构建与应用。
二、高沉浸式学习环境理论分析
沉浸式学习环境发展至今已有60余年,但学界一直没有明确的定义,更多的是对能促进学习者学习沉浸感的一种学习环境的描述。例如,有学者认为沉浸式学习环境是指VR创造的一种数字学习环境,学习者身处其中会产生身临其境之感,并伴随这种感觉开展学习活动;[8]有学者提出沉浸式虚拟环境(Immersive Virtual Environment, IVE)是由VR构建的一种仿真虚拟环境,对学习者的心流体验具有积极的影响;[9]有学者提出混合现实学习环境(Mixed Reality Learning Environments, MRLE)是由虚实世界交叠融合而成的一种学习环境,学习者身处其中无法分辨真实与虚假,虚拟学习资源与真实学习资源能相互融合。[10]为与其它沉浸式学习环境区分,本研究将利用沉浸式技术构建的学习环境统称为“沉浸式虚拟环境”,包括虚拟现实学习环境(Virtual Reality Learning Environments, VRLE)、增强现实学习环境(Augmented Reality Learning Environments, ARLE)和MRLE。情境、沉浸式虚拟环境以及本研究提出的高沉浸式学习环境的对比如表1所示。
表1 不同学习环境对比表从表1可知,本研究提出的HILE是由XR、数字孪生、全息投影等技术构建的一种虚实融合、超智能化的学习环境,能实现多情境创设、自然沉浸与自主孪生。HILE有四个主要特征。
(1)融合性。HILE中虚拟世界与真实世界是相互融合的,能根据教师的教学需求和学习者的学习需求构建高度真实的学习场景,如教师在真实教学场景调取相关虚拟学习资源进行多方位展示与详细讲解、为学生构建虚拟远程教室或沉浸感课堂回放场景等。
(2)自然性。HILE中教师与学习者的体验是自然的,包括感官自然与状态自然。感官自然即教师与学习者不必佩戴过多的设备,能在自然状态下接受HILE输出的感官刺激并实现与虚拟对象的交互,实现自然沉浸;状态自然即HILE中实现数据无感化采集与分析,教师与学习者较少受到数据采集设备的影响,不会产生“被监视”的心理压力。
(3)发展性。HILE是发展的,包括物理实体的发展和虚拟情境的发展。HILE中遍布数据采集设备,对一切物理实体进行全域感知与自主孪生,如生成教师与学习者的虚拟化身、生成物理设备的数字孪生体。通过大数据、学习分析等技术对其全生命周期数据进行分析,通过决策迭代等方式优化物理实体,实现物理实体的发展;HILE应教学需求生成的虚拟情境是动态的、发展的,而非静态的表象,学习者置身其中犹如真正进入到该场景中,可与场景中任意对象进行交互,产生连续、真实的体验。
(4)人本性。HILE中每位学习者都有对应的虚拟化身,学习者在学习过程中的所有数据都被记录下来,能关注到每一位学习者的个体体验和学习需求,如记录学习者学习效率高时的个性化桌椅状态及灯光明暗度、通过桌面震动提醒注意力集中、即时给予积极反馈等。
三、高沉浸式学习环境架构设计
通过XR、物联网、人工智能、数字孪生等技术,HILE主要实现对虚实融合、体验自然、自主发展且关注每个人的学习环境的构建,参考XR技术或数字孪生的技术路线,构建相关沉浸式场所的架构,如XR技术实现预想技术路线[14]、数字孪生与全息技术融合下的未来学习场域架构[15]、全息课堂的系统架构[16]、孪生场馆学习空间的五层架构[17]等,本研究设计HILE四层架构,分别为物理层、技术层、功能层和应用层,具体如图1所示。
HILE包含输入、处理和输出三大系统,其中输入和输出系统支撑起“人—机”“机—机”“人—人(非现场)”之间的交互,处理系统则是HILE的“大脑”,通过对数据的处理与分析实现HILE的各种教学、学习及管理服务。
(一)物理层
物理层是构成HILE的空间基础,包含采集各类数据的输入系统设备、处理数据的处理系统设备、产生反馈的输出系统设备,以及在三个系统间必不可少的高速传输网络。输入系统设备包括泛在传感器(如监控设备、传声器、定位器、光学跟踪器等)、实体控制器(如灯光亮度调节器、桌椅调节器、自定义快捷功能按钮等)以及脑电信号采集设备(如腕带、头环等);处理系统设备包括支持数据存储与运算的高性能计算机和云服务器;输出系统设备包括全息屏、触感设备、三维声场音响、味觉/嗅觉模拟器等。其中输入与输出系统设备需放置于真实学习环境中,处理系统则主要使用云端计算资源。
(二)技术层
技术层是HILE的构建实施路径,如5G、物联网、云计算等元技术驱动HILE的运转;3D游戏引擎为创建HILE学习资源提供开发平台;XR技术与全息技术为教师与学习者提供沉浸空间环境;数字孪生实现教师、学习者以及环境的发展等。其中,XR技术和数字孪生技术是HILE的重要实现技术,XR技术是构建外显沉浸式环境的关键,而数字孪生是支撑环境内部机理发展的核心。HILE主要应用技术及其功能与作用如表2所示。
表2 HILE主要应用技术及其功能与作用
(三)功能层
功能层是HILE的工作机理。输入系统主要用于采集HILE内所有实体的全生命周期数据以实现全域感知,采集到的数据包括环境数据(如空间明亮度、室内温度、空气湿度等)、硬件设施数据(如位置数据、状态数据、运作动态数据等)、教师与学习者的行为数据(如空间位移数据、交互数据、教学/学习行为数据等)以及学习者在学习过程中的脑电数据,以此触发HILE的各种服务应用,形成空间感应、交互感应与意识感应的超智能学习空间。
处理系统主要用于识别、分析输入系统采集到的数据,生成相关衍生数据以提供相关服务应用,HILE提供的相关服务应用包括但不限于:①生成虚实融合沉浸学习环境中数字对象/虚拟学习资源的动态定位;②根据环境内设备已使用情况预测设备故障程度以调整设备的使用;③即时配备教学/学习资源或情境响应教师与学习者在教学活动中的需求;④通过学习者行为数据与脑电数据分析学习状态并给予相关建议或赞赏、鼓励等积极反馈;⑤对学习者课堂/一学段/一学年的所有学习数据进行分析并生成课堂/学段/学年评价。
输出系统主要用于呈现沉浸式学习环境,利用视、听、触、味、嗅五感为教师与学习者打造一个较为封闭的学习空间,为学习者的沉浸学习提供充分条件。为提高HILE的体验自然性,采用全息影像、三维虚拟声音等技术,教师与学习者无须佩戴繁杂的设备即可进入HILE创设的情境,获得最贴近真实的感官体验。
(四)应用层
应用层是集合HILE所有功能支持创设的10类学习情境。其中,虚拟非日常环境、虚拟实验室、虚拟实训室、沉浸式文化活动场所等,都是VR等沉浸式技术在教育中的常见应用场景,其余部分学习情境在VRLE、ARLE和MRLE的应用构想甚至实践中也不少见,如学生通过虚拟现实的仿真火灾培训获得消防安全技能[18]、在博物馆的巡回考古展览中使用虚拟现实技术[19]、在MR环境下完成“多模态+人机协同”的保险丝熔断实验教学[20]等。然而,尽管VRLE、ARLE和MRLE的应用场景可能性是多样的,实际开发的系统却只能支持一种学习情境或一类学习情境,HILE的优势在于能基于真实学习环境,根据教学需求或学习需求智能创设学习情境,在任意学习场景充分利用沉浸式技术开展沉浸式教学。
四、高沉浸式学习环境应用场景分析
(一)学科教育
自教育教学改革以来,枯燥、师讲生听的学科教学课堂成为改革的首要任务之一。IVE的出现为情境教学、游戏化教学、协作式教学等新型“以学生为主体”的教学方法提供新的开展思路与实施渠道。例如,有学者利用VR技术构造的宇宙情境开展小学三年级数学课“认识年月日”的教学,[21]有学者开发VR英语学习游戏用于训练学生的英语听说能力,[22]等等。虚拟实验室是针对部分学科教育中实验教学的高成本、危险或无法开展等问题提出的新型解决方案,沉浸式技术构建的实验室场景,以及模拟仿真用户与实验设备的交互能让学生充分动手实验,直观但无安全隐患地感受学科魅力。即便目前虚拟现实相关教育应用研究开展火热,但都避不开实践成本高与学生认知负荷重的通性问题。[23]例如,设备昂贵,教师与学生需要花时间学习与磨合设备、学生由于设备复杂的使用方式导致的认知负荷重,以及长时间佩戴设备导致的眩晕感,等等。HILE中对用户体验的自然性设计则能有效规避以上大部分问题。
在经过新冠疫情学校“停课不停学”应用实践后,远程教育现有的同异步教学方式短板凸显,教学效果与线下授课相差甚远。基于HILE的虚拟远程教室同步在线教学能在真实教室的数字孪生体中进行,教师与学习者通过虚拟化身开展教学活动并相互交流,获得如线下一般面对面的学习体验;异步在线学习时教师同样能通过虚拟化身在真实教室的数字孪生体中进行课程的录制,包括问题的提出、回答与预测给学习者的反馈,学习者则通过虚拟化身投身于录播课虚拟环境中,参与学习活动并回答问题,虚拟远程教室会智能识别学生的回答,进行判断并给予教师反馈,为学习者最大程度还原真实上课体验。
基于HILE的沉浸教室是通过关闭窗门、隔声、视觉、听觉营造课堂氛围等方式打造一个较为封闭的物理空间,减少外界因素分散学习者注意力的可能,创造学习者全身心投入学习活动的外部条件,适用于任何教学的讲授环节。
教学是一个复杂的过程,往往由多种环节构成,课堂上也需要随时根据实际情况进行调整,HILE能够在不同的学习情境进行切换,有足够的包容度支撑教学的全过程。
(二)德育
“以人为本”教育理念下的德育是“生活化”德育,即生活是学校德育的出发点、行进点和归宿点。[24]德育方法要贴近生活,因此,沉浸式技术支持下的情境教学应是德育的常态化开展方式,但IVE在德育领域的应用研究较少,少有的应用实践也仅仅是在教学中利用沉浸式设备创设一个或几个生活场景让学习者观看以达到体验的目的。[25]HILE则能实现任意生活情境的创设与调用,让学生获得多感官的沉浸体验与交互反馈,真正发挥情境教学在德育中的作用。
游戏化学习是目前较为流行的教学理论,采用游戏化的方式开展教学活动,能充分提高学习者动机、增添学习趣味性,有利于培养学习兴趣。[26]在HILE中,教师能利用已有的虚拟学习资源组成游戏场景,自行设计游戏机制、设置游戏奖励等,基于HILE的游戏化学习能有效改善课堂呆板枯燥、效率低下的状况,低中年级的德育课堂尤其如此。
(三)心理健康教育与特殊教育
IVE在心理辅导教育甚至是心理治疗领域的应用研究并不少见。例如,有学者利用开发的虚拟现实心理放松训练系统实现对大学生焦虑情绪的有效干预,[27]等等。对于生理或心理有不同程度障碍的特殊儿童,沉浸式技术能为他们提供康复训练及掌握生活基本技能的沉浸、仿真环境[28],弥补传统特殊教育与治疗方式的不足,且特殊儿童对其接受度较高。[29]
由于心理治疗与生理治疗的复杂性,IVE仅作为一种研究工具使用,还未能广泛应用于实践中。除了一般基于IVE创设虚拟生活情境与虚拟非日常情境用于相关治疗与干预外,HILE情境的发展性与开放性还支持复杂的治疗与康复训练设计,对需要控制外界环境的治疗方法有绝对性的优势。例如,进行系统脱敏治疗时,教师能通过HILE控制学生承受的焦虑或恐惧刺激,降低系统脱敏治疗的实施成本;HILE中的虚拟化身能降低特殊儿童的心理戒备,帮助他们参与正常社交活动,甚至能够提供更多的教育机会,让他们可以与普通学校的学生共同上课,实现教育公平。
(四)学前教育与职业教育
AR技术目前已经较为广泛地应用在学前教育的幼儿读物中,通过呈现某个三维具体事物让幼儿获得更加直观的认识,但很少用于故事型绘本,为单单一本或一个系列的故事绘本开发故事虚拟情境的成本较高,并且也无法让幼儿每次在读故事书时都佩戴沉浸式设备。HILE会通过智能识别故事绘本,调出对应的主人公模型与相关场景模型,创立书中小世界,小世界会随着幼儿的朗读进度推进情节进展,以此增强故事体验的深刻性。
虚拟实训室主要是IVE在职业教育的应用,用于培养学生的实践操作技能和应用素养。基于HILE的虚拟实训室仅能在简单的交互环境下为学习者提供接近真实训练的体验,如在汽车/飞机/轮船的模拟驾驶器创设虚拟路况、海面或空中场景;HILE还能在真实的实训室内提供虚拟信息或指引辅助学习者,提高训练效率、降低操作危险度。
(五)非正式学习
在非正式教育场合,VRLE、ARLE和MRLE的相关应用研究相对缺乏。[30]基于HILE的虚拟学习社区是根据学习者的兴趣爱好所建的类似社区的虚拟场景。学习者在进修自己的兴趣爱好时通过虚拟化身“上线”虚拟学习社区,虚拟学习社区不仅能提供相关学习资源,还能记录学习者学习情况、与其他学习者进行交流。HILE能创设沉浸教室或投射虚拟学习社区支持小学课外活动课或兴趣课的开展。
基于HILE的沉浸式文化活动场所主要应用在博物馆/科学馆等文化活动场所的教育中, HILE能帮助博物馆/科学馆实现高沉浸式展览,在展览文物、技术或事迹时具现化文字描述,使学习者获得更明确的认知、更深刻的体验以及更震撼的情感触动,而场馆的数字孪生体也能丰富博物馆/科学馆的教育形式,使学生跨越时间与空间,在学校游博物馆/科学馆,丰富社会实践活动,增长见识。
参考文献:
[1]蔡苏,焦新月,宋伯钧.打开教育的另一扇门——教育元宇宙的应用、挑战与展望[J].现代教育技术,2022,32(1):16-26.
[2]华子荀,黄慕雄.教育元宇宙的教学场域架构、关键技术与实验研究[J].现代远程教育研究,2021,33(6):23-31.
[3]刘革平,谢涛.三维虚拟学习环境综述[J].中国电化教育,2015(9):22-27.
[4]胡辰洋,于昌利.韩国教育元宇宙的内涵、实践与启示[J].阅江学刊,2022(3):99-110,174-175.
[5]袁平华,俞理明.加拿大沉浸式双语教育与美国淹没式双语教育[J].比较教育研究,2005(8):86-90,76.
[6]赵瑞斌,范文翔,杨现民,等.具身型混合现实学习环境(EMRLE)的构建与学习活动设计[J].远程教育杂志,2020,38(5):44-51.
[7][16]朱珂,张莹,李瑞丽.全息课堂:基于数字孪生的可视化三维学习空间新探[J].远程教育杂志,2020,38(4):38-47.
[8]祝士明,陈静潇.虚拟现实学习环境的作用、挑战以及应对策略[J].现代教育技术,2019,29(2):39-45.
[9]柳瑞雪,任友群.沉浸式虚拟环境中的心流体验与移情效果研究[J].电化教育研究,2019,40(4):99-105.
[10]范文翔,赵瑞斌.数字学习环境新进展:混合现实学习环境的兴起与应用[J].电化教育研究,2019,40(10):40-46,60.
[11]王灿明.情境教育四十年的回顾与前瞻[J].南通大学学报(社会科学版),2020,36(2):132-140.
[12]陆国良.创设有效情境,绽放课堂魅力[J].中学政治教学参考,2013(16):24-26.
[13]何聚厚,梁瑞娜,肖鑫,等.基于沉浸式虚拟现实系统的学习评价指标体系设计[J].电化教育研究,2018,39(3):75-81.
[14]褚乐阳,陈卫东,谭悦,等.重塑体验:扩展现实(XR)技术及其教育应用展望——兼论“教育与新技术融合”的走向[J].远程教育杂志,2019,37(1):17-31.
[15]张艳丽,袁磊,王以宁,等.数字孪生与全息技术融合下的未来学习:新内涵、新图景与新场域[J].远程教育杂志,2020,38(5):35-43.
[17]王小根,周乾.孪生场馆:融入数字孪生的虚实共生学习空间[J].现代教育技术,2021,31(7):5-11.
[18]ÜNAL ÇAKIROĞLU, SEYFULLAH GÖKOĞLU. De-velopment of fire safety behavioral skills via virtual reality[J]. Computers & Education, 2019,133:56-68.
[19]ANNA PUIG, INMACULADA RODRÍGUEZ, JOSEP LL, et al. Lessons learned from supplementing archaeological museum exhibitions with virtual reality[J]. Virtual Reality,2020,24(2):343-358.
[20]陆吉健,周美美,张霞,等.基于MR实验的“多模态+人机协同”教学及应用探索[J].远程教育杂志,2021,39(6):58-66.
[21]柳瑞雪,刘楚,任友群.基于沉浸式学习环境的VR课堂教学应用研究——以小学三年级数学课《认识年月日》为例[C]//第22届全球华人计算机教育应用大会论文集,2018:27-35.
[22]何聚厚,黄秀莉,韩广新,等.VR教育游戏学习动机影响因素实证研究[J].电化教育研究,2019,40(8):70-77.
[23]DUNLEAVY M, DEDE C, MITCHELL R. Affordances and limitations of immersive participatory augmented reality simulations for teaching and learning[J]. Journal of Science Education & Technology, 2009,18(1):7-22.
[24]王晓丽.学校德育“生活化”的内涵意蕴与路径选择[J].社会科学战线,2020(10):276-280.
[25]李晓然.VR技术应用于初中道德与法治课体验式教学研究[D].新乡:河南师范大学,2019.
[26]SCHÖBEL SOFIA, SAQR MOHAMMED, JANSON ANDREAS. Two decades of game concepts in digital learning environments-A bibliometric study and research agenda[J]. Computers & Education, 2021,173.
[27]张志松,李福华.虚拟现实心理放松系统干预大学生焦虑情绪的研究[J].教师教育研究,2018,30(2):88-93.
[28]FENGFENG KE, JEWOONG MOON. Virtual collaborative gaming as social skills training for high-functioning autistic children[J]. British Journal of Educational Technology, 2018,49(4):728-741.
[29]王庭照,许琦,赵微.虚拟现实技术在特殊儿童教学与训练中的应用研究[J].华东师范大学学报(教育科学版),2013,31(3):33-40.
[30]陈娟娟,周玉婷,翟俊卿.虚拟现实技术和增强现实技术在博物馆学习中的应用[J].现代教育技术,2021,31(10):5-13.
High Immersion Learning Environment: A New Perspective on Learning Environment Design
(Faculty of Education Shenzhen University, Shenzhen 518060, Guangdong)
编辑:王天鹏 校对:王晓明
期刊简介
《中国教育信息化》创刊于1995年8月,是由中华人民共和国教育部主管,教育部教育管理信息中心主办,面向国内外公开发行的国家级学术期刊。期刊内容力求全面深入地记录我国教育信息化的建设进展、研究与应用成果和行业发展状况,开展我国教育信息化发展状况调研和教育信息化国际比较研究,服务于国家教育宏观决策;力求全面准确地把握教育信息化相关的方针政策和标准规范,及时追踪ICT前沿技术的发展趋势及其与教育的融合,深度挖掘教育信息化建设与应用的体制、机制创新,服务于我国教育信息化实践。
●RCCSE中国核心学术期刊
●中国人文社会科学(AMI)扩展期刊
●中国期刊全文数据库收录期刊
●中文科技期刊数据库收录期刊
●国家哲学社会科学学术期刊数据库收录期刊
●中国核心期刊(遴选)数据库收录期刊
●龙源期刊网收录期刊
一年12期,每月20日出版
20元 / 期,邮发代号:82-761
编辑部邮箱:mis@moe.edu.cn
通讯地址:北京市西城区华远北街2号921室