查看原文
其他

蒋艳双等|虚拟游戏如何支持孤独症儿童教育?——基于国际研究的系统性文献综述

蒋艳双 朱立新等 现代远程教育研究 2024-02-05

点击上方蓝色文字关注我们



作者简介蒋艳双,博士,助理研究员,北京师范大学互联网教育智能技术及应用国家工程研究中心(北京 100875);朱立新,博士,副研究员,北京师范大学互联网教育智能技术及应用国家工程研究中心(北京 100875);逯行,博士,讲师,硕士生导师,浙江师范大学浙江省智能教育技术与应用重点实验室(浙江金华 321004);高红英,助理实验师,陕西师范大学外国语学院(陕西西安 710062)。

基金项目北京市教育科学“十四五”规划2021年度青年专项课题“双师教学场域中的学生情感氛围动力学模型研究”(CECA21109)。


引用:蒋艳双,朱立新,逯行,高红英(2022).虚拟游戏如何支持孤独症儿童教育?——基于国际研究的系统性文献综述[J].现代远程教育研究,34(3):104-112.



摘要:孤独症儿童常具有社会交往障碍、行为重复刻板和兴趣固定狭隘等特征,教育训练为其主要治疗手段。虚拟游戏以其可视化、交互性与场景性等特点,有助于孤独症儿童的教育干预。利用系统性文献综述法对国际上利用虚拟游戏支持孤独症儿童干预的相关研究进行分析发现:(1)虚拟游戏支持孤独症儿童教育的关键技术包括可视化技术、虚拟代理技术和新兴技术。可视化技术将人的肢体与面部情绪以3D动画的形式突显,促进孤独症儿童情绪理解与识别能力的培养;虚拟代理技术帮助孤独症儿童通过化身与其他对象交互,提升其社交能力;利用新兴技术构建可交互的虚拟现实环境,可强化孤独症儿童因果关系理解与独立出行体验。(2)虚拟游戏可作为孤独症儿童教育中的认知工具和教与学支持工具,帮助其进行词汇学习、数字化阅读与编程学习。我国孤独症儿童教育发展可运用多模态分析技术,拓展虚拟游戏教学效果的测评方式;重视虚拟游戏教育应用伦理风险,构建“政—企—校”协同联动的多元共治机制;以学习需求为导向,构建虚拟游戏设计框架;在职业培训与就业支持中,重视数字素养与技能的培育。

关键词:虚拟游戏;孤独症儿童教育;特殊教育;系统性文献综述




一、引言

孤独症谱系障碍(Autism Spectrum Disorder,ASD)是一组以社会交流和社会互动缺陷、行为重复刻板与兴趣固定狭窄为特征的神经发育性障碍疾病(American Psychiatric Association,2013,p.426),其在儿童群体中患病率呈逐年递增的态势(五彩鹿自闭症研究院,2017),目前ASD治疗以教育训练为主,药物治疗为辅(闫海虹等,2022)。因此,面向ASD儿童的教育研究具有重要的现实意义。

虚拟游戏是基于互联网和计算机技术发展起来的游戏方式的总称,包括交互式视频游戏、虚拟环境等(孙岩,2008),其不仅可作为娱乐消遣工具,还可为ASD儿童的教育干预提供助力。已有研究表明,虚拟游戏对孤独症患者的孤独感存在显著影响,孤独症患者用适量时间体验网络游戏,能够减少孤独感(Sundberg,2018)。近年来,为了提升虚拟游戏在ASD儿童教育中的应用成效,学者们在虚拟游戏框架设计和对ASD儿童群体特征分析的基础上,聚焦基于不同技术的虚拟游戏对ASD儿童教育教学的影响和评估等方面开展了一系列的研究。如Bremer等(2016)探讨了两组基本运动技能干预对ASD儿童运动技能及社交技能的作用;Stone等(2019)发现了多人虚拟游戏对患孤独症小学生的社会互动质量提升具有支持作用,并且通过多模态交互技术与虚拟游戏对其社交技能进行有效性评估。由此可见,虚拟游戏支持ASD儿童的教育教学研究已积累了一定的经验,尤其在缺陷补偿教学与技能培训领域。但面向ASD儿童的虚拟游戏干预仍存在操作性差、实施难度大等问题,缺少全局性、系统性和针对性的技术应用方法,缺乏明确的技术干预机制(Mora et al.,2015)。基于此,本研究梳理国内外虚拟游戏支持ASD儿童教育的相关研究,探讨虚拟游戏支持ASD儿童教育的关键技术及其特征,揭示当前虚拟游戏在ASD儿童教育中的作用及应用重点,以期为我国ASD儿童教育游戏化研究提供理论参考和行动指南。

二、研究设计

1.研究方法

本研究采用系统性文献综述方法。系统性文献综述旨在以明确的研究问题、全面的检索策略、清晰的文献纳入标准与综合的数据分析,来得出可信的研究结果,可减少由传统文献综述方法带来的研究偏倚(Xiao et al., 2019)。

2.研究问题

为呈现利用虚拟游戏对ASD儿童实施教育干预的研究现状,本研究确定了以下研究问题:(1)虚拟游戏支持ASD儿童教育的关键技术有哪些?(2)虚拟游戏在ASD儿童教育中的作用如何体现?(3)虚拟游戏可以从哪些方面支持ASD儿童教育?其有效性如何?

3.研究样本及筛选

(1)文献检索策略

本研究所主张的虚拟游戏是指以教育为目标,将数字技术应用于教育教学过程,发展ASD儿童适应外界变化、自主社交、独立出行、情绪识别等技能的严肃游戏。因此,在检索策略方面,本研究以“Autism & Virtual Games”“Autism & Serious Sames”“ASD & Serious Games”“ASD & Virtual Games”等为关键词,对Web of Science和Springer Link等数据库的相关文献进行检索,检索时间限定为2003年12月至2021年11月,共得到文献287篇。

(2)文献筛选标准

为精确掌握虚拟游戏对ASD儿童教育的支持情况,本研究根据研究问题对检索得到的287篇文献制定了相应的文献纳入和排除标准,具体如表1所示。其中第1~3条旨在进一步提升文献样本筛选的精确性;第4~7条分别对研究对象、研究内容、研究目标与研究过程作限定,以便更好地聚焦研究问题。

表1 文献纳入和排除标准

4.文献筛选过程

本研究遵循系统性文献综述方法,通过检索、筛选、合格和纳入四个阶段对虚拟游戏支持ASD儿童教育的相关文献进行筛选,最终纳入有效文献共45篇,具体PRISMA流程如图1所示。

图1 PRISMA流程图
三、虚拟游戏支持ASD儿童教育的研究概略

从文献发表时间来看,45篇文献发表时间跨度为2003—2021年。伴随信息技术的快速发展,虚拟游戏支持ASD儿童教育的形态日趋丰富,文献纳入数量也整体上呈现出增长趋势。

从文献发表的期刊分布情况来看,发表于计算机类期刊的文献数量为16篇(占比35.6%),发表于教育研究类期刊的文献数量为13篇(占比28.9%),发表于心理学期刊的文献数量为11篇(占比24.4%)。文献发表数量排名前五的期刊依次为《Journal of Autism and Developmental Disorders》(6篇)、《Computers in Human Behavior》(3篇)、《Computers & Education》(3篇)、《Interactive Learning Environments》(2篇)和《Universal Access in the Information Society》(2篇),可见有关虚拟游戏支持ASD儿童教育的研究已受到计算机科学、教育学和心理学等领域学者的关注。

从文献引用率来看,有16篇(占比35.6%)文献的引用率在20次以上,超过50次引用的文章有14篇(占比31.1%)。其中,引用率最高的文章是Golan等(2010)关于基于交通运输场景的虚拟游戏对ASD儿童情感词汇的理解以及情绪理解与识别能力的影响作用的研究(189次);其次是Bosseler等(2003)关于基于虚拟教师的虚拟游戏对ASD儿童词汇和语言学习的影响的研究(184次)。可以发现,引用率较高的文章主题主要聚焦于虚拟游戏支持ASD儿童的词汇学习及其情绪理解与识别能力的提升,这是虚拟游戏教育应用的研究热点。

从作者分布特征来看。为呈现国际上虚拟游戏支持ASD儿童教育文献的作者分布情况,研究对45篇文献样本的第一作者进行分析。其中,作者总共来自16个国家,其区域分布分别是欧洲(n=15,33.3%)、北美洲(n=14,31.1%)、亚洲(n=11,24.4%)以及大洋洲(n=5,11.1%)。从发文作者数量来看,美国作者共计13位,占总作者数的28.9%,表明美国学者是虚拟游戏支持ASD儿童教育研究的主要群体。

四、虚拟游戏支持ASD儿童教育的技术基础及作用方式

对文献内容进行分析发现,虚拟游戏在支持ASD儿童教育中的关键技术主要包括可视化技术、虚拟代理技术和新兴技术:可视化技术将人的肢体与面部情绪以3D动画的形式突显,可促进ASD儿童情绪理解与识别能力的培养;虚拟代理技术帮助ASD儿童通过化身与其他对象交互,可提升其社交能力;利用新兴技术构建可交互的虚拟现实环境,可强化ASD儿童因果关系理解与独立出行体验。

1.可视化技术提升情绪理解与识别能力

在近二十年的相关研究中,基于可视化技术的虚拟游戏教育应用文献数量占总样本的20.0%(9篇)。可视化技术通过3D动画角色模拟和3D动画场景创设,可改善ASD儿童的情绪理解与识别能力。

第一,角色模拟。孤独症患者在识别、理解和回馈他人的面部表情、语音语调、身体姿势,以及表达自己的情绪方面存在较大困难(Aitken,2012)。3D动画通过模拟真实物体,以自然逼真的表现方式来突显虚拟人物的动作与表情,有助于ASD儿童观察与感受虚拟人物的行为与情绪,为ASD儿童的情绪干预提供支持。由文献分析可知,当前利用基于3D动画角色的虚拟游戏支持ASD儿童习得情绪识别技能的研究数量较多,且主要集中于面部表情和肢体动作的识别。例如,“少年侦探培训计划”(Beaumont et al.,2008)作为一项提升ASD儿童情感识别能力的虚拟教育游戏,以3D动画欣赏与角色扮演等策略引导ASD儿童体验案件侦破的过程,帮助其学会识别复杂情绪(如尴尬、内疚等)。当完成一系列学习任务后,研究人员对参与者开展为期5个月的跟踪访谈,发现干预组ASD儿童的社交技能和情绪管理能力均得到显著提升。

第二,场景创设。基于面部表情的干预以孤独症情绪认知理论为基础。Baron—Cohen等(2005)提出的“移情—系统化”理论(Empathising—Systemising,E—S)认为ASD儿童的大脑是高度系统化的,他们在认知他人心理状态、眼神互动、语言交流等移情机制上存在障碍,但在细节观察、处理高度结构化信息、认知物理结构等系统化机制上具有优势。因此,沉浸式、无监督的3D场景技术能够为ASD儿童营造适合其认知特点的虚拟场景。如情绪认知动画“The Transporters”(Golan et al.,2010),在有轨电车、缆车、链轮、长途汽车、缆索铁路和拖拉机六种虚拟车辆上移植了情感表达的拟人面孔,并将虚拟车辆之间的娱乐性交互进行情境化处理。该游戏所展现的故事具有高度结构化的特征,且将面部表情嵌入交通工具等物理结构中而非肢体语言或有情绪的声音里,契合ASD儿童高度系统化大脑的认知需求。这就使得ASD儿童的优势能力得到有效发挥,能够补偿其社会认知方面的障碍(刘理阳等,2014)。评估结果表明,该系列游戏能够显著提升ASD儿童对虚拟游戏中所呈现的15种关键情绪的理解和识别能力。

2.虚拟代理技术提升应变能力与社交能力

在虚拟游戏支持ASD儿童的教育研究中,有关虚拟代理技术应用的文献数量占总样本的33.3%(15篇),其中虚拟教师设计与应用的关注度最高。从文献数量可以看出,伴随虚拟游戏的快速发展,虚拟代理技术应用逐步成为虚拟游戏教育研究中的重要议题。虚拟代理技术逐步向个性化和强交互性发展,虚拟代理的化身形象由2D动画演变为3D动画,技术特征也由简单的音视频交互转变为虚拟现实学习环境交互,教育应用体现为智能导师和智能学伴等。

(1)化身技术

化身技术能够模拟人类的生理机能,使虚拟代理具备拟人的外观、姿态、行为和情感。在应用过程中,化身技术可以表征为图片、视频和动画等形式。化身技术可以帮助ASD儿童模拟现实的生活与社交场景。例如,澳大利亚“孤独症游戏”项目利用音视频、2D动画等技术让ASD儿童与化身进行交互,帮助患有中度甚至重度孤独症的儿童接受并应对日常生活中的变化(如天气变化和生活中的突发事件等),提升其应变能力。智能代理游戏“SHARE-IT”(Porayska-Pomsta et al.,2013)在沉浸式学习环境中,以生活情境中的实际问题为导向,融合化身与音视频等技术,让ASD儿童通过与虚拟角色的多维互动来增进其对外部多通道信息的感知,提升其环境适应能力。

(2)协同虚拟环境

目前绝大多数虚拟现实类严肃游戏采用预编程或关联技术,与动态真实世界相比,缺乏社交和通信的灵活性(Zhang et al.,2018)。为此,构建一个计算机支持的分布式虚拟场景的集合,即协同虚拟环境(Collaborative Virtual Environment, CVE),促进多位玩家同时与虚拟物体进行交互,可以改善虚拟环境中交互层面的局限性(Benford et al.,2001)。协同虚拟环境技术凭借场景设置、交互特效、人机交互和智能算法等优势,通过营造一个集游戏化展示、学习内容交互以及学习体验为一体的场景交互体系为ASD儿童的训练提供支撑。例如,基于CVE的“虚拟咖啡馆”游戏(Parsons et al.,2004)通过强化沟通(游戏程序向玩家询问问题)、交互(玩家使用鼠标与游戏进行响应)和导航(玩家使用操纵杆在虚拟环境中按照指示方向前进),能够激发ASD儿童的社交动机,强化个体之间的社交强度,进而促进ASD儿童社交技能的提升。已有研究证实,基于CVE的虚拟游戏不仅能够增进ASD儿童的社交能力,激发其参与社会性活动,还能在其共情能力方面产生促进效果(Chene et al.,2010),类似的干预项目还有多场景虚拟实景游戏“Second Life”等(Ke et al.,2013)。

3.新兴技术强化因果关系理解与独立出行体验

新兴技术应用方面的文献数量占总数的46.7%(21篇),其中关于沉浸式场景创建与评估的实证研究较多。以触控交互、动作捕捉、可穿戴技术为代表的新兴技术正加速与5G、人工智能等技术交叉融合,并已衍生出新的应用场景。经文献内容分析可知,新兴技术在虚拟游戏中的应用研究多聚焦于自然交互技术与多模态学习分析。

(1)触控交互技术

虚拟游戏能够将ASD儿童的思维发展置于真实的问题境脉中,借助多媒体技术和触控交互技术的交叉融合,在点击、触控等操作行为的反馈下,提升ASD儿童对虚拟学习环境的感知体验能力,使其理解交互行为发生的因果关系。例如,在“虚拟花园”(Bernardini et al.,2014)中,ASD儿童可通过单点触控、多点触控、多指拖动以及叠加拖动等操作改变花园中各个对象的形态,实现将花朵逐步“栽种”至对应花盆中的目标。触控操作行为与操控对象的状态变化一一对应,能帮助ASD儿童了解操控对象变化的原因,理解游戏中事物变化的因果关系。除此之外,触控交互技术与可穿戴设备以及大数据技术等的融合,能够创新人机交互方式,从而增强ASD儿童的学习体验。

(2)可穿戴技术与动作捕捉技术

可穿戴设备作为一种能够穿戴的便携式计算设备,具有移动性、可携带和强交互性等特点,可以为ASD儿童提供丰富的视觉、听觉和触觉体验,增强ASD儿童在虚拟环境中的感知与交互能力。动作捕捉技术在人体的关键部位设置追踪器,并由系统捕捉追踪器的位置,再经过计算处理后得到空间坐标数据,使虚拟游戏能更精准地获取ASD儿童的姿态、动作等身体数据。动作捕捉技术与可穿戴技术相结合有助于对ASD儿童进行独立出行训练。例如,Yang等(2016)开发了一款面向ASD儿童自主出行场景的VR训练系统,包括认识路标、安全过马路、乘坐公共汽车和地铁以及在停车场散步等,旨在训练ASD儿童的多种独立出行技能。该训练系统利用基于Kinect和IMU的可穿戴设备捕捉ASD儿童关节的旋转运动,估计关节的运动轨迹,使用Microsoft Face跟踪工具获得头部姿态数据,在第一人称视图模式下控制虚拟环境视图,并识别ASD儿童的姿态行为模式。虚拟现实出行训练系统通过将动作捕捉技术、自然交互技术和可穿戴技术相结合,来增强车辆与行人之间互动的真实性,能够帮助ASD儿童在无监督的安全环境下练习出行必备技能。同时,基于手势的自然人机交互和直观的虚拟环境导航也可提升ASD儿童的虚拟出行体验。

对ASD的诊断取决于对触觉、声音、温度和视觉等感官输入的非典型反应(American Psychiatric Association,2013,p.429),对ASD儿童而言,感觉反应的改变表现出高度差异性。因此,监测与分析可穿戴设备反馈的视听觉和触觉信号是确定ASD儿童能否安全应用可穿戴设备的重要议题。但AR技术支持ASD儿童的教育研究大多数以智能手机和平板电脑应用程序为载体(Sahin et al.,2018),缺乏针对ASD儿童的头戴设备安全性的研究。

综上,虚拟游戏支持ASD儿童教育的关键技术日趋多元且个性化,其中有两方面值得重点关注:第一,由前文案例可知,有研究已经实现通过多种数据采集技术,获得并分析ASD儿童的多模态数据,从而计算出ASD儿童的行为模式,以提供精准的教育服务及反馈。在虚拟游戏教育应用过程中,多模态学习分析使得针对ASD儿童非语言信号的检测成为可能,也是创新多元测评方式的重要切入点。第二,伴随AR/XR技术、可穿戴设备等新技术的快速发展,其在ASD儿童教育应用中的风险问题变得尤为突出,例如安全性问题、隐私泄露、算法歧视等。这均是我国在特殊教育领域中科技伦理治理所需关注的内容。

五、虚拟游戏在ASD儿童教育中的应用路径

虚拟游戏在ASD儿童教育中的应用主要聚焦于作为学习的认知工具以及作为教与学的支持工具两个方面。

1.作为学习的认知工具

随着以虚拟现实为代表的新一代信息技术的快速发展,基于虚拟游戏的认知工具日益成为ASD儿童适应性认知发展的有效手段,具体包括化身与手势两类。

化身技术可为ASD儿童提供形象直观的交互载体,创设真实的视觉体验。例如,Bosseler等(2003)设计并研发了一款虚拟游戏“Language Wizard/Player”,利用虚拟教师角色教授词汇和语法知识,为ASD儿童独立学习词汇提供了有效的认知平台。在游戏化教学过程中,虚拟教师Baldi发出语音指令,ASD儿童响应后屏幕将出现反馈正误的表情,强化ASD儿童的认知效果。经过30天的实验干预,评估结果显示,ASD儿童的词汇学习效果得到了显著改善,30天后单词记忆率仍保持在91%左右。

手势在ASD儿童的知识习得、复杂精细运动和认知发展中具有重要作用。基于手势的虚拟游戏是一种极具潜力的认知工具,能够帮助ASD儿童更好地与计算机进行交互,并获得即时反馈,持续提升其精准运动技能及认知能力(Cai et al., 2018)。“粉红海豚游戏”通过基于虚拟现实技术的沉浸式互动,赋予ASD儿童海豚驯养师的角色体验,让其能根据游戏指令以手势的方式为海豚指出正确路径,培养ASD儿童对不同手势作用和含义的认识,缓解其在方向跟随、心理动作和手眼协调能力上较弱的问题。除此之外,该游戏还可通过不同的游戏情境和关卡设置来帮助ASD儿童习得算术以及识别颜色和形状等技能(Lu et al., 2018)。

综上所述,虚拟游戏通过化身和手势将学习内容以沉浸式、体验式、定制化和趣味化的形式进行呈现,为ASD儿童提供了认知发展的支持,持续提升其认知学习效果。

2.作为教与学的支持工具

(1)以多感官通道整合促进词汇学习

词汇在日常语言交流中发挥着社会意义建构的桥梁作用,其不仅是阅读理解中不可或缺的组成部分,也是语言运用的“催化剂”。但词汇学习对ASD儿童而言是一项极具挑战性的任务。与普通儿童相比,ASD儿童在语用能力和情绪认知方面存在着一定程度的障碍(Melogno et al., 2016)。正常发育的儿童仅需8~14个月便能说出第一个单词,而ASD儿童却需约38个月,且ASD儿童不能遵循正常儿童的言语发音顺序(Howlin, 2003)。一般情况下,结合真实的生活情境,利用虚拟游戏开展面向ASD儿童的词汇教学,可对学习效果产生积极影响。马来西亚学者Khowaja等(2019)基于ASD儿童特征设计了专门针对ASD儿童词汇学习的游戏设计框架并在此基础上研发了词汇学习软件“Vocab Builder”,旨在通过视听教学媒介呈现日常生活中的物品,以辅助ASD儿童学习不同类别的单词。在游戏过程中,ASD儿童可以自由选择一个物体来浏览,也可选择不同的声音播放对应的单词发音。实证结果显示,在该软件的帮助下,ASD儿童的词汇学习能力有所提升,表现为只听物体名称就可以识别出相应物体,且在一段时间内还能回忆起相同物体。可见,将词汇学习的文本和其表征的视觉图像、声音相结合,有助于ASD儿童对目标词汇的记忆和习得,也有助于其语言理解能力的提升。

(2)以沉浸式虚拟场景支持数字化阅读

虚拟游戏将声音、视频与阅读文本等多媒体信息进行有效整合,以沉浸式虚拟教学场景的方式,为ASD儿童的数字化阅读提供支持。研究发现,ASD儿童在阅读课文并理解文本意义的过程中,面临着不同程度的困难与挑战(Khowaja et al.,2020)。数字化阅读是一种基于终端阅读设备的超文本阅读方式。伴随信息社会发展,数字化阅读已成为阅读的重要组成部分(邹群霞,2020)。在数字化阅读的过程中,通过虚拟游戏,将ASD儿童的注意力转移到数字阅读场景中,并设置与之相匹配的虚拟游戏资源,可以帮助ASD儿童便捷获取阅读内容并理解文本的意义。基于对ASD儿童阅读障碍的考量,可采用“1分钟课堂”等策略帮助他们获取关键信息,通过“阅读书签”“社会日历”等辅助工具帮助其理解虚拟化阅读情境,或引导其将注意力集中于人物的语音语调或面部表情等线索(Melogno et al.,2016),最大程度地为ASD儿童解决“数字使用鸿沟”带来的差异化阅读困难。综上,面向ASD儿童的数字化阅读,以虚拟游戏为载体,集图像、声音、视频、动画和VR/AR等技术为一体,表现内容趋于生动且精简,显著提升ASD儿童的文本理解能力。

(3)以多元交互支持ASD儿童编程教育

虚拟游戏与编程教育的融合为ASD儿童计算思维的发展提供了新的可能性。研究显示,ASD儿童表现出对数字工具的自然倾向性,因此计算机编程被认为是一种较为适合孤独症患者从事的工作类型(王纯纯等,2021)。当虚拟游戏应用于编程教育时,其智能可视化、协同交互的特点,对ASD儿童的社交技能、计算思维和认知发展具有显著的影响作用。例如结合“虚拟”与“社交”之意的“Virtuoso”虚拟游戏(Schmidt et al.,2016),利用“虚拟可编程机器人”帮助11~14岁ASD儿童解决计算机编程的入门问题。在问题解决过程中,ASD儿童利用虚拟学习材料,在虚拟学习空间中开展协作学习,可针对性地改善其社交技能。总体而言,以虚拟游戏集成的计算工具不仅能够提升ASD儿童的社交技能,也能提升其计算思维。

综上,作为ASD儿童的教与学支持工具,虚拟游戏对ASD儿童的词汇学习、数字化阅读和编程学习等具有积极影响。其中有两方面值得重点关注:一是国际上已经具备了专门面向ASD儿童学习的游戏设计框架,并且通过了有效性和适用性检验,但是我国对虚拟游戏设计框架的研究还未被重视,对游戏易用性和可用性的评估还较为欠缺(宿淑华等,2019)。二是通过已有研究可知,国际上基于虚拟游戏的ASD儿童教育愈来愈趋向于数字素养与技能的全面培养,这也与我国《提升全民数字素养与技能行动纲要》中的“数字社会无障碍改造提升工程”要求不谋而合。多措并举提升ASD儿童的数字意识、计算思维、终身学习能力等,是我国加快弥合数字鸿沟的普惠性服务重点与经验(中央网络安全和信息化委员会,2021)。

六、研究启示

通过对虚拟游戏支持ASD儿童教育的研究与案例的分析,可总结出以下四点经验,为我国开展虚拟游戏支持ASD儿童教育教学提供借鉴。

1.运用多模态学习分析,拓展教学测评方式

多模态学习分析的快速发展,为ASD儿童教学测评带来了新机遇。从社会符号系统来看,对多模态的释义更加偏向于机器对外部环境的感知模式或信息通道(Lahat et al.,2015),既包括身体姿态、面部表情等信息感知通道,也包括教学情境中基于多种传感设备的数据采集方式(蒋艳双等,2022)。与单模态数据相比,多模态数据融合不仅能够提升测评的准确性和全面性,还可通过对多通道数据的验证来提升问题阐释的合理性(穆肃等,2021)。多模态学习分析能够丰富虚拟游戏教育应用的效果评估手段,可为ASD儿童学习成效验证提供数据支撑。在虚拟游戏支持ASD儿童学习的过程中,可以利用多种数据采集设备(例如超高清摄像机、眼动设备和心率传感器等),伴随式采集师生的多模态学习行为数据,并利用多种分析技术对其进行同一化整合与建模,为师生等利益相关者提供教学支持与服务(Stone et al.,2019)。为此,建议构建混合式、系统化的虚拟游戏教育应用效果测评方案,以综合考查ASD儿童在情绪识别、适应变化、社交协作和计算思维等上的训练成效。

2.重视虚拟游戏教育应用伦理风险,构建“政—企—校”协同联动的多元共治机制

虚拟游戏作为助力ASD儿童教育的有效且可靠的技术手段,在教育应用过程中仍面临诸多科技伦理挑战。例如,由于ASD儿童的感觉反应存在高度差异,可穿戴设备对其感知觉的反馈可能存在过度刺激,使其不能应对虚拟环境带来的变化;ASD儿童使用虚拟游戏的时间过长可能导致成瘾风险;ASD儿童的声纹和面部特征等隐私数据存在被泄露与盗用的风险。针对以上科技伦理问题,需加强“政—企—校”之间的协同联动,建立差异化、全覆盖的多方问责机制,制定并执行监督与防范措施,持续提升科技伦理治理能力(中共中央办公厅 国务院办公厅,2022)。“政—企—校”协同的多元共治机制可由政府主导,建立虚拟游戏在特殊教育中应用的伦理规范与风险预警机制,并明确企业和学校的责权范畴。企业应遵守市场规范,确保其产品不违反科技伦理。例如,设计游戏时遵循教育伦理、规范好用户数据采集方式、建立数据保护机制等。学校作为虚拟游戏的应用主体,应加强科技伦理日常管理,主动研判虚拟游戏教育应用可能引发的伦理风险。例如,学校严格把控虚拟游戏纳入学校教学活动的入口,并规范其在教学中的应用方式等。

3.以学习需求为导向,构建虚拟游戏设计框架

从整体上看,国际上已有关于虚拟游戏设计框架的研究。由于我国特殊教育的研究与实践起步较晚,尚缺乏一套符合我国ASD儿童学习需求,且契合中国国情的虚拟游戏设计框架。制定此类框架,首先要在充分遵循ASD儿童认知发生机制和心理发展规律的基础上,掌握ASD儿童群体的特征、兴趣偏好和学习风格等。这是虚拟游戏设计框架构建的出发点。其次,虚拟游戏的设计框架应具备多种分支路径,每个分支的游戏激励策略、学习内容呈现方式、进度安排等均有差异化设置,且每个分支需提供不同等级难度的学习内容及测验题目。具体而言,等级难度设置不仅要与不同能力水平的ASD儿童相匹配,还要差序配对学生的学习需求,以持续调动学生的参与动机和学习兴趣。再次,基于数字文化体验的差异性考虑,虚拟游戏中的化身应选用本国或本民族的人物形象,帮助ASD儿童更好地接受知识教授与情感训练。最后,在大数据、人工智能等技术支持下,虚拟游戏设计时可加入感知与采集ASD儿童个性化特征与需求的功能,进而为其推荐适切的学习资源和学习活动序列,形成自适应学习路径推荐机制,并提供实时数据分析与可视化呈现功能,为ASD儿童的认知发展和社交技能改善提供智能化学习路径。

4.在职业培训与就业支持中,重视ASD儿童数字素养与技能的培育

当前,我国孤独症青年就业率仍不足10%,且绝大多数家长认为独孤症儿童的职业培训与就业支持需求未得以满足(董萍等,2020)。适当给予ASD儿童职业学习的机会,让其接触所选职业相关的工作内容,帮助其确定个人工作偏好,这对ASD儿童职业发展与就业选择等方面具有重要意义。信息化社会对ASD儿童数字素养与技能的培养提出了新的要求。从国际上来看,美国《残疾人教育法》建议在中学前后开始职业过渡培训(Strickland et al., 2013),通过职业过渡培训和数字化技能补偿培训等方式发展ASD儿童的职业技能和数字素养与技能。从我国来看,中央网络安全和信息化委员会印发的《提升全民数字素养与技能行动纲要》强调稳步提升残疾人等特殊群体的数字技能,加快弥合数字鸿沟(中央网络安全和信息化委员会,2021)。我国应在充分考虑国情和教育文化特色的基础上,完善相关教育制度及规范,开展面向ASD儿童的职业过渡培训课程。在培训过程中可以采用适切的虚拟游戏来进一步挖掘其职业潜能,辅助其确立就业意向与职业方向,并提升其数字素养与技能。   

      

注释:

① 澳大利亚“孤独症游戏”项目网站为:www.autismgames.com.au。


参考文献:

[1]董萍,徐添喜(2020).SEARCH项目在自闭症学生“从学校到就业”转衔中的应用与启示[J].残疾人研究,(4):80-88.

[2]蒋艳双,崔璨,逯行等(2022).双师课堂中的多模态学习情感分析:关键问题、逻辑理路与实施路线[J].现代教育技术,32(4):13-20.

[3]刘理阳,莫书亮,梁良等(2014).孤独症谱系障碍儿童面部表情识别障碍及临床干预[J].中国特殊教育,(2):41-48.

[4]穆肃,崔萌,黄晓地(2021).全景透视多模态学习分析的数据整合方法[J].现代远程教育研究,33(1):26-37,48.

[5]宿淑华,胡慧贤,赵富才(2019).基于ICT的自闭症谱系障碍儿童情绪干预研究综述[J].中国特殊教育,(4):47-53.

[6]孙岩(2008).虚拟游戏:儿童游戏的一种文化延伸[J].现代教育科学,(2):61-63.

[7]王纯纯,陈建军(2021).行为技能训练应用于自闭症谱系障碍者职业技能干预的研究述评[J].中国特殊教育,(9):40-46.

[8]五彩鹿自闭症研究院(2017).2017《中国自闭症教育康复行业发展状况报告II》发布会今日在京举行[EB/OL].[2021-12-01].https://www.sohu.com/a/131582510_661957.

[9]闫海虹,张喜莲,戎萍等(2022).中西医治疗儿童孤独症谱系障碍的临床研究进展[J].中华中医药杂志,37(2):933-938.

[10]中共中央办公厅 国务院办公厅(2022).关于加强科技伦理治理的意见[EB/OL].[2022-04-01].http://www.gov.cn/zhengce/2022-03/20/content_5680105.htm.

[11]中央网络安全和信息化委员会(2021).提升全民数字素养与技能行动纲要[EB/OL].[2022-04-01].http://wwww.cac.gov.cn/2021-11/05/c_1637708867754305.htm.

[12]邹群霞(2020).儿童数字化阅读的应对策略[J].出版广角,(6):83-85.

[13]Aitken, K. (2012). Autism Spectrum Conditions: FAQs on Autism, Asperger Syndrome, and Atypical Autism Answered by International Experts[J]. Journal of Autism and Developmental Disorders, 42(9):2023-2024.

[14]American Psychiatric Association (2013). DSM-5: Diagnostic and Statistical Manual of Mental Disorders, 5th Edition[M]. Arlington VA: American Psychiatric Publishing.

[15]Baron-Cohen, S., Wheelwright, S., & Lawson, J. et al. (2005). Empathizing and Systemizing in Autism Spectrum Conditions[M]// Volkmar, F. R., Paul, R., & Klin, A. et al. (Eds.). Handbook of Autism and Pervasive Developmental Disorders. John Wiley & Sons, Inc. :628-639.

[16]Beaumont, R., & Sofronoff, K. (2008). A Multi-Component Social Skills Intervention for Children with Asperger Syndrome: The Junior Detective Training Program[J]. Journal of Child Psychology and Psychiatry, 49(7):743-753.

[17]Benford, S., Greenhalgh, C., & Rodden, T. et al. (2001). Collaborative Virtual Environments[J]. Communications of the ACM, 44(7):79-85.

[18]Bernardini, S., Porayska-Pomsta, K., & Smith, T. J. (2014). ECHOES: An Intelligent Serious Game for Fostering Social Communication in Children with Autism[J]. Information Sciences, 264:41-60.

[19]Bosseler, A., & Massaro, D. W. (2003). Development and Evaluation of a Computer-Animated Tutor for Vocabulary and Language Learning in Children with Autism[J]. Journal of Autism and Developmental Disorders, 33(6):653-672.

[20]Bremer, E., & Lloyd, M. (2016). School-Based Fundamental-Motor-Skill Intervention for Children with Autism-Like Characteristics: An Exploratory Study[J]. Adapted Physical Activity Quarterly, 33(1):66-88.

[21]Cai, S., Zhu, G., & Wu, Y. et al. (2018). A Case Study of Gesture-Based Games in Enhancing the Fine Motor Skills and Recognition of Children with Autism[J]. Interactive Learning Environments, 26(8):1039-1052.

[22]Chene, Y., Chiang, H., & Ye, J. et al. (2010). Enhancing Empathy Instruction Using a Collaborative Virtual Learning Environment for Children with Autistic Spectrum Conditions[J]. Computers & Education, 55(4):1449-1458.

[23]Golan, O., Ashwin, E., & Granader, Y. et al. (2010). Enhancing Emotion Recognition in Children with Autism Spectrum Conditions: An Intervention Using Animated Vehicles with Real Emotional Faces[J]. Journal of Autism and Developmental Disorders, 40(3):269-279.

[24]Howlin, P. (2003). Outcome in High-Functioning Adults with Autism with and Without Early Language Delays: Implications for the Differentiation Between Autism and Asperger Syndrome[J]. Journal of Autism and Developmental Disorders, 33(1):3-13.

[25]Ke, F., & Im, T. (2013). Virtual-Reality-Based Social Interaction Training for Children with High-Functioning Autism[J]. Journal of Educational Research, 106(6):441-461.

[26]Khowaja, K., & Salim, S. S. (2019). Serious Game for Children with Autism to Learn Vocabulary: An Experimental Evaluation[J]. International Journal of Human-Computer Interaction, 35(1):1-26.

[27]Khowaja, K., & Salim, S. S. (2020). A Framework to Design Vocabulary-Based Serious Games for Children with Autism Spectrum Disorder (ASD)[J]. Universal Access in the Information Society, 19(4):739-781.

[28]Lahat, D., Adali, T., & Jutten, C. (2015). Multimodal Data Fusion: An Overview of Methods, Challenges, and Prospects[J]. Proceedings of the IEEE, 103(9):1449-1477.

[29]Lu, A., Chan, S., & Cai, Y. et al. (2018). Learning Through VR Gaming with Virtual Pink Dolphins for Children with ASD[J]. Interactive Learning Environments, 26(6):718-729.

[30]Melogno, S., Trimarco, B., & Pinto, M. A. et al. (2016). Sensitizing a Gifted Child with Autism Spectrum Disorder Towards Social Cognition: From Assessment to Treatment[J]. World Journal of Neuroscience, 6(2):171-180.

[31]Mora, A., Riera, D., & González, C. et al. (2015). A Literature Review of Gamification Design Frameworks[C]// 2015 IEEE 7th International Conference on Games and Virtual Worlds for Serious Applications (VS-Games). New York: IEEE:100-107.

[32]Parsons, S., Mitchell, P., & Leonard, A. (2004). The Use and Understanding of Virtual Environments by Adolescents with Autistic Spectrum Disorders[J]. Journal of Autism and Developmental Disorders, 34(4):449-466.

[33]Porayska-Pomsta, K., Anderson, K., & Bernardini, S. et al. (2013). Building an Intelligent, Authorable Serious Game for Autistic Children and Their Carers[C]// Reidsma, D., Katayose, H., & Nijholt, A. (Eds.). Advances in Computer Entertainment. 10th International Conference, ACE 2013. Cham: Springer:456-475.

[34]Sahin, N. T., Keshav, N. U., & Salisbury, J. P. et al. (2018). Safety and Lack of Negative Effects of Wearable Augmented-Reality Social Communication Aid for Children and Adults with Autism[J]. Journal of Clinical Medicine, 7(8):188.

[35]Schmidt, M., & Beck, D. (2016). Computational Thinking and Social Skills in Virtuoso: An Immersive, Digital Game-Based Learning Environment for Youth with Autism Spectrum Disorder[C]// Allison, C., Morgado, L., & Pirker, J. et al. (Eds.). Communications in Computer and Information Science. Cham: Springer International Publishing AG:621:113-121.

[36]Stone, B. G., Mills, K. A., & Saggers, B. (2019). Online Multiplayer Games for the Social Interactions of Children with Autism Spectrum Disorder: A Resource for Inclusive Education[J]. International Journal of Inclusive Education, 23(2):209-228.

[37]Strickland, D. C., Coles, C. D., & Southern, L. B. (2013). JobTIPS: A Transition to Employment Program for Individuals with Autism Spectrum Disorders[J]. Journal of Autism and Developmental Disorders, 43(10):2472-2483.

[38]Sundberg, M. (2018). Online Gaming, Loneliness and Friendships Among Adolescents and Adults with ASD[J]. Computers in Human Behavior, 79:105-110.

[39]Xiao, Y., & Watson, M. (2019). Guidance on Conducting a Systematic Literature Review[J]. Journal of Planning Education and Research, 39(1):93-112.

[40]Yang, T., Zhou, C., & Shen, J. (2016). Virtual Reality Based Independent Travel Training System for Children with Intellectual Disability[C]// Aldabass, D., Colla, V., & Vannuci, M. et al. (Eds.). UKSim European Symposium on Computer Modeling and Simulation. New York: IEEE:143-148.

[41]Zhang, L., Warren, Z., & Swanson, A., et al. (2018). Understanding Performance and Verbal-Communication of Children with ASD in a Collaborative Virtual Environment[J]. Journal of Autism and Developmental Disorders, 48(8):2779-2789.

收稿日期 2021-12-10 责任编辑 李鑫 谭明杰

欢迎转载,开白请联系18980806833(微信号)

继续滑动看下一个

蒋艳双等|虚拟游戏如何支持孤独症儿童教育?——基于国际研究的系统性文献综述

蒋艳双 朱立新等 现代远程教育研究
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存