【典学论坛】第七期|人机交互在智能教育中的实证研究案例——教育技术、信息科学和脑科学的交叉研究

9月18日晚20时，以“人机交互”为主题的典学论坛第七期正式和大家见面了，本次论坛采取线上直播的形式，通过腾讯会议、B站直播、智云学堂（钉钉）三个平台同步开展，线上1900余人共同观看直播。

浙江大学教育学院副院长，课程与学习科学系系主任，智能教育研究中心主任李艳教授主持了本次讲座。李艳老师介绍道，典学论坛由浙江大学国家智能社会治理实验基地主办，围绕“智能社会治理”领域的相关问题，邀请相关领域的专家学者进行分享和探讨。她向大家介绍了讲座的主讲人以及点评嘉宾。本次讲座的主讲人是来自浙江大学教育学院教育技术专业特聘研究员，博士生导师翟雪松老师，点评嘉宾是来自浙江大学信息技术中心的张紫微总工程师和浙江大学公共管理学院百人计划研究员，博士生导师杨超老师。

翟雪松老师的报告主题为《人机交互在智能教育中的实证研究案例——教育技术、信息科学和脑科学的交叉研究》，主要分为人机交互在教育中的教育询证、教育干预和人机交互理论探索及在教育中的社会实践三个部分。

为了促进学术交流，征得翟雪松研究员同意，现将报告中的关键PPT内容发布，以便和各位听众共同思考人机交互在教育中的应用以及未来的发展方向。

第一部分

人机交互在教育中的教育询证

首先，翟雪松老师向大家介绍了人机交互的概念。人机交互（Human-Computer Interaction）是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术，主要有语音、姿势、头部跟踪、视觉跟踪和脑机接口等应用环境。人机交互在教育中的作用主要有教育询证和教育干预。

在以往的教育过程中，学生的学习行为是无从考证的，但人机交互技术可以用眼动技术、脑电技术等的手段来跟踪学生的学习行为，同时可以避免研究过程中的非理性判断，从而真正挖掘教育过程中对学习行为的解释，实现帮助学习者更好地学习。因此，翟老师详细地介绍了眼动技术和脑电技术在教育询证中的应用案例。

眼动技术基于眼心假说理论，能够捕捉学习者在和学习材料交互时的眼球移动行为，以200-250毫秒作为专注标准，主要采集专注次数、专注持续时间和扫视路径。翟雪松老师团队曾用眼动技术研究了外语学习者学习省略式状语从句的过程。他们通过热力图和扫视路径图可视化了研究数据，分析了学生学习复杂语法句型困难的原因可能是学生对于句子结构的理解不清晰或者阅读过程中没有把握外语的阅读技巧等。

脑电波（EEG）在1929年被Hans Berger首次记录，脑电波主要分为头皮脑电和颅内脑电两种，前者是教育实验中的分析重点。脑电技术主要是通过单导脑电仪进行收集脑电波数据，静息态EEG的研究技术有功率谱分析和连通性分析两种，前者得到每个频率电的活动强度，后者可以获得脑区之间的连接情况。在脑电技术中有两个关键词分别是频域分析和时域分析。频域分析利用傅里叶变换将EEG时域信号转变为频域信号，通过MATLAB中的eeglab插件将数据可视化以分析不同频段大脑的活动。时域分析对脑电波数据进行加窗处理和傅里叶变换，提取稳态时间窗内的频域信息，将数据可视化，分析各频段内能量随时间的变化情况。

第二部分

人机交互在教育中的教育干预

教育干预是在寻找教育背后的规律之后对教育活动进行的一系列实时干预。翟雪松老师团队曾经进行过一项相关的教育学实验，首先他们通过一些测试来获取受试者的认知分层能力和阅读能力，然后将受试者分成两组，其中实验组佩戴眼动设备和脑电仪。实验利用眼动仪和脑电仪记录了实验组的学习过程，获取受试者的关注点和关注时的情绪，然后将可视化之后的数据反馈给学习者进行反思。之后，受试者再次进行测试，数据分析表明学生的认知分层能力和阅读能力均有较大的提升。此外，为了判断认知分层能力得到提升的是哪些受试者，实验人员根据预前测试中认知分层能力的高低将受试者分为两组后进行实验，结果表明仅有认知分层能力较低的学生得到了提升，这说明基于生理反馈的方法只适合认知分层较低的人，在未来对于不同认知分层能力的学生要采取因材施教的方法。

除此之外，翟雪松老师在教育技术领域的顶级期刊Educational Technology & Society上发表的基于多模态眼动和前馈的人机交互研究成果探究了如何在疫情教学情况下启发学生的元认知能力。研究选取了常见的学习软件电子词典，将其分成发音区、定义区等几个常见的兴趣区，然后进行了一系列的实验。在实验之前，首先进行一系列前置测试以获取学生的基础能力、前馈和元认知能力。紧接着进行眼动测试，对比前馈数据和眼动数据后发现两者之间存在一定程度上的冲突，这意味着学生感兴趣的东西与其在学习过程中真正关注的东西之间存在一定的偏差。之后，实验人员将一系列的数据反馈给学生进行反思，最后实验结果表明学生的元认知能力有了显著的提升。

第三部分

人机交互理论探索及在教育中的社会实践

教育神经学的发展为教育教学提供了新的研究视角与研究范式，脑机接口（BCI）技术与教育教学的融合也在不断加深。近年来，脑脑接口（BBI）技术在脑机接口技术的基础上发展起来，主要应用于动物之间、人与动物之间和人与人之间的交互。人与人之间的脑脑接口是利用脑电仪获取人的脑电波，经计算机处理后发送给另一台计算机，接着由另一台计算机发送信号刺激另一人的经颅，让另一人做出相应的行为。遗憾的是，这种技术只能进行单向的传输，而不能实现交互。翟雪松老师介绍了脑脑接口在教育中的应用，他认为应用的设计方案主要有高度信任机制下的知识传输、进入式的情感体验与学习真实感以及程序性知识的行为示范与镜像复制三种，应用场景主要有基于信息超媒介传输的全纳教育、基于知识神经元编码的远程教育、基于情感价值观传递的艺术教育和基于意识高度沉浸的元宇宙教育四种。翟雪松老师特别强调了在脑脑借口运用的过程中要注意自我意识与科技向善的问题，他认为脑脑接口未来的相关研究需要从以下两个方面进行探索：技术的深入挖掘与增强人工智能的可解释性和技术的深入挖掘与增强人工智能的可解释性。除此之外，翟雪松研究员认为，之前讲述的眼动技术以及脑电技术属于教育实验范畴很难走向教育实践，如果要实现大规模应用则需要利用轻量级生理反馈技术如呼吸、心跳、皮温等来轻量化人机交互数据。

在翟雪松老师主报告完成之后，张紫微总工程师、杨超研究员进行了点评。

张总工认为翟老师从人机交互的角度举例了一系列的实验，从脑机接口到脑脑接口的跨越打开了各位听众的想象空间，他提出的科技向善观点值得令人思考，从教育实验到教育实践的跨越也令人深有感触。

杨超老师认为翟老师的报告通过教育询证和教育干预展开，他的研究具有很大的创新性，同时就实验过程中的科研伦理问题和教育实验过程中的影响因素这两个问题向翟老师进行了请教。

翟老师认真地回答了问题，对于第一个问题，他认为伦理控制可以通过无感知、无接触的采集数据方式和实验前伦理筛查来解决。对于第二问题，翟老师解释道，在实验过程中主要有环境和人两类影响因素，对于环境因素主要通过实验前的设计和程序设计来控制，个人特质的影响可以用采集个人数据分析来减弱。

除此之外，翟老师还回答了现场听众所提出的问题，帮助各位听众更好地理解了人机交互技术在现代教育中的运用方式和运用成果。

2022年8月7日——12月31日

每周日晚8点

典学论坛

与您相约

共同探讨智能社会的未来

第八期

   主讲人：

浙江大学 公共管理学院

高翔教授

9月25日（周日）晚8点腾讯会议ID：535-111-025链接：https://meeting.tencent.com/dw/bFbQ6eVClnMC

第九期

   主讲人：

浙江大学 公共管理学院

蒋卓人研究员

10月2日（周日）晚8点腾讯会议ID：875-631-309链接：https://meeting.tencent.com/dw/hXm7pP7CF6xj

第十期

   主讲人：

浙江大学 传媒与国际文化学院

赵瑜佩研究员

10月9日（周日）晚8点腾讯会议ID：104-893-696链接：https://meeting.tencent.com/dw/JE9z1GU3sTsU

第十一期

   主讲人：

浙江大学 公共管理学院

龚斌磊研究员 鄢贞研究员

10月16日（周日）晚8点腾讯会议ID：805-666-025链接：https://meeting.tencent.com/dw/hOefI6XIEjU5

第十二期

   主讲人：

浙江大学 传媒与国际文化学院

张子柯教授

10月23日（周日）晚8点腾讯会议ID：903-561-075链接：https://meeting.tencent.com/dw/jZBQGz4SHHqw

第十三期

   主讲人：

浙江大学 计算机科学与技术学院

翁恺副教授

10月30日（周日）晚8点腾讯会议ID：562-874-477链接：https://meeting.tencent.com/dw/awxU0gxQSBsX

*注意：为了保护知识产权，论坛会议全程请勿录音、录像、截屏。会议嘉宾对其PPT内容和演讲词具有最终解释权。未经主讲人许可，严禁对外私自传播会议中出现的数据模型、文献引用等演讲内容。