峰会论坛：人工智能时代的教育质量评估
还有5天！人工智能与教育大数据峰会将在北京国家会议中心举办。峰会同期将举办“人工智能时代的教育质量评估”论坛。
信息技术的飞速发展给教育质量监测的工具和方式带来了前所未有的革新。不同于以往传统的教育质量评估方式，技术手段的更新使我们感受到了科学技术对教育质量评估全方位、多角度、每一个环节带来的变化。此次论坛将聚焦智能时代下科学、高效的质量监测模式，探讨如何充分挖掘数据背后的价值，为学生综合素养评价、区域教育管理提升等提供更好的服务。
时间：2019年8月2日 13:30-17:20
地点：北京·国家会议中心多功能厅B
大咖报告
报告主题
大数据时代教育测评模型及其范式构建
中国基础教育质量监测协同创新中心
首席专家、原西南大学常务副校长
宋乃庆
在教育大数据和人工智能时代，如何充分挖掘大数据对于教育实践、决策、评估与研究的价值及规避大数据风险，是当前教育改革和发展的重要议题。教育测评模型通过对教育现象的关键要素及其相互关系进行定量刻画和价值判断，使人们从海量数据中获取关键有效的信息，将“大数据”变成“小数据”。它是大数据时代我国教育改革和发展的战略工具，是教育决策科学化的有力支撑，也是教育研究科学化的重要突破口。教育测评模型的构建范式是教育测评模型构建的一整套规范，是教育测评模型构建的方法论依据，其主要内容是：确定教育测评模型构建的价值取向，明确教育测评对象的操作性定义，构建教育测评指标体系，确定教育测评指标权重与生成教育测评模型，验证和修正教育测评模型。应用这一范式，从宏观、中观和微观层面构建了系列教育测评模型，对相关领域的研究、决策、实践和评估起到了积极的作用。
报告主题
过程数据在认知诊断中的应用
美国马里兰大学帕克分校人类发展与定量方法学系测量统计与评估副教授、马里兰州评估研究中心主任 焦红
传统的测量理论大都基于对答题对错数据的分析。答题对错数据反应学生答题结果，学生如何得到某个答案，答题过程中出现的问题从题目对错数据中不容易探测。除了答题对错数据之外，答题过程数据可以提供更多辅助性的信息。这些辅助信息可以帮助提高参数估计的准确性，辅助认知诊断，和对异常考试行为的诊断。过程数据一般指日志文件中记录的序列数据，包括答题时间，点击次数，提示功能的使用次数，答案变更顺序和次数，使用眼动追踪设备收集的数据。本报告主要介绍对过程数据分析的方法及对多重数据源的联合建模。
报告主题
比较不同机器学习方法
在理解教学评价意见时的差异
更好地评价教学绩效是教育研究中的一个重要课题。传统上，定量的教学评估数据多是通过李克特尺度问卷收集的。然而，这些定量数据忽略了有关教学评估的很多微妙信息。尽管开放式的问卷问题经常被用来收集有关教学表现的附加信息，但是收集到的数据往往是定性的文本，它们很少被分析。因此，有必要建立一个方法体系，从定性的教学评估文本数据中对重要信息进行评分和提取。在本研究中，我们比较了多种机器学习算法，包括LASSO和卷积神经网络，用于建立定量评分数据和定性文本数据之间的关系。本研究旨在提高一个量化教学评估中的文本和定性资料的方法。
报告主题
预测性学习分析在高等教育中的应用
阿尔伯塔大学教育学院
教育心理学系副教授 崔迎
世界上许多高等院校正在研究运用各种学生信息和数据进行学生预测学习分析的可能性。预测学习分析可以帮助找出学习有困难的学生，这些学生没有多余的有针对性的帮助可能会不通过课程考试或者退学。这类研究至关重要因为研究结果可能产生可以帮助学生自主学习的有用信息。教师也可用利用这种信息设计有效的教学干预。此报告将总结目前预测学习分析研究方法的优势和不足，并讨论今后此领域研究的重点方向。此报告还将讨论一个预测学习分析在一所加拿大高校的研究案例。
报告主题
机器辅助下的自动评分在心理疾病测量及教育考试中的应用
美国教育考试服务中心（ETS）研究科学家 何祺玮
由机器参与的自动评分可以大幅度提高测试的效率，减少人为评分之间的差异，提高评分的准确性。随着计算技术的成熟，自动评分的应用也更为广阔。从短小的填空题扩展到长段落的自动评分。这篇报告主要介绍机器辅助下的自动评分在心理疾病筛查和多语种大规模测试中的应用。在第一项应用中，我们对创伤后应激障碍（PTSD）的潜在病人写下的自我叙述进行文本挖掘，并结合调查问卷方式，通过贝叶斯的统计方法将结构化数据和非结构化数据纳入统一体系，对PTSD病人筛查的准确率由采用传统问卷测量方式的94%提高到了97%。在第二项应用中，我们针对大型国际考试（例如PISA）中遇到的多种语言的自动评分问题，利用历史数据创建了多语言标准答案库。该数据库会随着新的作答数据的加入而不断更新，大幅度减少了人工评分成本。我们认为机器辅助下的自动评分在大数据研究中的应用前景十分广阔，在未来研究中可以继续探讨潜在语义在自动评分中的应用。
报告主题
大规模测试中的高科技作弊团伙甄别
香港中文大学统计学博士、机器学习专家 徐永泽
北京师范大学心理学部副教授，中国基础教育质量监测协同创新中心
教育大数据部副主任 骆芳
在中国，考虑到考生庞大的数量，诸如全国性的大规模考试往往都会带有很高的作弊风险。随着时代的进步，由考场外“枪手”向考场内作弊者传递答案信息的高科技作弊手段也孕育而生。该类型的作弊与传统的抄袭类作弊十分接近，却缺少了抄袭者与被抄袭者会存在于同一个考场内的前提信息。如果仍然使用传统的甄别方法，除了需要审查大量的考生配对还不得不面对原有的配对指标效力降低的问题。本研究依然借鉴传统的作弊甄别指标。借助大数据处理手段与矩阵运算，优化解决了大量的考生配对计算问题。借鉴统计学近年研究成果中的新思路，解决了单个配对指标效力不足的问题。通过多组不同场景的仿真实验，验证了提出算法的优秀性能。
报告主题
电子化测评中的异常反应模式识别
中国基础教育质量监测协同创新中心副主任、教授 李凌艳
随着信息技术的不断发展，电子化测评方式逐渐取代传统的纸笔测验成为当前大尺度教育测评的重要方式。然而，在测评过程中，一些作答者会表现出不认真填答或高社会赞许倾向等异常反应模式，这使得电子化测评所采集的数据表现出不同于传统测评模式下的质量问题。本研究分析了当前国际上异常反应模式的识别技术，并基于我国学校教育评估背景，尝试使用答题速度、反向题、测谎题等技术识别不认真填答和高社会赞许被试，以期为我国教育质量评估背景下电子化测评中的异常反应模式识别提供新思路。
报告主题
科学学科计算机交互测试工具研发
中国基础教育质量监测协同创新中心科学监测部副主任 田伟
培养和评价学生的科学素养是一轮一轮科学教育改革的重要内容。随着我国科学学科核心素养逐步建立，科学探究、科学思维等高阶能力的重要性凸显，它们的评价问题变得更加迫切，然而传统的纸笔考试不能完全满足科学教育的这一重要转变。作为一个发展趋势，通过技术手段强化科学教育成为一个重要话题，计算机交互测试即是借助于计算机技术进行科学素养评价的最新进展，已经在NAEP和PISA国际大规模科学教育评价中得到广泛应用。尽管如此，计算机交互测试的测查目标、框架、技术、方法以及效度等方面还存在很多挑战。
报告主题
人机交互式的
数学问题解决测试研发进展
中国基础教育质量监测协同创新中心数学监测部主任、副教授 王烨晖
随着信息技术的迅速发展，计算机测评已成为当前教育测评的一个重要趋势。当前，数学领域的计算机测评主要表现为两个方面，一是数学测试的计算机化，即将传统的纸笔测试进行电子化，采用计算机进行测试，二是数学游戏，即采用游戏的方式，帮助学生更好的掌握数学知识，辅助教学。
数学问题解决能力是指学生凭借自主思考，创造性的运用所学知识、经验和策略解决复杂或非常规问题的能力，是国家数学监测中的一个重要方面。人机交互式的数学问题解决测评，有助于更全面的收集学生问题解决的过程性信息，实现对学生数学问题解决能力的全面客观测评。
报告主题
大数据背景下南京师范大学附属中学
在学生综合素质评价上的实践与探索
南京师范大学附属中学
纪委书记 居艳
基于国际先进理论并结合国内各地区的优秀实践，南师附中立足学校文化特色和内涵发展特点，积极探索新高考模式下的高中学生综合素质评价体系。从“思想品德与公民素养”、“学业水平与课程修习”、“体育运动与身心健康”、 “审美素养与艺术特长”以及“创新能力与社会实践”等五个方面开展全面育人模式探索和评价改革创新：更加关注学生过程性和终结性成长数据采集，更加完善综合素质评价诚信体系建设，更加注重与学校教学过程的融合实践，更加强化学校专业评价队伍培养。让综合素质评价回归服务学生发展的本质属性，使综合素质评价成为促进学生自由、个性地生长和综合素质提升的有效途径，为学校进行科学高效管理、优化课程建设提供有效抓手。
报告主题
基于教育质量监测数据深度服务区域教育管理提升的实践与探究
中国基础教育质量监测协同创新中心大数据挖掘与监测技术讯飞分中心总工 鲍潜巢
随着国家义务教育质量监测工作的持续深入，以及 2019 年 7 月出台的《关于深化教育教学改革全面提高义务教育质量的意见》提出“坚持和完善家义务教育质量监测制度，强化过程性和发展性评价，建立监测平台，定期发布监测报告”的要求，推进深化国家义务教育质量监测结果的地方应用工作开展，基于监测结果形成科学的、有质量的区域教育提升也是教育实践中的重要工作。报告系统的介绍了科大讯飞分中心在基于国家义务教育质量监测结果，结合大数据与人工智能技术开展基于结果分析、质量互证、综合改进与验证跟踪的有益实践；同时对于大规模监测工作开展方面，在基于科大讯飞核心技术音乐测评、科学测评等方面新的测评工具当前进展情况以及核心技术在监测工作应用的前景展望。
特邀论坛主持
中国基础教育质量监测协同创新中心
网络平台部主任、副教授 张生
【论坛议程】
拓展阅读：
文、编| 潘多拉 责编| 丁小鸟