疫情期间远程在线考试的实践与思考
0 引 言
2020年伊始突然爆发的新型冠状病毒肺炎对春季学期的教学产生了巨大影响。为贯彻落实教育部“停课不停教、停课不停学”的精神,高校响应号召,积极创新教学方式,探索适合疫情期间的教学模式。经过近一学期的实践,教师和学生逐步适应了远程教学的模式,并开展了各具特色的教学活动[1-2]。时间进入6月份后,春季学期的课程也迎来了期末考试环节。考试环节的重要性毋庸多言,应充分重视远程在线考试,圆满完成疫情期间的教学任务。
虽然教师已经掌握远程教学的诸多技能,但是远程在线考试与远程教学相比具有更大的挑战,原因如下:①时间紧任务急,笔者所在的清华大学实行与正常学期“同质等效”的教学方案,课程考试需要在考试周统一排考,因此学期最后一堂课与考试的间隔通常只有不到一周时间;②新平台经验少,根据远程考试的特点,各个考试平台都提供了丰富的功能,这些功能在传统线下考试中并不常用,因此大多数教师并不熟悉,功能设置错误会导致整场考试出现严重问题;③严要求零失误,远程教学环节出现的失误(例如硬软件故障、主观客观干扰、讲话语言纰漏、意外情况等)容易现场弥补,但考试环节的失误不容易补救,会造成考试有失公平甚至无效。
1 考试方式
1.1 课上讨论
当远程在线考试的方式在课堂上一公布,同学们纷纷在课堂弹幕、课程微信群里询问具体的考试方式,如是否开卷、是否允许看电子书、是否允许看课件、是否允许使用平板电脑看电子书、如何监考、使用电脑还是手机等。在课堂讨论的时候,部分同学反馈没有纸质书、买纸质书太贵、买纸质书来不及,部分同学反馈电子书没有纸质书翻阅方便;部分同学支持开卷,部分同学支持闭卷且试题难度适当降低;部分同学支持严格的监考方式,部分同学不支持。课堂上没有达成一致,甚至没有在任何一个细节上达成一致。
1.2 全面调研
课后,通过调查问卷了解了学生的想法,统计结果如图1和图2所示。
从图1中可以看出,同学们对于考试方式并没有一个统一的或者接近统一的意见。除了绝大多数人支持开卷以外,剩下的所有选项的支持率都不到2/3。从图2中可以看出,在是否允许切换前台应用程序这一问题上,学生们一半支持一半反对,两方旗鼓相当。从统计结果还可以看出,选择严格监考的学生也有不少,这点让人很欣慰,说明公平不仅仅是老师的要求,也是每位学生的内在需求。由于同学们的意见太分散了,这样的统计结果让人没有头绪。
经过反复讨论和分析,本着考查能力与考试公平的原则,笔者首先选择开卷考试这一方式。在监考不完善的情况下,选择闭卷考试可能会让遵守纪律的考生吃亏。其次,在开卷考试的基础上,允许参考纸质教材就应该允许参考电子版教材,因为有些学生获取纸质教材有困难。再次,允许参考电子版教材就应该允许考试时考生电脑切换到考试平台之外的页面或者应用程序。综上,可以确定本次考试采取开卷,允许参考纸质版教材、电子版教材、电子版课件,允许切换到考试平台之外的页面或者应用程序。
这个考试方式应该是最宽松的了,但给监考带来了极大的挑战:如何保证考生独立完成考试?
1.3 监考方式
由于选择了开卷考试,那么监考的主要任务就从禁止查阅材料转变为禁止网上搜索和禁止交流了。在这方面,第一个可以借鉴的例子是今年的研究生复试面试,主要的技术手段是视频会议接入双摄像头(正面+侧后方)录像;第二个可以借鉴的例子来自于清华大学马昱春老师的经验分享,主要的技术手段是考生电脑端采用考试平台的监考功能,辅助以视频会议接入侧后方摄像头,考生电脑端要求单显示器并全程录制屏幕,考试结束后,5分钟内将录制视频文件的MD5码上传至网络学堂,24小时内将完整视频文件上传至清华云盘。第2个例子在监考上已经很全面,特别是侧后方摄像头具有威慑力,录像还能保证事后可追溯。
根据考研复试面试的经验,侧后方机位如果要达到效果,需要反复测试,可能有同学硬件上有困难或者布置上有困难。监考方式要优先保证可行性,保证所有考生都有条件满足考试要求,不会因为各种困难而无法参加考试。因此,有些看起来完美的方案由于考生硬件软件条件不允许只能放弃。其实,早在研究生复试面试的时候,老师们就广泛意识到远程监考没有完美的方法。
这样分析下来,禁止网上搜索和禁止交流这两大任务其实一件也完不成。反复琢磨,唯有转变思路,从禁止作弊变为降低作弊的收益,让遵守考试纪律从外在要求变成内在动力。
2 命题策略
既然监考不能做到完美,就只能在命题和组卷上做文章。对于开卷方式的远程在线考试,监考的主要任务包括禁止网上搜索与禁止交流两个方面。笔者认为,第一方面可以通过创新命题来解决,第二方面可以通过多样灵活的组卷方式来解决。
首先谈谈第一方面,笔者建议将考查的重点放在解决问题的能力上而不仅仅是书本知识上,通过新颖的考试题目来避免考生在互联网上搜索到答案。这不仅是为了应对远程在线考试中监考的困难,还是课程自身提高培养质量的内在要求[3]。
为了实现这样的考查目的,教师在命题时可以把握以下3条策略。
2.1 由分析转变为设计,考查解决实际问题的能力
浮点数表示方法是本门课的重点内容之一,以往考试题一般都是根据阶数和尾数的比特位数来分析所能表示的小数范围和精度。这次考试可以改成提出在表示范围和精度上的需求,让同学们自行设计浮点数的表示方法,案例如下。
例题1:假设我们定义了一种新的浮点数表示方法,使用7比特表示一小数,编码规则类似IEEE-754标准。如果我们需要在1附近的表示精度不大于1/16并且能表示的最大数不小于10,应该如何设计阶数和尾数?
2.2 预设全新场景,考查解决系统性问题的能力
计算机缓存是本门课的另一重要内容,以往有关缓存的考题都是分析缓存的性能。这次考试笔者虚拟了一种存储技术,各方面性能与已有的SRAM、DRAM、硬盘等都不一样,让同学们利用这种虚构的存储技术(与已有的技术组合)来构建新的层次化存储结构,案例如下。
例题2:假设新发明了一种存储技术YZ-memory。不同于现有的存储技术,YZ-memory的访问延迟约为10ns,价格约为0.06$/MB。请问YZ-memory在当前计算机存储系统中可能发挥什么作用?
2.3 面向学科前沿,考查解决具体的挑战性问题的能力
教师可在命题时设计一道反映本学科科研前沿的挑战性问题,一方面可以激发学生的学习兴趣、培养学生探索新问题的能力;另一方面这类挑战性问题的答案具有开放性,通常没有现成答案,无法直接在网上搜索。另外,这里“具体”指的是答案要细化到具体技术上,体现对技术的理解深度;而不是泛泛而谈的挑战性问题,例如“有什么趋势”、“有什么感想”等。
例题3:计算机处理器的速度越来越快,与计算机中其他系统的比较优势也越来越大。当前计算机系统和程序员是如何应对这一情况的?未来可能会产生什么情况?
3 组卷策略
针对监考的第二个任务——禁止交流,教师可以通过灵活多样的组卷方式来解决。既然监考不能保证考生无法交流,那就要在组卷上削弱交流的作用,通过灵活多样的组卷,让简短的、临时的交流不能给考试带来好处。具体方法如下。
(1)随机组卷,一人一卷。在考试平台的帮助下,相比于现场纸质试卷的考试,线上考试组卷的形式可以更加灵活多样。例如,随机组卷可以支持在一组N道题目中随机选取K道题目编入试卷。随机组卷需要老师设计更多的考试题作为备选题目。此次考试的备选题目一部分来自于已有题目更换了模式和数字,一部分来自于全新设计的题目。经过随机组卷,这次考试可以做到“一人一卷”,即试卷的数量远大于考生的数量(为考生数量的8倍),特定两个人拿到相同试卷的概率约为0.1%,任意两张试卷重复题的比例为50%。
(2)题目乱序,选项乱序。题目乱序和选项乱序是考试平台自带的功能,其中选项乱序只针对选择题。这两种方式都增加了交流的难度,在交流时不容易确定是哪道题目的哪个选项。
(3)单题限时,逐题作答。根据题目的难度,设置合适的回答时间,如果在规定的时间内没有完成题目,考试平台自动进入下一题,并且无法再返回到之前的题目。这种方式压缩了可能的交流时间,再结合上题目乱序和选项乱序,可以在很大程度上杜绝有效的交流。
4 实践中暴露出的问题
在计算机组成原理课程中实践远程在线考试时,笔者发现了一些问题并总结了自己的经验。
(1)作弊行为判定困难。远程在线考试中,考试环境有很大的不确定性,现有的规章制度在这一特殊条件下缺乏实际应用的准绳,容易导致争议。同时,在本次实践中,笔者发现,“随机组卷、一人一卷”的模式同传统考试相比在作弊判定方面具有新特点。本次考试的某道题目有A、B两个变种,且答案完全不同,有分配到A题目的同学,回答的答案与B题目的正确答案完全相同,在正常答卷的情况下,这种情况出现的概率几乎为0。但是,对于在线考试中出现的这一特殊情形,能否作为判定考生作弊的证据,目前尚缺乏明确的规章制度作为支撑。
(2)随机组卷功能单一。随机组卷是防止考生互相交流的有效方式,但目前考试平台对随机组卷的支持尚有待完善。这导致随机组卷虽然大部分时候是个“技术活”,但偶尔也会变成“体力活”。笔者此次使用的考试平台,仅支持从N道题目中随机选择K道的组卷方式,对于更复杂的组卷方式,例如从A,B1,B2,C1,C2中选择2道题目,要求B1与B2不能同时出现,C1与C2不能同时出现,平台并不支持。这时候,组卷就变成了“体力活”,笔者将所有可能的8种情况一一罗列并录入系统,然后通过8选1的方式完成组卷。希望各大考试平台能够趁此机会,完善随机组卷功能,让“体力活”越来越少。
(3)成熟考试方案稀缺。学生对于考试形式的意见难以统一,一方面需要教师在考前进行充分调研与思考,另一方面,也需要学校尽快出台“样板”考试方案,作为实际操作的参考和依据。在组织本次考试时,线上考试尚缺乏成熟权威的参考方案,因此笔者首先通过调查问卷进行了全面细致的调查,了解了同学们对于此次线上考试的想法,同时,笔者深入思考了考试各项设置之间的内在关系,最终制定出考试方案。传统的线下考试大致包括三种考试形式:闭卷考试、开卷考试和半开卷考试(允许参考有限的材料),但对于在线考试的形式,目前尚缺乏统一的认识与规定,这大大增加了教师组织考试的难度,也容易在学生中引起争议。在经过了春季学期的实践之后,笔者建议高校组织各科老师总结线上考试的经验,形成几套“样板”考试方案,作为今后线上考试的指导。
(4)无法基于模板自动生成试题。基于模板生成考试题目,可以大大提高出题的多样性,使得考生之间无法进行有效的交流。在本次考试的出题过程中,尽管笔者和助教付出了比以往考试更多的精力,最终保证了不同试卷的数量远大于学生数量,但任意两张试卷重复试题的比例依然有50%。为了进一步降低这一比例,笔者观察到,在计算机考试中,可以借鉴编程中的模板思想,快速生成大量不同的题目。例如,本门课程在考查机器级指令的时候,通常有如下形式的题目:
例题4:假设寄存器%eax的值为x,%ebx的值为y,请问,在执行完如下汇编代码后(具体代码已省略),寄存器%ecx的值为()?
题目中的x和y取不同的值,汇编代码的运行会有不同的结果,甚至会有不同的运行过程(例如代码中包含分支或循环结构),这类题目可以自动化的快速生成大量不同的具体题目。虽然这些具体题目之间有相似之处,但考虑到考试的限时与摄像头的监控,笔者认为考生之间进行有效交流的可能性是很低的。不过目前的考试平台尚不支持这种生成题目的方式,仍然需要教师一题一题的进行录入。
总的来说,在学校层面,需要尽快总结线上考试的经验,形成线上考试的规章制度与指导方案;在教师层面,需要尽快转变思想,思考适合本门课程的出题形式与考试形式;在平台层面,需要尽快完善出题、组卷与监考功能,帮助教师和学生更好、更轻松的完成线上考试。
5 结 语
信息技术与教育教学的融合催生出了新型远程教学方式[4-5]。远程在线考试是远程教学的最后一环也是重要一环。在计算机组成原理课程上实践远程在线考试,如果精心筹划细致准备,远程在线考试可以成为提升课程教学质量的一次重要契机。
(1)改革考试方式的契机:远程在线考试丰富了高校课程考核方式,在疫情期间发挥了重要保障作用,在疫情后会与线下考试方式相结合以全面评价教学效果及人才培养质量,适应不同课程的需求。
(2)转变考查内容的契机:由于远程在线考试通常采取开卷的方式,在客观上可以促进教师在考查学习效果的时候更加注重能力培养情况,而不仅仅是知识掌握情况。
(3)提升命题质量的契机:由于远程在线考试在监考方面的局限性,在客观上可以促进教师在命题时注重试题的原创性、开放性、构造性、前沿性等,考查学生对所学内容的深度理解。
(4)实施全过程育人的契机:由于远程在线考试的新特点,在考试设计的过程中充分与学生沟通,发挥民主,制定规则,体现公平,让考试设计也成为全过程育人的一部分。
参考文献:
[1] 杨斌. 充分释放“抗疫红利” 推进教育改革创新[J].清华大学教育研究,2020(3).
[2] 周苏,奚春雁,宋文婷. 从“偶然”的疫情大爆发到“必然”的线下线上教学结合[J].计算机教育,2020(5):7.
[3] 杨铮. 计算机组成原理课中的工程师思维[J]. 中国计算机学会通讯,2017(10):44-48.
[4] 林蕙青. 推动信息技术与教育教学深度融合 实现高等教育高质量内涵式发展[J]. 中国大学教学,2018(1):4-6,9.
[5] 李未. 全面提高计算机类高等教育质量的战略机遇[J]. 计算机教育,2013(20):2-4.
引文格式:杨铮,赵毅,蔡新军,等. 疫情期间远程在线考试的实践与思考[J].计算机教育,2020(10):优先出版.
(微信编辑:史志伟)
更多精彩:
哈尔滨工业大学战德臣教授:一种确保高校教学质量的新模式——同步异步混合式教学
【校长专访】加快推进计算机科学教育 做数据科学教育的探路人——华东师范大学副校长周傲英教授专访