查看原文
其他

计算机智能阅卷帮助师生“提质增效”,有详细使用说明

马爱军 中小学数字化教学 2019-11-23
点击[中小学数字化教学],关注我们!


随着人工智能在教育领域的应用,实现计算机智能阅卷成为可能。那么,计算机的评卷效率如何呢?您用过吗?觉得怎么样?在文末留言吧。



计算机智能批改助推英语写作精准教学


文 | 马爱军 安徽省蚌埠第二中学教师

安徽省特级教师


随着人工智能在教育领域的应用,实现计算机智能阅卷、降低传统人工阅卷工作量、提升阅卷水平成为可能。进一步开展人机对比验证计算机智能评测的可靠性和科学性,探索智能评阅及其数据分析在优化英语写作精准教学的应用模式,可为该技术的大规模使用奠定基础。


当前,英语写作阅卷通常组织阅卷员以人工双评模式集中阅卷,工作量大,评分标准和质量控制有一定的难度。随着人工智能的快速发展,高精准度的手写文字识别、自然语言理解、智能评测等技术的出现,为实现计算机英语写作智能自动评分提供了可能。


为提高评卷效率,笔者所在的学校从2016年3月起就开始进行多轮次的英文写作智能评阅技术验证和模型优化,探索智能评阅优化英语写作教学的应用模式。本文基于蚌埠市2017届高三年级第三次教学质量检查考试阅卷情况开展人机对比验证,检验人机结合阅卷模式对英语写作机器辅助评分的效果,为大规模使用计算机智能批改奠定基础。


一、计算机智能批改自动评分的工作原理


计算机智能批改自动评分系统要先对答题进行图像扫描,之后对扫描图像进行全方位OCR识别、文本转写、内容分析和关键特征提取,然后在此基础上,利用计算机智能学习能力,深度学习专家提供的评分标准和评分结果,从语言水平、内容质量、文章结构三个主要维度深度理解英语写作,自动给学生的作文评分。此外,计算机智能批改质量的提升,主要基于人工智能对专家批改习惯和水平的学习能力。


1

语言水平


语言水平是学生写作水平的一个主要衡量指标,包括词汇丰富度、高分短语、语法错误和语言连贯四个方面。英文作文自动评分系统能够从语法错误、高分词组搭配、优美句式等维度,刻画学生的语言水平。目前,这一自动评分系统主要针对中国学生英语写作过程中常犯的错误,基于一线教师批改的大量学生习作,让计算机智能批改系统拥有一定的大数据支持,从而能够更加准确地判定学生的语言水平。


2

内容质量


内容质量是英语写作评分的关键维度,包括是否离题和论证深度等。在对初高中英语作文进行评分时,学生作文是否覆盖要点,直接影响最终得分。在进行初高中英语作文内容评判时,英文作文自动评分系统通过深度学习、语意理解等技术,对作文内容进行分块、聚类,从而准确推测其内容是否完整、要点是否充分。


3

文章结构


文章结构主要看其条理是否清晰。对英语作文进行内容评判时,其重要评价标准是内容是否切题、论述是否合理、文章结构是否严谨。英文作文自动评分系统基于主题模型、语意理解等技术,能够准确评判作文内容。此外,英文作文自动评分系统还能够自动检测抄袭、乱写、长度异常、离题等异常作文,检出评分中标准不好把握的文章,保证计算机智能批改整体评分信度。


此外,英文作文自动批改系统能够对批改后的作文进行归类分析,为教师的作文讲评提供精准语料支持。它通过收集大量一线教师精准标注的作文数据,将教师评卷时关注的语法错误、亮点语块、整体评价进行分类梳理,通过大量的资源收集、人工标注等途径获取有价值的数据,让计算机深度理解什么是语法错误、什么样的句子才有亮点。


现在,英文作文自动批改系统能够检出主谓不一致错误、动词形式错误、拼写错误、名词单复数错误、冠词错误、搭配错误、介词错误、中式英语、句子成分缺失等数十种错误类型,通过人工专家审核,检出正确率超过90%。



二、计算机智能批改的实验流程


计算机智能批改平台提供了本次考试所需数据,并挑选出300份定标集,现场随机选择100份验证集,包括专家评分(3名专家独立完成对定标集的评分)、验证集评分(定标集3名专家、3名现场教师独立完成对验证集的评分)。之后,项目技术研究小组完成计算机评分,提交计算机评分、空白卷列表、内容相似卷等异常卷。在现场分、机评分出现大分差(≥5分)时,随机选取100份,交由定标集3名专家评分。最后,项目技术研究小组给出相关数据,生成对比验证报告。


基于蚌埠市2017届高三年级第三次教学质量检查考试全集数据,除去300份定标集,再随机选取100份作文作为验证集,评分结果分析如下。


在验证集评分分布对比方面,英文作文的总分为25分,现场评分分布和计算机评分分布如图1所示。


图1 考生成绩分布


在所有验证集的作文中,以3名专家评分的平均分四舍五入作为标准分,采用大分差比例和相关度指标,分别比较计算机评分、评分员评分、现场评分,可见计算机评分与专家评分的分布基本相当。


从评分性能上看,计算机评分和专家评分之间的分差在一定范围内视为评分一致(按照高考英文作文阅卷习惯,取满分的20%作为分差的阈值,满分为25分,其分差 < 5分时评分一致)。在双评阅卷中,不一致的作文须第三人复评,以保证评分的准确性。


相关度是评分是否可信的重要指标,可以反映两种数据间的一致程度,取值范围是-1~1,分值越高,说明两组评分的一致性越高,1表示两个评分完全一致。在验证集的100份数据中,专家评分之间、专家与计算机评分之间以及专家与现场分之间的相关度评价结果如表1所示。



由此可知,计算机和三位专家评分的平均相关度排在第二位,高于现场分与专家分的平均相关度,说明计算机评分水平接近专家水平,计算机智能评改系统具有很好的评分准确性。


基于此,我校运用计算机智能批改技术并根据学校英语写作教学情况,探索出了英语写作智慧课堂教学流程,如表2所示。



三、应用智能评分和结果分析,优化英语写作教学


计算机智能批改可以促进从多角度对学生写作水平进行精准诊断和反馈,为教师的精准化、个性化作文教学提供数据支持,实现信息技术和课堂教学的有效融合,丰富英语写作教学的手段和途径。


1

计算机智能批改帮助教师教学“减负增效”


作文讲评一直是中学英语写作教学的薄弱环节。一方面,写作批改、讲评滞后,影响了教师写作教学的效果;另一方面,海量的工作导致教师仅凭自身力量无法精准统计学生共性和个性的薄弱点或闪光点,使得讲评时“胡子眉毛一把抓”,缺乏重点和针对性,很难获得学生的有效合作。


计算机智能批改不仅能够减轻教师的工作负担,让英语作文批改变得快捷、反馈及时,更重要的是能够对学生的作文进行智能分析,提供教师手工统计无法做到的对学生作文中的共性和个性问题进行语言分类统计,改变英语写作课的讲评模式。此外,通过大量数据的采集与分析,计算机智能批改能够为每个学生生成个性化的强化提升训练题,有针对性地推送作文练习材料,让英文作文练习更加高效。



2

作文数据和错误分析助力教师作文精准讲评


计算机智能批改可以对文中的各类语法错误、亮点语块、整体评价进行分类梳理呈现,并对班级、校级学生的优势和短板进行精确分析,给出分析报告,帮助学生找短板,辅助教师做诊断,为英语作文精准教学提供语料支持,实现教学决策的数据化和精准化。


在作文讲评前,教师可从后台下载班级学生的批改成绩和详细数据,及各类型错误统计分析,梳理班级学生写作中的典型错误,讲解高频错误种类,让学生分组讨论,教师针对性讲评,展示优秀范文。而且,学生能在平板电脑上点击自己的个性化结果分析报告,自行修改,并拍照上传,教师进行巡视,再选择点击讲评,最后再次展示优秀范文,让其他学生讲评。学生进一步修改作文,直至满意为止。 


3

智能批改数据结果分析,有助于写作教学个性化和差异化


借助计算机智能批改技术,对于教师课堂上布置的作文,学生完成后通过移动终端上传,作文批改结果可以实现当堂即时反馈。


此外,教师也可利用计算机智能批改教学系统选取典型作文在班级屏幕上进行当场点评分析,彻底改变作文批改和讲评的滞后问题。对于阶段综合测试,教师可利用移动终端、智慧教学网络平台和计算机智能批改系统,考试过后即时扫描和智能批阅试卷,让师生即时从移动终端获得网络传输的答题情况和数据分析,克服传统试题讲评课须在人工批改过后发放才能讲评的评价信息反馈滞后的缺点。


此外,计算机智能批改的数据结果分析为学生提供了差异化、个性化适需学习服务的科学依据。学生利用计算机智能批改系统自动生成个性化分析报告,可对照高考评分要求对自己作文中的问题进行自主诊断分析。学生在课前通过网络终端自主探究作文个性分析,记录遇到的疑难问题,并通过智慧教学平台进行反馈。用信息化手段进行分层次和个性化教学,推送个性化学习任务,是基于信息技术的课堂教学的核心理念之一。


当然,计算机智能批改作为一种新的技术应用,在教学实践中还存在很多问题,最主要的应该是统计分析的准确性和教师对分析结果的充分利用还有待进一步提高和完善。它需要教师做好角色的转换定位和理念提升,探寻一种既能发挥教师主导作用又能充分体现学生主体地位的以“自主、探究、合作”为特征的教与学方式,充分发挥学生的主动性、积极性、创造性,解决传统教学模式和现代信息技术的融合问题,实施精准教学。


如果好看,就点击右下角的“好看”吧~~




文章来源:《中小学数字化教学》2018年第9期,原标题为《计算机智能批改助推英语写作精准教学》

图片来源:网络

责任编辑:孙建辉

微信编辑:李中华

监       制:朱哲



往期荐读

霸气的赛课感言:交互式电子白板不是你想用就能随便用!

用交互式电子白板上品德课,功能太强大了!

二次函数不好学,AR技术来帮忙!快来看这堂课的教学设计

这所学校的群规值得借鉴,家长群从此“效率更高”!

王素:开展STEM教育只是学校的事情吗?


    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存