歪果仁的作文谁家机器改得了？| 6th中介语作文句法自动诊断CGED2020等你来战
面向教育应用的自然语言处理工作坊（NLP Tech for Educational Application, NLPTEA）：第六届中介语作文句法自动诊断评测CGED将于2020年12月4日在AACL2020（Online）会期中举行。走过路过不要错过！
给歪果仁开发自动批改作文的程序还是很重要的一件事儿，这茬儿的baseline现在还很低，一起来beat！
这是个啥任务？
我们就是给你一些洋人写中文作文的语料（中介语作文），然后请你（的系统）来诊断里面的句法错误。错误共有四类：多（字）词（Redundant）、缺（字）词（Missing）、错（字）词（Selection）和词序错误（Word Order）。我们将从三个方面来评测大家的系统性能：判断句子有错没错（detection level）、判断啥类型的错（identification level）、错误出现的位置（position level，最难啦~）。来看俩例子：
Example 1:
Input: (sid=00038800464) 我真不明白。她们可能是追求一些前代的浪漫。
Output: 00038800464, correctExample 2:
Input: (sid=00038801261) 人战胜了饥饿，才努力为了下一代作更好的、更健康的东西。
Output: 00038801261, 9, 9, M
00038801261, 16, 16, S
(Notes: "能" is missing. The word "作" should be "做". The correct sentence is "才能努力为了下一代做更好的")
恍惚间，不敢想啊！今年已经是CGED评测的第六届啦~CGED-1@ICCE2014、CGED-2@ACL2015、CGED-3@COLING2016、CGED-4@IJCNLP2017、CGED-5@ACL2018
数据集
我们提供北京语言大学（曾）主办的汉语水平考试HSK作文批改数据。CGED2016、2017和2018版测试集和训练集，供包含六万余个错误点。2016至2018数据、历届评测报告、论文集和评测工具可在评测网站获取下载链接：www.cged.tech（具体信息请戳阅读原文 )
如何评测
Detection level:
告诉我们句子究竟有没有错
Identification level:
告诉我们错误的类型（S、M、R还是W？）
Position level:
告诉我们错误的位置（指出错误从句首开始的字符偏移量）
Correction level:
对于错（字）词和缺（字）词类型的错误，参赛队可给出0到3个推荐答案
每个评测侧面，都将评测精确率、召回率和F1值。
注意correction level中，系统可以根据对错误修改的置信度选择推荐答案的个数（0到3个之间）。显然推荐较多的答案会增大命中教师答案的可能性，但也会增大精确率中分母哦~
如何报名
电邮报名raogaoqi[@blcu.edu.cn
请在邮件中注明：
团队的名称
单位
联系人和联系方式
具体时间
开始注册: 2020年7月17日
训练集开放: 2020年8月3日
发布测试集: 2020年8月12日
参赛队伍提交结果: 2020年8月13日
公布评测成绩: 2020年8月14日
提交技术报告:2020年9月18日
返回审稿结果: 2020年10月23日
终版提交: 2020年11月6日
Workshop dates@AACL: 2020年12月4日
关于我们
Erhong Yang (Beijing Language and Culture University)
北语杨尓弘
Endong Xun (Beijing Language and Culture University)
北语荀恩东
Baolin Zhang (Beijing Language and Culture University)
北语张宝林
Gaoqi Rao (Beijing Language and Culture University)
北语饶高琦
今日责编：你是哪个李