ACL 2023 | 增强语法纠错系统的可解释能力

©PaperWeekly 原创 · 作者 | 费玥姣

单位 | 西湖大学

语法纠错系统（GEC）能够修正句子中的语法错误，为学习第二语言的人提供了有用的信息。常见的 GEC 系统有 Grammarly，Google Docs 等，帮助我们提升英语写作的水平。但是它们一般只给出如何修改以及对应的语法错误类型，很少能说出具体的修改原因。如果能结合句子中其他的相关词（线索词）作为佐证解释为什么产生了语法错误，将帮助学习者“知其然，知其所以然”。

因此，我们提出了可解释语法纠错任务，基于当前强大的纠错模型，在其结果上预测每一个修改对应的语法错误及线索词。并且基于二语学习者英语失误分析的认知模型设计了 15 种语法错误类型，共同帮助写作者理解和学习英语语法。

论文标题：

Enhancing Grammatical Error Correction Systems with Explanations

收录会议：

ACL 2023 Main Conference

论文链接：

https://arxiv.org/abs/2305.15676

数据代码：

https://github.com/lorafei/Explainable_GEC

数据集

▲ 图1 数据集中的语法错误类型、线索词例子、数量占比和所处认知模型层面

我们在现有的 GEC 数据集 [1] 上标注了线索词和语法错误类型，包括 2 万条错句，39,500 个线索词。基于认知语言学中第二语言学习的错误认知模型 [2]，我们在三个错误认知层面（词汇感知、词汇语法感知和句法感知）上设计了学习者容易犯的 15 种不同的语法错误类型及其线索词标注标准。

为了更好地泛化到现实应用场景，我们也在现有的 GEC 模型输出上收集并标注了测试数据，并报告了相应结果。图 1 中展示了了所有错误类型、例子、数量占比和对应的认识模型层面。表 1 展示了数据集的具体统计结果。

▲ 表1 标注数据统计结果

方法

本文主要探索序列标记方法。为了增强修改词的位置信息，我们新增了一个 Correction Embedding 对其位置信息进行编码，如图 2 中所示。了强化句子之间交互，我们设计了交互矩阵，以同时建模错误句子和正确句子之间的对齐关系和线索词位置，类似于图 3 中所示。

▲ 图2 基于序列标注的句法增强的预测模型

受到语言学习者进行语法纠错过程中很大程度上借助到了句法信息的启发，我们统计了线索词在句法树中和修改词的相邻关系。如表 2 中所示，在句法树中 46% 的线索词在修改词的一阶相邻节点中，51% 的线索词在修改词的 2 阶相邻节点内。因此可以合理推断，修改词和线索词在句法树中存在较强的相关性。于是我们分别在 Embedding 层面和交互矩阵层面设计了融入句法的预测模型，分别如图 2 中和图 3 所示。

▲ 表2 句法树中线索词和修改词的相邻关系

▲ 图3  句法增强的交互矩阵

实验

我们在序列生成、序列标记和交互矩阵模型上分别进行了训练和评估，包括含句法信息和不含句法信息的方法。观察表 2 所示的实验结果，发现交互矩阵模型相比于序列标注模型，准确率更高但召回率更低。在交互矩阵模型上增加句法信息，比在序列标记模型上增加句法信息优势更明显。说明，一，句法信息能有效帮助线索词的预测，二，交互矩阵能更好地将句法信息融合到模型中。

▲ 表2 实验结果

句法知识的影响

为了探究句法知识对模型效果的具体影响，我们将线索词处于句法树修改词的一阶节点内、二阶节点内和二阶节点外的数据分别在模型上进行测试。发现整体效果随着线索词距离修改词越远，模型预测效果越差，说明模型较难处理句法复杂的结构。但是在加入句法知识之后，在所有句法距离的数据上效果均有明显提升，说明句法知识表示的有效性。

▲ 图4 左图：模型在不同句法距离样本上的效果  右图：模型在特定错误类型上是否加句法信息的效果对比

我们报告了不同错误类型数据在加入/不加入句法知识的模型上的效果。发现在主谓一致、助动词、词汇选择、词性搭配、名词一致性几种错误类型上加入句法知识后效果均有明显提升。

人工评估

为了评估可解释 GEC 帮助英语学习者理解语法纠错的有效性，我们分别采样了 500 条 GEC gold 标注和 SOTA GEC 模型 GECTOR 的解码结果，并用本文提出的模型预测了可解释结果，然后雇用了 5 个英语学习者进行人工评估。结果显示在 gold 标注和模型解码上，分别有 84.0% 和 82.4% 的数据具有线索词和错误类型解释，其中分别有 87.9% 和 84.5% 的语法错误解释能帮助学习者更快、更好得理解犯的语法错误。

本实验表明了我们的可解释 GEC 系统可以作为现有的 GEC 系统的后处理模块，以提供更多的语法知识帮助英语学习者学习。

总结

本工作提出了可解释 GEC 任务并发布了对应的可解释 GEC 数据集，包括 21,017 个标注了线索词和语法错误类型句子。我们设计了不同的模型并进行了详细的实验分析。实验结果显示，句法知识能有效帮助模型预测可解释结果。人工评估验证了可解释 GEC 任务在实际英语学习中的有效性。希望我们的任务和数据能进一步推动未来可解释 GEC 方面的研究。

参考文献

[1] Christopher Bryant, Mariano Felice, Øistein E Andersen, and Ted Briscoe. 2019. The bea-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pages 52–75.

[2] Shichun Gui. 2004. A cognitive model of corpusbased analysis of chinese learners’ errors of english. Modern Foreign Languages(Quarterly), 27(2):129– 139.

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·