查看原文
其他

语义角色标注视为依存句法分析任务:探索论元内部的隐式树结构

张宇 PaperWeekly 2022-07-04



©作者 | 张宇

单位 | 苏州大学博士生

研究方向 | 句法分析/语义分析


语义角色标注(SRL)是 NLP 中一个基础且重要的任务,主要涉及谓词和论元的识别,以及相应的角色标签标注等等。

最近主流的 SRL 方法主要分为 BIO-based 和 span-based。前者将 SRL 视为序列标注,而后者则是将 SRL 视为对于 <谓词,论元头,论元尾> 这样三元组的预测。然而这两种方法都有一些共有的缺陷,忽视了对于论元内部结构建模。


这种内部结构在直觉上对于 SRL 很有效,例如在上面的图中,谓词 take 对应的论元「out of the market」的标签为 A2,这种关系可以反映在 take 到论元中心词 out 的弧中,此外,该论元的边界也和相应的子树边界完美对应。如果捕捉到内部结构信息,可以有效引导角色标签分类以及论元识别这两个子任务。然而由于 SRL 是一个 shallow parsing task,缺乏层次化的结构标注,这种内部结构还很少被前人工作利用。


基于这些观察,我们提出将平坦论元结构建模为隐式(latent)依存子树。通过这种方式,我们可以方便地将 SRL 归纳成一个依存句法分析任务。基于这种归纳,我们可以无缝利用已有的一些成熟的依存句法分析技术,例如 TreeCRF、高阶建模等等,来进行全局概率推断。我们的方法不需要预先指定谓词以及依存句法树,因此是 end-to-end 的。我们的代码将于近期开源。



论文标题:
Semantic Role Labeling as Dependency Parsing: Exploring Latent Tree Structures Inside Arguments
论文链接:
https://arxiv.org/pdf/2110.06865.pdf
代码链接:

https://github.com/yzhangcs/crfsrl



Methodology


我们的方法主要分为两个阶段:1)通过一定的规则将 SRL 结构转化为依存句法树;2)基于给定的依存句法树学习一个 parser,然后通过后处理过程将预测出的 dependency trees 恢复为 SRL 结构。


上图给出了我们方法的主要步骤。


SRL->Tree


首先是将 SRL 转化成树结构,图 2b 给了一个例子,对于谓词 take,首先我们构建一条根到谓词的弧 0->take,弧标签设为 PRD,接着构建谓词到论元/非论元的子树. 对于一个像「to do more」这样的论元 span,我们连接一条谓词 take 到该论元的弧,将论元标签 A1 设为这条弧的标签,剩下的内部的弧「to do more」我们不做任何假设,将这个部分视为未被 realize 的 latent tree,允许任何连接,并且不分配标签。对于非论元span,操作类似,除了我们将谓词到 span 的标签设为 O(例如 want->.)。


通过上面这种方式,我们将一个 SRL 图转化为了若干个以谓词为根的 partially-observed trees。


Dependency parsing with span-constrained (second-order) TreeCRF 


我们使用类似于经典 Biaffine Parser 的架构来学习上面转化得到的树,在打分器后面我们后接了一个 TreeCRF 来进行全局推断,最大化树概率,并进一步提出了一个带兄弟(siblings)信息的二阶拓展。最终训练的目标函数如下:



训练时我们将最大化 SRL 图 g 的概率近似为最大化上述转化得到的依存树概率,并对此按谓词分解,每个谓词对应的依存树概率为:



上面的公式我们通过复杂度为  的 TreeCRF 来计算,得到相应的树概率,其中 latent subtree 在训练过程中会被 marginalize 掉。一个主要的问题是经典的 TreeCRF 考虑的是所有候选树,然而在我们的场景中引入了许多 span 的约束,要求转化出来的依存树应当满足 SRL 的图结构,而这些 span constraints 没法被典型 TreeCRF 达成。

有鉴于此,在本文中我们提出了一个 span-constrained 的 TreeCRF,并将之推广到了二阶的场景,下图给出了相应的 deduction rules。



Recovery 


通过上面的方法得到一个句法分析器之后,我们剩下需要做的是利用该分析器预测句法树,并恢复为 SRL 图结构。恢复过程非常简单:


1. 由于弧标签的概率分布和树结构独立,因此我们首先对 0->i 的弧进行分类,对于标签为 PRD 的弧,我们认为 i 是谓词,并解码出剩下的树结构。


2. 从谓词 i 到其他词,我们认为他们是论元 span 的中心词,并以他们为起始,自底向下做遍历,将子树坍缩成一个平坦的谓词。


3. 最终我们收集所有形成的谓词及其论元,得到最终的 SRL 预测 g'。

 


Experiments


我们在 CoNLL05 和 CoNLL12 两个基准数据集上做实验,下表给出了实验结果:


在不给定谓词的场景下,我们的一阶方法 CRF 以及二阶方法 CRF2o 显著的超越了前人的结构,并且优势在 CoNLL05 out-of-domain Brown 数据上尤为显著. 在给定谓词场景下,CRF2o 使用 BERT 之后在 CoNLL05 Test 上和现有最好的结果 88.8 相近,并在 CoNLL12 上达到 87.57,显著超过了他们的 86.5。使用 RoBERTa 之后,CRF2o 在三个数据上达到了 89.63,83.72 以及 88.32 的 F1 值,达到了新的 state-of-the-art。


特别鸣谢

感谢 TCCI 天桥脑科学研究院对于 PaperWeekly 的支持。TCCI 关注大脑探知、大脑功能和大脑健康。


更多阅读

 


#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:hr@paperweekly.site 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编




🔍

现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧


·

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存