AAAI 2021 | 从语义关系建模的角度进行句子语义关系匹配_小言_互联网的博客

AAAI 2021 | 从语义关系建模的角度进行句子语义关系匹配

2021-01-30 17:42 306人阅读评论(0)

©PaperWeekly 原创 · 作者｜张琨

学校｜中国科学技术大学博士生

研究方向｜自然语言处理

论文标题：

Making the Relation Matters: Relation of Relation Learning Network for Sentence Semantic Matching

论文作者：

Kun Zhang, Le Wu, Guangyi Lv, Meng Wang, Enhong Chen, Shulan Ruan

论文链接：

https://arxiv.org/abs/2012.08920

动机

句子语义关系匹配是自然语言处理中基础但重要的一项任务，并且有着广泛的应用场景，检索，对话，问答等实际场景都会用到。现有的方法可以大致分为两类：一类是直接对句子本身进行建模，利用 BERT，LSTM 等方法，或者生成语义表示向量在进行匹配分析，或者从细粒度的角度直接分析词，短语之间的匹配；另一类还考虑了标签的信息，因为标签也包含了一定的语义信息，通过 label embedding 的方法补充丰富的信息，从而得到句子语义匹配的关系。

本文认为标签的语义更多的指明了两个句子的语义关系，而这部分是被现有研究忽略的，通过对语义关系的挖掘能够更深入的挖掘句子的语义信息，抽取与语义关系相关的特征，实现更好的句子语义关系建模。为此，本文提出了 relation of relation modeling，从语义关系建模的角度进行句子语义关系匹配建模分析。

方法

首先是模型图，整体模型分为两部分，第一部分是编码部分，第二部分是关系识别部分。

2.1 编码部分

这部分相对比较常规，首先输入句子进行拼接之后送给 BERT 进行处理，得到全局的语义表示，这里作者借鉴了 ELMo 的思想，选择 BERT 每一层的输出，然后通过任务相关的加权得到合适的句子中每个词的表示，具体如下：

在此基础上，考虑到 BERT 关注的更多的全局信息，对一些局部特征的建模还有所欠缺，作者在这里使用了 CNN 进行局部特征抽取，通过利用不同尺寸的卷积核实现更全面的局部特征抽取：

2.2 关系识别部分

这部分是本文主要的贡献之处，本文首先设计了一个关系的关系分类任务（Relation of Relation Classification），用于判断输入的两对句子对的语义关系是否相同，是一个二分类问题，可以形式化表述为：

2.2.1 关系的关系分类

针对这个问题，本文借鉴自监督学习（self-supervised learning）的思想设计了一个关系的关系分类模块，要求输入两个句子，通过简单的启发式匹配，然后利用一个 MLP 进行二分类，模型图中的子图 D 展示了具体的结构，相关的过程可以表示为：

2.2.2 关系的对比学习

除此之外，为了进一步准确建模句子关系的关系，作者还将对比学习引入到这个模块中，由于模型最终会学习到一个句子对的语义关系表示向量，因此，作者通过对比学习要求模型学习的语义关系表示向量在表示相同语义关系的时候要近一些，在表示不同语义关系时要距离的远一些，从而使得模型能够真正学习到与关系相关的一些不变特征，充分发挥对比学习的作用。具体而言，作者首先利用 MLP 将三个不同输入的语义关系表示向量映射到同一空间，然后分别计算正例对和负例对之间的距离，用于最后的计算。