WWW 2021 | 融合先验知识的BERT注意力模型_飞道的博客

WWW 2021 | 融合先验知识的BERT注意力模型

2021-03-20 16:57 494人阅读评论(0)

©PaperWeekly 原创 · 作者｜张琨

学校｜中国科学技术大学博士生

研究方向｜自然语言处理

Motivation

BERT 等预训练模型使得自然语言处理等相关研究能够充分利用大规模的无标注语料，推动了整个自然语言处理的发展。那么接下来如何进一步提升 BERT 等模型的效果是研究人员关注的一个重点。除了结构，训练方式等，一个重要的分支就是使用外部知识，利用外部知识提升模型的效果。

常规做法是增加一个额外的任务帮助模型利用外部知识，这种存在一个问题，额外的任务会影响 BERT 本身的结构和参数，因此提升效果是不稳定的，有没有更加简单有效的方法提升模型的效果呢？

针对这个问题，本文针对 BERT 在文本语义匹配任务上进行了一个深入的研究，并设计了一种简单有效的外部知识利用方法。

论文标题：

Using Prior Knowledge to Guide BERT’s Attention in Semantic Textual Matching Tasks

论文作者：

Tingyu Xia / Yue Wang / Yuan Tian / Yi Chang

论文链接：

https://arxiv.org/abs/2102.10934

代码链接：

https://github.com/xiatingyu/Bert_sim

Method

为了分析如何引入外部知识，引入何种外部知识，作者首先对 BERT 进行了验证分析，分析 BERT 学到了哪些知识，是在哪些层中学习到的，然后在有针对性的设计外部知识以及知识引入方法。本文也根据作者的这个思路来介绍这篇文章。

2.1 BERT结构分析

在这部分，作者主要进行了两个方面的问题，数据增强分析，逐层表现分析。

2.1.1 数据增强分析

这部分的主要思想就是通过对比 BERT 在不同数据增强的数据上的表现，如果某个数据增强策略能够提升 BERT 的效果，那么就说明 BERT 并没有学习到这部分知识，还需要增强；否则说明 BERT 已经学习到这些知识了。

为此，作者选择了多种数据增强的方法，包括 Split and swap，Add random word ，Back translation ，Add high-TfIdf word ，Delete low-TfIdf word ，Replace synonyms 。相关的实验结果如下图所示：

其中虚线为原始 BERT 模型的基线效果，从图中可以看出在所有的数据增强方法中，除了替换同义词（Replace synonyms ）之外，其他方法都导致模型效果下降，说明了 BERT 在同义词理解和利用方面仍存在一定的欠缺，可以使用这部分知识进行提升（P.S. 这种方法可能会有一点问题，因为其他数据增强的方法可能会改变语义，而同义词替换并不会改变语义，这点仍值得商榷）

2.1.2 逐层表现分析

这部分相对来说简单一些，作者固定 BERT 的参数，然后分别抽取每一层的结果，然后利用一个简单的分类器进行文本语义匹配分类，通过实验结果看哪一层的效果最好，效果好说明这层学习到了知识，效果不好说明该层仍需要一定的改进和提升，相关实验结果图如下：

从实验结果看模型中间层的输出结果能够取得最好的效果，而底层和顶层的效果都不太好。这其实也很好解释，底层还没有真正学习到有用的知识，中间层学习的是相对通用的知识，而顶层的学习到底是任务相关的知识（NSP, MLM）。因此，从这个实验结果中可以看出，如果要增加额外知识的话，应该增加到底层。

2.2 外部知识引入

经过前一步的分析，本文已经大致确定了如何利用外部知识的思路，即使用同义词知识增强 BERT 模型底层的表现，从而提升模型的效果，因此作者提出了利用词相似知道底层注意力的计算。具体如下：

2.2.1 Word Similarity Matrix

输入两个句子之后，构建一个针对两个句子的词相似矩阵，其中每个元素值的确定方法：如果对应的两个词在 WordNet 中是同义词，那么值就为 1，如果不是，那就是 0，同样，对已一些停用词，或者这两个词并没有在 WordNet 中发现，均用 0 表示，然后使用在 WordNet 中的拓扑距离对整个词相似矩阵进行调整，具体可以参见（Verbs semantics and lexical selection）

2.2.2 Knowledge-Guided Attention

该步主要是将得到的词相似矩阵用于底层注意力计算的修正，具体而言，BERT 对输入的句子进行处理，然后计算注意力得分的过程可以表示为：