17.2融合关键词的文本增强

基于注意编解码器模型的神经网络模型具有较好的摘要能力。然而，这些模型在生成过程中难以控制，导致摘要缺乏关键信息。提出了一种将抽取方法和生成方法相结合的指导生成模型。首先，通过抽取模型从文本中获取关键词。然后，引入关键信息引导网络(KIGN)¹，将关键词编码成关键信息表征，以指导关键信息的生成过程。此外，我们还采用了一种预测-引导机制，引导主要体现在两个方面:注意机制和指针机制。该机制可以获得未来解码的长期值，从而进一步指导摘要的生成。

现有的句子摘要研究忽略了输入句子中的关键词能够为有价值的内容提供重要线索，人类倾向于根据这些关键词撰写摘要。本文提出了一种co-selective²的句子摘要方法，即在序列到序列模型中，将关键词引导信号应用于编码器和解码器。采用多任务学习框架，共同学习提取关键词和生成输入句子摘要。 通过研究输入句子和关键词之间的相互作用，应用关键词引导的选择性编码策略来过滤源信息。通过双注意和双复制机制对指针生成网络进行了扩展，该网络可以将输入句和关键词的语义结合起来，同时从输入句和关键词中复制单词。

解码器隐藏更新：
$${\mathbf{s}}_t=f_{de}\left({\mathbf{s}}_{t-1},\mathbf{e}\left(y_{t-1}\right),{\mathbf{c}}_t,{\mathbf{c}}_t^{kw}\right)$$
知识注意力上下文向量：
$$\begin{gathered} {\mathbf{c}}_t^{kw}=\sum _{j=1}^{|K|}{\alpha }_{tj}{\mathbf{k}}_j, \\ {\alpha }_{tj}=\frac{\exp \left(\eta \left({\mathbf{s}}_{t-1},{\mathbf{k}}_j\right)\right)}{{\sum }_{j^{\prime }=1}^{|K|}\exp \left(\eta \left({\mathbf{s}}_{t-1},{\mathbf{k}}_j^{\prime }\right)\right)} \end{gathered}$$
为第$t$时刻的关键词感知注意，${\mathbf{k}}_j$表示第$j$ 个被提取/分配的关键词的嵌入，$K$是所有被提取/分配的关键词的集合。

自动文章评论有助于鼓励在线新闻平台上的用户参与和互动。然而，对于传统的基于编码器-解码器的模型来说，新闻文档通常太长，这通常会导致一般性和不相关的评论。提出用graph-to-seq³模型生成评论，该模型将输入新闻建模为主题交互图。通过将文章组织成图形结构，模型可以更好地理解文章的内部结构和主题之间的联系，从而更好地理解故事。在线新闻平台腾讯快宝上收集并发布了大规模的新闻评论语料库。

解码器隐藏更新：
$${\mathbf{s}}_t=f_{de}\left({\mathbf{s}}_{t-1},\mathbf{e}\left(y_{t-1}\right),{\mathbf{c}}_t,{\mathbf{c}}_t^{kwg}\right)$$
知识注意力上下文向量：
$$\begin{gathered} {\mathbf{c}}_t^{kwg}=\sum _{u\in {\mathcal{U}}_{kwg}}\alpha (u)\mathbf{u}, \\ \alpha (u)=\frac{\exp \left(\eta \left({\mathbf{s}}_{t-1},\mathbf{u}\right)\right)}{{\sum }_{u^{\prime }\in {\mathcal{U}}_{kwg}}\exp \left(\eta \left({\mathbf{s}}_{t-1},{\mathbf{u}}^{\prime }\right)\right)} \end{gathered}$$
${\mathbf{c}}_t^{kwg}$是关键词图在时间步长$t$时的感知注意;${\mathcal{U}}_{kwg}$是关键词图中节点的集合;$\mathbf{u}$是节点嵌入(通常从图神经网络获得)。

KIGN

我们从注意机制和指针机制两个方面提出关键信息引导网络来引导生成过程。具体来说，我们使用TextRank算法从文本中提取关键字。

$$图1$$

如图1所示，将关键字逐一输入到关键信息引导网络BiGRU中，然后将最后一个前向隐藏状态${\overleftarrow{h}}_n$和后向隐藏状态${\overleftarrow{h}}_1$连接做为关键信息表征$k$:
k = [ h ← 1 h ⃗ n ] k=\left[

$$\begin{array}{l} \overleftarrow{h}_{1} \\ \vec{h}_{n} \end{array}$$ \right] k=[h 1​h n​​]

1. 注意机制:

传统的注意机制仅利用解码器状态作为查询，获取编码器隐藏状态的注意分布，难以识别关键字。我们将关键信息表征$k$作为注意机制的额外输入，将Seq2seq 中的方程改变为:
$$e_{ti}=v^T\tanh \left(W_h{h}_i+W_s{s}_t+W_{k}k\right)\text{\hspace{1em}(1)}$$
其中$W_k$是一个可学习参数。我们使用新的$e_{ti}$获得新的注意力分布${\alpha }_t^e$和新的上下文向量$c_t$。计算见Seq2seq

关键信息表征$k$使得注意机制更加关注关键字。这是向模型引入了先验知识。

然后，应用关键词信息表征$k$，并使用新的上下文向量$c_t$计算词汇中所有单词的概率分布，预测下一个单词改变为:
$$P_v\left(y_t\mid y_1,\dots ,y_{t-1}\right)=\mathrm{softmax}\left(f\left(s_t,c_t,k\right)\right)\text{\hspace{1em}(2)}$$
其中$v$为$y_t$来自目标词汇表。

2. 指针机制

由于词汇量的限制，有些关键词可能不在目标词汇表中，这必然会导致在最后的上下文向量中缺少这些关键词。因此，我们以关键信息表征$k$、上下文向量$c_t$和解码器隐藏状态$s_t$为输入，计算软开关$p_{sw}$，该软开关选择是从目标词汇表中生成单词还是从输入文本中复制单词：
$$p_{sw}=\sigma \left(w_k^{T}k+w_c^T{c}_t+w_{s_t}^T{s}_t+b_{sw}\right)\text{\hspace{1em}(3)}$$
其中 $w_k^T,w_c^T,w_s^T$ ， $b_{sw}$ 是参数, $\sigma$ 是 sigmoid .

我们的指针机制包含了关键信息表征，具有识别关键字的能力。使用新的注意力分布${\alpha }_{ti}^e$作为输入token $w_i$的概率，得到以下概率分布来预测下一个单词:
P ( y t = w ) = p s w P v ( y t = w ) + ( 1 − p s w ) ∑ i : w i = w α t i e (4)

$$\begin{aligned} P\left(y_{t}=w\right) &=p_{s w} P_{v}\left(y_{t}=w\right) +\left(1-p_{s w}\right) \sum_{i: w_{i}=w} \alpha_{t i}^{e} \end{aligned}$$ \tag{4} P(yt​=w)​=psw​Pv​(yt​=w)+(1−psw​)i:wi​=w∑​αtie​​(4)
注意，如果 $w$是一个词汇表外的单词， $P_v\left(y_t=w\right)$是零。

将$y_t^{\ast }$定义为解码时间步长$\mathrm{t}$的目标字，减小每个解码时间步长的最大似然损失：
$$L=-\frac{1}{T}\sum _{t=0}^T\log P\left(y_t^{\ast }\mid y_1^{\ast },\dots ,y_{t-1}^{\ast },x\right)\text{\hspace{1em}(5)}$$

2、测试时的预测导向机制

在测试时，我们在预测下一个单词时，不仅考虑了式4概率，还考虑了预测导向机制预测的长期值。我们的预测-引导机制是一个具有sigmoid激活函数的单层前馈网络，它预测了最终摘要中覆盖的关键信息的范围。

在每个解码时间步长t处，我们将解码器隐藏状态${\bar{s}}_t=\frac{1}{t}{\sum }_{l=1}^t{s}_l$、编码隐藏状态${\bar{h}}_n=\frac{1}{n}{\sum }_{i=1}^n{h}_i$和关键信息表示$k$作为输入，计算长期值。

我们抽样了两个部分摘要$y_{p1}$和$y_{p2}$中每个$x$随机停止得到${\bar{s}}_t$。然后，我们从$y_p$完成生成，得到完成的摘要$S\left(y_p\right)$(使用beam search)的$M$个平均解码器隐藏状态$\bar{s}$，并计算平均得分:
$$Avg\mathrm{Cos}\left(x,y_p\right)=\frac{1}{M}\sum _{\bar{s}\in S\left(y_p\right)}\cos (\bar{s},k)\text{\hspace{1em}(6)}$$
其中$\cos$是余弦相似度的函数。我们希望$v\left(x,y_{p1}\right)$的预测值能够大于$v\left(x,y_{p2}\right)$，如果$\mathrm{Avg}\mathrm{Cos}\left(x,y_{p1}\right)>$$\mathrm{Avg}\mathrm{Cos}\left(x,y_{p2}\right).$，则预测导向网络的损失函数如下:
$$L_{pg}=\sum _{\left(x,y_{p1},y_{p2}\right)}{e}^{v\left(x,y_{p2}\right)-v\left(x,y_{p1}\right)}\text{\hspace{1em}(7)}$$
在测试时，我们首先计算每个候选的归一化对数概率，然后将其与预测导向网络预测的值线性组合。具体来说，给定一个生成模型$P(y\mid x)$(方程4)，一个预测导向网络$v(x,y)$和 一个超参数$\alpha \in (0,1)$， $x$的部分序列$y$的分数计算方法如下:
$$\alpha \times \log P(y\mid x)+(1-\alpha )\times \log v(x,y)\text{\hspace{1em}(8)}$$
其中，$\alpha \in (0,1)$为超参数。

---

co-selective

下面是我们模型的主要步骤。

步骤1。提取输入和参考之间的重叠词作为ground-truth 关键词。

步骤2。多任务学习:使用输入语句和ground-truth关键词生成摘要;训练关键词提取器。

步骤3。使用训练后的关键词提取器对训练集中的输入句子生成关键词，然后使用原句子和预测的关键词对句子摘要器进行微调。

步骤4。在测试过程中，首先使用训练好的关键词提取器生成输入句子的关键词，然后使用输入句子和预测的关键词生成摘要。

$$图2$$
图2 为co-selective模型框架。在训练过程中，BiLSTM将原句子$\left(x_1,x_2,\cdots ,x_n\right)$和ground-truth关键字$\left(k_1,k_2,\cdots ,k_m\right)$读取为一级隐藏状态$h_i^r$ 和 $h_i^k.$，联合训练关键字提取器把$h_i^r$作为输入，预测输入词是否为关键字。共选择编码层构建了第二级隐藏状态$h_i^{r^{\prime }}$和第二级隐藏状态$h_i^{k^{\prime }}$。然后通过对原句和关键词序列的双重注意和双重复制生成摘要。在测试过程中，ground-truth关键字被我们训练的关键字提取器预测的关键字替换。

1. Ground-Truth 关键词生成

用于句子摘要任务的标准Gigaword数据集不提供输入句子的关键字。为了训练我们的关键字提取器和关键字引导的摘要器，我们大致将输入句子和参考摘要之间的重叠词(停止词除外)作为ground-truth关键字。

• 共享文本编码器

BiLSTM对输入文本进行前向和后向编码，生成两个序列的隐藏状态:
h ⃗ i = LSTM ⁡ ( E [ x i ] , h ⃗ i − 1 ) h ← i = LSTM ⁡ ( E [ x i ] , h ← i + 1 )

$$\begin{array}{l} \vec{h}_{i}=\operatorname{LSTM}\left(\mathrm{E}\left[\mathrm{x}_{\mathrm{i}}\right], \vec{h}_{\mathrm{i}-1}\right) \\ \overleftarrow{h}_{i}=\operatorname{LSTM}\left(\mathrm{E}\left[\mathrm{x}_{\mathrm{i}}\right], \overleftarrow{h}_{\mathrm{i}+1}\right) \end{array}$$ h i​=LSTM(E[xi​],h i−1​)h i​=LSTM(E[xi​],h i+1​)​
$E\left[x_i\right]$ 是单词 $x_i$的embedding 。最后隐藏的表示 $h_i$是前向和后向向量的连接: $h_i=\left[{\vec{h}}_i;{\overleftarrow{h}}_i\right]$

句子摘要任务和关键词提取任务在意义上非常相似，它们的目的都是选择输入句子中包含的重要信息。句子摘要的输出是一个完整的句子，而关键词抽取的输出是一组单词。它需要不同的模块为不同的任务生成相应的输出，而对于编码器来说，我们认为共享参数可以提高他们捕捉输入文本重点的能力。为此，我们使用一个共享文本编码器来生成原始语句和关键字序列的隐藏状态序列。$h_i^r$和$h_i^k$分别表示输入语句和关键字的隐藏表征。

• 关键词提取

对于关键字提取任务，输出层是对句子中每个单词的隐藏表征$h_i^r$进行softmax分类器。分类器预测以下两个标签之一:'1’表示关键字，'0’表示非关键字。BiLSTM-CRF模型与BiLSTM -softmax模型具有相似的性能。

2. 关键词导向选择编码

Zhou等人提出了一种选择性机制来模拟句子摘要的选择过程。选择门应用于$h_i^r$，构造一个二级表表征$h_i^{r^{\prime }}$。在他们的模型中，选择门通过探索输入句子中每个单词和整个句子之间的语义关系来维护来自编码句子的重要信息。这种选择编码策略可以称为自我选择编码，因为选择信号来自原句本身。

与原句相比，关键词包含更浓缩的语义，因此，选择信号可以更强大。与自我选择不同，我们利用关键词的信息来构建选择门。我们提出了两种关键字引导的选择编码策略:关键字选择，对关键字引导的句子构建$h_i^{r^{\prime }}$; 共选择编码，对输入的句子和关键字分别构建$h_i^{r^{\prime }}$和$h_i^{k^{\prime }}$。详情如下。

• 自我选择 Encoding

每个$h_i^r$的自选择门向量计算如下:
$${\text{ selfGate }}_i^s=\sigma \left({\mathbf{W}}_r{h}_i^r+{\mathbf{U}}_r{a}^r\right)$$
其中$\sigma$表示sigmoid函数，和 $a^r=\left[\overrightarrow{h_n^r};\overleftarrow{h_1^r}\right]$ 是句子表征。然后，$h_i^{r^{\prime }}$计算如下:
$$h_i^{r^{\prime }}=h_i^r\odot {\text{ selfGate }}_i^s$$
其中$\odot$是元素级的乘法。

• 关键字选择 Encoding

关键词选择门用关键词引导原句编码如下:
$${\text{ keyGate }}_i^r=\sigma \left({\mathbf{W}}_k{h}_i^r+{\mathbf{U}}_k{a}^k\right)$$
其中 $a^k=\left[\overrightarrow{h_n^k};\overleftarrow{h_1^k}\right]$ 是关键字序列表示。然后，$h_i^{r^{\prime }}$计算如下:
$$h_i^{r^{\prime }}=h_i^r\odot key{\text{ Gate }}_i^r$$

• 共选择 Encoding

除了为句子选择编码外，我们认为每个关键字对摘要任务的贡献是不同的，因此，我们提出了一种共选择编码来同时为句子和关键字选择信息。
c o  Gate  i r = σ ( W p h i r + U p a k ) c o G a t e i k = σ ( W q h i k + U q a r )

$$\begin{aligned} c o \text { Gate }_{i}^{r} &=\sigma\left(\mathbf{W}_{p} h_{i}^{r}+\mathbf{U}_{p} a^{k}\right) \\ c o G a t e_{i}^{k} &=\sigma\left(\mathbf{W}_{q} h_{i}^{k}+\mathbf{U}_{q} a^{r}\right) \end{aligned}$$ co Gate ir​coGateik​​=σ(Wp​hir​+Up​ak)=σ(Wq​hik​+Uq​ar)​
则， $h_i^{r^{\prime }}$ 和 $h_i^{k^{\prime }}$ 的计算方法如下:
$$\begin{array}{l}{h}_i^{r^{\prime }}=h_i^r\odot {\text{ coGate }}_i^r\\ h_i^{k^{\prime }}=h_i^k\odot {\mathrm{coGate}}_i^k\end{array}$$
3. 双注意生成器

指针-生成网络是一个具有复制机制的seq2seq模型，基于来自生成器和指针的概率分布来预测单词。该生成器采用双注意机制，基于源句子和提取关键词的注意生成上下文向量。

我们使用LSTM作为解码器来产生输出摘要。在每一个时间步$t$中，LSTM读取前一个解码器状态$s_{t-1}$、预测输出$y_{t-1}$和上下文向量$c_{t-1}$，计算当前解码器状态$s_t$，如下所示:
$$s_t=\mathrm{LSTM}\left(s_{t-1},y_{t-1},c_t\right)$$
解码器的隐藏状态$s_0$被初始化如下:
$$s_0=\tanh \left({\mathbf{W}}_h\left[\overrightarrow{h_n^{r^{\prime }}};\overleftarrow{h_1^{r^{\prime }}}\right]\right)$$
该模型的输入包括原句和关键词，因此我们首先为原句和关键词构建具有注意机制的上下文向量。然后我们得到最终的上下文向量$c_{t}， $我们计算句子上下文向量$c_{t}^{r}$如下:
$$c_t^r=\sum _{i=1}^N{\alpha }_{t,i}^r{h}_i^{r^{\prime }}$$
每个向量都是由注意力权重${\alpha }_{t,i}^r$加权的
e t , i r = v a T tanh ⁡ ( U a s t − 1 + W a h i r ′ ) α t , i r = exp ⁡ ( e t , i r ) ∑ j = 1 N exp ⁡ ( e t , j r )

$$\begin{aligned} e_{t, i}^{r} &=v_{a}^{T} \tanh \left(\mathbf{U}_{a} s_{t-1}+\mathbf{W}_{a} h_{i}^{r^{\prime}}\right) \\ \alpha_{t, i}^{r} &=\frac{\exp \left(e_{t, i}^{r}\right)}{\sum_{j=1}^{N} \exp \left(e_{t, j}^{r}\right)} \end{aligned}$$ et,ir​αt,ir​​=vaT​tanh(Ua​st−1​+Wa​hir′​)=∑j=1N​exp(et,jr​)exp(et,ir​)​​
类似地，关键字注意 ${\alpha }_{t,i}^k$和关键字上下文向量 $c_t^k$可以通过 $h_i^{k^{\prime }}$和 $s_{t-1}$来计算。

接下来，我们应用三种方法将$c_t^r$和$c_t^k$融合到最终的上下文向量$c_t$中，包括串联融合、门融合和分层融合。

• 串联融合

这种融合方法简单地连接两个上下文向量:
$$c_t=\left[c_t^r;c_t^k\right]$$

• 门融合

我们首先使用两个上下文向量计算一个融合门向量，然后通过这个门将上下文向量组合起来:
g t = σ ( W g c t r + U g c t k ) c t = g t ⊙ c t r + ( 1 − g t ) ⊙ c t k

$$\begin{array}{l} g_{t}=\sigma\left(\mathbf{W}_{g} c_{t}^{r}+\mathbf{U}_{g} c_{t}^{k}\right) \\ c_{t}=g_{t} \odot c_{t}^{r}+\left(1-g_{t}\right) \odot c_{t}^{k} \end{array}$$ gt​=σ(Wg​ctr​+Ug​ctk​)ct​=gt​⊙ctr​+(1−gt​)⊙ctk​​

• 分层融合

门控融合将两个上下文向量与它们之间相互作用的门相结合。从直观上看，融合过程应该反映句子和关键词对解码器状态$s_{t-1}$的相对信息量。

我们采用分层注意机制，目的是在原句和关键词之间建立一种目标导向的联系:
β t r = σ ( U β s t − 1 + W β c t r ) β t k = σ ( U β s t − 1 + W β c t k ) c t = β t r c t r + β t k c t k

$$\begin{aligned} \beta_{t}^{r} &=\sigma\left(\mathbf{U}_{\beta} s_{t-1}+\mathbf{W}_{\beta} c_{t}^{r}\right) \\ \beta_{t}^{k} &=\sigma\left(\mathbf{U}_{\beta} s_{t-1}+\mathbf{W}_{\beta} c_{t}^{k}\right) \\ c_{t} &=\beta_{t}^{r} c_{t}^{r}+\beta_{t}^{k} c_{t}^{k} \end{aligned}$$ βtr​βtk​ct​​=σ(Uβ​st−1​+Wβ​ctr​)=σ(Uβ​st−1​+Wβ​ctk​)=βtr​ctr​+βtk​ctk​​
${\beta }_t^r$ 和 ${\beta }_t^k$ 是两个标量。

然后计算$P_{\text{gen }}$在目标词汇表中所有单词上的概率分布如下:
$$P_{\text{gen }}(w)=\mathrm{softmax}\left({\mathbf{W}}_h{s}_t+{\mathbf{V}}_h{c}_t+b_h\right)$$

4. 双复制机制

普通指针通过指向从源序列中复制一个单词$w$:
$$P_{\text{copy }}(w)=\sum _{i:x_i=w}{\alpha }_{t,i}$$
我们提出一个双复制指针，从源序列和关键字序列复制一个单词$w$，如下所示:
P copys  ( w ) = ∑ i : x i = w α t , i r P copyk  ( w ) = ∑ i : k i = w α t , i k

$$\begin{aligned} P_{\text {copys }}(w) &=\sum_{i: x_{i}=w} \alpha_{t, i}^{r} \\ P_{\text {copyk }}(w) &=\sum_{i: k_{i}=w} \alpha_{t, i}^{k} \end{aligned}$$ Pcopys ​(w)Pcopyk ​(w)​=i:xi​=w∑​αt,ir​=i:ki​=w∑​αt,ik​​
最后的分布是生成分布和双复制分布的加权和:
$$\begin{array}{rl}{\lambda }_t& =\mathrm{sigmoid}\left(w_a^T{c}_t+u_g^T{s}_t+v_g^T{y}_{t-1}+b_g\right)\\ P(w)& ={\lambda }_t{P}_{gen}(w)+\frac{1}{2}\left(1-{\lambda }_t\right)\left(P_{\text{copys }}(w)+P_{\text{copyk }}(w)\right)\end{array}$$
每个时间步 $t$的损失函数 ${\mathcal{L}}_t$是ground-truth目标词 $y_t$的负对数似然:
$${\mathcal{L}}_t=-\log P\left(y_t\right)$$

5. 多任务学习

摘要生成任务比关键词提取复杂得多，导致不同的学习困难和收敛速度。因此，摘要生成作为中心任务，关键字提取作为辅助任务。我们在训练过程中交替优化这两个任务，直到收敛。

设$\gamma$为句子摘要训练100小批后提取关键词的小批训练数。采用$\gamma =10$。

• 使用生成关键字进行微调

我们的模型使用ground-truth关键字进行训练，而不是使用我们的关键词检测器的结果，在测试过程中无法获得ground-truth关键字。使用ground-truth关键字使其收敛更快，但训练和测试过程之间的不匹配可能表现出不稳定性。为了解决这个问题，我们提出在使用ground-truth关键字训练过程收敛后，用我们的关键字检测器生成的预测关键字作为输入来微调我们的模型。

---

graph-to-seq

graph-to-seq架构如图3所示。

交互图中的顶点由主题词$k_i$和包含$k_i$的句子组成，如果句子中没有包含主题词，则将其划分到一个特殊的“Empty”顶点。每个顶点首先被顶点编码器编码到一个隐藏的向量$v_i$中。然后将整个图输入到图编码器，用结构信息编码得到最终的顶点表示$h_i$。采用具有注意机制的RNN解码器生成评论词。

$$图3$$

1. 构建主题交互图

算法1给出了构建过程。与传统新闻不同的是，网络新闻平台上的文章包含了很多噪音。文章中的许多句子甚至与新闻的主题无关。例如,“谢谢大家点开 这篇文章”。

因此，我们提取文章的关键词作为新闻的主题。这些关键词是理解文章故事的最重要的词，其中大部分都是命名实体。由于关键字检测不是本文的重点，

给定一篇新闻文章$D$，我们首先用现成的工具如Stanford CoreNLP对新闻文章进行分词和命名实体识别。由于仅通过命名实体还不足以涵盖文档的主要内容，因此我们进一步应用TextRank等关键字提取算法来获取其他关键字。

在获得新闻的关键字$k$后，我们将文档的每个句子与其对应的关键字关联起来。我们采用一种简单的策略，如果$k$出现在句子中，则将句子$s$赋给关键字$k$。

注意，一个句子可以与多个关键词相关联，这暗示了主题之间的联系。不包含任何关键字的句子被放在一个名为“Empty”的特殊顶点中。因为文章的标题对于理解新闻是至关重要的，我们还添加了一个特殊的顶点叫做“Title”，它包含了文章的标题句。

这些句子与其关键字$k$一起构成交互图中的一个顶点$v_k$。句子中的单词连在一起。每个顶点中的单词代表文章的一个方面。

在算法$1.$中，可以用$\lambda$来构造顶点之间的边，本文提出了一种基于结构的方法。如果顶点$v_i$和$v_j$至少共享一个句子，则在它们之间添加一条边$e_{ij}$，其权重根据共享句子的个数计算。

这种设计背后的直觉是，两个关键词一起提到的句子越多，这两个关键词越接近。还可以使用基于内容的方法，例如$v_i$和$v_j$内容之间的tf-idf相似性。

2. 顶点编码器

为了将图中的每个顶点编码为一个隐藏向量$v$，我们提出了一种基于多头自注意的顶点编码器。

顶点编码器由两个模块组成，第一个是嵌入模块，第二个是自注意模块。对于单词序列中的 第$i$个单词$w_i$，我们首先查找单词的词嵌入$e_i$。注意，本文中的关键词和常规词共享一个嵌入表。我们所说的“常规单词”指的是关键词以外的单词。

为了表示每个单词的位置信息，在单词中添加一个位置嵌入$p_i$。将顶点的关键字$k$放在单词序列的前面。因此，所有插入的关键字的位置嵌入共享相同的嵌入$p_0$，这表明了关键字的特殊作用。词嵌入和位置嵌入都被设置为可学习向量。单词$w_i$的最终嵌入${ϵ}_i$是原单词嵌入$e_i$和位置嵌入$p_i$之和，
$${ϵ}_i=e_i+p_i$$
然后我们将${ϵ}_i$输入self-attention模块，得到每个单词的隐藏向量$a_i$。该模块对单词之间的交互进行建模，使该层中的每个隐藏向量都包含该顶点的上下文信息。
 Attention  ( Q , K , V ) = softmax ⁡ ( Q K T ) V  MultiHead  ( Q , K , V ) = [  head  1 ; ⋯   ;  head  h ] W o  head  i =  Attention  ( Q W i Q , K W i K , V W i V )

$$\begin{array}{r} \text { Attention }(Q, K, V)=\operatorname{softmax}\left(Q K^{T}\right) V \\ \text { MultiHead }(Q, K, V)=\left[\text { head }_{1} ; \cdots ; \text { head }_{h}\right] W^{o} \\ \text { head }_{i}=\text { Attention }\left(Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V}\right) \end{array}$$  Attention (Q,K,V)=softmax(QKT)V MultiHead (Q,K,V)=[ head 1​;⋯; head h​]Wo head i​= Attention (QWiQ​,KWiK​,VWiV​)​
在我们的例子中， $QKV$都表示相同的向量。对于第一层，它们是 $ϵ$。以下各层为前一层计算的隐藏向量。

因为关键字$k$是顶点中最重要的信息，所以我们使用最后一层插入的关键字$a_0$的隐藏向量作为代表整个顶点的向量。

3. 图编码器

在得到图中每个顶点$v_i$的隐藏向量后，将它们喂给给一个图卷积模型(GCN)，以利用所构造的主题交互的图结构。

交互图的邻接矩阵为$A\in R^{N\times N}$，其中$A_{ij}=w_{ij}$ ，还添加一条指向节点本身的边。D是一个对角矩阵，其中${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$
H l + 1 = σ ( D ~ − 1 2 A ~ D ~ − 1 2 H l W l ) A ~ = A + I N

$$\begin{array}{r} H^{l+1}=\sigma\left(\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} H^{l} W^{l}\right) \\ \tilde{A}=A+I_{N} \end{array}$$ Hl+1=σ(D~−21​A~D~−21​HlWl)A~=A+IN​​
其中 $I_N$为单位矩阵， ${\tilde{D}}^{-\frac{1}{2}}\tilde{A}\tilde{D}$为标准化对称邻接矩阵， $W^l$为可学习权矩阵。为了避免GCN的过光滑问题，我们添加了层之间的残差连接，
$$\begin{array}{r}{g}^{l+1}=H^{l+1}+H^l\\ g^{\text{out }}=\tanh \left(W_o{g}^K\right)\end{array}$$
我们在GCN的最终输出中添加一个前馈层。 $g^K$是GCN最后一层的输出。

由于新闻的标题仍然是一个重要的信息，使用图编码器的标题顶点的隐藏输出作为解码器的初始状态$t_0$。还可以使用其他池方法，如最大池或平均池。

4. Decoder

解码器采用有注意机制的RNN。

给定初始状态$t_0$和输出$\mathrm{G}\mathrm{C}\mathrm{N}⟨g_0,g_1,\cdots ,g_n⟩$，解码器必须生成一系列注释标记$y_1,y_2,\cdots ,y_m.$

在每一个解码步骤中，一个上下文向量$c_i$是通过注意GCN的输出来计算的。
t i = R N N ( t i − 1 , e i − 1 ) c i = ∑ j × g j α j = exp ⁡ ( η ( t i , g j ) ∑ exp ⁡ ( η ( t i , g k ) )

$$\begin{array}{r} t_{i}=R N N\left(t_{i-1}, e_{i-1}\right) \\ c_{i}=\sum_{j} \times g_{j} \\ \alpha_{j}=\frac{\exp \left(\eta\left(t_{i}, g_{j}\right)\right.}{\sum \exp \left(\eta\left(t_{i}, g_{k}\right)\right)} \end{array}$$ ti​=RNN(ti−1​,ei−1​)ci​=∑j​×gj​αj​=∑exp(η(ti​,gk​))exp(η(ti​,gj​)​​
其中 $\eta$是注意评分函数。

由于主题词(顶点名称)$k$是文章的重要信息，可能会出现在评论中，我们采用复制机制 ，将预测的词标记概率分布与注意分布合并。通过解码隐藏状态$t_i$和上下文向量$c_i$，动态计算从主题词复制的概率$p_{\text{copy}}$，
y i = softmax ⁡ ( W o ( tanh ⁡ ( W ( [ t i ; c i ] ) + b ) ) ) p copy  = σ ( W copy  [ t i ; c i ] ) p = ( 1 − p copy  ) × y + p copy  × α

$$\begin{array}{r} y_{i}=\operatorname{softmax}\left(W_{o}\left(\tanh \left(W\left(\left[t_{i} ; c_{i}\right]\right)+b\right)\right)\right) \\ p_{\text {copy }}=\sigma\left(W_{\text {copy }}\left[t_{i} ; c_{i}\right]\right) \\ p=\left(1-p_{\text {copy }}\right) \times y+p_{\text {copy }} \times \alpha \end{array}$$ yi​=softmax(Wo​(tanh(W([ti​;ci​])+b)))pcopy ​=σ(Wcopy ​[ti​;ci​])p=(1−pcopy ​)×y+pcopy ​×α​
其中 $W_o，W,W_{\text{copy}}，b$都是可学习的参数。

参考

---

1. Guiding Generation for Abstractive Text Summarization based on Key Information Guide Network ↩︎

2. Keywords-Guided Abstractive Sentence Summarization ↩︎

3. Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model ↩︎

转载：https://blog.csdn.net/qq_43940950/article/details/117194415