论文题目：《Knowledge-enhanced Hierarchical Attention for Community Question Answering with Multi-task and Adaptive Learning》
来源：IJCAI 2019
链接：https://www.ijcai.org/proceedings/2019/0743.pdf
MOTIVATION
- 来自KBs的外部知识很有用，但是在最近的基于深度学习的CQA系统中却没有得到充分的利用。
- 大多数现有的方法在学习文档表示时都没有利用语义的组合性。
- 如果CQA系统不能识别输入问题的类别，那么文档编码人员可能会丢失问题中关键的和有区别的特性。
- 现有的深度神经网络最具挑战性的问题之一是其性能可能不稳定，无法有效地处理CQA中相当不平衡且噪声较大的数据。
CONTRIBUTIONS
- 作者提出了一种基于知识增强的层次注意机制，从不同粒度的文本文档和知识库中充分挖掘知识。特别地，作者设计了一个三级注意机制，包括单词级注意、短语级注意、文档级的关注。（解决motivation2）
- 提出了一个多任务学习框架，其中知识增强表示学习由两个耦合任务同时优化:CQA(主任务)和问题分类(辅助任务)。多任务学习的主要目的是提高定位突出信息的质量。（解决motivation3）
- 对于CQA任务，我们构造多个分类器，并将它们的结果集成为最终的预测结果，期望能够更有效、更鲁棒地解决CQA任务。（解决motivation4）
MODEL
模型包括五个：Knowledge-enhanced representation module,Interactive question/answer representation module，Text categorization，community question answer module，multi-task learning module。
一、Knowledge-enhanced representation module
包含三个关键层：
①word-level mutual attention
- word embedding采用的是word-level embedding（采用word2vec）和character-level embedding（采用ELMo）的连接。问题Q和答案A的context representation如下所示：
- entity embedding通过DeepWalk学习得到，第t个候选实体表示为：
dkb是entity embedding的维度，K的得出是因为在实体检测中我们采用的是top-K候选实体。
由上面我们可以得到“上下文指导注意力模型”（求出句子中每一个实体的representation）：
问题Q和答案A的knowledge embedding：
我们采用上下文和知识表示之间的点积来计算correlation matrix：
接着计算：
最终的结果：
②Phrase-level Attention：
correlation matrix：
接着phrase-level knowledge-enhanced context representation and context-enhanced knowledge representation：
最后：
③Document-level attention
document-level attention
二、Interactive question/answer representation module
提出multi-head co-attention网络学习q和a的交互信息：
问题表征和答案表征：
三、Question Categorization
对于给定的问题，我们的目标是求出这个问题的类型。可以将这个过程看成多分类问题。
损失函数：
四、community question answer module
将问题q表征加入category-aware
针对CQA任务：
损失函数：
为了开发更稳定、更健壮的CQA模型，采用了集成学习方式
五、multi-task learning module
将CQA任务和question categorization任务共同优化，将多任务学习的目标函数最小化。
转载：https://blog.csdn.net/liunianhuakai/article/details/100999284