本文简要介绍一些深度学习在自然语言应用的基本任务，词表示，文本翻译和机器翻译。
一、典型任务
- 词性标注和句法分析
- 问答和对话系统
- 文本/文档分类
- 情感分析和观点挖掘
- 机器翻译
- 文本生成
- ......
1.1 词性标注和句法分析
词性(POS)标注即对句子里的每个词给出它的词性如名词、动词等：
句法分析即分析其主、谓、宾等结构：
1.2 问答和对话系统
用户问出一个问题，对话系统能够做出回答，这便是该系统主要关注的任务。
左边是简单的一问一答的形式，而后面则是有前后呼应的对话。
1.3 文本/文档分类
比如情感分类，积极、消极、中性的：
文档分类处理的对象会长一些，不是简单的几句话，而是一整片文章或是几页：
1.4 机器翻译
机器翻译顾名思义就是把一种语言翻译成另外一种语言。
1.5 其它
NLP的应用还有很多，比如对联、古诗生成~
二、词表示
2.1 词表示
自然语言处理的最基本的对象就是词，词构成句子，句子构成段落，段落构成文章。
那么我们如何来表示一个词呢？大家最先能想到的就是以one-hot的形式，如：
但是这样，维度、词汇表的大小|V| 可能是数百万。且如词与词之间意思相近或者意思没什么关系又无法表述：dist(“kid”, “child”) 、dist(“flower”, “car”)
- 维度太高
- 没有表达词之间的关系
动机：用一个词的邻居来表示这个词 “You shall know a word by the company it keeps”
我们可以看到上面两句话都和词“banking”有关，我们就可以用它周围的这些词，即这段话里的词来表示“banking”的含义。
如何去表示呢？
在深度学习兴起之前，人们的一个典型的想法是用共现矩阵去表示。
2.1.1 基于窗口的共现矩阵
以下面示例语料集为例
- 我们选定一个窗口，为方便起见我们选定窗口长度为1(通常是5-10)。
- 这个窗口的作用是来选的某个词左边1个词和右边1个词出现的频率。
上面语料集一共出现7个词，所以矩阵是7*7的。
以like这行为例，可以看到它左右距离为1的窗口出现单词I有两次，deep一次，NLP一次，其它都为0次。
但是，这种共现矩阵的表示法，依然是有多少个词，向量的长度就是多少，依然不那么"经济实惠"，但是相比于独热编码，它没有那么稀疏了(但还是比较稀疏)。
- 维度太高
- 表示稀疏使模型不够鲁棒
- 在词汇表中添加一个单词时需要重新计算所有单词的表示形式
2.1.2 用低维向量表示单词
目标： 以固定的、低维度的向量存储“大多数”重要信息(密集向量)：
- 通常约25-1000维
- 基于这种表示，很容易来执行任务（分类，生成等）
方法：
- 神经概率语言模型
- Bengio et al., A neural probabilistic language model. Journal of Machine Learning Research, 2003.
- 最近更简单更快的模型: word2vec (继承自神经概率语言模型)
- Mikolov et al., Distributed representations of words and phrases and their compositionality, NeurIPS 2013
神经概率语言模型的影响
2.2 word2vec的主要思想
2.2.1 思想介绍
核心思想：不统计词的共现数，而是预测每个词周围的词。
如图，输入一个词(one-hot编码)，中间做一个神经网络的隐层，这个隐层很简单，没有非线性(没有激活函数，即线性映射)。最后做出输出(每个输出也是one-hot)，预测t-2, t-1, t+1, t+2时刻的词(和窗口大小有关)。
- |V|大概上万维-百万维
- d大有50~1000，即先高维映射到低维，然后再映射回高维。
第一步：词wt乘以权重C得到vwt ，其实就是得到了C的那一列。
第二步，vwt 与 K 相乘，又得到回一个V维的向量，这个一列向量的每一行都表示和K这一行(这个词)在这个时刻(举例)的相似性(得分)。再经过一个softmax把结果压在0-1之间，根据结果大小如，投影为 t-2 位置的词。
- C的每一列对应一个词：“输入向量”
- K的每一行对应一个词：“输出向量”
注意：
- 需要预定义C的列与语料库中词之间的对应关系
- 必须再K中使用同顺序的行。
经过学习后，C的第i列与K的第i行可以平均来表示第i个词。
图示如下：
以当前词为France为例：
经过投影后，我们得到France这个词的输入向量"France"，与K相乘得到一个高维的实数向量，经过softmax得到0-1之间某时刻的输出向量。
在t-2时刻，我们还有一个标准答案"captial"对应的独热编码，这也说明K的最后一行表示captial。
同样，其它词如of应该是t-1时刻的，那么K的对应of的那一行(对应的输出向量)在该时刻也应该与输入向量France相似，才能得到of.
2.3 训练方式
目标: 给定一个输入词，最大化周围词的概率
2.3.1 skip-gram模型
skip-gram模型：用当前词预测周围词的概率
以t-1时刻的词为例，来最大化这个词的概率。
处于位置 t+j ( j = -2,-1,1,2 )的词，
的概率为：
训练过程中，作为希望输出的词 
的交叉熵损失为：
2.3.2 目标函数
- 我们在窗口的其他位置有同样的要求。对所有位置的损失求和
其中c是窗口大小，
表示所有参数
- 在所有给定输入
上求平均
- 相当于最大化平均对数概率
- 用反向传播算法和SGD训练模型
2.3.3 softmax的替代方法
在窗口的每一个位置，softmax的输出为
其中 
这种方法的问题在于：归一化项的计算耗时长。
替代方法：
- 层次化softmax
- 负采样
2.4 结果
可以看到下面一些有意思的现象：
国家都在左边，首都都在右边，且举例相似，也都基本平行。
向量German和向量airlines相加，得到的结果和他们的航空公交公司很像...
如何表示一个句子或一个段落？
三、神经网络进行文本分类
在我们获得每个词的词向量后，如何表示一个句子或一个段落？
3.1 CNN进行文本分类
答：我们把这些词向量按照一定的顺序拼接起来，得到一个二维矩阵，这个二维矩阵就可以是一个句子/段落新的表示。之后对句子/段落进行分类，其实就是对二维矩阵进行分类。我们此时就可以用以前那些处理图像的方法来处理这些二维矩阵了。
卷积核kernel的宽度和词向量的宽度都是K，所以卷积后得到一个向量而不是一个矩阵。
再对每个句子上进行MaxPooling，每次MaxPooling都会得到一个数，有几个kernel就会有几个元素。
最后就可以做一个全连接网络进行句子分类。
3.1.1 这个模型有什么问题?
深度不够
- 一层卷积和一层池化
特征不够多样化
- 每个卷积核会产生一个1维的特征图，即一个特征向量
- 在一个特征向量上应用全局最大池化，即对所有时间做最大池化，这会产生一个标量。
3.1.2 一个更深的模型
- 确定到底要多长的句子，选择使用动态的K-Maxpooling，使得得到的结果等长。
3.2 RNN进行文本分类
我们上面说到CNN进行文本分类，RNN一般用来处理持续性信息，其实我们用RNN去进行文本分类会更加的自然，也是现在主流的选择。
以Elman网络为例，其中x是每个时刻的输入(每个时刻的词)， r最后时刻出现，我们把隐层进行展开...
RNN文章： AI遮天传 DL-反馈神经网络RNN_老师我作业忘带了的博客-CSDN博客
- 可以使用 LSTM 或者 GRU
- 可以使用双向 RNN
四、神经网络进行机器翻译
介绍一种很典型的模型，序列到序列的学习模型。
通常会涉及两个RNN: 编码器(encoder)和解码器(decoder)
许多NLP任务可以表述为序列到序列:
- 机器翻译 (法语 → 英语)
- 总结 (长文本 → 短文本)
- 对话 (先前的话语 → 接下来的话语)
- 代码生成 (自然语言 → Python 代码)
- 旋律产生 (一个乐句 → 下一个乐句)
- 语音识别 (声音 → 文本)
4.1 机器翻译 (NMT)
如下：法语-英语
- 左侧，编码器RNN 产生一个源语句的编码
- 右侧，解码器RNN生成以编码为条件的目标句子
对于编码器和解码器
- 对于编码器，可以使用预训练词向量，例如word2vec ，或者one-hot形式词向量
- 对于解码器，使用one-hot形式表示输出
编码器和解码器的字典
- 对于一些任务，例如，机器翻译，它们是不同的
- 对于其他任务，例如，总结和对话任务，它们是相同的
编码RNN和解码RNN通常是不同的，也可以使用深度RNN。
4.2 训练 NMT 系统
首先我们要有很多的语料集，法语->英语，法语->英语，法语->英语，...，法语->英语
把法语输入给Encoder RNN，英语输入给Decoder RNN
每个时间都会输出一个单词，使用交叉熵函数计算，把所时刻的交叉熵计算结果加起来，取个平均得到J，最小化这个J，反向传播(多个单词 就有多个loss)，调整Encoder RNN 和 Decoder RNN里面的参数。
模型问题
上图画圈处的地方，是Decoder的唯一输入，我们期望Encoder在这个时候的状态包含了之前的原语句的所有信息。但是只用这一个向量来表示这个句子的所有信息，对它的要求是不是有点高了？
解决办法：注意力机制
注意力机制提供了一个解决瓶颈问题的方法
4.3 注意力机制(Attention)
核心思想: 解码器的每一步中，关注于源序列的特定部分。
即当前我要输出某个词的时候， 我们就去原序列集中注意去找哪些词和它的关系最强。
注意力机制有很多形式 ，下面将展示一个例子：
4.3.1 带有Attention的Seq2seq
我们从第一个时刻出发，要预测第一个时刻的输出，把Decoder里隐层的向量与Encoder隐层的向量进行点积，每个地方得到一个标量，标量有大有小，有的可能超过1，有的可能是负数：
此时做一个softmax转换到0-1之间，表示Encoder里每一个向量与Decoder当前向量的距离/相似度。
可见Decoder里第一个词与Encoder里第一个词很相似。
我们把softmax后的这些结果(相当于权重)与Encoder里的向量相乘，进行加权求和：
在加权求和结果里，第一个向量的成分/比例是最大的。
将加权求和之后的结果Attention与当前时刻的Decoder时刻的隐层状态把他俩拼起来，经过一个softmax去预测当前时刻应该输出什么:
同样，下一时刻也是如此：
对应公式：
五、主要参考文献及延伸阅读
- Kim (2014) Convolutional neural networks for sentence classification arXiv preprint arXiv:1408.5882
- Bengio, Ducharme, Vincent, Jauvin (2003) A neural probabilistic language model Journal of Machine Learning Research
- Mikolov, et al. (2013) Distributed representations of words and phrases and their compositionality NeurIPS
- Sutskever, Vinyals, Le (2014) Sequence to Sequence Learning with Neural Networks NeurIPS
- Vaswani, Shazeer, Parmar, et al. (2017) Attention Is All You Need NeurIPS
- Devlin, Chang, Lee, Toutanova (2019) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding NAACL
转载：https://blog.csdn.net/suic009/article/details/128277313