小言_互联网的博客

使用传统Recurrent Neural Networks完成中文文本分类任务

409人阅读  评论(0)

1
提供了BoWEncoder,CNNEncoder,GRUEncoder,LSTMEncoder,RNNEncoder等模型
BoWEncoder 是将输入序列Embedding Tensor在num_token维度上叠加,得到文本语义表征Enocded Texts Tensor。
2
CNNEncoder采用卷积操作,提取局部特征,其特点是可以共享权重。但其缺点同样只考虑了局部语义,上下文信息没有充分利用。

3
RNNEnocder采用RNN方法,在计算下一个token语义信息时,利用上一个token语义信息作为其输入。但其缺点容易产生梯度消失和梯度爆炸

4
LSTMEnocder采用LSTM方法,LSTM是RNN的一种变种。为了学到长期依赖关系,LSTM 中引入了门控机制来控制信息的累计速度, 包括有选择地加入新的信息,并有选择地遗忘之前累计的信息。

5
GRUEncoder采用GRU方法,GRU也是RNN的一种变种。一个LSTM单元有四个输入 ,因而参数是RNN的四倍,带来的结果是训练速度慢。 GRU对LSTM进行了简化,在不影响效果的前提下加快了训练速度。

BOW(Bag Of Words)	非序列模型,将句子表示为其所包含词的向量的加和
RNN (Recurrent Neural Network)	序列模型,能够有效地处理序列信息
GRU(Gated Recurrent Unit)	序列模型,能够较好地解决序列文本中长距离依赖的问题
LSTM(Long Short Term Memory)	序列模型,能够较好地解决序列文本中长距离依赖的问题
Bi-LSTM(Bidirectional Long Short Term Memory)	序列模型,采用双向LSTM结构,更好地捕获句子中的语义特征
Bi-GRU(Bidirectional Gated Recurrent Unit)	序列模型,采用双向GRU结构,更好地捕获句子中的语义特征
Bi-RNN(Bidirectional Recurrent Neural Network)	序列模型,采用双向RNN结构,更好地捕获句子中的语义特征
Bi-LSTM Attention	序列模型,在双向LSTM结构之上加入Attention机制,结合上下文更好地表征句子语义特征
TextCNN	序列模型,使用多种卷积核大小,提取局部区域地特征

转载:https://blog.csdn.net/qq_15821487/article/details/117387217
查看评论
* 以上用户言论只代表其个人观点,不代表本网站的观点或立场