【自然语言处理一】Simple RNN与 LSTM模型

159 阅读 0 评论 105 点赞

我是靠谱客的博主自然铃铛，这篇文章主要介绍【自然语言处理一】Simple RNN与 LSTM模型，现在分享给大家，希望可以做个参考。

在这里插入图片描述

其中
St = f(U * xt + W * St-1 + b)，f 是激活函数，一般用到的是 tanh。
Ot = g(V * St + b)

Simple RNN会有遗忘问题。为了解决这个问题，提出了LSTM模型。LSTM模型分为遗忘门，输入门，newvalue，输出门构成。这里就不列出具体的计算公式了。
在这里插入图片描述
LSTM在keras的具体实现代码

model.add(LSTM(state_dim, return_sequences=False))

return_state为false时，只返回最后一个输出，为true时，返回之前的全部输出。
return_sequences为false时，只返回输出，不返回状态。为true时，会返回状态。

LSTM模型相比于Simple RNN 模型,可以较好的解决遗忘问题。

以上就是自然铃铛最近收集整理的关于【自然语言处理一】Simple RNN与 LSTM模型的全部内容，更多相关【自然语言处理一】Simple内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。