我是靠谱客的博主 热情星星,这篇文章主要介绍RNN循环神经网络,现在分享给大家,希望可以做个参考。

1.单层神经网络

在这里插入图片描述
这是普通的神经网络,其输出y只与输入x有关,通过一个映射函数,y=f(wx+b)得到。但是实际中,我们会经常遇到序列型的数据(与时间有关的),这样我们通过普通的神经网络就无法准确的预测,因为其输出不仅与输入x有关,还和其上一时刻的状态有关。因此,循环神经网络RNN应运而生。

2.经典的RNN循环神经网络

在这里插入图片描述
这是RNN的结构,其输出不仅与当前输入xt有关,还取决与其上一层的隐藏状态ht-1,输出y=f(w(xt,ht-1)+b)。这里读者可能会疑惑,多出了一条线,怎么就循环了呢?让我们把这个二维空间拉伸到三维空间中。
在这里插入图片描述
将三维空间在二维空间投影,是不是很容易将对应连线对上了。
RNN神经网络在处理序列型数据时表现出了很好的性能,但是RNN也存在很多缺点,比如梯度消失和梯度爆炸。梯度消失是指当距离不断增大时,RNN会丧失学习能力。而后为了解决这个问题,LSTM、GRU等RNN的变体逐渐出现。

最后

以上就是热情星星最近收集整理的关于RNN循环神经网络的全部内容,更多相关RNN循环神经网络内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(91)

评论列表共有 0 条评论

立即
投稿
返回
顶部