六、受限玻尔兹曼机（RBM）

受限玻尔兹曼机（RBM）

1、玻尔兹曼分布

         玻尔兹曼分布是统计物理中的一种概率分布，描述系统处于某种状态的概率

2、网络结构

         可见单元-输入数据

         隐藏单元-计算得到的结果

         二部图-图的节点集合被划分成两个不相交的子集，这两个子集内的节点之间没有边连接，子集之间的节点之间有边连接

         可见单元和隐藏单元的值服从玻尔兹曼分布

         能量定义为

         归一化因子为

3、实际例子

4、计算隐藏单元的条件概率

         实际使用时，给定可见变量的值，根据模型参数可以得到隐藏变量的条件概率密度函数

         根据条件概率的计算公式

         将p(v,h)的定义带入上式

5、计算单个隐藏单元的值

         隐含节点之间没有连接，因此这些随机变量是相互独立的

         已知可见变量时某一隐含变量的值为1的概率

6、用于特征提取

         可见单元作为输入数据，隐藏单元作为特征向量

         计算隐藏层神经元的激励能量

         计算该隐藏单元的条件概率值，即状态为1的概率

         以Pi的概率将隐藏层神经元的状态值设置为1，以1-Pi的概率值将其设置为0

7、训练算法

         Contrastive Divergence

         获取一个训练样本，根据该样本设置网络的可见单元

         对于隐藏单元，计算它的激励能量

         计算概率值

以Pi的概率将隐藏层神经元的状态值设置为1，以1-Pi的概率值将其设置为0

为每一条边计算如下值

         用类似的方法重构每个可见单元，计算它的激励能量，并更新它的状态

        再次更新隐藏单元状态，并对每条边计算   

         更新每条边的权重

8、深度波尔茨曼机

         Deep Boltzmann Machine

         可以将多个受限玻尔兹曼机层叠加起来使用

         通过多层的受限玻尔兹曼机，可以完成数据在不同层次上的特征提取和抽象

         训练时，逐层训练

最后

以上就是从容御姐最近收集整理的关于六、受限玻尔兹曼机（RBM）的全部内容，更多相关六、受限玻尔兹曼机（RBM）内容请搜索靠谱客的其他文章。