最大离散熵定理

qquad 一般的离散信源的r个概率分量分别为 $p_1,$$p_2,$$...,$$p_r,$必须满足条件${\sum }_{i=1}^r{p}_i=1$.熵函数$H(p_1,p_2,...,p_r)$的最大值，即在满足约束条件${\sum }_{i=1}^r{p}_i=1$的条件下，熵函数$H(p_1,p_2,...,p_r)$的最大值。

以下为求解证明过程：
按照在高数上求取极值点的方法，首先根据拉格朗日数乘法，做出辅助函数，如下所示：
$$\begin{gathered} F(p_1,p_2,...,p_r)=H(p_1,p_2,...,p_r)+\lambda [\sum _{i=1}^r{p}_i-1] \\ =-\sum _{i=1}^r{p}_{i}ln{p}_i+\lambda [\sum _{i=1}^r{p}_i-1](公式1) \end{gathered}$$

qquad 在公式中，$\lambda$为待定常数，对辅助函数$F(p_1,p_2,...,p_r)$中的r个变量$p_i(i=1,2,...,r)$,分别求偏导，并使之为0，可以得到方程;
$$-(1+ln{p}_i)+\lambda =0(i=1,2,...,r)(公式2)$$

对上述方程求解可得：
$$p_i=e^{\lambda -1}(i=1,2,...,r)(公式3)$$

将以上公式三带入${\sum }_{i=1}^r{p}_i=1$可得：
$$\sum _{i=1}^r{p}_i=\sum _{i=1}^r{e}^{(\lambda -1)}=r{e}^{(\lambda -1)}=1$$

对上式整理可得：
$$e^{(\lambda -1)}=\frac{1}{r}(公式4)$$

qquad 由上边的公式三和公式四可以解得使熵函数$H(p_1,p_2,...,p_r)$取得的条件极大值，也就是熵函数$H(p_1,p_2,...,p_r)$的最大值的信源符号$a_i(i=1,2,...,r)$相应的概率分布
$$p_i=\frac{1}{r}(i=1,2,...,r)(公式5)$$

根据公式五可以求得熵函数的最大值
$$\begin{gathered} H_0(p_1,p_2,...,p_r)=H(\frac{1}{r},\frac{1}{r},...,\frac{1}{r}) \\ =-\sum _{i=1}^r\frac{1}{r}log\frac{1}{r} \\ =logr(比特/信符)（公式6） \end{gathered}$$

在一般情况下，离散信源的熵不会超过公式6所计算的数值，也就出现了以下的公式：
$$H(p_1,p_2,...,p_r)\le logr(比特/信符)(公式7)$$

quad 以上也就是最大离散熵定理的证明过程。这个定理表明，在所有符号种数相同，而符号的概率分布不同的离散信源中，以先验等概的离散的信源的信息熵最大，其最大值为信源符号种数$r$的对数。这说明，离散信源熵的最大值，只取决于信源的符号种数$r$，符号种数$r$越大，其信息熵的最大值也越大。

均值受限的最大熵值

qquad 最大 离散熵是离散信源在满足约束条件${\sum }_{i=1}^r{p}_i=1$下，推导得出的一般性结论，如果在此基础上再加上一个约束条件：信源输出符号$a_i(i=1,2,...,r)$的均值受限，即
$$\sum _{i=1}^r{a}_i{p}_i=m$$
同样的，采用拉格朗日数乘法来构造辅助函数:
$$\begin{gathered} F(p_1,p_2,...,p_r)=H(p_1,p_2,...,p_r)+{\lambda }_1[\sum _{i=1}^r{p}_i-1] \\ +{\lambda }_2[\sum _{i=1}^r{a}_i{p}_i-m] \end{gathered}$$

qquad 其中的 ${\lambda }_1$、${\lambda }_2$均为待定常数，对辅助函数$F(p_1,p_2,...,p_r)$中的变量$p_i(i=1,2,...,r)$分别求偏导，并使其为0，可得如下方程：
$$-(1+ln{p}_i)+{\lambda }_1+{\lambda }_2{a}_i=0(i=1,2,...,r)$$

对上述方程整理可得 $p_i$ 表达式：
$$p_i=e^{{\lambda }_1-1}{e}^{{\lambda }_2{a}_i}(i=1,2,...,r)$$

将$p_i$带入约束方程${\sum }_{i=1}^r{p}_i=1$得：
$$\sum _{i=1}^r{e}^{{\lambda }_1-1}{e}^{{\lambda }_2{a}_i}=1⟹e^{({\lambda }_1-1)}=\frac{1}{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}$$

结合$p_i$公式，对上式等式两边同乘 $e^{{\lambda }_2{a}_i}$可得:
$$e^{{\lambda }_2{a}_i}{e}^{({\lambda }_1-1)}=\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}⟹p_i=\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}(i=1,2,...,r)(公式1)$$

再由另一个约束条件${\sum }_{i=1}^r{a}_i{p}_i=m$,将p_i带入可得：
$$\sum _{i=1}^r{a}_i\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}}=m$$

在计算${\sum }_{i=1}^r{a}_i(.)$时，可将${\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}$视为常数$C$,则有：
$$\sum _{i=1}^r{a}_i\frac{e^{{\lambda }_2{a}_i}}{C}=m⟹\sum _{i=1}^r{a}_i{e}^{{\lambda }_2{a}_i}=Cm=m\sum _{j=1}^r{e}^{{\lambda }_2{a}_j}(公式2)$$

qquad 由上式可以求得待定常数${\lambda }_2$，并将其带入公式1$p_i$表达式，则可以得出使得熵函数$H(p_1,p_2,...,p_r)$达到最大值的$p_1,p_2,p_3,...,p_i$等各个频率分量，进而求得熵函数的最大值。
事实上，我们可以根据概率分量$p_i(i=1,2,...,r)$的表达式，就可以直接构成满足约束条件${\sum }_{i=1}^r{p}_i=1$和${\sum }_{i=1}^r{a}_i{p}_i=m$的最大熵表达式：
$$\begin{gathered} H_0(p_1,p_2,...,p_r;m)=-\sum _{i=1}^r{p}_{i}ln{p}_i \\ =-\sum _{i=1}^r\left[\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}}ln\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}}\right] \\ =-\sum _{i=1}^r\left[\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}}ln(e^{{\lambda }_2{a}_i})\right]+\sum _{i=1}^r\left[\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}}ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j})\right](式3) \end{gathered}$$
qquad 对于上式的化简，我们采用与第一节同样的方法，在计算${\sum }_{i=1}^r(.)$时，可将${\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}$视为常数$C_1$,将上式化简如下：
$$\begin{gathered} 式3=-\sum _{i=1}^r\left[\frac{e^{{\lambda }_2{a}_i}}{C_1}ln(e^{{\lambda }_2{a}_i})\right]+\sum _{i=1}^r\left[\frac{e^{{\lambda }_2{a}_i}}{C_1}ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j})\right] \\ =-\frac{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}{C_1}ln(e^{{\lambda }_2{a}_i})+\frac{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}{C_1}ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j}) \\ =-\frac{{\lambda }_2{\sum }_{i=1}^r{a}_i{e}^{{\lambda }_2{a}_i}}{C_1}+\frac{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}{C_1}ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j})(式4) \end{gathered}$$

在公式2两端同乘${\lambda }_2$得
$${\lambda }_2\sum _{i=1}^r{a}_i{e}^{{\lambda }_2{a}_i}=m{\lambda }_2\sum _{j=1}^r{e}^{{\lambda }_2{a}_j}$$

带入上述公式4则有：
$$\begin{gathered} 式4=-\frac{m{\lambda }_2{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}{C_1}+\frac{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}{C_1}ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j}) \\ =-\frac{m{\lambda }_2{C}_1}{C_1}+\frac{C_1}{C_1}ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j}) \\ =-m{\lambda }_2+ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j}) \end{gathered}$$

经过化简以后最大熵函数得表达式为：
$$H_0(p_1,p_2,...,p_r;m)=-m{\lambda }_2+ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j})(式5)$$

qquad 最后再将公式2解出的待定常数${\lambda }_2$带入式5，则可以直接计算出熵函数$H_0(p_1,p_2,...,p_r;m)$的最大值。

参考书目

信息论与编码第二版 姜丹编著

最后

以上就是勤奋花卷最近收集整理的关于关于信息熵最大值的讨论最大离散熵定理均值受限的最大熵值参考书目的全部内容，更多相关关于信息熵最大值内容请搜索靠谱客的其他文章。