吉布斯不等式

证明

吉布斯不等式等价于：

证明最右的项小于或等于0的方法有几种，

已知 ln⁡ ⁡ -->(x)≤ ≤ -->x− − -->1{\displaystyle \ln(x)\leq x-1}，等号成立当且仅当x=1。

根据对数和不等式或延森不等式：

∑ ∑ -->i=1npilog⁡ ⁡ -->piqi≥ ≥ -->(∑ ∑ -->i=1npi)log⁡ ⁡ -->∑ ∑ -->i=1npi∑ ∑ -->i=1nqi=0{\displaystyle \sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}\geq (\sum _{i=1}^{n}p_{i})\log {\frac {\sum _{i=1}^{n}p_{i}}{\sum _{i=1}^{n}q_{i}}}=0}

引理

对于n个变数的概率分布P，其熵的最大值是：

免责声明：以上内容版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。感谢每一位辛勤著写的作者，感谢每一位的分享。