限峰功率最大熵定理的理论推导和MATLAB仿真实现（P124302075刘家隆）

限峰功率最大熵定理的理论推导和MATLAB仿真实现（P124302075刘家隆）

前言

本定理针对幅值被限制在有限区间的连续随机变量，仅以取值范围作为约束条件，证明区间均匀分布是该约束下微分熵最大的分布；同时给出均匀分布微分熵的直接推导式，揭示有限幅度信号的信息不确定性上界，是连续信源最大熵理论的基础结论。

一、限峰功率最大熵定理

对于定义域有限（幅度受限）的随机变量X，当它是均匀分布时，具有最大熵

二、理论推导

设 p(x) 为任意满足∫abp(x)dx=1\int_a^b p(x)dx = 1∫ab​p(x)dx=1的概率密度函数，设q(x)=1b−aq(x)=\frac{1}{b-a}q(x)=b−a1​为均匀分布。
根据相对熵的非负性（D≥0D \ge 0D≥0，当且仅当 p=q 取等号）：

DKL(p∥q)=∫abp(x)log⁡p(x)q(x)dx≥0D_{KL}(p \| q) = \int_a^b p(x) \log \frac{p(x)}{q(x)} dx \ge 0DKL​(p∥q)=∫ab​p(x)logq(x)p(x)​dx≥0

展开并代入q(x)q(x)q(x)：

∫abp(x)log⁡p(x)dx−∫abp(x)log⁡q(x)dx≥0\int_a^b p(x)\log p(x) dx - \int_a^b p(x)\log q(x) dx \ge 0∫ab​p(x)logp(x)dx−∫ab​p(x)logq(x)dx≥0

由于−H(p)=∫plog⁡p dx-H(p) = \int p\log p \, dx−H(p)=∫plogpdx，且log⁡q(x)=−log⁡(b−a)\log q(x) = -\log(b-a)logq(x)=−log(b−a)，上式变为：

−H(p)−∫abp(x)[−log⁡(b−a)]dx≥0-H(p) - \int_a^b p(x) [-\log(b-a)] dx \ge 0−H(p)−∫ab​p(x)[−log(b−a)]dx≥0

−H(p)+log⁡(b−a)∫abp(x)dx≥0-H(p) + \log(b-a) \int_a^b p(x) dx \ge 0−H(p)+log(b−a)∫ab​p(x)dx≥0

因∫p=1\int p = 1∫p=1，移项即得：

H(p)≤log⁡(b−a)H(p) \le \log(b-a)H(p)≤log(b−a)

当且仅当p(x)=q(x)=1/(b−a)p(x)=q(x)=1/(b-a)p(x)=q(x)=1/(b−a)时，等号成立。

三、MATLAB仿真实现

1.仿真代码

2.仿真结果

3.结果分析
为什么选用截断高斯分布和三角分布做对比，这是因为截断高斯分布代表“向中心聚集”（中间概率高，两边低），三角分布代表“向一侧偏移”或“向边缘聚集”。如果这两种截然不同的“不均匀”形态，计算出的熵都低于均匀分布，就能强有力地证明：只要偏离平坦，信息量就会下降。
从仿真结果图像可以看出：三角分布、截断高斯分布概率大量堆积在区间中间，两端出现概率极低，随机变量更大概率落在中心小区间，不确定性小；而均匀分布区间内所有点概率完全相同，没有任何区域更容易出现，随机变量落点完全无偏向，不确定性最大，对应熵值最大。

总结

在幅值受限时，均匀分布的混乱度最大，对应微分熵最大，值为log⁡(b−a)\log(b-a)log(b−a)。任何其他分布（例如有峰时）都会损失信息量，使熵值减小。