每日精学 189｜二元熵函数的曲率与边界

2026-09-25

雷达 · 通信 · 电子战　/　基础精学 189

比特数量与信息量并不总相同。一个几乎固定的二进制源仍每次占用一个存储位，但统计不确定性远小于一个比特。二元熵建立概率模型与平均编码资源之间的基础尺度。

01
模型与符号

$B\sim\mathrm{Bernoulli}(p)$ ，p=P(B=1)，以二为对数底，约定 0log₂ 0=0。只讨论单字母熵，不默认时间样本独立。

p：一比特概率（概率）

h₂(p)：二元熵（bit）

I(b)：一次结果自信息（bit）

$h_2^\prime$ ：一阶导数（bit）

$h_2^{\prime\prime}$ ：二阶导数（bit）

02
从模型到公式

平均自信息

一次结果的信息为

$I(b)=-\log_2P(B=b).$

对概率加权得到

$h_2(p)=-p\log_2p-(1-p)\log_2(1-p).$

不常见结果携带较大自信息，但其出现权重较低。

曲率与极值

逐项求导可得

$h_2^{\prime}(p)=\log_2\frac{1-p}{p},\qquad h_2^{\prime\prime}(p)=-\frac1{\ln2}\left(\frac1p+\frac1{1-p}\right)<0.$

唯一驻点为 p=1/2，由严格凹性它是全局最大点，值为一。

边界与近似

由单侧极限

$\lim_{p\to0^+}p\ln p=0$

得

$h_2(0)=h_2(1)=0,\qquad h_2(p)=h_2(1-p).$

在中心令 p=1/2+δ，泰勒展开给出

$h_2(p)=1-\frac{2}{\ln2}\delta^2+O(\delta^4).$

一阶项消失反映零一标签交换对称性。

相对均匀分布的熵缺口

以自然对数定义伯努利分布到均匀分布的散度，直接展开可得

$D(p\Vert1/2)=p\ln(2p)+(1-p)\ln[2(1-p)] =\ln2\,[1-h_2(p)].$

因此熵距最大值一的缺口，等于与均匀分布的相对偏离程度按信息单位换算后的值：

$1-h_2(p)=D(p\Vert1/2)/\ln2\ge0.$

这个关系解释了“偏置越强，平均不确定性越小”，但不意味着有偏源的单次罕见事件携带较少自信息。

平均熵与单次自信息具有不同平均操作；有限样本频率代入时还应区别真实概率与估计概率。

03
物理含义

熵不是信号幅度，也不是一次实际结果的惊讶程度；它是在给定概率模型下的平均量。若各时刻相关，单字母熵仍有效，但长期每样本新信息量还需条件熵描述。

04
固定参数算例

固定概率网格覆盖闭区间，单独处理端点防止零乘无穷。验证对称性、最大值和中心二阶展开，并比较概率为十六分之一网格时的 Q12 查表量化误差。

固定参数数值验证结果

量	数值
probability grid count	1001
entropy at zero	-0
entropy at half	1
entropy at quarter	0.811278124459
q12 max error	0.000112277132986
center taylor max error	1.20708077469e-05
lookup entries	17

图 1　二元熵曲线及Q12网格误差

表中数值和图中曲线由 MATLAB 实际运行得到，随机种子为 20261108；运行版本与完整结果另存为独立文件。

05
数字实现的边界

RTL 输入 a 表示概率 a/16，合法范围零至十六，ROM 输出二元熵的 Q12 最近舍入值；b 端口不使用。端点明确输出零，中心输出 4096，仅实现固定概率网格函数。

模块采用同步高有效复位及 valid 握手；有效输入在一个时钟沿登记输出，空拍不改变数据寄存器而清除输出有效标志。端口采用有符号 32 位容器，实际有效范围按子核定义约束。

自检覆盖多组有效输入、空拍保持及复位；它验证指定算术或地址子核，不代表完整通信系统或完整译码器已经完成硬件验证。

独立自检程序已在 Icarus Verilog 13.0 中实际运行并通过。该结果不包含器件综合、静态时序分析或板级测试。

06
适用范围

可用于二元源压缩率估计、概率模型诊断及数字信息度量演示。有限样本频率代入熵函数会产生估计偏差，不能把单次样本熵视为真实概率模型。

07
工程上需要注意

熵依赖模型概率，不由位宽单独决定。

有限记录估计通常存在偏差。

时间相关使单字母熵不等于熵率。

Q12 ROM 只覆盖指定概率网格。

二元熵由平均自信息定义，其严格凹性把最大不确定性定位在等概率点。端点、对称性和曲率共同提供稳定实现和数值检查依据。

内容依据：每日精学第 189 课《二元熵函数的曲率与边界》。图表沿用原课固定参数数值结果，属于数值验证，不代表设备实测。

阅读8

写评论...

每日精学 189｜二元熵函数的曲率与边界

01模型与符号

02从模型到公式

平均自信息

曲率与极值

边界与近似

相对均匀分布的熵缺口

03物理含义

04固定参数算例

05数字实现的边界

06适用范围