每日精学 191｜二元擦除信道的互信息与容量

2026-09-25

← 技术专题 · 每日精学目录

雷达 · 通信 · 电子战　/　基础精学 191

接收端有时能够可靠地标记无效样本或缺失包。此时输出不是一个不确定的错误比特，而是明确的未知状态。擦除模型把可靠度诊断与编码恢复分开，具有清晰的代数和概率结构。

01
模型与符号

X 为二元输入，擦除事件独立于输入，概率为 ϵ；输出 Y∈{0,1,?}，非擦除时 Y=X，信道无记忆。

ϵ：擦除概率（概率）

q：输入一概率（概率）

H(X\mid Y)：后验条件熵（bit）

I：互信息（bit/次）

C：容量（bit/次）

02
从模型到公式

后验分情形

非擦除时输入完全已知，故

H(X\mid Y=0)=H(X\mid Y=1)=0.

擦除与输入独立，所以

P(X\mid Y=? )=P(X),\quad H(X\mid Y=? )=h_2(q).

条件平均

按三种输出加权得到

H(X\mid Y)=\epsilon h_2(q).

因而

I(X;Y)=H(X)-H(X\mid Y)=(1-\epsilon)h_2(q).

未擦除部分贡献完整输入信息，擦除部分贡献零。

容量及比较边界

利用二元熵最大值为一可得

C=1-\epsilon,\qquad q_{\mathrm{opt}}=1/2.

多次独立信道的期望已知比特数为

E[N_{\mathrm{known}}]=N(1-\epsilon).

该计数期望与容量一致，但有限记录中实际擦除数量仍随机波动。


擦除位置可知带来的条件熵分解

设输入熵为 H(X)、擦除概率为 ϵ，且擦除事件与输入独立。未擦除时输出直接揭示输入，擦除时输入分布保持原先验，因此

H(X\mid Y)=(1-\epsilon)\,0+\epsilon H(X).

互信息随之为

I(X;Y)=(1-\epsilon)H(X)\le1-\epsilon.

均匀输入达到上界。

该简单线性关系依赖擦除位置被接收者明确标记；若把缺失符号悄悄替换为普通零符号而不保留标志，接收者无法区分真实零与缺失，信道模型已发生变化。擦除信息不是一个可信的零比特。


03
物理含义

显式未知不会制造错误的符号证据。未擦除比特可以直接约束代数译码，而擦除位置仅需作为待解变量处理；已知位置这一附加信息是擦除比随机翻转更易恢复的重要原因。

04
固定参数算例

固定输入概率和擦除概率网格，从三输出联合分布计算互信息，验证熵分解和线性容量。固定种子擦除样本同时复验平均已知比例，报告抽样误差而不要求随机量精确相等。

固定参数数值验证结果
量数值
样本数100000
erasure probability0.35
joint formula max error3.05311331772e-16
capacity0.65
measured known fraction0.65044
fraction standard error0.0015083103129
capacity e10
图 1：BEC互信息与已知样本比例图 1：BEC互信息与已知样本比例

图 1　BEC互信息与已知样本比例

表中数值和图中曲线由 MATLAB 实际运行得到，随机种子为 20261110；运行版本与完整结果另存为独立文件。

05
数字实现的边界

RTL 输入 a 表示擦除概率 a/16，以 Q12 输出 1-a/16，即 4096-256a；算术在网格上精确，范围限制零至十六。该模块为容量评估子核而非擦除恢复器。

模块采用同步高有效复位及 valid 握手；有效输入在一个时钟沿登记输出，空拍不改变数据寄存器而清除输出有效标志。端口采用有符号 32 位容器，实际有效范围按子核定义约束。

自检覆盖多组有效输入、空拍保持及复位；它验证指定算术或地址子核，不代表完整通信系统或完整译码器已经完成硬件验证。

独立自检程序已在 Icarus Verilog 13.0 中实际运行并通过。该结果不包含器件综合、静态时序分析或板级测试。

06
适用范围

可用于具有可靠无效标志的存储通道、丢包抽象及极化递推的可计算模型。必须先确认未标记输出确实可视为无误，否则需使用混合错误擦除模型。

07
工程上需要注意

漏检错误会破坏理想BEC假设。

输入相关擦除改变后验分布。

成簇擦除使有限块性能明显不同。

容量不保证任一具体码可以恢复同样比例擦除。

BEC 的互信息等于输入熵乘以未擦除比例，均匀输入给出线性容量。显式擦除标记保留位置知识，因此不能简单等同于同概率比特翻转。

内容依据：每日精学第 191 课《二元擦除信道的互信息与容量》。图表沿用原课固定参数数值结果，属于数值验证，不代表设备实测。

阅读7
分享
写评论...