每日精学 181｜岭估计的偏差与方差分解

2026-09-25

← 技术专题 · 每日精学目录

雷达 · 通信 · 电子战　/　基础精学 181

岭估计通过二次惩罚压低病态方向的噪声放大，代价是向零收缩的系统偏差。奇异值坐标可逐方向展示该权衡。

实际记录只包含有限个采样值。由记录计算得到的数值与总体参数并不相同：前者受记录长度、噪声、边界约定及运算精度影响，后者属于给定模型的属性。建立可复核结论需要先固定输入含义、统计假设和归一化方式，再比较可计算量与理论量。

01
模型与符号

实线性模型、确定设计矩阵、零均值白噪声；岭系数lambda严格为正；参数并不假设为零。

s_i：设计矩阵奇异值（设计尺度）

λ：岭惩罚系数（设计尺度平方）

θ_i：右奇异向量坐标下参数（参数）

02
从模型到公式

惩罚目标

数据残差与参数平方范数共同最小化。

$J(\theta)=\|y-A\theta\|_2^2+\lambda\|\theta\|_2^2$

正规方程

对参数求梯度并令零。

$(A^{\mathrm T}A+\lambda I)\widehat\theta=A^{\mathrm T}y$

奇异方向解

在SVD坐标中各个方向互相解耦。

$A=U\Sigma V^{\mathrm T},\quad\widehat\theta_i=\frac{s_i}{s_i^2+\lambda}\widetilde y_i$

收缩偏差

观测均值为奇异值乘真实参数。

$\operatorname{bias}(\widehat\theta_i)=-\frac\lambda{s_i^2+\lambda}\theta_i$

噪声方差

白噪声经系数缩放后形成输出方差。

$\operatorname{var}(\widehat\theta_i)=\frac{\sigma^2s_i^2}{(s_i^2+\lambda)^2}$

均方误差

偏差平方与方差相加，极端惩罚并非最优。

$\operatorname{MSE}_i=\frac{\lambda^2\theta_i^2+\sigma^2s_i^2}{(s_i^2+\lambda)^2}$

正则强度与未知参数的依赖

对实标量模型、模板能量 S>0，岭估计的偏差和方差给出

$\operatorname{MSE}(\widehat\theta_\lambda) =\frac{\lambda^2\theta^2+\sigma^2S}{(S+\lambda)^2}.$

对 λ 求导可得

$\frac{d\operatorname{MSE}}{d\lambda} =\frac{2S(\lambda\theta^2-\sigma^2)}{(S+\lambda)^3}.$

若真实 θ≠0 已知，最优值为 σ²/θ²；

实际估计问题恰恰不知道真实参数，因此这一结果是解释偏差方差权衡的基准，不是可以直接实施的调参公式。模板尺度改变时 S 和正则量也必须同步换算，否则看似相同的参数值对应不同收缩强度。

03
物理含义

小奇异值方向最容易放大噪声，也最容易被岭惩罚压低。某个参数方向若真实幅度很大，过强收缩会产生明显偏差，因此不能只报告噪声方差下降而忽略均值偏移。

04
固定参数算例

以单奇异方向s为0.1、真实参数1、噪声标准差0.2，扫描岭系数，比较闭式MSE及20000次蒙特卡洛估计，并检查零惩罚边界。数值脚本使用固定随机种子；

随机实验的判据采用有限容差，代数关系的判据采用浮点残差。图中同时展示参数变化趋势与对应误差，关键数值写入独立结果文件。

固定参数数值验证结果

量	数值
singular value	0.1
真实参数	1
噪声方差	0.04
repetitions	20000
best grid lambda	0.0385352859371
minimum theory MSE	0.800182146367
OLS theory MSE	4
max relative MSE error	0.00705869613643

图 1　岭估计的偏差与方差分解的固定参数数值验证

表中数值和图中曲线由 MATLAB 实际运行得到，随机种子为 20261100；运行版本与完整结果另存为独立文件。

05
数字实现的边界

SystemVerilog实现单奇异方向的分子乘积、平方加岭系数的分母和惩罚项子核；SVD及除法在软件中完成。端口为16位有符号码，内部64位，同步复位，valid空拍保持状态；

逐有效输入输出。自检覆盖多组数据、空拍、边界和复位，仅验证所述整数子核，不代表完整算法的硬件验证。

独立自检程序已在 Icarus Verilog 13.0 中实际运行并通过。该结果不包含器件综合、静态时序分析或板级测试。

06
适用范围

用于病态参数拟合、数字校准和噪声敏感线性反演。正则参数可借助独立验证选择，避免在同一噪声记录上追求最小残差。

07
工程上需要注意

参数单位不同而不缩放时，同一惩罚系数产生不均衡先验。

未知有色噪声需要先改变残差度量。

有限精度实现必须区分输入量化、内部舍入和最终结果格式，不能仅依据浮点曲线估计硬件误差。

岭估计以可计算偏差换取方差抑制，总体效果必须由均方误差而非方差单独评价。

内容依据：每日精学第 181 课《岭估计的偏差与方差分解》。图表沿用原课固定参数数值结果，属于数值验证，不代表设备实测。

阅读7

写评论...

每日精学 181｜岭估计的偏差与方差分解

01模型与符号

02从模型到公式