惩罚似然（penalized likelihood），理学-统计学-数理统计-【核心概念】-【核心概念】，用基于加了惩罚函数的似然函数进行统计推断的方法，主要包括极大惩罚似然估计和惩罚似然比检验。在惩罚似然估计中，加入惩罚函数的目的主要有以下两种情况：第一种情况是为了减少模型的复杂度，这样能减少估计的方差。即使偏差有所增加，但估计的均方误差小于传统的极大似然估计。一个典型的例子是岭回归估计，其估计线性模型：式中的维回归系数，采用了如下的惩罚负对数似然函数方法：式中为调节 (tuning) 参数。由此得到。可以看出，相比于传统的极大似然估计，即最小二乘估计，岭回归估计具有更小的自由度（或称为有效参数个数），从而方差较小。如果适当取的值，岭回归估计的均方误差往往小于最小二乘估计，特别是当具有较强的复共线性时。在非参数函数估计中用于减少模型复杂度的惩罚函数应用也很多。如光滑样条方法使用函数二阶导数的平方在区间中的积分来控制函数的变化程度，由此减少估计的方差。另一种情况是使得估计具有某种结构。典型的例子是lasso估计中的惩罚，该惩罚函数可以得到稀疏估计，在高维模型变量选择中尤为有用。