线性惩罚模型(penalized linear model),理学-统计学-大数据统计分析-机器学习,在因变量与自变量存在线性关系时,通过对系数进行惩罚以选择重要变量、估计系数的方法。发展史线性惩罚模型是高维数据研究领域广受欢迎的一类方法,通过对模型的回归系数进行约束,使部分系数压缩为零,实现变量选择,克服了传统方法计算量大和稳定性差等缺点。最早的惩罚函数方法是美国统计学家L.布雷曼[注]提出的非负绞杀(non-negative garrote;NNG)方法,但是具有里程碑意义的是由R.蒂施莱尼[注]提出的套索回归(Lasso)方法。基于Lasso的思想,学者们又相继提出了多种惩罚函数方法,例如平滑剪切绝对偏差(SCAD)惩罚、极小极大凹惩罚(MCP)等。