k最近邻回归估计

k最近邻回归估计（k nearest neighbor regression estimation），理学-统计学-数理统计-拟似然推断，对于待估计样本点，从训练样本中寻找和预测样本点距离最近的指定数量样本点，通过这些样本点得到估计值的一种非参数回归方法。非参数回归于20世纪70年代兴起，美国统计学家C.J.斯通等于1977年在非参数回归方法的研究中提出近邻回归估计。k最近邻估计是比较经典的近邻回归估计方法。设样本数据为，若估计在的值，则最近邻回归估计可以写成：式中为由距离最近的个样本点构成的邻域，常用的距离度量包括欧式距离、马氏距离等。k最近邻估计基本思想是将距离最近的个样本的值平均作为该点的估计值。作为一个非参数化的方法，最近邻算法已经成功地应用于许多回归问题。在最近邻估计中涉及超参数的选取，若选的比较小，则估计会比较波动，估计的方差会比较大。若选的较大，则估计会比较平滑，估计的方差会比较小，会引入偏差，所以如何选取取决于偏差-方差的平衡。