更新时间：2022-08-25 15:06
岭回归(英文名：ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。
岭回归，又称脊回归、吉洪诺夫正则化（Tikhonov regularization），是对不适定问题（ill-posed problem)进行回归分析时最经常使用的一种正则化方法。
上述优化问题可以采用梯度下降法进行求解，也可以采用如下公式进行直接求解
当X不是列满秩时，或者某些列之间的线性相关性比较大时， 的行列式接近于0，即 接近于奇异，上述问题变为一个不适定问题，此时，计算 时误差会很大，传统的最小二乘法缺乏稳定性与可靠性。
为了解决上述问题，我们需要将不适定问题转化为适定问题：我们为上述损失函数加上一个正则化项，变为
其中，我们定义，于是：
上式中， 是单位矩阵。
随着 的增大， 各元素 的绝对值均趋于不断变小，它们相对于正确值 的偏差也越来越大。 趋于无穷大时， 趋于0。其中， 随 的改变而变化的轨迹，就称为岭迹。实际计算中可选非常多的 值，做出一个岭迹图，看看这个图在取哪个值的时候变稳定了，那就确定 值了。
岭回归是对最小二乘回归的一种补充，它损失了无偏性，来换取高的数值稳定性，从而得到较高的计算精度。
通常岭回归方程的R平方值会稍低于普通回归分析，但回归系数的显著性往往明显高于普通回归，在存在共线性问题和病态数据偏多的研究中有较大的实用价值。