回归这一术语最早来源于生物遗传学，由高尔顿（Francis Galton）引入。

回归的现代解释：回归分析是研究某一变量（因变量）与另一个或多个变量（解释变量、自变量）之间的依存关系，用解释变量的已知值或固定值来估计或预测因变量的总体平均值 [1] 。

因变量：Y

自变量：X或X1，X2，…等

高尔顿的兴趣在于寻找为什么总体身高分布趋向稳定。现在我们所关心的已不是这个问题，而是想知道在已知父亲身高的情况下，儿子的身高的平均变化如何。换句话说，就是已知父亲身高来预测儿子的平均身高。

定义