在统计学和机器学习领域中，线性回归是一种非常基础且重要的方法，用于建立自变量与因变量之间的关系模型。它通过拟合一条直线来描述数据点的趋势，并能够预测未来的结果。本文将从数学的角度出发，详细推导出线性回归方程的核心公式。

一、问题定义

假设我们有一组观测数据 \((x_i, y_i)\)，其中 \(i = 1, 2, ..., n\) 表示第 \(i\) 个样本点，\(x_i\) 是自变量，\(y_i\) 是对应的因变量。我们的目标是找到一条直线 \(y = ax + b\)（即线性函数），使得这条直线尽可能地接近所有数据点。

二、损失函数的选择

为了衡量直线与数据点之间的偏离程度，我们通常使用均方误差（Mean Squared Error, MSE）作为损失函数。对于给定的数据集，MSE 的表达式为：

\[

E(a, b) = \frac{1}{n} \sum_{i=1}^{n} (y_i - (ax_i + b))^2

\]

这里，\(a\) 和 \(b\) 分别表示斜率和截距，是我们需要优化的参数。

三、最小化损失函数

为了找到最优的 \(a\) 和 \(b\)，我们需要对 \(E(a, b)\) 关于这两个参数求偏导数，并令其等于零。这样可以得到两个方程，称为正规方程。

首先计算关于 \(a\) 的偏导数：

\[

\frac{\partial E}{\partial a} = -\frac{2}{n} \sum_{i=1}^{n} x_i(y_i - (ax_i + b))

\]

接着计算关于 \(b\) 的偏导数：

\[

\frac{\partial E}{\partial b} = -\frac{2}{n} \sum_{i=1}^{n} (y_i - (ax_i + b))

\]

将上述两式分别设为零，并整理后可得正规方程组：

\[

\begin{cases}

\sum_{i=1}^{n} x_i y_i = a \sum_{i=1}^{n} x_i^2 + b \sum_{i=1}^{n} x_i \\

\sum_{i=1}^{n} y_i = a \sum_{i=1}^{n} x_i + nb

\end{cases}

\]

四、解正规方程组

通过解这个二元一次方程组，我们可以得到 \(a\) 和 \(b\) 的具体值。利用克莱姆法则或矩阵求逆的方法，最终得到：

\[

a = \frac{n \sum x_i y_i - \sum x_i \sum y_i}{n \sum x_i^2 - (\sum x_i)^2}, \quad

b = \frac{\sum y_i - a \sum x_i}{n}

\]

这些就是线性回归模型中用来确定直线的最佳参数 \(a\) 和 \(b\) 的公式。

五、结论

通过对损失函数进行优化，我们得到了线性回归模型中的核心公式。这种方法不仅简单直观，而且广泛应用于各种实际场景中。无论是经济学、生物学还是工程学等领域，线性回归都发挥着不可替代的作用。

以上便是线性回归方程公式的完整推导过程，希望对你有所帮助！