当前位置：首页 > news >正文

机器学习算法：监督学习中的线性回归

news 2025/7/14 15:48:31

在机器学习领域，线性回归是一种经典的监督学习算法，用于预测连续数值型的目标变量。它假设输入特征和输出结果之间存在线性关系。线性回归模型的目标是找到一条直线（在二维空间中）或一个平面（在三维空间中），使得这条直线或平面尽可能地接近所有的训练数据点。

线性回归的数学表达

线性回归模型可以表示为：
[ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \ldots + \beta_n x_n + \epsilon ]
其中，( y ) 是目标变量，( x_1, x_2, \ldots, x_n ) 是特征变量，( \beta_0, \beta_1, \ldots, \beta_n ) 是模型参数，( \epsilon ) 是误差项。

损失函数

线性回归通常使用最小二乘法来估计模型参数，即最小化所有数据点的预测值和实际值之间的平方误差之和，也称为损失函数：
[ J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} (h_\theta(x^{(i)}) - y^{(i)})2 ]
这里，( m ) 是训练样本的数量，( h_\theta(x) ) 是模型的预测值。

梯度下降算法

为了找到损失函数的最小值，我们使用梯度下降算法来更新模型参数。参数更新规则如下：
[ \theta_j := \theta_j - \alpha \frac{\partial}{\partial \theta_j} J(\theta) ]
其中，( \alpha ) 是学习率。

代码实现

以下是使用Python和scikit-learn库实现线性回归的一个简单示例：

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
import numpy as np# 创建一些示例数据
X = np.array([[1], [2], [3], [4], [5]])
y = np.array([2, 4, 6, 8, 10])# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)# 创建线性回归模型
model = LinearRegression()# 训练模型
model.fit(X_train, y_train)# 预测
predictions = model.predict(X_test)# 打印模型参数
print("模型截距：", model.intercept_)
print("模型系数：", model.coef_)# 计算模型性能
print("预测值：", predictions)