首页手记线性回归入门：从零开始的简单教程

线性回归入门：从零开始的简单教程

标签：

Python 机器学习数据分析&挖掘

概述

线性回归入门介绍了线性回归的基本概念、应用场景、数学原理以及如何使用Python和R进行建模。文章详细解释了线性回归的数学基础，包括参数优化和误差度量方法，并通过示例代码展示了模型的建立和评估过程。此外，还探讨了线性回归的进阶话题，如多元线性回归和非线性回归。

线性回归简介

线性回归的基本概念

线性回归是一种统计学方法，用于建立两个或多个变量之间的线性关系。它通过拟合一条直线（或超平面）来近似地表示输入变量（自变量）和输出变量（因变量）之间的关系。线性回归模型假设因变量与自变量之间存在线性关系，形式如下：

[ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \ldots + \beta_n x_n + \epsilon ]

其中，( y ) 是因变量，( x_1, x_2, \ldots, x_n ) 是自变量，( \beta_0, \beta_1, \ldots, \beta_n ) 是模型参数，( \epsilon ) 是误差项。

线性回归的应用场景

线性回归在许多领域都有广泛的应用，例如：

经济预测：通过线性回归模型，可以预测商品价格、股票价格等。
医学研究：研究某种疾病与年龄、性别、体重等因素之间的关系。
环境科学：通过线性回归分析污染物浓度与气象因素之间的关系。

此外，线性回归还可以用于预测、控制变量的影响以及理解变量之间的关系。

线性回归的数学原理

线性回归模型的目标是找到一组参数 ( \beta ) 使得模型拟合的预测值与实际值之间的误差最小化。最常用的误差度量是均方误差（Mean Squared Error, MSE），定义如下：

[ \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 ]

其中 ( y_i ) 是实际值，( \hat{y}_i ) 是预测值。

为了最小化 MSE，通常使用梯度下降法或最小二乘法进行参数的优化。最小二乘法通过求解以下公式来确定参数 ( \beta )：

[ \hat{\beta} = (X^T X)^{-1} X^T y ]

其中 ( X ) 是输入数据的特征矩阵，( y ) 是目标变量的向量。

示例代码

以下是一个简单的线性回归模型的代码示例，使用 Python 的 numpy 和 scikit-learn 库。

import numpy as np
from sklearn.linear_model import LinearRegression

# 生成数据
X = np.array([[1], [2], [3], [4], [5]])
y = np.array([2, 4, 6, 8, 10])

# 建立线性回归模型
model = LinearRegression()

# 训练模型
model.fit(X, y)

# 预测新数据
X_new = np.array([[6]])
y_new = model.predict(X_new)

# 输出预测结果
print("预测值：", y_new)

线性回归模型的建立

数据准备

数据准备是建立线性回归模型的第一步。通常需要对原始数据进行预处理，包括缺失值处理、异常值检测和标准化等。

缺失值处理

缺失值可能会导致模型训练时出现错误或影响模型的准确度。常见的处理方法包括删除含有缺失值的样本、填充缺失值（例如使用均值或中位数）。

import pandas as pd

# 数据读取
data = pd.read_csv("data.csv")

# 查看缺失值
print(data.isnull().sum())

# 使用均值填充缺失值
data.fillna(data.mean(), inplace=True)

异常值检测

异常值是指样本数据中与其他样本差异显著的值。异常值可能会对模型产生负面影响，因此需要进行检测和处理。

import numpy as np

# 生成数据集
X = np.array([1, 2, 3, 1000, 5])

# 计算Z分数
z_scores = (X - np.mean(X)) / np.std(X)

# 检测异常值（Z分数大于3）
outliers = np.where(np.abs(z_scores) > 3, True, False)

print("异常值：", outliers)

标准化

标准化可以将不同量纲的数据转换为同一量纲，从而更有效地进行模型训练。常见的标准化方法包括最小-最大标准化和Z-score标准化。

from sklearn.preprocessing import MinMaxScaler, StandardScaler

# 生成数据集
X = np.array([1, 2, 3, 4, 5])

# 最小-最大标准化
scaler = MinMaxScaler()
X_normalized = scaler.fit_transform(X.reshape(-1, 1))

# Z-score标准化
scaler = StandardScaler()
X_normalized = scaler.fit_transform(X.reshape(-1, 1))

print("标准化后的数据：", X_normalized)

特征选择与处理

特征选择是指从多个特征中选择最有用的特征。选择特征可以简化模型、提高模型性能并降低过拟合的风险。常见的特征选择方法包括相关性分析、递归特征消除、基于模型的特征选择等。

特征缩放

特征缩放可以将不同量纲的特征转换为同一量纲，从而提高模型的性能。常见的缩放方法包括最小-最大缩放和Z-score缩放。

from sklearn.preprocessing import MinMaxScaler, StandardScaler

# 生成数据集
X = np.array([[1, 2], [3, 4], [5, 6]])

# 最小-最大缩放
scaler = MinMaxScaler()
X_normalized = scaler.fit_transform(X)

# Z-score缩放
scaler = StandardScaler()
X_normalized = scaler.fit_transform(X)

print("缩放后的数据：", X_normalized)

模型训练

在数据准备和特征选择之后，可以开始训练线性回归模型。最常用的库是 scikit-learn，它提供了简单易用的接口。

import numpy as np
from sklearn.linear_model import LinearRegression

# 生成数据集
X = np.array([[1, 2], [3, 4], [5, 6]])
y = np.array([2, 4, 6])

# 建立线性回归模型
model = LinearRegression()

# 训练模型
model.fit(X, y)

# 输出模型参数
print("模型参数：", model.coef_, model.intercept_)

线性回归模型的评估

常用评估指标解释

评估线性回归模型的性能通常使用以下指标：

均方误差 (Mean Squared Error, MSE)：衡量模型预测值与实际值之间的差异。MSE越小，模型的预测能力越强。
决定系数 (Coefficient of Determination, R²)：衡量模型解释的变异量占总变异量的比例。R² 越接近1，模型的性能越好。
均方根误差 (Root Mean Squared Error, RMSE)：是 MSE 的平方根，便于与原始数据的量纲一致。

如何评估模型性能

评估模型性能通常分为两部分：训练集评估和测试集评估。训练集评估用于评估模型在训练数据上的表现，而测试集评估则用于评估模型在新数据上的泛化能力。

from sklearn.metrics import mean_squared_error, r2_score
from sklearn.model_selection import train_test_split

# 生成数据集
X = np.array([[1, 2], [3, 4], [5, 6], [7, 8]])
y = np.array([2, 4, 6, 8])

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 建立线性回归模型
model = LinearRegression()

# 训练模型
model.fit(X_train, y_train)

# 预测训练集和测试集
y_train_pred = model.predict(X_train)
y_test_pred = model.predict(X_test)

# 计算训练集和测试集的MSE和R²
mse_train = mean_squared_error(y_train, y_train_pred)
mse_test = mean_squared_error(y_test, y_test_pred)

r2_train = r2_score(y_train, y_train_pred)
r2_test = r2_score(y_test, y_test_pred)

print("训练集MSE：", mse_train)
print("测试集MSE：", mse_test)
print("训练集R²：", r2_train)
print("测试集R²：", r2_test)

模型误差的解读

模型误差的解释需要结合业务背景进行。例如，均方误差（MSE）可以理解为模型预测值与实际值之间的平均平方差异，越小越好。决定系数（R²）则表示模型解释的变异量占总变异量的比例，越接近1越好。

线性回归模型的优化

模型参数调整

模型参数调整是提高模型性能的一种有效方法。通过调整模型参数，可以找到最佳的模型配置。

from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import LinearRegression

# 生成数据集
X = np.array([[1, 2], [3, 4], [5, 6], [7, 8]])
y = np.array([2, 4, 6, 8])

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 建立线性回归模型
model = LinearRegression()

# 定义参数范围
param_grid = {'normalize': [True, False]}

# 使用GridSearchCV进行参数调整
grid_search = GridSearchCV(model, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 输出最佳参数
print("最佳参数：", grid_search.best_params_)

# 使用最佳参数重新训练模型
best_model = grid_search.best_estimator_
y_test_pred = best_model.predict(X_test)

# 计算测试集的MSE
mse_test = mean_squared_error(y_test, y_test_pred)
print("调整后的测试集MSE：", mse_test)

正则化技术介绍

正则化技术用于减少模型的过拟合。常见的正则化方法包括L1正则化（Lasso）和L2正则化（Ridge）。

L1正则化（Lasso）

L1正则化通过引入L1范数（绝对值之和）来惩罚模型参数的绝对值。Lasso可以实现特征选择，因为一些参数会被惩罚到0。

from sklearn.linear_model import Lasso

# 生成数据集
X = np.array([[1, 2], [3, 4], [5, 6], [7, 8]])
y = np.array([2, 4, 6, 8])

# 建立Lasso模型
model = Lasso(alpha=0.1)

# 训练模型
model.fit(X, y)

# 输出模型参数
print("模型参数：", model.coef_, model.intercept_)

L2正则化（Ridge）

L2正则化通过引入L2范数（平方和的平方根）来惩罚模型参数的平方。Ridge可以减少模型参数的波动，从而提高模型的稳定性。

from sklearn.linear_model import Ridge

# 生成数据集
X = np.array([[1, 2], [3, 4], [5, 6], [7, 8]])
y = np.array([2, 4, 6, 8])

# 建立Ridge模型
model = Ridge(alpha=0.1)

# 训练模型
model.fit(X, y)

# 输出模型参数
print("模型参数：", model.coef_, model.intercept_)

模型选择与比较

在实际应用中，可能需要比较多个模型的性能，选择最佳模型。常见的模型选择方法包括交叉验证、AIC/BIC准则等。

from sklearn.model_selection import cross_val_score

# 生成数据集
X = np.array([[1, 2], [3, 4], [5, 6], [7, 8]])
y = np.array([2, 4, 6, 8])

# 比较不同模型
models = [LinearRegression(), Lasso(alpha=0.1), Ridge(alpha=0.1)]

for model in models:
    scores = cross_val_score(model, X, y, cv=5, scoring='neg_mean_squared_error')
    print(f"{model.__class__.__name__}均方误差：", np.mean(scores))

线性回归的编程实践

使用Python进行线性回归

Python 是进行线性回归分析的常用工具，提供了多种库和方法。最常用的库是 numpy 和 scikit-learn。

示例代码

以下是一个简单的线性回归模型的代码示例，使用 numpy 和 scikit-learn。

import numpy as np
from sklearn.linear_model import LinearRegression

# 生成数据集
X = np.array([[1, 2], [3, 4], [5, 6]])
y = np.array([2, 4, 6])

# 建立线性回归模型
model = LinearRegression()

# 训练模型
model.fit(X, y)

# 预测新数据
X_new = np.array([[7, 8]])
y_new = model.predict(X_new)

# 输出预测结果
print("预测值：", y_new)

使用R进行线性回归

R 语言在统计分析方面有着广泛的应用，提供了丰富的线性回归模型实现。

示例代码

以下是一个简单的线性回归模型的代码示例，使用 R 语言。

# 生成数据集
X <- matrix(c(1, 2, 3, 4, 5, 6), nrow = 3)
y <- c(2, 4, 6)

# 建立线性回归模型
model <- lm(y ~ X)

# 输出模型参数
summary(model)

实际案例分析

实际案例分析是为了展示如何在实际场景中应用线性回归模型。例如，一个房地产公司希望预测房价与房屋面积之间的关系。

数据读取和预处理

首先，需要读取数据并进行预处理。

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# 读取数据
data = pd.read_csv("house_prices.csv")

# 查看数据
print(data.head())

# 删除缺失值
data = data.dropna()

# 分割数据集
X = data[['sqft_living']]
y = data['price']

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 特征缩放
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

模型训练与评估

接下来，使用线性回归模型进行训练，并评估模型性能。

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

# 建立线性回归模型
model = LinearRegression()

# 训练模型
model.fit(X_train, y_train)

# 预测训练集和测试集
y_train_pred = model.predict(X_train)
y_test_pred = model.predict(X_test)

# 计算训练集和测试集的MSE和R²
mse_train = mean_squared_error(y_train, y_train_pred)
mse_test = mean_squared_error(y_test, y_test_pred)

r2_train = r2_score(y_train, y_train_pred)
r2_test = r2_score(y_test, y_test_pred)

print("训练集MSE：", mse_train)
print("测试集MSE：", mse_test)
print("训练集R²：", r2_train)
print("测试集R²：", r2_test)

模型优化与改进

通过调整模型参数，进一步提高模型的预测性能。

from sklearn.model_selection import GridSearchCV

# 定义参数范围
param_grid = {'normalize': [True, False]}

# 使用GridSearchCV进行参数调整
grid_search = GridSearchCV(model, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 输出最佳参数
print("最佳参数：", grid_search.best_params_)

# 使用最佳参数重新训练模型
best_model = grid_search.best_estimator_
y_test_pred = best_model.predict(X_test)

# 计算调整后的测试集MSE
mse_test = mean_squared_error(y_test, y_test_pred)
print("调整后的测试集MSE：", mse_test)

模型评估与解释

通过评估指标和预测结果的可视化，进一步了解模型的表现。

import matplotlib.pyplot as plt

# 绘制预测结果
plt.scatter(X_test, y_test, color='blue', label='实际值')
plt.scatter(X_test, y_test_pred, color='red', label='预测值')
plt.xlabel('房屋面积')
plt.ylabel('房价')
plt.legend()
plt.show()

线性回归的进阶话题

多元线性回归简介

多元线性回归是指自变量多于一个的线性回归模型。公式形式为：

[ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \ldots + \beta_n x_n + \epsilon ]

多元线性回归可以更好地捕捉多个因素之间的关系。

示例代码

以下是一个简单的多元线性回归模型的代码示例，使用 Python 的 numpy 和 scikit-learn。

import numpy as np
from sklearn.linear_model import LinearRegression

# 生成数据集
X = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
y = np.array([10, 20, 30])

# 建立线性回归模型
model = LinearRegression()

# 训练模型
model.fit(X, y)

# 输出模型参数
print("模型参数：", model.coef_, model.intercept_)

非线性回归的引入

非线性回归是指因变量与自变量之间存在非线性关系的回归模型。常见的非线性回归模型包括多项式回归、指数回归等。

多项式回归示例

以下是一个多项式回归模型的示例，使用 Python 的 numpy 和 sklearn。

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

# 生成数据集
X = np.array([[1, 2], [3, 4], [5, 6]])
y = np.array([2, 4, 6])

# 多项式特征转换
poly = PolynomialFeatures(degree=2)
X_poly = poly.fit_transform(X)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X_poly, y, test_size=0.2, random_state=42)

# 建立线性回归模型
model = LinearRegression()

# 训练模型
model.fit(X_train, y_train)

# 预测训练集和测试集
y_train_pred = model.predict(X_train)
y_test_pred = model.predict(X_test)

# 计算训练集和测试集的MSE和R²
mse_train = mean_squared_error(y_train, y_train_pred)
mse_test = mean_squared_error(y_test, y_test_pred)

r2_train = r2_score(y_train, y_train_pred)
r2_test = r2_score(y_test, y_test_pred)

print("训练集MSE：", mse_train)
print("测试集MSE：", mse_test)
print("训练集R²：", r2_train)
print("测试集R²：", r2_test)

线性回归与其他模型的关系

线性回归是许多其他机器学习模型的基础。例如，逻辑回归、支持向量机等模型都是在线性回归的基础上发展而来的。

逻辑回归示例

逻辑回归是一种用于解决二分类问题的模型。逻辑回归通过将线性模型的输出转换为概率值来实现分类。

from sklearn.linear_model import LogisticRegression

# 生成数据集
X = np.array([[1, 2], [3, 4], [5, 6], [7, 8]])
y = np.array([0, 0, 1, 1])

# 建立逻辑回归模型
model = LogisticRegression()

# 训练模型
model.fit(X, y)

# 输出模型参数
print("模型参数：", model.coef_, model.intercept_)

# 预测新数据
X_new = np.array([[9, 10]])
y_new = model.predict_proba(X_new)

print("预测概率：", y_new)

支持向量机示例

支持向量机是一种用于解决分类和回归问题的模型。支持向量机通过在高维空间中寻找最优超平面来实现分类或回归。

from sklearn.svm import SVC

# 生成数据集
X = np.array([[1, 2], [3, 4], [5, 6], [7, 8]])
y = np.array([0, 0, 1, 1])

# 建立支持向量机模型
model = SVC(kernel='linear')

# 训练模型
model.fit(X, y)

# 输出模型参数
print("模型参数：", model.support_vectors_)

# 预测新数据
X_new = np.array([[9, 10]])
y_new = model.predict(X_new)

print("预测结果：", y_new)

总结

线性回归是一种简单而强大的统计学方法，广泛应用于各个领域。通过本文的介绍，您可以了解线性回归的基本概念、应用场景、数学原理以及如何使用Python和R进行线性回归建模。希望这些内容能帮助您更好地理解和应用线性回归模型。

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

慕盖茨4494581

手记
篇

粉丝

10

获赞与收藏

28

关注作者，订阅最新文章

阅读免费教程

Python 办公自动化教程

17个小节 25697 869

Python 算法入门教程

15个小节 27410 1070

Python 进阶应用教程

38个小节 65719 1030

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空

线性回归入门：从零开始的简单教程

线性回归的基本概念

线性回归的应用场景

线性回归的数学原理

示例代码

数据准备

缺失值处理

异常值检测

标准化

特征选择与处理

相关性分析

特征缩放

模型训练

常用评估指标解释

如何评估模型性能

模型误差的解读

模型参数调整

正则化技术介绍

L1正则化（Lasso）

L2正则化（Ridge）

模型选择与比较

使用Python进行线性回归

示例代码

使用R进行线性回归

示例代码

实际案例分析

数据读取和预处理

模型训练与评估

模型优化与改进

模型评估与解释

多元线性回归简介

示例代码

非线性回归的引入

多项式回归示例

线性回归与其他模型的关系

逻辑回归示例

支持向量机示例

总结

阅读免费教程