线性回归

线性回归（linear regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归（multivariable linear regression）。

在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做线性模型。最常用的线性回归建模是给定X值的y的条件均值是X的仿射函数。不太一般的情况，线性回归模型可以是一个中位数或一些其他的给定X的条件下y的条件分布的分位数作为X的线性函数表示。像所有形式的回归分析一样，线性回归也把焦点放在给定X值的y的条件概率分布，而不是X和y的联合概率分布（多元分析领域）。

线性回归是回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。这是因为线性依赖于其未知参数的模型比非线性依赖于其未知参数的模型更容易拟合，而且产生的估计的统计特性也更容易确定。

线性回归有很多实际用途。分为以下两大类：

1. 如果目标是预测或者映射，线性回归可以用来对观测数据集的和X的值拟合出一个预测模型。当完成这样一个模型以后，对于一个新增的X值，在没有给定与它相配对的y的情况下，可以用这个拟合过的模型预测出一个y值。
2. 给定一个变量y和一些变量$X_{1}$,...,${\textstyle X_{p}}$，这些变量有可能与y相关，线性回归分析可以用来量化y与$X_{j}$之间相关性的强度，评估出与y不相关的$X_{j}$，并识别出哪些$X_{j}$的子集包含了关于y的冗余信息。

线性回归模型经常用最小二乘逼近来拟合，但他们也可能用别的方法来拟合，比如用最小化“拟合缺陷”在一些其他规范里（比如最小绝对误差回归），或者在桥回归中最小化最小二乘损失函数的惩罚。相反，最小二乘逼近可以用来拟合那些非线性的模型。因此，尽管“最小二乘法”和“线性模型”是紧密相连的，但他们是不能划等号的。

线性回归的“回归”指的是回归到平均值。

简介

理论模型

给一个随机样本$(Y_{i},X_{i1},\ldots ,X_{ip}),\,i=1,\ldots ,n$，一个线性回归模型假设回归子$Y_{i}$和回归量$X_{i1},\ldots ,X_{ip}$之间的关系是除了X的影响以外，还有其他的变数存在。我们加入一个误差项$\varepsilon _{i}$（也是一个随机变量）来捕获除了$X_{i1},\ldots ,X_{ip}$之外任何对$Y_{i}$的影响。所以一个多变量线性回归模型表示为以下的形式：

$Y_{i}=\beta _{0}+\beta _{1}X_{i1}+\beta _{2}X_{i2}+\ldots +\beta _{p}X_{ip}+\varepsilon _{i},\qquad i=1,\ldots ,n$

其他的模型可能被认定成非线性模型。一个线性回归模型不需要是自变量的线性函数。线性在这里表示$Y_{i}$的条件均值在参数里是线性的。例如：模型$Y_{i}=\beta _{1}X_{i}+\beta _{2}X_{i}^{2}+\varepsilon _{i}$在$\beta _{1}$和$\beta _{2}$里是线性的，但在$X_{i}^{2}$里是非线性的，它是$X_{i}$的非线性函数。

数据和估计

区分随机变量和这些变量的观测值是很重要的。通常来说，观测值或数据（以小写字母表记）包括了n个值$(y_{i},x_{i1},\ldots ,x_{ip}),\,i=1,\ldots ,n$。

我们有$p+1$个参数$\beta _{0},\ldots ,\beta _{p}$需要决定，为了估计这些参数，使用矩阵表记是很有用的。

$Y=X\beta +\varepsilon \,$

其中Y是一个包括了观测值$Y_{1},\ldots ,Y_{n}$的列向量，$\varepsilon$包括了未观测的随机成份$\varepsilon _{1},\ldots ,\varepsilon _{n}$以及回归量的观测值矩阵$X$：

$X={\begin{pmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&\cdots &x_{np}\end{pmatrix}}$

X通常包括一个常数项。

如果X列之间存在线性相关，那么参数向量$\beta$就不能以最小二乘法估计除非$\beta$被限制，比如要求它的一些元素之和为0。

参见

• 方差分析
• 简单线性回归