回归分析引论：从正交投影到统计推断

原笔记来源：zps
修订日期：2026-09-23

回归分析研究响应变量如何随解释变量变化。在线性回归中，我们先用最小二乘法拟合均值，再用误差模型评估估计和预测的不确定性。

这篇笔记围绕一条主线展开：最小二乘拟合是正交投影；平方和是投影产生的二次型；在正态误差下，这些二次型具有卡方分布，进而得到 t 检验和 F 检验。

原文的“高维”主要指向量和矩阵形式的多变量分析。本文讨论的是经典满列秩回归，要求样本数大于参数个数，并不是通常所说的参数维数接近或超过样本量的高维统计。

1. 模型与假设：先分清哪些结论需要什么条件

设有 $n$ 个观测、 $p$ 个解释变量，并包含截距：

Y=X\beta+\varepsilon, \qquad X=\begin{bmatrix} 1&x_{11}&\cdots&x_{1p}\\ 1&x_{21}&\cdots&x_{2p}\\ \vdots&\vdots&&\vdots\\ 1&x_{n1}&\cdots&x_{np} \end{bmatrix}.

符号	维数与含义
$Y$	$n\times1$ 响应向量
$X$	$n\times(p+1)$ 设计矩阵
$\beta=(\beta_0,\ldots,\beta_p)^\top$	截距与斜率参数
$\varepsilon$	$n\times1$ 随机误差向量
$\mathbf1$	$n\times1$ 全 1 向量
$\sigma^2$	单个误差的方差，假设大于 0

全文把 $X$ 看作固定矩阵，并假设：

\operatorname{rank}(X)=p+1,\qquad n>p+1.

若 $X$ 是随机的，下文的均值、协方差和分布结论均可理解为给定 $X$ 的条件结论，前提是对应假设条件化后成立。

需要区分三个层次：

条件	可以得到的主要结论
$X$ 满列秩	最小二乘解唯一，投影与平方和分解成立
再加 $\mathbb E(\varepsilon)=0$ 、 $\operatorname{Cov}(\varepsilon)=\sigma^2I_n$	系数估计无偏、协方差公式、Gauss–Markov 结论、平方和期望
再加 $\varepsilon\sim N_n(0,\sigma^2I_n)$	精确的卡方、t、F 分布及相应独立性

正态性不是计算最小二乘解的必要条件。 也不要把代数上的正交性直接等同于随机变量的独立性。

2. 最小二乘为什么是正交投影？

2.1 从最小化残差到正规方程

最小二乘法求解：

\hat\beta=\arg\min_b\|Y-Xb\|^2.

对 $b$ 求导并令其为 0：

X^\top(Y-X\hat\beta)=0.

由于 $X$ 满列秩， $X^\top X$ 为 $(p+1)\times(p+1)$ 正定矩阵，所以：

\hat\beta=(X^\top X)^{-1}X^\top Y. \tag{1}

这是一条理论公式。实际数值计算通常使用 QR 分解或 SVD 求解，避免显式形成逆矩阵。

2.2 拟合矩阵与残差矩阵

定义：

H=X(X^\top X)^{-1}X^\top, \qquad M=I_n-H.

则拟合值与残差分别为：

\hat Y=HY,\qquad e=MY,\qquad Y=\hat Y+e.

$H$ 称为帽子矩阵，也是到 $X$ 的列空间的正交投影矩阵。它满足：

H^\top=H,\qquad H^2=H.

因此 $M$ 同样对称幂等，且 $HM=0$ 。于是：

\hat Y^\top e=Y^\top HMY=0.

几何上， $\hat Y$ 是列空间中距离 $Y$ 最近的点， $e$ 则垂直于这个空间。正规方程 $X^\top e=0$ 正是在表达这种垂直关系。

2.3 幂等性、秩与自由度

方阵 $P$ 若满足 $P^2=P$ ，称为幂等矩阵。若同时对称，它就是一个正交投影矩阵。

若 $Pv=\lambda v$ 且 $v\ne0$ ，则 $P^2v=\lambda^2v=Pv$ ，所以特征值只能是 0 或 1。对实对称幂等矩阵，谱定理给出：

P=U\begin{bmatrix}I_r&0\\0&0\end{bmatrix}U^\top, \qquad U^\top U=I_n.

因此：

\operatorname{tr}(P)=\operatorname{rank}(P)=r.

这里的 $r$ 就是保留下来的正交方向数。后文会看到，它也是相应卡方分布的自由度。

对回归而言：

\operatorname{rank}(H)=p+1, \qquad \operatorname{rank}(M)=n-p-1.

任意对称幂等矩阵都可以写成 $B(B^\top B)^{-1}B^\top$ ，其中 $B$ 的列构成其像空间的一组基；零投影单独取 $P=0$ 即可。

3. 总变异如何分为解释部分和残差部分？

3.1 均值投影与中心化

定义均值投影矩阵和中心化矩阵：

J=\frac1n\mathbf1\mathbf1^\top, \qquad C=I_n-J.

它们满足：

JY=\bar Y\mathbf1, \qquad CY=Y-\bar Y\mathbf1.

因为模型包含截距， $\mathbf1$ 在 $X$ 的列空间中，所以：

H\mathbf1=\mathbf1, \qquad HJ=JH=J. \tag{2}

这不需要展开分块逆矩阵，直接由“投影保留子空间内的向量”即可得到。

令 $R=H-J$ ，则 $R$ 对称幂等，且：

C=R+M,\qquad RM=MR=0. \tag{3}

$R$ 提取超出常数均值之外、被解释变量说明的部分； $M$ 提取模型无法拟合的残差部分。

3.2 三个平方和

本文使用 SSR 表示回归平方和、SSE 表示残差平方和；不同教材的缩写可能不同，应以定义为准。

名称	标量形式	二次型形式	自由度
总平方和 SST	$\sum_i(Y_i-\bar Y)^2$	$Y^\top CY$	$n-1$
回归平方和 SSR	$\sum_i(\hat Y_i-\bar Y)^2$	$Y^\top RY$	$p$
残差平方和 SSE	$\sum_i(Y_i-\hat Y_i)^2$	$Y^\top MY$	$n-p-1$

对于对称幂等矩阵 $P$ ，有 $\|PY\|^2=Y^\top P^\top PY=Y^\top PY$ ，所以三个平方和都能写成上表形式。

由式（3）立即得到：

\boxed{\mathrm{SST}=\mathrm{SSR}+\mathrm{SSE}}. \tag{4}

这就是正交分解对应的勾股关系。它是代数恒等式，不需要误差正态。

当 $\mathrm{SST}>0$ 时，定义：

R^2=\frac{\mathrm{SSR}}{\mathrm{SST}} =1-\frac{\mathrm{SSE}}{\mathrm{SST}}.

在包含截距的训练样本最小二乘拟合中， $0\le R^2\le1$ 。它衡量样本内拟合程度，不自动说明因果关系或样本外预测能力。没有截距时，上述中心化分解和范围不能直接沿用。

4. 二次型的期望与方差

本节用 $W\in\mathbb R^d$ 表示一般随机向量，避免与设计矩阵 $X$ 混淆。

4.1 期望：只需要有限二阶矩

若 $\mathbb E(W)=\mu$ 、 $\operatorname{Cov}(W)=\Sigma$ ，且 $A$ 为固定的 $d\times d$ 矩阵，则：

\boxed{\mathbb E(W^\top AW)=\mu^\top A\mu+\operatorname{tr}(A\Sigma)}. \tag{5}

证明只需利用标量等于其迹，以及迹的循环性质：

\begin{aligned} \mathbb E(W^\top AW) &=\mathbb E[\operatorname{tr}(AWW^\top)]\\ &=\operatorname{tr}[A(\Sigma+\mu\mu^\top)]\\ &=\operatorname{tr}(A\Sigma)+\mu^\top A\mu. \end{aligned}

这里使用的是 $\operatorname{tr}(AB)=\operatorname{tr}(BA)$ ，不是秩与迹之间的等式。

4.2 方差：正态性给出简洁公式

若进一步有 $W\sim N_d(\mu,\Sigma)$ 且 $A$ 对称，则：

\boxed{\operatorname{Var}(W^\top AW) =2\operatorname{tr}(A\Sigma A\Sigma)+4\mu^\top A\Sigma A\mu}. \tag{6}

第一项也可写成 $2\operatorname{tr}[(A\Sigma)^2]$ ，不能写成 $2[\operatorname{tr}(A\Sigma)]^2$ 。

当 $\Sigma=\sigma^2I_d$ 时：

\operatorname{Var}(W^\top AW) =2\sigma^4\operatorname{tr}(A^2)+4\sigma^2\mu^\top A^2\mu. \tag{7}

一个简洁证明是对称对角化 $A=U\Lambda U^\top$ 。令 $Z=U^\top W$ ，则各分量独立，且 $Z_i\sim N(m_i,\sigma^2)$ 。因此：

W^\top AW=\sum_i\lambda_i Z_i^2, \qquad \operatorname{Var}(Z_i^2)=2\sigma^4+4\sigma^2m_i^2.

对独立项的方差求和就得到式（7）。一般协方差情形可由 $W=\mu+BZ$ 、 $BB^\top=\Sigma$ 、 $Z\sim N(0,I)$ 推导，结果为式（6）。

这比逐项展开四阶多项式更直接，也避免遗漏求和系数。若需要核对四阶矩，标准正态变量满足 $\mathbb E(Z^4)=3$ ，积分中必须保留密度的归一化系数 $1/\sqrt{2\pi}$ 。

4.3 三个平方和的期望与方差

令回归均值向量为 $\mu=X\beta$ ，并定义非负量：

S=\mu^\top C\mu=\|\mu-\bar\mu\mathbf1\|^2.

$S$ 表示真实均值在不同观测位置之间的变异。由于 $H\mu=\mu$ ：

M\mu=0,\qquad R\mu=C\mu,\qquad \mu^\top R\mu=S.

将各投影矩阵代入式（5）—（7），得到：

统计量	期望	正态误差下的方差
SST	$S+\sigma^2(n-1)$	$4\sigma^2S+2\sigma^4(n-1)$
SSR	$S+\sigma^2p$	$4\sigma^2S+2\sigma^4p$
SSE	$\sigma^2(n-p-1)$	$2\sigma^4(n-p-1)$

期望列只需要模型的均值与协方差条件，方差列则使用了正态误差假设。

因此误差方差的无偏估计是：

s^2=\frac{\mathrm{SSE}}{n-p-1}. \tag{8}

分母扣除的是拟合所使用的 $p+1$ 个参数对应的方向，而不是任意选择的修正项。

5. 正态分布、卡方分布与投影

5.1 多元正态：联合性质不能省略

向量 $W$ 服从多元正态分布，意味着它的任意线性组合都服从一元正态分布，允许退化情形。只知道每个分量分别正态，并不足以断言整个向量联合正态。

若 $W\sim N_d(\mu,\Sigma)$ ，则：

BW+b\sim N_m(B\mu+b,B\Sigma B^\top).

联合正态条件下，不相关的分量或子向量相互独立。 对一般随机变量，这个结论不成立。

当 $\Sigma$ 正定时，多元正态具有普通的 $d$ 维密度：

f_W(w)=\frac1{(2\pi)^{d/2}(\det\Sigma)^{1/2}} \exp\left[-\frac12(w-\mu)^\top\Sigma^{-1}(w-\mu)\right]. \tag{9}

若 $\Sigma$ 奇异，分布集中在较低维的仿射子空间，不能直接套用这个含逆矩阵和行列式的密度公式。密度变换的正确推导见附录 B。

5.2 卡方分布与非中心参数

若 $Z_1,\ldots,Z_r$ 相互独立且均为 $N(0,1)$ ，则：

\sum_{i=1}^r Z_i^2\sim\chi_r^2.

若改为相互独立的 $Z_i\sim N(m_i,1)$ ，则：

\sum_{i=1}^r Z_i^2\sim\chi_r^2(\lambda), \qquad\lambda=\sum_{i=1}^r m_i^2.

本文采用上述非中心参数约定，有：

\mathbb E[\chi_r^2(\lambda)]=r+\lambda, \qquad\operatorname{Var}[\chi_r^2(\lambda)]=2r+4\lambda.

非中心参数描述均值偏离原点的平方距离。 $\lambda=0$ 时退化为中心卡方分布。

相互独立的卡方变量相加，自由度和非中心参数分别相加；独立性是这条结论的前提。

5.3 投影二次型为什么服从卡方分布？

若 $W\sim N_d(\mu,I_d)$ ， $P$ 是秩为 $r$ 的对称幂等矩阵，则：

W^\top PW\sim\chi_r^2(\mu^\top P\mu). \tag{10}

证明：将 $P$ 正交对角化，令 $Z=U^\top W$ ，则：

W^\top PW=Z_1^2+\cdots+Z_r^2.

这些 $Z_i$ 联合正态、方差为 1 且相互独立，所以结论直接来自卡方定义。非中心参数为所保留坐标的均值平方和，即 $\mu^\top P\mu$ 。

由于：

\mu^\top P\mu=\|P\mu\|^2,

它是中心卡方分布当且仅当 $P\mu=0$ 。

这里给出的是回归推断所需的充分条件及其证明，不将它误标为必要性证明。对一般对称矩阵宣称“只有特征值为 0 或 1 才能产生这种卡方分布”需要额外论证，不能只凭观察完成逆向证明。

更一般地，若 $\Sigma$ 正定、 $A$ 对称并满足 $A\Sigma A=A$ ，则对白化后的向量应用同一结论，可得：

W^\top AW\sim\chi_{\operatorname{rank}(A)}^2(\mu^\top A\mu).

6. Cochran 定理：正交平方和为什么独立？

6.1 回归中最常用的投影形式

设 $W\sim N_d(\mu,I_d)$ ， $P_1,\ldots,P_k$ 为对称幂等矩阵，且两两正交：

P_iP_j=0\quad(i\ne j).

则二次型 $W^\top P_iW$ 相互独立，且：

W^\top P_iW\sim \chi_{\operatorname{rank}(P_i)}^2(\mu^\top P_i\mu). \tag{11}

这是 Cochran 定理在正交投影分解下的常用形式。如果再有 $\sum_iP_i=I_d$ ，则各自由度之和为 $d$ ，各二次型之和为 $W^\top W$ 。

独立性的证明很短：投影向量 $P_iW$ 联合正态，而：

\operatorname{Cov}(P_iW,P_jW)=P_iP_j=0.

因此这些向量相互独立，其平方范数也相互独立。

若协方差为一般的 $\Sigma$ ， $A_1\Sigma A_2=0$ 是对称二次型 $W^\top A_1W$ 与 $W^\top A_2W$ 独立的充分条件，可通过白化与相应正交子空间说明。

6.2 原文的“拆出一个平方和”形式

设 $P,P_1$ 均为对称幂等矩阵，且 $P_2=P-P_1$ 半正定。则：

PP_1=P_1P=P_1, \quad P_2^2=P_2, \quad P_1P_2=0.

证明：若 $v\in\ker P$ ，则：

0\le v^\top(P-P_1)v=-\|P_1v\|^2,

所以 $P_1v=0$ 。因此 $\operatorname{im}P_1\subseteq\operatorname{im}P$ ，余下等式直接展开即可得到。

于是 $P_2$ 也是正交投影，秩为 $\operatorname{rank}(P)-\operatorname{rank}(P_1)$ ，并可应用式（11）。

注意：投影矩阵通常是半正定，不是正定；两个半正定矩阵的差也不自动半正定，本节已将其明确列为假设。

7. 回到回归：卡方分布、F 检验和 t 检验

以下使用正态线性模型 $Y\sim N_n(X\beta,\sigma^2I_n)$ 。

7.1 三个平方和的分布

对 $Y/\sigma$ 使用前面的投影结论，令 $\lambda=S/\sigma^2$ ，有：

\frac{\mathrm{SST}}{\sigma^2}\sim\chi_{n-1}^2(\lambda), \qquad \frac{\mathrm{SSR}}{\sigma^2}\sim\chi_p^2(\lambda), \qquad \frac{\mathrm{SSE}}{\sigma^2}\sim\chi_{n-p-1}^2. \tag{12}

SSE 的非中心参数为 0，因为 $MX\beta=0$ 。SSR 与 SSE 相互独立，因为 $RM=0$ ；SST 是两者之和，并不因此与它们分别独立。

7.2 整体回归的 F 检验

检验所有斜率是否同时为 0：

H_0:\beta_1=\cdots=\beta_p=0, \qquad H_1:\text{至少一个斜率非零}.

在 $H_0$ 下， $X\beta=\beta_0\mathbf1$ ，所以 $S=0$ 。当 $p\ge1$ 时：

F=\frac{\mathrm{SSR}/p}{\mathrm{SSE}/(n-p-1)} \sim F_{p,n-p-1}. \tag{13}

分子和分母分别是独立中心卡方变量除以其自由度。较大的 $F$ 表示解释变量带来的拟合改善，相对于残差波动较大。它不证明因果关系，也不表示每个斜率都显著。

对应的方差分析表为：

来源	平方和	自由度	均方
回归	SSR	$p$	$\mathrm{MSR}=\mathrm{SSR}/p$
残差	SSE	$n-p-1$	$\mathrm{MSE}=\mathrm{SSE}/(n-p-1)$
总计	SST	$n-1$	—

7.3 单个系数的 t 检验

由式（1）和正态分布的线性变换性质：

\hat\beta\sim N_{p+1}\left(\beta,\sigma^2(X^\top X)^{-1}\right).

由于 $X^\top M=0$ ， $\hat\beta$ 与残差向量的协方差为 0；联合正态进一步保证它们独立，所以 $\hat\beta$ 与 SSE 独立。

记 $c_{jj}$ 为 $(X^\top X)^{-1}$ 中对应 $\beta_j$ 的对角元素。检验 $H_0:\beta_j=b_j$ 时，在原假设下：

T_j=\frac{\hat\beta_j-b_j}{s\sqrt{c_{jj}}} \sim t_{n-p-1}. \tag{14}

相应的 $1-\alpha$ 置信区间为：

\hat\beta_j\pm t_{1-\alpha/2,n-p-1}\,s\sqrt{c_{jj}}.

这些是模型假设成立时的精确有限样本结论。异方差、相关误差或模型均值设定错误，都可能使常规标准误和检验失效。

7.4 一个小例子：把投影和平方和连起来

取一元含截距回归：

x=(0,1,2)^\top,\qquad Y=(1,2,2)^\top.

最小二乘结果为：

\hat\beta_0=\frac76,\qquad\hat\beta_1=\frac12, \qquad\hat Y=\left(\frac76,\frac53,\frac{13}6\right)^\top.

残差为 $e=(-1/6,1/3,-1/6)^\top$ ，可以检查 $\mathbf1^\top e=0$ 、 $x^\top e=0$ 。进一步得到：

\mathrm{SST}=\frac23, \qquad\mathrm{SSR}=\frac12, \qquad\mathrm{SSE}=\frac16, \qquad R^2=\frac34.

这里 $n=3,p=1$ ，残差自由度只有 1，因此 $s^2=1/6$ ，整体检验统计量为 $F=3$ 。这个例子用于核对代数关系；样本内 $R^2$ 较高并不意味着统计证据充分。

附录 A：正定矩阵与协方差的基本规则

A.1 正定与半正定

本文讨论实对称矩阵 $A$ ：

若对所有非零 $v$ 都有 $v^\top Av>0$ ，称 $A$ 正定。
若对所有 $v$ 都有 $v^\top Av\ge0$ ，称 $A$ 半正定。

正定矩阵也是半正定矩阵；“半正定”不意味着必须存在非零向量使二次型等于 0。

由谱分解 $A=U\Lambda U^\top$ 可知，正定等价于所有特征值为正，半正定等价于所有特征值非负。正定时可构造：

A^{1/2}=U\Lambda^{1/2}U^\top, \qquad A=A^{1/2}A^{1/2}.

也可用 Cholesky 分解写为 $A=LL^\top$ 。

A.2 均值与协方差

对 $d$ 维列向量 $W$ ：

\mathbb E(W)=(\mathbb EW_1,\ldots,\mathbb EW_d)^\top, \qquad \operatorname{Cov}(W)=\mathbb E[(W-\mu)(W-\mu)^\top].

对固定矩阵 $B$ 和向量 $b$ ：

\mathbb E(BW+b)=B\mu+b, \qquad \operatorname{Cov}(BW+b)=B\Sigma B^\top.

协方差矩阵总是对称半正定，但不一定可逆。

附录 B：多元正态密度的变量变换

从相互独立的标准正态分量出发，令 $Z\sim N_d(0,I_d)$ 。给定正定矩阵 $\Sigma=BB^\top$ ，其中 $B$ 可逆，构造 $W=\mu+BZ$ 。

反变换和雅可比行列式绝对值为：

z=B^{-1}(w-\mu), \qquad |\det B^{-1}|=(\det\Sigma)^{-1/2}.

由密度的变量变换公式：

\begin{aligned} f_W(w) &=f_Z(B^{-1}(w-\mu))|\det B^{-1}|\\ &=\frac{\exp[-\tfrac12(w-\mu)^\top\Sigma^{-1}(w-\mu)]} {(2\pi)^{d/2}(\det\Sigma)^{1/2}}. \end{aligned}

这是密度的推导。把密度在整个空间上积分得到的是 1，不是带任意自变量的分布函数；一般线性变换也不能通过直接宣称两个向量的分布函数相等来完成。

附录 C：分块逆矩阵与条件正态分布

C.1 Schur 补与分块求逆

设：

K=\begin{bmatrix}A&B\\C&D\end{bmatrix}, \qquad S=D-CA^{-1}B.

假设 $A$ 和 $S$ 都可逆，则：

\begin{bmatrix}I&0\\-CA^{-1}&I\end{bmatrix} K \begin{bmatrix}I&-A^{-1}B\\0&I\end{bmatrix} =\begin{bmatrix}A&0\\0&S\end{bmatrix}.

这是左右乘消元矩阵，不是说消元后的矩阵仍等于原矩阵 $K$ 。由此得到：

K^{-1}= \begin{bmatrix} A^{-1}+A^{-1}BS^{-1}CA^{-1}&-A^{-1}BS^{-1}\\ -S^{-1}CA^{-1}&S^{-1} \end{bmatrix}. \tag{C1}

若 $K$ 对称，则 $C=B^\top$ ，不是一般意义下的 $C=B$ 。消元矩阵通常也不是正交矩阵，不能假设其转置等于逆矩阵。仅有 $K$ 可逆并不能保证任意选定的主块 $A$ 都可逆。

C.2 条件正态分布：用残差独立性推导

设联合正态向量分块为：

W=\begin{bmatrix}W_A\\W_B\end{bmatrix}, \quad\mu=\begin{bmatrix}\mu_A\\\mu_B\end{bmatrix}, \quad\Sigma=\begin{bmatrix}\Sigma_{AA}&\Sigma_{AB}\\ \Sigma_{BA}&\Sigma_{BB}\end{bmatrix},

并假设 $\Sigma_{AA}$ 可逆。构造：

U=W_B-\mu_B-\Sigma_{BA}\Sigma_{AA}^{-1}(W_A-\mu_A).

直接计算可得：

\operatorname{Cov}(U,W_A)=0, \qquad \operatorname{Cov}(U)=\Sigma_{BB}-\Sigma_{BA}\Sigma_{AA}^{-1}\Sigma_{AB}.

由于 $U$ 与 $W_A$ 联合正态，它们独立。因此：

W_B\mid W_A=w_A\sim N\left( \mu_B+\Sigma_{BA}\Sigma_{AA}^{-1}(w_A-\mu_A), \Sigma_{BB}-\Sigma_{BA}\Sigma_{AA}^{-1}\Sigma_{AB} \right). \tag{C2}

条件均值是 $w_A$ 的仿射函数，条件协方差是一个 Schur 补。这个推导把条件正态分布与“线性预测加独立残差”联系起来，比展开完整密度的分块逆更易读。

关键关系速查

\boxed{ \begin{gathered} \hat\beta=(X^\top X)^{-1}X^\top Y,\qquad H=X(X^\top X)^{-1}X^\top,\\ J=\mathbf1\mathbf1^\top/n,\qquad R=H-J,\qquad M=I_n-H,\\ \mathrm{SST}=Y^\top(I_n-J)Y =\mathrm{SSR}+\mathrm{SSE},\\ s^2=\mathrm{SSE}/(n-p-1). \end{gathered}}

这些关系依赖本文的满列秩、包含截距等设定；精确的 t、F 检验还需要相应的正态误差假设。