多元统计分析-第五章计算详解

多元统计分析-第五章计算详解

包括了（简答题）和（计算题的详解）

周日 6月 07 2026
2312 字 · 10 分钟
期末复习 多元统计分析

皮尔逊积矩相关系数与简单线性回归系数的关系。

皮尔逊积矩相关系数的tt统计量与简单线性回归模型中自变量系数的tt统计量在数值上相等，且在原假设成立时服从相同的分布。

偏相关系数的定义。

研究两个特定随机变量之间的线性相关程度时，将其他可能产生影响的变量作为常数保持不变（即控制或剔除其他变量的影响）后，计算得出的这两个变量之间的“纯粹”相关程度。

偏相关系数与线性回归系数的关系。

偏相关系数的tt统计量与线性回归模型中单个自变量系数的tt统计量在数值上相等，且在原假设成立时服从相同的分布。

典型相关分析的定义

典型相关分析的基本思想与复相关分析类似，即通过线性组合将两组变量转化为两个综合指标（典型变量），并确定两组变量的权重系数，使得两个综合指标之间的相关系数（典型相关系数）达到最大值

如何解释典型变量？

通常通过典型载荷（Canonical Loadings）来解释典型变量的实际业务或学科意义。

  • 典型载荷是指原始变量与其所在组提取出的典型变量之间的皮尔逊相关系数。
  • 典型载荷绝对值越大的原始变量，对该典型变量的代表性越强。我们通常提取载荷较高的几个原始变量的共同特征，来为这个典型变量命名并解释其含义。

原始数据标准化对典型相关系数、典型变量系数、典型载荷和交叉载荷的影响。

  • 典型相关系数：
    • 不受影响。
    • 相关系数在变量的非奇异线性变换（包括各变量的独立缩放）下保持不变。数据标准化并不改变典型相关系数，即 ρi∗=ρi\rho_i^* = \rho_i。
  • 典型变量系数：
    • 会受到影响。
    • 典型变量系数是原始变量线性组合的权重。标准化后，变量的尺度统一为1，因此权重也会相应调整。
  • 典型载荷和交叉载荷：
    • 不受影响。
    • 因为相关系数的尺度不变性，标准化后的典型载荷 ρU∗X∗=ρUX\rho_{U^*X^*} = \rho_{UX}且ρV∗Y∗=ρVY\rho_{V^*Y^*} = \rho_{VY}；标准化后的交叉载荷 ρU∗Y∗=ρUY\rho_{U^*Y^*} = \rho_{UY}且ρV∗X∗=ρVX\rho_{V^*X^*} = \rho_{VX}。

例题

设 RYXR_{Y\mathbf{X}} 为因变量 YY 与自变量向量 X\mathbf{X} 之间的样本复相关系数，R2R^2为线性回归模型 Y=β′X+εY = \boldsymbol{\beta}'\mathbf{X} + \varepsilon 的决定系数。证明：(RYX)2=R2(R_{Y\mathbf{X}})^2 = R^2。

看看，今天已经是6月7号了，再讲什么原理真就挂科了/(ㄒoㄒ)/~~，所以后面我们快一点。

首先，要证明肯定要知道 决定系数 和 RYXR_{Y\mathbf{X}} 的表示方法是什么：

我先给这些字母的意思：

  • Y 因变量真实值
  • Yˉ\bar{Y} 因变量均值（Yˉ\bar{Y} 是标量，所以要乘 全是 1的列向量）
  • Y^\hat{\mathbf{Y}} 因变量预测值
(Y−1Yˉ)′(Y−1Yˉ)⏟总平方和（SST）=(Y^−1Yˉ)′(Y^−1Yˉ)⏟回归平方和（SSR）+(Y−Y^)′(Y−Y^)⏟残差平方和（SSE）\underbrace{(\mathbf{Y} - \mathbf{1}\bar{Y})'(\mathbf{Y} - \mathbf{1}\bar{Y})}_{\text{总平方和（SST）}} = \underbrace{(\hat{\mathbf{Y}} - \mathbf{1}\bar{Y})'(\hat{\mathbf{Y}} - \mathbf{1}\bar{Y})}_{\text{回归平方和（SSR）}} + \underbrace{(\mathbf{Y} - \hat{\mathbf{Y}})'(\mathbf{Y} - \hat{\mathbf{Y}})}_{\text{残差平方和（SSE）}} 决定系数：R2=SSRSST\text{决定系数：} R^2 = \frac{\text{SSR}}{\text{SST}}

样本：随机样本 Y\mathbf{Y}和随机样本矩阵Xn×k=[X(1)X(2)⋯X(k)]\underset{n \times k}{\mathbf{X}} = \begin{bmatrix} \mathbf{X}_{(1)} & \mathbf{X}_{(2)} & \cdots & \mathbf{X}_{(k)} \end{bmatrix}的样本复相关系数定义为

RYX=rYY^=(Y−1Y‾)′(Y^−1Y‾)(Y−1Y‾)′(Y−1Y‾)⋅(Y^−1Y‾)′(Y^−1Y‾)R_{Y\mathbf{X}} = r_{Y\hat{Y}} = \frac{(\mathbf{Y} - \mathbf{1}\overline{Y})'(\hat{\mathbf{Y}} - \mathbf{1}\overline{Y})}{\sqrt{(\mathbf{Y} - \mathbf{1}\overline{Y})'(\mathbf{Y} - \mathbf{1}\overline{Y}) \cdot (\hat{\mathbf{Y}} - \mathbf{1}\overline{Y})'(\hat{\mathbf{Y}} - \mathbf{1}\overline{Y})}}

样本协方差：（形式就是之前看的 S 的形式）

SYY^=1n−1(Y−1Yˉ)′(Y^−1Yˉ),SY^Y^=1n−1(Y^−1Yˉ)′(Y^−1Yˉ)S_{Y\hat{Y}} = \frac{1}{n-1}(\mathbf{Y} - \mathbf{1}\bar{Y})'(\hat{\mathbf{Y}} - \mathbf{1}\bar{Y}), \quad S_{\hat{Y}\hat{Y}} = \frac{1}{n-1}(\hat{\mathbf{Y}} - \mathbf{1}\bar{Y})'(\hat{\mathbf{Y}} - \mathbf{1}\bar{Y})

这些式子，似乎可以代入 RYXR_{Y\mathbf{X}} 中，我们代入看看（含n-1的项抵消了）：

RYX=SYY^SYYSY^Y^R_{YX} = \frac{S_{Y\hat{Y}}}{\sqrt{ S_{YY}S_{\hat{Y}\hat{Y}}}} (RYX)2=(SYY^)2SYYSY^Y^(R_{YX})^2 = \frac{(S_{Y\hat{Y}})^2}{{S_{YY}S_{\hat{Y}\hat{Y}}}}

好像也可以代入 R2R^2 中：

R2=SY^Y^SYYR^2 = \frac{S_{\hat{Y}\hat{Y}}}{S_{YY}}

此时，你觉得如果要是 SYY^=SY^Y^S_{Y\hat{Y}} = S_{\hat{Y}\hat{Y}} 就好了啊！这样一约分就可以一步做出来了。

美梦想的很好，但是，确实是可以这样做！

推导 SYY^=SY^Y^S_{Y\hat{Y}} = S_{\hat{Y}\hat{Y}}

首先我们先上饺子

饺子

之前推导过最小二乘估计，其中我们做的是投影，橙色的就是最佳的预测，而橙色的虚线就是残差。

Pasted image 20260606151811

我们可以发现，残差向量与拟合值向量是正交，e⊥Y^e⊥Ŷ ，推广一下，残差向量与中心化的拟合值向量也是正交的即：

(Y−Y^)′(Y^−1Yˉ)=0(Y - \hat{Y})'(\hat{Y} - 1\bar{Y}) = 0

醋

将 Y−1Yˉ\mathbf{Y} - \mathbf{1}\bar{Y}分解（依旧古人减一个加一个小巧思）:

Y−1Yˉ=(Y−Y^)+(Y^−1Yˉ)\mathbf{Y} - \mathbf{1}\bar{Y} =(\mathbf{Y} - \hat{\mathbf{Y}})+ (\hat{\mathbf{Y}} - \mathbf{1}\bar{Y})

y右乘(Y^−1Yˉ)′(\hat{\mathbf{Y}} - \mathbf{1}\bar{Y})'得:

(Y−1Yˉ)(Y^−1Yˉ)′=(Y−Y^)(Y^−1Yˉ)′+(Y^−1Yˉ)(Y^−1Yˉ)′(\mathbf{Y} - \mathbf{1}\bar{Y})(\hat{\mathbf{Y}} - \mathbf{1}\bar{Y})' =(\mathbf{Y} - \hat{\mathbf{Y}})(\hat{\mathbf{Y}} - \mathbf{1}\bar{Y})'+ (\hat{\mathbf{Y}} - \mathbf{1}\bar{Y})(\hat{\mathbf{Y}} - \mathbf{1}\bar{Y})'

等号右边第一项是我们的饺子，饺子直接没有（等于0，即：

(Y−1Yˉ)′(Y^−1Yˉ)=(Y^−1Yˉ)′(Y^−1Yˉ)(\mathbf{Y} - \mathbf{1}\bar{Y})'(\hat{\mathbf{Y}} - \mathbf{1}\bar{Y}) = (\hat{\mathbf{Y}} - \mathbf{1}\bar{Y})'(\hat{\mathbf{Y}} - \mathbf{1}\bar{Y})

两边除以(n−1)(n - 1)得到:

SYY^=SY^Y^S_{Y\hat{Y}} = S_{\hat{Y}\hat{Y}}

最后代入美梦：

(RYX)2=R2(R_{YX})^2 = R^2

例题

已知随机向量 X\mathbf{X}与Y\mathbf{Y}的均值向量与协方差矩阵为

μX=[−32],μY=[01],ΣXX=[8225],ΣYY=[6−2−27],ΣXY=[31−13]\boldsymbol{\mu}_{\mathbf{X}} = \begin{bmatrix} -3 \\ 2 \end{bmatrix}, \quad \boldsymbol{\mu}_{\mathbf{Y}} = \begin{bmatrix} 0 \\ 1 \end{bmatrix}, \quad \boldsymbol{\Sigma}_{\mathbf{XX}} = \begin{bmatrix} 8 & 2 \\ 2 & 5 \end{bmatrix}, \quad \boldsymbol{\Sigma}_{\mathbf{YY}} = \begin{bmatrix} 6 & -2 \\ -2 & 7 \end{bmatrix}, \quad \boldsymbol{\Sigma}_{\mathbf{XY}} = \begin{bmatrix} 3 & 1 \\ -1 & 3 \end{bmatrix}

求：（1）第 1 典型相关系数ρ^1\hat{\rho}_1；（2）第 1 对典型变量 (U1,V1)(U_1, V_1)。

说明：计算结果保留小数点后两位，并约定典型变量系数之和为正。

直接给出定理：

令 ΣXX−1ΣXYΣYY−1ΣYX\boldsymbol{\Sigma}_{\mathbf{XX}}^{-1}\boldsymbol{\Sigma}_{\mathbf{XY}}\boldsymbol{\Sigma}_{\mathbf{YY}}^{-1}\boldsymbol{\Sigma}_{\mathbf{YX}}的特征值和特征向量为λk\lambda_k和ak\mathbf{a}_k，k=1,2,…,pk = 1,2,\dots,p

ΣYY−1ΣYXΣXX−1ΣXY\boldsymbol{\Sigma}_{\mathbf{YY}}^{-1}\boldsymbol{\Sigma}_{\mathbf{YX}}\boldsymbol{\Sigma}_{\mathbf{XX}}^{-1}\boldsymbol{\Sigma}_{\mathbf{XY}}的特征值和特征向量为λℓ\lambda_\ell和bℓ\mathbf{b}_\ell，ℓ=1,2,…,q\ell = 1,2,\dots,q

则第 ii 典型相关系数：ρi=λi\rho_i = \sqrt{\lambda_i}

第ii 对典型变量：Ui=ai′XU_i = \mathbf{a}_i'\mathbf{X}，Vi=bi′YV_i = \mathbf{b}_i'\mathbf{Y}

其中，ai′ΣXXai=1\mathbf{a}_i'\boldsymbol{\Sigma}_{\mathbf{XX}}\mathbf{a}_i = 1，bi′ΣYYbi=1\mathbf{b}_i'\boldsymbol{\Sigma}_{\mathbf{YY}}\mathbf{b}_i = 1，i=1,2,…,pi = 1,2,\dots,p，λ1≥λ2≥⋯≥λp≥0\lambda_1 \geq \lambda_2 \geq \dots \geq \lambda_p \geq 0。

这就纯套公式，在计算方面都是考研线代的没什么要说的：

（1）第 1 典型相关系数ρ^1\hat{\rho}_1；

Σxx−1=136[5−2−28]\Sigma^{-1}_{\mathbf{xx}} = \frac{1}{36} \begin{bmatrix} 5 & -2 \\ -2 & 8 \end{bmatrix} ΣYY−1=138[7226]\Sigma_{\mathbf{YY}}^{-1} = \frac{1}{38} \begin{bmatrix} 7 & 2 \\ 2 & 6 \end{bmatrix}

ΣYX\Sigma_{YX}是ΣXY\Sigma_{XY}的转置（因为ΣYX=Cov(Y,X)=ΣXY′\Sigma_{YX} = \text{Cov}(Y,X) = \Sigma'_{XY}）。所以：

ΣYX=[31−13]\Sigma_{YX} = \begin{bmatrix} 3 & 1 \\ -1 & 3 \end{bmatrix}

设A=ΣXX−1ΣXYΣYY−1ΣYXA = \Sigma_{XX}^{-1} \Sigma_{XY} \Sigma_{YY}^{-1} \Sigma_{YX}

A=11368[379−33−58366]A = \frac{1}{1368} \begin{bmatrix} 379 & -33 \\ -58 & 366 \end{bmatrix}

求解特征值:

**解 ∣A−λI∣=0，即：|\mathbf{A} - \lambda \mathbf{I}| = 0，即：(可以化成小数做，应该简单一点)

∣3791368−λ−331368−5813683661368−λ∣=0\begin{vmatrix} \frac{379}{1368} - \lambda & -\frac{33}{1368} \\ -\frac{58}{1368} & \frac{366}{1368} - \lambda \end{vmatrix} = 0

计算过程先不讲了，你计算器不会没有解方程功能吧？不会吧？不会吧？ 如果没有的话，可以买这个计算器： 广告位出租

λ=745±88.4592×1368  ⟹  λ1≈833.4592736≈0.3046,λ2≈656.5412736≈0.2400\lambda = \frac{745 \pm 88.459}{2 \times 1368} \implies \lambda_1 \approx \frac{833.459}{2736} \approx 0.3046, \quad \lambda_2 \approx \frac{656.541}{2736} \approx 0.2400

第一典型相关系数:

ρ^1=λ1=0.3046≈0.5519≈0.55\hat{\rho}_1 = \sqrt{\lambda_1} = \sqrt{0.3046} \approx 0.5519 \approx 0.55

（2）第 1 对典型变量 (U1,V1)(U_1, V_1)

求特征向量了，这里给大家回忆一下（因为我忘了）：

写出 A−λ1IA - \lambda_1 I

A−λ1I≈[0.2770−0.3046−0.0241−0.04240.2675−0.3046]=[−0.0276−0.0241−0.0424−0.0371]A - \lambda_1 I \approx \begin{bmatrix} 0.2770 - 0.3046 & -0.0241 \\ -0.0424 & 0.2675 - 0.3046 \end{bmatrix} = \begin{bmatrix} -0.0276 & -0.0241 \\ -0.0424 & -0.0371 \end{bmatrix}

化为行阶梯形

消除小数好算，将矩阵乘以 −10000-10000：

[276241424371]\begin{bmatrix} 276 & 241 \\ 424 & 371 \end{bmatrix}

这里我们取的λ1\lambda_1是约等于的，所以有误差，其实第一行和第二行是成比例的。所以可以直接取第一行来算特征向量：

276a1+241a2=0  ⟹  a1=−241276a2。取 a2=276 得 a1=−241276a_1 + 241a_2 = 0 \implies a_1 = -\frac{241}{276}a_2 \text{。取 } a_2 = 276 \text{ 得 } a_1 = -241 即基础解系为 a0=(−241,276)T\text{即基础解系为 }a_0 = (-241,276)^T

此时还没完全写完，因为典型相关分析要求典型变量 Ui=ai′XU_i = \mathbf{a}_i' \mathbf{X} 的方差为1，即

Var(Ui)=ai′ΣXXai=1\mathrm{Var}(U_i) = \mathbf{a}_i' \boldsymbol{\Sigma}_{\mathbf{XX}} \mathbf{a}_i = 1

手头的基础解系 a\mathbf{a} 只满足方向，不满足方差约束。因此需要计算

c=a0′ΣXXa0c = \sqrt{\mathbf{a}_0' \boldsymbol{\Sigma}_{\mathbf{XX}} \mathbf{a}_0}

然后令

ai=a0c\mathbf{a}_i = \frac{\mathbf{a}_0}{c}

这样就能保证ai′ΣXXai=1.\mathbf{a}_i' \boldsymbol{\Sigma}_{\mathbf{XX}} \mathbf{a}_i = 1.

标准化 a1\mathbf{a}_1使a1′ΣXXa1=1\mathbf{a}_1' \Sigma_{\mathbf{XX}} \mathbf{a}_1 = 1

计算a0′ΣXXa0\mathbf{a}_0' \Sigma_{\mathbf{XX}} \mathbf{a}_0：

ΣXXa0=[8225][−241276]=[8(−241)+2(276)2(−241)+5(276)]=[−1928+552−482+1380]=[−1376898]\Sigma_{\mathbf{XX}} \mathbf{a}_0 = \begin{bmatrix} 8 & 2 \\ 2 & 5 \end{bmatrix} \begin{bmatrix} -241 \\ 276 \end{bmatrix} = \begin{bmatrix} 8(-241) + 2(276) \\ 2(-241) + 5(276) \end{bmatrix} = \begin{bmatrix} -1928 + 552 \\ -482 + 1380 \end{bmatrix} = \begin{bmatrix} -1376 \\ 898 \end{bmatrix} a0′ΣXXa0=(−241)(−1376)+(276)(898)=331616+247848=579464\mathbf{a}_0' \Sigma_{\mathbf{XX}} \mathbf{a}_0 = (-241)(-1376) + (276)(898) = 331616 + 247848 = 579464

于是

c=579464≈761.22c = \sqrt{579464} \approx 761.22

标准化：

a1=a0c≈[−241/761.22276/761.22]≈[−0.31660.3626]\mathbf{a}_1 = \frac{\mathbf{a}_0}{c} \approx \begin{bmatrix} -241/761.22 \\ 276/761.22 \end{bmatrix} \approx \begin{bmatrix} -0.3166 \\ 0.3626 \end{bmatrix}

系数和为正

系数和 (−0.3166)+0.3626=0.046>0(-0.3166) + 0.3626 = 0.046 > 0，已经为正，无需调整。(不为正就取负号)

保留两位小数：

a1≈[−0.320.36]\mathbf{a}_1 \approx \begin{bmatrix} -0.32 \\ 0.36 \end{bmatrix}

所以

U1=−0.32X1+0.36X2U_1 = -0.32X_1 + 0.36X_2

现在算 V1V_1，要是再按考研的方法做一遍要累吐了，所以有以下的性质：

b0=ΣYY−1ΣYXa1b_0 = \Sigma_{YY}^{-1} \Sigma_{YX} a_1

首先计算 ΣYXa1\boldsymbol{\Sigma}_{\mathbf{YX}}\mathbf{a}_1：

ΣYXa1=[3−113][−0.31660.3626]=[3(−0.3166)−1(0.3626)1(−0.3166)+3(0.3626)]=[−0.9498−0.3626−0.3166+1.0878]=[−1.31240.7712].\boldsymbol{\Sigma}_{\mathbf{YX}}\mathbf{a}_1 = \begin{bmatrix} 3 & -1 \\ 1 & 3 \end{bmatrix} \begin{bmatrix} -0.3166 \\ 0.3626 \end{bmatrix} = \begin{bmatrix} 3(-0.3166) - 1(0.3626) \\ 1(-0.3166) + 3(0.3626) \end{bmatrix} = \begin{bmatrix} -0.9498 - 0.3626 \\ -0.3166 + 1.0878 \end{bmatrix} = \begin{bmatrix} -1.3124 \\ 0.7712 \end{bmatrix}.

再乘 ΣYY−1：\boldsymbol{\Sigma}_{\mathbf{YY}}^{-1}：

ΣYY−1=138[7226].\boldsymbol{\Sigma}_{\mathbf{YY}}^{-1} = \frac{1}{38}\begin{bmatrix} 7 & 2 \\ 2 & 6 \end{bmatrix}. b0=138[7226][−1.31240.7712]=138[7(−1.3124)+2(0.7712)2(−1.3124)+6(0.7712)]≈[−0.201170.05269]\mathbf{b}_0 = \frac{1}{38}\begin{bmatrix} 7 & 2 \\ 2 & 6 \end{bmatrix} \begin{bmatrix} -1.3124 \\ 0.7712 \end{bmatrix} = \frac{1}{38}\begin{bmatrix} 7(-1.3124)+2(0.7712) \\ 2(-1.3124)+6(0.7712) \end{bmatrix} \approx \begin{bmatrix} -0.20117 \\ 0.05269 \end{bmatrix}

令标准化后为 b1\mathbf{b}_1 使 b1′ΣYYb1=1\mathbf{b}_1'\boldsymbol{\Sigma}_{\mathbf{YY}}\mathbf{b}_1 = 1

因为是用公式变换而来的，所以标准差 c=λ1=ρ^1≈0.5519c = \sqrt{\lambda_1} = \hat{\rho}_1 \approx 0.5519。

标准化：

b1=b00.5519≈[−0.20117/0.55190.05269/0.5519]≈[−0.36450.0955].\mathbf{b}_1 = \frac{\mathbf{b}_0}{0.5519} \approx \begin{bmatrix} -0.20117/0.5519 \\ 0.05269/0.5519 \end{bmatrix} \approx \begin{bmatrix} -0.3645 \\ 0.0955 \end{bmatrix}.

符号调整

系数和 (−0.3645)+0.0955=−0.269<0(-0.3645) + 0.0955 = -0.269 < 0，乘以 -1 得到

b1≈[0.3645−0.0955].\mathbf{b}_1 \approx \begin{bmatrix} 0.3645 \\ -0.0955 \end{bmatrix}.

此时和为 (0.269 > 0)。保留两位小数：

b1≈[0.36−0.10].\mathbf{b}_1 \approx \begin{bmatrix} 0.36 \\ -0.10 \end{bmatrix}.

所以

V1=0.36 Y1−0.10 Y2.V_1 = 0.36\,Y_1 - 0.10\,Y_2.

最终结果

U1=−0.32X1+0.36X2,V1=0.36Y1−0.10Y2U_1 = -0.32 X_1 + 0.36 X_2,\quad V_1 = 0.36 Y_1 - 0.10 Y_2
Thanks for reading!

多元统计分析-第五章计算详解

周日 6月 07 2026
2312 字 · 10 分钟
期末复习 多元统计分析
© MeLsrain | CC BY-NC-SA 4.0

分享这篇博客

X (Twitter) Telegram Reddit Facebook Email
链接已复制成功！

赞赏支持

微信收款码
微信
支付宝收款码
支付宝

Comments

目录

cover

青山绿野

渡边 雅二