Stata：多元回归中控制其他因素不变的含义

发布时间：2022-07-27 阅读 1781

Stata连享会主页 || 视频 || 推文 || 知乎 || Bilibili 站

温馨提示： 定期清理浏览器缓存，可以获得最佳浏览体验。

New！ lianxh 命令发布了：
随时搜索推文、Stata 资源。安装：
. ssc install lianxh
详情参见帮助文件 (有惊喜)：
. help lianxh
连享会新命令：cnssc, ihelp, rdbalance, gitee, installpkg

✌ 课程详情： https://gitee.com/lianxh/Course

⛳ Stata 系列推文：

全部 | Stata入门 | Stata教程 | Stata资源 | Stata命令
计量专题 | 论文写作 | 数据分享 | 专题课程
结果输出 | Stata绘图 | 数据处理 | Stata程序
回归分析 | 面板数据 | 交乘项-调节 | IV-GMM
内生性-因果推断 | 倍分法DID | 断点回归RDD | PSM-Matching | 合成控制法
Probit-Logit | 时间序列 | 空间计量 | 分位数回归 | 生存分析 | SFA-DEA
文本分析-爬虫 | Python-R-Matlab | 机器学习
Markdown | 工具软件 | 其它

☝ PDF下载 - 推文合集

作者：付一帆 (天津大学)
邮箱：yifanfu_0912@tju.edu.cn

在实证研究中，为讨论因变量和自变量之间的因果关系，常常需要加入控制变量来排除其他因素的干扰。例如，研究子女上学年限对工资的影响，线性回归模型为：

y = β_{0} + β_{x} x + β_{z} z + ε

其中 $y$ 是年工资 (元)，核心解释变量 $x$ 是子女上学年限 (年)，控制变量 $z$ 是母亲上学年限 (年)。控制母亲上学年限最直观的方式是联想早期回归分析实验中的控制变量法，保证所有样本的母亲上学年限均相同。这样，子女上学年限变化导致工资的波动可以归因为子女上学年限对工资因果效应。

然而，这种保持其他因素不变或者控制其他因素在相同水平的方法只适用于实验数据，在观测数据中却很难做到。在实验中，可以轻易控制某一变量在不同个体之间保持相同水平，而获取观测数据时，由于不能对获得的样本值进行限制，我们很少能奢侈地保持某些变量不变。

那么，在非实验条件下如何剔除控制变量的干扰呢？控制变量究竟是如何被 “控制” 的呢？

1. 控制的正确打开方式

在介绍原理之前，首先观摩一下控制的正确打开方式。所谓的控制，本质上是一种 Partial out (排除影响) 的思想。

这里必须要提到的定理是 Frisch–Waugh–Lovell theorem (弗里希-沃定理，简称 FWL 定理)：多元回归中任何单一变量的系数，可以通过分步回归剔除回归模型中其他变量对因变量和自变量的影响后得到。具体而言，弗里希-沃定理分步回归的步骤如下：

首先，将 $y$ 与 $z$ 进行回归： $y = β_{0} + β_{1} z + ε_{1}$ ，得到的残差 $ε_{1}$ 剔除了 $z$ 对 $y$ 的影响，只包含 $z$ 不能解释的 $y$ 部分，即图中 $y$ 去除了 $z$ 能解释的 D+C 部分后剩下的 A+B 部分。

其次，将 $x$ 与 $z$ 进行回归： $x = α_{0} + β_{2} z + ε_{2}$ ，得到的残差 $ε_{2}$ 剔除了 $z$ 对 $x$ 的影响，只包含 $z$ 不能解释的 $x$ 部分，即图中 $x$ 去除了 $z$ 能解释的 E+C 部分后剩下的 B+F 部分。

最后，将 $ε_{1}$ 与 $ε_{2}$ 进行回归，因为 $ε_{1}$ 与 $ε_{2}$ 均值都为零，所以该回归模型不必带有截距项，回归方程： $ε_{1} = β_{3} ε_{2} + ε_{3}$ ，得到的 $β_{3}$ 被称为偏相关系数，指在控制变量 $z$ 后 $x$ 对 $y$ 的净效应，即图中 A+B 部分与 B+F 部分重合的 B 部分。

2. 控制实现的理论基础

上述分步回归的过程虽然剔除了控制变量的影响，但是大家可能不免疑惑：

(1) 如何从理论上证明残差 $ε_{1}$ 与残差 $ε_{2}$ 回归得到的 $β_{3}$ 就是 $y$ 对 $x$ 的回归系数？
(2) 为何在实际操作中我们并未执行复杂的分步回归步骤，直接一条 reg Y X Z 命令就认为已经控制变量了呢？

为了回答上述两个问题，我们将：

(1) 证明 FWL 定理对残差 $ε_{1}$ 与残差 $ε_{2}$ 回归系数为 $y$ 对 $x$ 的回归系数；
(2) 证明 OLS 回归与利用 FWL 定理的分步回归得到的偏回归系数估计值具有等价性。

2.1 前序知识矩阵投影

2.1.1 一维空间的矩阵投影

在证明前，首先了解矩阵投影的前序知识，矩阵投影的部分结论将在证明中得到应用。一维空间的矩阵投影如图所示：

其中， $p$ 是 $y$ 在 $x_{1}$ 上的投影。 $p$ 和 $x_{1}$ 是同向的，故可以表示为 $p = x_{1} a$ ， $a$ 是标量。根据 $p$ 和 $m$ 正交的条件，可以推导出 $a = \frac{x_{1}^{T} y}{x_{1}^{T} x_{1}}$ ，则：

\begin{matrix} p = x_{1} \frac{x_{1}^{T} y}{x_{1}^{T} x_{1}} = \frac{x_{1} x_{1}^{T}}{x_{1}^{T} x_{1}} y = P y \end{matrix}

\begin{matrix} P = \frac{x_{1} x_{1}^{T}}{x_{1}^{T} x_{1}} \end{matrix}

记 $P$ 为投影矩阵，说明在一维空间中，向量 $y$ 在 $x_{1}$ 上的投影 $p$ 是由投影矩阵 $P$ 作用在 $y$ 上得到的。 $m$ 是误差向量，表示为：

m = y - p = y - P y = (I - P) y = M y

记 $M$ 为残差生成矩阵，说明在一维空间中，误差向量 $m$ 是由残差生成矩阵 $M$ 作用在 $y$ 上得到的。

2.1.2 多维空间的矩阵投影

将一维空间的矩阵投影推广到多维空间，向量 $x_{1}$ 变成矩阵 $X$ 。记 $X$ 的列空间包含两个向量 $x_{1}$ 、 $x_{2}$ ，向量 $y$ 在 $X$ 空间上的投影为 $p$ ，则：

\begin{matrix} p = X a = [\begin{array}{ll} x_{1} & x_{2} \end{array}] [\begin{array}{l} a_{1} \\ a_{2} \end{array}] = a_{1} x_{1} + a_{2} x_{2} \end{matrix}

误差向量 $m = y - p$ 垂直于列空间的平面，故：

\begin{matrix} {\begin{cases} x_{1}^{T} (y - p) = 0 \\ x_{2}^{T} (y - p) = 0 \end{cases} \end{matrix}

\begin{matrix} X^{T} (y - p) = 0 \end{matrix}

\begin{matrix} X^{T} (y - X a) = 0 \end{matrix}

\begin{matrix} X^{T} y = X^{T} X a \end{matrix}

\begin{matrix} a = {(X^{T} X)}^{- 1} X^{T} y \end{matrix}

此时投影向量 $p$ 的形式为：

\begin{matrix} p = X a = X {(X^{T} X)}^{- 1} X^{T} y = P y \end{matrix}

\begin{matrix} P = X {(X^{T} X)}^{- 1} X^{T} \end{matrix}

\begin{matrix} m = y - P y = (I - P) y = M y \end{matrix}

记 $P$ 为投影矩阵，说明在多维空间中，向量 $y$ 在矩阵 $X$ 上的投影 $p$ 是由投影矩阵 $P$ 作用在 $y$ 上得到的。同样，误差向量 $m$ 是由残差生成矩阵 $M$ 作用在 $y$ 上得到的。

2.1.3 投影矩阵的性质

一维空间：

$P = P^{T}$ (对称性)
$P P = P$ (幂等性)
$M = I - P$
$M = M^{T}$ (对称性)
$M M = M$ (幂等性)
$M X = 0$

多维空间：

$P_{X} P_{x 1} = P_{x 1} P_{X} = P_{x 1}$
$M_{x} M_{x 1} = M_{x 1} M_{x} = M_{x}$
$M_{x} X_{1} = 0$

2.2 证明 FWL 定理

具体而言，假设线性回归方程为:

y = X β + ε

OLS 的估计量 $b$ 是使得残差平方和最小的 $b$ ，符合以下条件：

X^{'} X b = X^{'} y

将核心解释变量表示为 $x_{1}$ ，控制变量表示为 $X_{2}$ ，其中 $X_{2} = [x_{2}, \dots, x_{k}]$ 。 $X^{'} X$ 表示为：

[\begin{array}{cc} x_{1}^{'} x_{1} & x_{1}^{'} X_{2} \\ X_{2}^{'} x_{1} & X_{2}^{'} X_{2} \end{array}]

$X^{'} y$ 表示为：

[\begin{array}{l} x_{1}^{'} y \\ X_{2}^{'} y \end{array}]

根据 $X^{'} X b = X^{'} y$ 得到：

[\begin{array}{cc} x_{1}^{'} x_{1} & x_{1}^{'} X_{2} \\ X_{2}^{'} x_{1} & X_{2}^{'} X_{2} \end{array}] [\begin{array}{l} b_{1} \\ b_{2} \end{array}] = [\begin{matrix} x_{1}^{'} y \\ X_{2}^{'} y \end{matrix}]

根据矩阵乘法得到：

x_{1}^{'} x_{1} b_{1} + x_{1}^{'} X_{2} b_{2} = x_{1}^{'} y

X_{2}^{'} x_{1} b_{1} + X_{2}^{'} X_{2} b_{2} = X_{2}^{'} y

进一步得到：

X_{2}^{'} X_{2} b_{2} = X_{2}^{'} y - X_{2}^{'} x_{1} b_{1} = X_{2}^{'} (y - x_{1} b_{1})

b_{2} = {(X_{2}^{'} X_{2})}^{- 1} X_{2}^{'} (y - x_{1} b_{1})

将 $b_{2}$ 带入 $x_{1}^{'} x_{1} b_{1} + x_{1}^{'} X_{2} b_{2} = x_{1}^{'} y$ 得到：

x_{1}^{'} x_{1} b_{1} + x_{1}^{'} X_{2} {(X_{2}^{'} X_{2})}^{- 1} X_{2}^{'} (y - x_{1} b_{1}) = x_{1}^{'} y

根据矩阵投影 $\begin{matrix} P = X {(X^{T} X)}^{- 1} X^{T} \end{matrix}$ 的性质：

\begin{aligned} P_{2} = X_{2} {(X_{2}^{'} X_{2})}^{- 1} X_{2}^{'} \end{aligned}

x_{1}^{'} x_{1} b_{1} + x_{1}^{'} P_{2} (y - x_{1} b_{1}) = x_{1}^{'} y

x_{1}^{'} x_{1} b_{1} + x_{1}^{'} P_{2} y - x_{1}^{'} P_{2} x_{1} b_{1} = x_{1}^{'} y

(x_{1}^{'} x_{1} - x_{1}^{'} P_{2} x_{1}) b_{1} = x_{1}^{'} y - x_{1}^{'} p_{2} y

x_{1}^{'} (x_{1} - P_{2} x_{1}) b_{1} = x_{1}^{'} (y - p_{2} y)

x_{1}^{'} (I - P_{2}) x_{1} b_{1} = x_{1}^{'} (I - p_{2}) y

根据矩阵投影 $M_{2} = I - P_{2}$ 的性质，得到：

x_{1}^{'} M_{2} x_{1} b_{1} = x_{1}^{'} M_{2} y

b_{1} = {(x_{1}^{'} M_{2} x_{1})}^{- 1} x_{1}^{'} M_{2} y

根据残差生成矩阵 $M_{2}$ 的对称性及幂等性：

M_{2} = M_{2}^{'}

M_{2} = M_{2} M_{2} == M_{2}^{'} M_{2}

因此 $b_{1}$ 可以重新写为：

b_{1} = {(x_{1}^{'} M_{2}^{'} M_{2} x_{1})}^{- 1} x_{1}^{'} M_{2}^{'} M_{2} y

b_{1} = {[{(M_{2} x_{1})}^{'} M_{2} x_{1}]}^{- 1} {(M_{2} x_{1})}^{'} M_{2} y = {(e_{x 1}^{'} e_{x 1})}^{- 1} e_{x 1}^{'} e_{y}

其中， $e_{x 1} = M_{2} x_{1}$ ， $e_{y} = M_{2} y$ 。 $e_{y}$ 是 $y$ 对 $X_{2}$ 做回归后得到残差向量， $e_{x 1}$ 是 $x_{1}$ 对 $X_{2}$ 做回归后得到残差向量。 $b_{1}$ 公式即为 FWL 定理。

对比 OLS 估计量 $b = {(X^{'} X)}^{- 1} X^{'} y$ 的含义是 $y$ 对 $X$ 做回归的回归系数， $b_{1} = {(e_{x 1}^{'} e_{x 1})}^{- 1} e_{x 1}^{'} e_{y}$ 可以理解为被解释变量对控制变量做回归后的残差向量 $e_{y}$ 与核心解释变量对控制变量做回归后的残差向量 $e_{x 1}$ 再做回归得到的系数，此系数就是 $y$ 对 $x$ 的回归系数，(1) 证毕。

2.3 证明 OLS 与分步回归具有等价性

上面利用 FWL 定理进行分步回归估计的核心解释变量系数是：

b_{1} = {(x_{1}^{'} M_{2} x_{1})}^{- 1} x_{1}^{'} M_{2} y

假设用 OLS 回归估计线性回归方程:

y = P_{x} y + M_{x} y = x_{1} {\hat{β}}_{1} + x_{2} {\hat{β}}_{2} + M_{x} y

在上式两边同时乘以 $x_{1}^{'} M_{2}$ ，得到：