异质性分析：系数平滑可变模型

发布时间：2021-03-24 阅读 5139

Stata连享会主页 || 视频 || 推文 || 知乎

温馨提示： 定期清理浏览器缓存，可以获得最佳浏览体验。

New！ lianxh 命令发布了：
随时搜索连享会推文、Stata 资源，安装命令如下：
. ssc install lianxh
使用详情参见帮助文件 (有惊喜)：
. help lianxh

✌ 课程详情： https://gitee.com/lianxh/Course

✨ 课程主页： https://gitee.com/lianxh/Course

⛳ Stata 系列推文：

全部 | Stata入门 | Stata教程 | Stata资源 | Stata命令
计量专题 | 论文写作 | 数据分享 | 专题课程
结果输出 | Stata绘图 | 数据处理 | Stata程序
回归分析 | 面板数据 | 交乘项-调节 | IV-GMM
内生性-因果推断 | 倍分法DID | 断点回归RDD | PSM-Matching | 合成控制法
Probit-Logit | 时间序列 | 空间计量 | 分位数回归 | 生存分析 | SFA-DEA
文本分析-爬虫 | Python-R-Matlab | 机器学习
Markdown | 工具软件 | 其它

作者：许曼曼 (中山大学)
邮箱：451689616@qq.com

编者按：本文摘译自下文，特此致谢！
Source：Rios-Avila F. Smooth varying-coefficient models in Stata[J]. The Stata Journal, 2020, 20(3): 647-679. -PDF- -PPT-

1. 引言

异质性是实证研究中常见的问题，以教育回报率的研究为例，异质性是指教育对不同人群收入的影响是不同的，即不同人群的教育回报率不同。解决异质性问题的常见方法是分组回归或引入交互项 (参见第 9 小节相关推文)，以及推文面板变系数模型：每家公司都有一个斜率中介绍的方法。

本文介绍另一种更加方便的方法—— 系数平滑可变模型 (SVCM)。这是一种半参数估计模型。该模型同时具有参数模型完整性和非参数模型灵活性的优点，因此可以更好反映问题的异质性。

2. 非参数估计模型

y_{i} = g (W_{i}) + e_{i} E (e_{i} ∣ W_{i}) = 0

非参数估计模型如上式所示，其中 $g (\cdot)$ 的估计方法主要有两种：基于核函数的方法与基于转换函数的方法。

2.1 核函数方法：局部核权重估计

\hat{g} (w) = E (y_{i} ∣ W_{i} = w) = \frac{\sum y_{i} K (W_{i}, w, h)}{\sum K (W_{i}, w, h)}

其中， $h = {h_{ω 1}, h_{ω 2}, \dots, h_{ω k}}$ 是带宽向量， $K (\cdot)$ 是核函数。

K (W_{i}, w, h) = \prod_{j = 1}^{k} K_{j} (W_{i j}, ω_{j}, h_{c j}) = \prod_{j = 1}^{k} k_{j} (\frac{W_{i j} - ω_{j}}{h_{c j}})

核函数给予离点 $w$ 近的观察值更高的权重，而带宽向量 $h$ 决定使用多少信息用于条件均值的估计。随着 $k$ 的增加和 $h$ 趋近于 0，用于估计的有效观察值的数量快速减少。

2.2 以原变量的转换形式 $S (\cdot)$ 与交叉项 $I (\cdot)$ 作为解释变量

y_{i} = S {(W_{i})}^{'} β_{ω} + I {S (W_{i})}^{'} β_{I_{W}} + e_{i}

其中转换函数通常是多项式或样条函数。 $S (\cdot)$ 和 $I (\cdot)$ 的维度所代表的调节参数决定了估计量的准确性。但随着解释变量和维度的增加，待估系数的数量呈指数方式增加，使得模型自由度快速下降，偏误增大。

2.3 非参数估计模型的优缺点

非参数估计虽然灵活性较强，不需要设定过多假设，但缺点也较为明显：

“维度的诅咒”：随着解释变量与维度的增加，待估系数的数量快速增加，要求的数据集也越来越大；
模型估计与检验的方法计算量很大，不适用于大样本数据；
适用于大样本的与非参数模型相关的 Stata 命令较少。

因此，本文主要根据 Rios-Avila (2020) 的文章介绍一种半参数估计模型，即系数平滑可变模型 (SVCM) 及其 Stata 命令。

3. SVCM 建模与估计方法

y_{i} = X_{i}^{'} β (Z_{i}) + e_{i} E (e_{i} ∣ X_{i}, Z_{i}) = 0

SVCM 将解释变量 $W$ 分为两类 $W = (X, Z)$ ，其中 $X$ 与 $Y$ 的线性关系是基于 $Z$ 的非线性函数，即 $Y$ 是 $Z$ 条件下 $X$ 的线性函数，系数 $β (Z_{i})$ 是 $Z$ 的非线性函数。相比非参数估计，SVCM 通过设定 $X$ 对 $Y$ 的线性影响是基于 $Z$ 的条件，减少了 “维度诅咒” 的影响。

与非参数模型的估计思路相似， $β (Z_{i})$ 的估计方法有两种，即使用关于 $Z$ 的局部多项式核函数和样条函数。本文介绍的模型是只有一个平滑变量的 SVCM，估计方法为核函数估计。

y_{i} = X_{i}^{'} β (Z_{i}) + e_{i} E (e_{i} ∣ X_{i}, Z_{i}) = 0 (1)

在本文的 SVCM 中 $Z$ 只包含一个变量， $X$ 是包含常数项的其他解释变量的集合。由于平滑变量只有一个，带宽向量 $h$ 是一个常数。根据核函数的方法，得到的局部常数估计量 (LC) 为：

\hat{β} (z, h) = {\sum X_{i} X_{i}^{'} k (\frac{Z_{i} - z}{h})}^{- 1} {\sum X_{i} y_{i} k (\frac{Z_{i} - z}{h})}

矩阵形式：

\hat{β} (z, h) = {X^{'} κ_{h} (z) X}^{- 1} {X^{'} κ_{h} (z) Y} (2)

考虑到接近 $Z$ 边界时 LC 估计量可能有较大的偏差，故可以使用局部线性估计量 (LL) 替代，模型由 (1) 变为下式：

β (Z_{i}) ≅ β (z) + (Z_{i} - z) \frac{\partial β (z)}{\partial z}

y_{i} ≅ X_{i}^{'} {β (z) + (Z_{i} - z) \frac{\partial β (z)}{\partial z}} + e_{i}

y_{i} ≅ X_{i}^{'} β (z) + X_{i}^{'} (Z_{i} - z) \frac{\partial β (z)}{\partial z} + e_{i} (3)

式 (3) 表示近似的 $y_{i}$ 可以通过关于 $β (z)$ 的线性扩展式求得，且 $Z_{i}$ 越接近 $z_{i}$ ，近似值越准确。

定义 $χ_{i} = {X_{i} (Z_{i} - z) \otimes X_{i}}$ 为 $χ$ 的第 $i$ 行， $(Z_{i} - z) \otimes X_{i}$ 表示 $X_{i}$ 中的每个变量都乘以辅助变量 $(Z_{i} - z)$ 。那么类似于式 (2)， $β (z)$ 和 $\frac{\partial β (z)}{\partial z}$ 的局部线性估计量 (LL) 可表示为：

[\begin{matrix} \hat{β} (z, h) \\ \frac{\partial \hat{β} (z, h)}{\partial z} \end{matrix}] = {χ^{'} κ_{h} (z) χ}^{- 1} {χ^{'} κ_{h} (z) Y} (4)

4. SVCM 模型选择

4.1 模型选择方法：去一法-交叉验证

SVCM 估计中最重要的参数是带宽 $h$ 。带宽越大，说明更多的观察值被使用，则估计量的方差越小，但同时模型自由度下降，估计量的偏误也越大。反之，小带宽下估计量的偏误小，但方差大。

标准的 OLS 回归就相当于选择了一个无穷大的带宽 $h$ 以保证估计量的方差最小，但有偏。而简单地限定平滑变量为某一特定值的样本下的 OLS 回归则相当于选择一个 $h = 0$ 的带宽，方差大而偏误小。因此，通过交叉验证选择最优的带宽是必要的。有关去一法和交叉验证的介绍，参见：

根据去一法-交叉验证 (LOO-CV)，最优带宽在 $C V (h)$ 取值最小时取得：

\begin{array}{l} h^{*} & = min_{h} C V (h) = min_{h} \sum_{i = 1}^{N} ω (z_{i}) {y_{i} - X_{i}^{'} {\hat{β}}_{- i} (z_{i}, h)}^{2} \\ = min_{h} \sum_{i = 1}^{N} ω (z_{i}) {y_{i} - {\hat{y}}_{- i} (h)}^{2} \end{array}

其中， ${\hat{β}}_{- i} (z_{i}, h)$ 是给定带宽 $h$ ，除去第 $i$ 个观察值后得到的 LOO-CV 系数估计量 $\hat{β} (z_{i}, h)$ ， ${\hat{y}}_{- i} (h)$ 是对应的拟合值， $ω (z_{i})$ 是用以调整 $Z$ 分布不均问题的权重。

从上式来看，求出最优带宽似乎需要很大的计算量 (N 组系数)，但实际上估计 $C V (h)$ 不需要那么多的估计方程，原因主要有两点：

一是平滑变量虽然是连续变量，但在数据集中的记录形式往往是离散型的，因而待估系数 $\hat{β} (z_{i}, h)$ 比样本数少很多；

二是估计 $C V (h)$ 不一定需要估出 ${\hat{β}}_{- i} (z_{i}, h)$ ，只需估 LOO 残差 ${\tilde{e}}_{i} (h) = y_{i} - {\hat{y}}_{- i} (h)$ ，而该 LOO 残差可以由 SVCM 残差 ${\hat{e}}_{i} (h) = y_{i} - X_{i}^{'} \hat{β} (z_{i}, h)$ 通过 leverage statistic [ ${lev}_{i} (z_{i}, h)$ ] 得出：

{\tilde{e}}_{i} (h) = y_{i} - {\hat{y}}_{- i} (h) = \frac{y_{i} - {\hat{y}}_{i} (h)}{1 - {lev}_{i} (z_{i}, h)} = \frac{{\hat{e}}_{i} (h)}{1 - {lev}_{i} (z_{i}, h)} (5)

其中， ${lev}_{i} (z_{i}, h)$ 是局部估计矩阵 $H_{z i} (h) = χ {χ^{'} κ_{h} (z_{i}) χ}^{- 1} χ^{'} κ_{h} (z_{i})$ 的第 $i$ 个对角元素：

{lev}_{i} (z_{i}, h) = χ_{i} {χ^{'} κ_{h} (z_{i}) χ}^{- 1} χ_{i}^{'} \times k (0)

因此，定义 $z_{p r} = (z_{1}, z_{2}, \dots, z_{J})$ 为包含 $Z$ 所有不同值且从小到大排序的向量， $C V (h)$ 可以重写为如下式子 (估计方程数量从 N 降为 J)：

C V (h) = \sum_{j = 1}^{J} \sum_{i | Z_{i} = z_{j}} ω (z_{j}) {(\frac{y_{i} - X_{i}^{'} \hat{β} (z_{j}, h)}{1 - {lev}_{i} (z_{j}, h)})}^{2} = \sum_{j = 1}^{J} \sum_{i | Z_{i} = z_{j}} ω (z_{j}) {\tilde{e}}_{i} (h)^{2} (6)

若使用式 (6) 计算过程还是较慢，可以使用 block/binned LL regression 获得 $C V (h)$ 的近似值，那么估计方程数量将更少，从 J 降为 P 。

4.2 Stata 实操-模型选择

4.2.1 命令介绍

vc_bw 和 vc_bwalt 命令安装：

search vc_bw

vc_bw 和 vc_bwalt 的语法结构相同：

vc_bw[alt] depvar [indervars] [if] [in], vcoeff(svar) ///
    [knots(#k) km(#km) bwi(#) trimsample(trimvar) kernel(kernel) plot]

depar：因变量 $Y$ ；
indepvar：所有对 $Y$ 有条件线性关系的解释变量 $X$ ；
vcoeff(svar)：svar 为平滑变量 $Z$ ，vcoeff() 明确用于平滑可变系数估计的变量；
knots(#k) 与 km(#km)：可选项，表示以最小化 $C V (h)$ 近似值的方式得出最优带宽。使用 knot(-2) 表示对平滑变量所有不同值进行交叉验证估计；
bwi(#)：设定初始的带宽值 # 以加快寻找最优带宽的过程；
trimsample(trimvar)：给定变量名称，生成虚拟变量以识别出用于交叉验证的子样本；
kernel(kernel)：设置核函数以得到估计所需的权重，默认为高斯函数；
plot: 画出带宽 $h$ 和与之相对应的交叉验证值 $C V (h)$ 的关系图。

4.2.2 命令使用

以某地的月度酒驾传票数量数据集 (dui.dta) 为例。假设认为酒驾传票数量 (citations) 受到该地是否处在大学区 (college)、酒精饮料是否为税收商品 (taxes)、城市水平 (csize) 等变量的影响，若要研究不同水平下的罚款 (fines) 对于该线性关系的影响，则可以建立以罚款为平滑变量的 SVCM。

*数据地址：https://gitee.com/arlionn/data/blob/master/data01/dui.dta
. webuse dui.dta
(Fictional data on monthly drunk driving citations)

. sum

  Variable |  Obs     Mean    Std. Dev.   Min    Max
-----------+----------------------------------------
     taxes |  500     .704    .4569481      0      1
     fines |  500   9.8952    .7818949    7.4     12
     csize |  500    2.006    .8434375      1      3
   college |  500     .248    .4322843      0      1
 citations |  500   22.018    9.802748      4     80

以 citations 为因变量，college、taxes、csize 为解释变量，fines 为平滑变量，建立系数平滑可变模型。首先，通过交叉验证获得最优带宽。

. vc_bw citations taxes college i.csize, vcoeff(fines)
Kernel: gaussian
Iteration: 0 BW:   0.5539761 CV:   3.129985
Iteration: 1 BW:   0.6870520 CV:   3.120199
Iteration: 2 BW:   0.7343729 CV:   3.119504
Iteration: 3 BW:   0.7397456 CV:   3.119497
Iteration: 4 BW:   0.7397999 CV:   3.119497
Bandwidth stored in global $opbw_
Kernel function stored in global $kernel_
VC variable name stored in global $vcoeff_

命令执行结束后，会列示出交叉验证迭代过程中的几项带宽 $h$ 和交叉验证值 $C V (h)$ ，从中可以看出，最优带宽是 0.7398。而且程序会将最优带宽、核函数、平滑变量名称等信息分别储存在名为 opbw_、kernel_、vcoeff_ 的宏中。

5. SVCM 模型估计与统计推断

5.1 模型估计：局部核权重估计-LL估计量

y_{i} ≅ X_{i}^{'} β (z) + X_{i}^{'} (Z_{i} - z) \frac{\partial β (z)}{\partial z} + e_{i} (3)

[\begin{matrix} \hat{β} (z, h) \\ \frac{\partial \hat{β} (z, h)}{\partial z} \end{matrix}] = {χ^{'} κ_{h} (z) χ}^{- 1} {χ^{'} κ_{h} (z) Y} (4)

获得最优带宽 $h^{*}$ 后，要估计模型 (3)，将 $h^{*}$ 与平滑变量值 $z$ 带入核函数得到权重，再根据式 (4) 即可得到系数的 LL 估计量。

5.2 统计推断：方差-协方差矩阵估计

5.2.1 渐进估计

\begin{aligned} {\hat{Σ}}_{β}^{a s} (z, h^{*}) & = {\hat{Var}}_{a s} [\begin{array}{c} \hat{β} (z, h^{*}) \\ \frac{\partial \hat{β} (z, h^{*})}{\partial z} \end{array}] \\ = q_{c} {X^{'} K_{h} (z) X^{'}}^{- 1} {X^{'} K_{h} (z) D K_{h} (z) X} {X^{'} K_{h} (z) X^{'}}^{- 1} \end{aligned} (7)

其中， $D$ 是第 $i$ 个元素为 ${\hat{e}}_{i} {(h^{*})}^{2}$ 的对角矩阵，文献对核回归中的 $q_{c}$ 尚无较多表述，通常假定 $q_{c} = 1$ 或 $q_{c} = \frac{N}{{N - \dim (χ)}}$ ，其中 $\dim (χ)$ 是模型中所有需要拟合的系数数量。

与 HC2 (heteroskedasticity-consistent 2) 和 (HC3) 等价的方式，用 $\frac{{\hat{e}}_{i} {(h^{*})}^{2}}{1 - {lev}_{i} (z, h^{*})}$ 或