Stata论文复现：高维线性回归的变量筛选-baing-ocmt

发布时间：2022-01-31 阅读 1835

Stata连享会主页 || 视频 || 推文 || 知乎 || Bilibili 站

温馨提示： 定期清理浏览器缓存，可以获得最佳浏览体验。

New！ lianxh 命令发布了：
随时搜索推文、Stata 资源。安装：
. ssc install lianxh
详情参见帮助文件 (有惊喜)：
. help lianxh
连享会新命令：cnssc, ihelp, rdbalance, gitee, installpkg

✌ 课程详情： https://gitee.com/lianxh/Course

⛳ 课程主页： https://gitee.com/lianxh/Course

⛳ Stata 系列推文：

全部 | Stata入门 | Stata教程 | Stata资源 | Stata命令
计量专题 | 论文写作 | 数据分享 | 专题课程
结果输出 | Stata绘图 | 数据处理 | Stata程序
回归分析 | 面板数据 | 交乘项-调节 | IV-GMM
内生性-因果推断 | 倍分法DID | 断点回归RDD | PSM-Matching | 合成控制法
Probit-Logit | 时间序列 | 空间计量 | 分位数回归 | 生存分析 | SFA-DEA
文本分析-爬虫 | Python-R-Matlab | 机器学习
Markdown | 工具软件 | 其它

☝ PDF下载 - 推文合集

作者：罗兰若 (中山大学)
邮箱：luolr@mail2.sysu.edu.cn

编者按：本文主要摘译自下文，特此致谢！
Source：Núñez H M, Otero J. A one covariate at a time, multiple testing approach to variable selection in high‐dimensional linear regression models: A replication in a narrow sense[J]. Journal of Applied Econometrics, 2021, 36(6): 833-841. -PDF-

1. 问题引入

OCMT (A One Covariate at A Time) 是在高维回归模型中，通过多重检验，选出最接近真实模型协变量的方法。它可以作为惩罚回归的替代方法，在一些实验当中，其性能优于 Lasso 和 Adaptive Lasso 等方法。

OCMT 由 Chudik 等 (2018) 提出。此后，Nunez 和 Otero (2021) 开发了 baing 和 ocmt 命令，并在 Stata 中复现了 Chudik 等 (2018) 的部分实证结果。本文的主要目的是对上述过程进行简要说明。

2. OCMT 原理介绍

简单而言，OCMT 的步骤是：

将因变量对事先确定的解释变量 $z_{t}$ 和协变量 $x_{i, t}$ 进行线性回归，每次只放入 1 个 $x_{i, t}$ 。然后考察其统计显著性，若高于事先设定的阈值则将其放入模型中；
提高阈值，重复上述步骤，直到模型不再变化。

关于 OCMT 的理论基础和 ocmt 命令的用法介绍，请参考连享会推文「ocmt：高维固定效应模型的变量筛选问题」。

3. Stata 实操

3.1 数据介绍

Chudik 等 (2018) 对美国 1960q1-2008q4 期间经济增长和通货膨胀的影响因素进行了研究。相关数据可从网站「Journal of Applied Econometrics Data Archive」或命令 lxhget ckp2018.zip, replace 获取。该数据主要包括以下 4 个 txt 文件：

empir_m.txt：包含 74 个月度变量的数据 (自变量)；
cpi.txt：月度消费者价格指数 (CPI) 数据 (自变量)；
empir_q.txt：35 个季度变量的数据 (因变量)；
gdp.txt：季度国内生产总值的数据 (因变量)。

数据处理代码放在 Data_analysis.do 中，关键代码放在 Data_management.do 中，这里不详细展开。需要注意的是，月度变量通过对每个季度的第二个月依次取样转换成季度数据。由于取了两期滞后项，前两个观测值的丢失导致样本期从 1960q3 开始。

3.2 命令介绍

考虑以下模型：

y_{t} = a^{'} z_{t} + Σ_{t = 1}^{k} β_{i} x_{i t} + u_{t}

其中， $y_{t}$ 是关注的解释变量， $z_{t}$ 为预先选定放入模型中的变量， $x_{i t}$ 是待筛选的自变量， $u_{t}$ 是扰动项。 $z_{t}$ 可以包括确定项 (如常数、虚拟变量和线性趋势) 和/或随机变量 (包括公共因素和解释变量 $y_{t}$ 的滞后值)。为了确定预选变量 $z_{t}$ ，我们先对这一高维面板数据进行公共因素的提取。

Bai 和 Ng (2002) 提供了一个对高维面板数据 ( $N, T \to \infty$ ) 公共因素数量进行一致估计的方法，估计过程遵循信息标准 (Information Criteria，IC)。该估计方法遵循一个前提假设：当使用大量的预测因子进行预测时，它们所包含的信息可以由数量较少的估计因子充分地概括出来 (Stock 和 Watson，2002)。

基于这份研究，作者设计了 baing 命令。

* 命令安装
ssc install baing, replace

baing 用于时间序列数据，使用前需要先执行 tsset 命令。

* 命令语法
baing varlist [if] [in] [, options].

其中，varlist：待筛选的自变量。options 包括：

criteria(integer)：表示运用 3 种信息标准 IC1、IC2、IC3 中的 1 种，默认选择 IC1；
maxpc(integer)：规定公共因素数量的最大值，默认为 varlist 中的变量数；
stand：将数据进行标准化，通过减去每个变量的平均值再除以标准差；
prefix(string)：将分析出的公共因素存储为变量 string1、string2 等。如果不使用该选项，只保存公共因素的数量。

返回值 r(baing_ic) 储存提取的公共因素个数。

3.3 实际操作

实证分析过程采用滚动窗口回归，使用 74 个子样本，每个子样本由 120 个季度组成，即 1960q3-1990q2，1960q4-1990q3，以此类推至 1979q1-2008q4。在每个窗口中，使用因变量和待筛选的自变量来确定公共因素。

下面以第一个样本窗口 1960q3-1990q2 和因变量 cpi 为例，介绍命令 baing 和 ocmt 在实际操作中的使用及相应结果。

3.3.1 baing 命令

基于 Bai 和 Ng (2002) 的 IC1 标准，最大因子数设定为 5。baing 命令如下：

qui baing cpi qv* mv*, max(5) stand prefix(myfactors) crit(1)

其中，qv*、mv* 均为一系列自变量，分别有 35 个和 74 个；myfactors 指定生成的公共因素的命名形式，最终生成了 myfactors1、myfactors2、myfactors3、myfactors4 共 4 个公共因素；numfactors 中存储提取的公共因素个数为 4。接下来，将提取的 4 个公共因素将作为 OCMT 的预选变量 $z_{t}$ 的一部分，加入到后续分析中。

3.3.2 `ocmt` 命令

qui ocmt cpi l1.qv* l1.mv* l(1/4).cpi , delta1(1) delta2(2) zvar(l1.factor*)

其中，qv*、mv* 均为一系列自变量，分别有 35 个和 74 个；factor* 为通过 baing 命令分析得出的公共因素 myfactors* 的三期滞后项。

经过两个阶段后，OCMT 结果收敛，因此选取第二阶段得到的模型。需要注意的是，OCMT 执行过程中 Active set 是指待选择的自变量构成的集合。

. ocmt cpi l1.qv* l1.mv* l(1/4).cpi , delta1(1) delta2(2) zvar(l1.factor*)

Significance level not specified. Using default value
Dependent variable: cpi
Active set: L.qv1 L.qv2 L.qv3...L.cpi L2.cpi L3.cpi L4.cpi
Number of variables in active set = 113
Pvalue =         .05
delta_1 =       1
delta_2 =       2
Pvalue_1 =       .05
Pvalue_2 =       .00044248
t_threshold_1 = 3.5133598
t_threshold_2 = 4.6158056
Preselected variables (apart from constant): L.factors1 L.factors2 L.factors3
Variables chosen in stage 1
L.qv20 L.qv27 L.cpi L3.cpi
Variables chosen in stage 2
L.qv20 L.qv27 L.cpi L3.cpi L2.cpi
Variables chosen in stage 3
L.qv20 L.qv27 L.cpi L3.cpi L2.cpi
------------------------------------------------------------------------------
------------------------------------------------------------------------------
One Covariate at a Time Multiple Testing (OCMT)
Chosen model after 2 stages
------------------------------------------------------------------------------
      Source |       SS           df       MS      Number of obs   =       189
-------------+----------------------------------   F(8, 180)       =     18.94
       Model |  .002628647         8  .000328581   Prob > F        =    0.0000
    Residual |  .003122216       180  .000017346   R-squared       =    0.4571
-------------+----------------------------------   Adj R-squared   =    0.4330
       Total |  .005750864       188   .00003059   Root MSE        =    .00416
------------------------------------------------------------------------------
         cpi |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
        qv20 |
         L1. |  -.0001378   .0064482    -0.02   0.983    -.0128617     .012586
             |
        qv27 |
         L1. |  -.1115361   .0845849    -1.32   0.189    -.2784416    .0553695
             |
         cpi |
         L1. |  -.6944746   .1054599    -6.59   0.000    -.9025714   -.4863779
         L3. |   .0167011   .0745922     0.22   0.823    -.1304865    .1638887
         L2. |  -.4719376    .088855    -5.31   0.000    -.6472691   -.2966061
             |
    factors1 |
         L1. |  -.0049336   .0007536    -6.55   0.000    -.0064206   -.0034466
             |
    factors2 |
         L1. |   .0010071   .0013829     0.73   0.467    -.0017217    .0037358
             |
    factors3 |
         L1. |  -.0017449   .0015739    -1.11   0.269    -.0048506    .0013609
             |
       _cons |   .0000975   .0003031     0.32   0.748    -.0005006    .0006956
------------------------------------------------------------------------------

3.3.3 结果汇总

经过对 74 个子样本重复进行上述操作，最终得出了在总体中被挑选频率最高的 5 个自变量，计算出自变量被挑选的相对频率 $S e l e c t$ 的值，用以衡量自变量的相对重要程度：

S e l e c t = \frac{f}{74} \times 100

最终结果如下表所示，这与 Chudik 等 (2018) 中的 Table III 结果完全一致。

target	select	vlabel
cpi	100	FIRST LAG OF CPI
cpi	78.378378	THIRD LAG OF CPI
cpi	71.621622	MZM (SA) FRB ST. LOUIS
cpi	45.945946	MONEY STOCK: M2
cpi	33.783784	RECREATION PRICE INDEX
gdp	47.297297	RESIDENTIAL PRICE INDEX
gdp	45.945946	FIRST LAG OF GDP
gdp	43.243243	INDUSTRIAL PRODUCTION INDEX - FUELS
gdp	37.837838	OUTPUT PER HOUR ALL PERSONS
gdp	27.027027	EMPLOYEES, NONFARM - MINING

4. 参考文献

Núñez H M, Otero J. A one covariate at a time, multiple testing approach to variable selection in high‐dimensional linear regression models: A replication in a narrow sense[J]. Journal of Applied Econometrics, 2021, 36(6): 833-841. -PDF-
Chudik A, Kapetanios G, Pesaran M H. A One Covariate at a Time, Multiple Testing Approach to Variable Selection in High‐Dimensional Linear Regression Models[J]. Econometrica, 2018, 86(4): 1479-1512. -PDF-
Bai J, Ng S. Determining the number of factors in approximate factor models[J]. Econometrica, 2002, 70(1): 191-221. -PDF-
Stock J H, Watson M W. Macroeconomic forecasting using diffusion indexes[J]. Journal of Business & Economic Statistics, 2002, 20(2): 147-162. -PDF-

5. 相关推文

Note：产生如下推文列表的 Stata 命令为：
lianxh 变量筛选 lasso, m
安装最新版 lianxh 命令：
ssc install lianxh, replace

专题	嘉宾	直播/回看视频
⭐ 最新专题		文本分析、机器学习、效率专题、生存分析等
研究设计	连玉君	我的特斯拉-实证研究设计，-幻灯片-
面板模型	连玉君	动态面板模型，-幻灯片-
面板模型	连玉君	直击面板数据模型 [免费公开课，2小时]

Stata论文复现：高维线性回归的变量筛选-baing-ocmt

1. 问题引入

2. OCMT 原理介绍

3. Stata 实操

3.1 数据介绍

3.2 命令介绍

3.3 实际操作

3.3.1 baing 命令

3.3.2 `ocmt` 命令

3.3.3 结果汇总

4. 参考文献

5. 相关推文

相关课程

免费公开课

最新课程-直播课

⛳ 课程主页

⛳ 课程主页

关于我们

热门资讯

Stata论文复现：高维线性回归的变量筛选-baing-ocmt

1. 问题引入

2. OCMT 原理介绍

3. Stata 实操

3.1 数据介绍

3.2 命令介绍

3.3 实际操作

3.3.1 baing 命令

3.3.2 ocmt 命令

3.3.3 结果汇总

4. 参考文献

5. 相关推文

相关课程

免费公开课

最新课程-直播课

⛳ 课程主页

⛳ 课程主页

关于我们

热门资讯

3.3.2 `ocmt` 命令