伍德里奇先生的问题:PSM-分析中的配对——小蝌蚪找妈妈

发布时间:2020-10-03 阅读 4771

Stata 连享会   主页 || 视频 || 推文

温馨提示: 定期 清理浏览器缓存,可以获得最佳浏览体验。

课程详情 https://gitee.com/arlionn/Course   |   lianxh.cn

课程主页 https://gitee.com/arlionn/Course

作者:刘涛 (中山大学岭南学院)
邮箱:liut75@mail2.sysu.edu.cn


目录


写在前面: 相信《小蝌蚪找妈妈》是不少人的童年回忆。在数据处理中,我们常常需要处理像「小蝌蚪」要找到「妈妈」的数据,并将它们成功匹配。

本文将借助 伍德里奇教授statalist 论坛的 提问和后续讨论 来讲讲利用 Stata 数据处理中「小蝌蚪」找到「妈妈」的故事。

在推文的末尾,我们也附上了伍德里奇教授在论坛里提问时的原贴。我们能从中能够感受到严谨的治学态度。即使是提出这么一个简单的问题,他也会花大量的篇幅来描述问题的背景,并附上自己测试的一些代码,以便让其他坛友花最短的时间了解问题背景。这即可以节省他人的时间,也有助于自己尽快获取有用的反馈信息。

1. 问题描述

我们手头有如下面板数据(精简版):

  +-----------------------------+
  | id   year   nb1   nb2     x |
  |-----------------------------|
  |  1   2000     2     3   100 |
  |  1   2001     2     3   110 |
  |  1   2002     2     3   120 |
  |-----------------------------|
  |  2   2000     1     4   200 |
  |  2   2001     1     4   210 |
  |  2   2002     1     4   220 |
  |-----------------------------|
  |  3   2000     4     .   300 |
  |  3   2001     4     .   310 |
  |  3   2002     4     .   320 |
  |-----------------------------|
  |  4   2000     3     2   400 |
  |  4   2001     3     2   410 |
  |  4   2002     3     2   420 |
  +-----------------------------+

该样本源于一个社区调查,共有四户居民,其中 id 为编号,year 为调查年份,nb1 为其邻居一 neighbor1idnb2 为其邻居二 neighbor2 的编号。以第一个样本为例,其 nb1=2nb2=3,说明第二户和第三户居民是其邻居。x 值是调查值,可以理解为收入。 现在,我们需要做的工作就是,将样本对应的邻居的 x 值匹配到数据中来,即让样本找到其邻居的数据,来构造一个协变量。最终想要的结果如下:

  +---------------------------------------------+
  | id   year   nb1   nb2     x   x_nb1   x_nb2 |
  |---------------------------------------------|
  |  1   2000     2     3   100     200     300 |
  |  1   2001     2     3   110     210     310 |
  |  1   2002     2     3   120     220     320 |
  |---------------------------------------------|
  |  2   2000     1     4   200     100     400 |
  |  2   2001     1     4   210     110     410 |
  |  2   2002     1     4   220     120     420 |
  |---------------------------------------------|
  |  3   2000     4     .   300     400       . |
  |  3   2001     4     .   310     410       . |
  |  3   2002     4     .   320     420       . |
  |---------------------------------------------|
  |  4   2000     3     2   400     300     200 |
  |  4   2001     3     2   410     310     210 |
  |  4   2002     3     2   420     320     220 |
  +---------------------------------------------+

接下来,我们将基于论坛中SebastianRobert 提出的解决方法,来介绍如何巧妙地使用 Stata 中的 MergeRangestat 的命令来解决上述问题。

这些解决思路在 PSM (Propensity Score Matching,倾向得分匹配分析) 中非常有用。例如,对于文献中普遍使用的 PSM-DID 方法中,最为棘手的问题就是如何在完成 PSM 分析后,把 实验组(Treat group)对照组(Control group) 的样本对应起来,以便做后续的 DID (倍分法, 双重差分) 分析。

2. 解决方法

先将原始数据存储起来:

*-----------balance data---------------
clear
input ///
id year nb1 nb2 x
1  2000  2  3  100
1  2001  2  3  110
1  2002  2  3  120
2  2000  1  4  200
2  2001  1  4  210
2  2002  1  4  220
3  2000  4  .  300
3  2001  4  .  310
3  2002  4  .  320
4  2000  3  2  400
4  2001  3  2  410
4  2002  3  2  420
end
save "Peer_Woold_balance", replace
*-------------------------------------

2.1 方法 1:公式求解


根据 *Sebastian 的方法,我们可以将原始的数据按 idyear 排序,之后通过 nb1 的值构造出对应公式,找出数组中的下标,从而代入完成匹配。代码如下:

use "Peer_Woold_balance", clear
sort id year           //排序
by id: gen n = _n       //按id生成序列,即1,2,3分别代表不同的年份
local N = n[_N]           //生成暂元,记录固定的N=3
gen x_nb1 = x[(nb1 - 1) * `N' + n] //匹配nb1的数据
gen x_nb2 = x[(nb2 - 1) * `N' + n] //匹配nb2的数据
drop n

该方法的关键之处就是构造出了 (nb1-1)N + n 这个公式来计算下标。因为排序过后,x 是一个按 idyear 排序的序列,只要代入下标,就能得到对应的值。如,当 nb1=3 时,我们就要取 x 中的第 7 位到第 9 位,(nb1-1)*3 得到 6,再分别加序列 1,2,3 即得到我们想要的结果。

2.2 方法 2:使用 Merge 命令进行匹配

通常我们在匹配数据时,我们可能会想到 Excel 中万能的 VLOOKUP 函数:


VLOOKUP(要查找的值,查找范围,返回值的位置,精确匹配)

其实,stata 中的 Merge 命令也能实现该功能。

  • Merge 命令常用来进行数据集的合并,即从外部数据文件中,增加变量,它主要有四种方式来进行合并:
  1. 1:1 合并
. merge 1:1 varlist using filename [, options]
  1. m:1 合并
. merge m:1 varlist using filename [, options]
  1. 1:m 合并
. merge 1:m varlist using filename [, options]
  1. m:m 合并
. merge m:m varlist using filename [, options]

其中,varlist 则是用来唯一标示每一行观察值的一个或一组的变量。

Robert 认为,可以将 nb1、nb2 对应的数据单独导出为一个数据文件,再通过 Merge命令,通过 idyear 来识别每一行观察值,从而将 nb1nb2 的数值对应横向合并到原有数据集中。

* 保存 nb1 的数据集
use "Peer_Woold_balance", clear
keep id year x
rename (id x) (nb1 x_nb1)
save "nb1.dta", replace

* 保存 nb2 的数据集
use "Peer_Woold_balance", clear
keep id year x
rename (id x) (nb2 x_nb2)
save "nb2.dta", replace

* 回到原始的数据集 Peer_Woold_balance.dta,进行横向合并
use "Peer_Woold_balance", clear
merge m:1 nb1 year using "nb1.dta", keep(master match) nogen //nogen是设定不生成_Merge的指示变量。
merge m:1 nb2 year using "nb2.dta", keep(master match) nogen
isid id year, sort      //按id、year排序
list, sepby(id)

这是通过 Merge 的实现方法,更为具体的功能可以 help merge 深入了解。

2.3 方法 3:使用 rangestat 命令

除了 Merge 之外,Robert 也提出了借助 Rangestat 来解决数据匹配问题的方法。

根据 Stata 帮助文件的定义:rangestat 命令主要用于针对特定的观察值进行相关的统计工作,格式如下:

. rangestat (stat) varname, interval(keyvar low high) [options]

主要选项的含义如下:

  • (stat): 常常是你所要进行的统计工作,如求最小值 min,均值 mean 等等
  • varname: 即是所进行统计的变量
  • interval(): 则是选定数据的范围

如下例子则可以对 rep78 筛选后的数据,统计 pricempg 变量的最小值、均值等:

sysuse auto, clear
rangestat (min) price mpg (mean) price mpg, interval(rep78 0 0)

由于我们的数据是面板数据,其中要通过 idyear 两个变量来确定样本, 而 rangestat 筛选条件只有一个,因此,我们可以通过创建一个新变量来包含上述 idyear 的信息。 在这里,类似于创建我们的学号,如 15353333,15 代表入学年份,35 代表院系,3333 代表学生顺序,创建了 12000、12001 等变量。

gen double bigid= id*10000+year
gen double idyear=nb1*10000+year

在将创建完新的变量之后,我们需要将 idyearbigid 进行匹配, 将那些 bigid 的值等于当前 idyear 的观察值找出来, interval(bigid idyear idyear) 命令可以完美实现这个功能。

rangestat (min) x_nb1=x,interval(bigid idyear idyear)
//以第一个样本为例,idyear=22000,rangestat通过这个语句,就能在bigid这一变量中找到bigid=22000的样本,之后对其进行统计。
replace idyear = nb2 * 10000 + year
replace idyear = 0 if mi(idyear)
rangestat (min) nb_2=x, interval(bigid idyear idyear)
list, sepby(id)

3. 哪种方法好?

表面上看起来第一种方法似乎最为简洁,但第二种方法的思路最为清晰。对于任何一种方法,我们的主要评价依据是该方法是否有通用性。以此来判断,第二种方法的通用性是最强的。这是因为,第一种方法只适用于平行面板数据,而在实际的匹配过程中,我们的数据往往是非平行面板。大家可以考虑一下非平行面板的情形:

  +-----------------------------+
  | id   year   nb1   nb2     x |
  |-----------------------------|
  |  1   2000     2     3   100 |
  |  1   2001     2     3   110 |
  |-----------------------------|
  |  2   2000     1     4   200 |
  |  2   2001     1     4   210 |
  |  2   2002     1     4   220 |
  |-----------------------------|
  |  3   2000     4     .   300 |
  |  3   2001     4     .   310 |
  |  3   2002     4     .   320 |
  |-----------------------------|
  |  4   2000     3     2   400 |
  |  4   2001     3     2   410 |
  |  4   2002     3     2   420 |
  |  4   2003     .     .   430 |
  +-----------------------------+

此时,第一种方法得到的结果是错乱的(当然,可能需要重新构造公式):

  +---------------------------------------------+
  | id   year   nb1   nb2     x   x_nb1   x_nb2 |
  |---------------------------------------------|
  |  1   2000     2     3   100     220     400 |
  |  1   2001     2     3   110     300     410 |
  |---------------------------------------------|
  |  2   2000     1     4   200     100       . |
  |  2   2001     1     4   210     110       . |
  |  2   2002     1     4   220     200       . |
  |---------------------------------------------|
  |  3   2000     4     .   300       .       . |
  |  3   2001     4     .   310       .       . |
  |  3   2002     4     .   320       .       . |
  |---------------------------------------------|
  |  4   2000     3     2   400     400     220 |
  |  4   2001     3     2   410     410     300 |
  |  4   2002     3     2   420     420     310 |
  |  4   2003     .     .   430       .       . |
  +---------------------------------------------+

相对而言,第二种方法仍然可以得到正确结果:

*-----------unbalance data---------------
clear
input ///
id year nb1 nb2 x
1  2000  2  3  100
1  2001  2  3  110
2  2000  1  4  200
2  2001  1  4  210
2  2002  1  4  220
3  2000  4  .  300
3  2001  4  .  310
3  2002  4  .  320
4  2000  3  2  400
4  2001  3  2  410
4  2002  3  2  420
4  2003  .  .  430
end
*---------------------------------------
save "Peer_Woold_unbalance", replace
list, sepby(id) noobs


*-----------
*-2.2 方法2:使用 Merge 命令进行匹配

* 保存nb1的数据集

  use "Peer_Woold_unbalance", clear
  keep id year x
  rename (id x) (nb1 x_nb1)
  save "nb1.dta", replace

* 保存nb2的数据集
  use "Peer_Woold_unbalance", clear
  keep id year x
  rename (id x) (nb2 x_nb2)
  save "nb2.dta", replace

* 回到原始的数据集main.dta,进行横向合并
  use "Peer_Woold_unbalance", clear
  merge m:1 nb1 year using "nb1.dta", keep(master match) nogen //nogen是设定不生成_Merge的指示变量。
  merge m:1 nb2 year using "nb2.dta", keep(master match) nogen
  isid id year, sort      //按id、year排序
  list, sepby(id)

结果如下:

  +---------------------------------------------+
  | id   year   nb1   nb2     x   x_nb1   x_nb2 |
  |---------------------------------------------|
  |  1   2000     2     3   100     200     300 |
  |  1   2001     2     3   110     210     310 |
  |---------------------------------------------|
  |  2   2000     1     4   200     100     400 |
  |  2   2001     1     4   210     110     410 |
  |  2   2002     1     4   220       .     420 |
  |---------------------------------------------|
  |  3   2000     4     .   300     400       . |
  |  3   2001     4     .   310     410       . |
  |  3   2002     4     .   320     420       . |
  |---------------------------------------------|
  |  4   2000     3     2   400     300     200 |
  |  4   2001     3     2   410     310     210 |
  |  4   2002     3     2   420     320     220 |
  |  4   2003     .     .   430       .       . |
  +---------------------------------------------+

第三种方法留待各位读者自行测试。

4. 总结

通过介绍伍德里奇教授在 Statalist 的提问,想必大家对如何利用 mergerangestat 命令帮助「小蝌蚪」数据们找到了「妈妈」有了一定的了解。 当然,在数据处理中,问题是复杂的,解决问题的方法是多样的,大家若有新的想法或是问题,也希望大家与 Stata 连享会进行交流,共同进步。

5. 参考资料


附: 伍德里奇老兄的提问原文

Jeff Wooldridge,01 May 2016, 10:00 Hi All:

I have a problem where I have a (balanced) panel data set, and each cross-sectional unit in the data set comes with two neighbors, contained in the variables nb1 and nb2 (although some neighbor values are missing). I'd like to put the values of some of the neighbors' covariates on the proper line so I can include them in regression analysis. I know how to do this without a panel structure, and I found a recent helpful entry by Nick Cox that confirms what I thought. But I'm stuck for the panel data case.

The identities of the neighbors do not change over time.

The first block below gives a simple example of the structure, and the second block gives what I would like to have. I'd really appreciate any hints. Thanks, Jeff.

Code:

id year nb1 nb2 x


1 2000 2 3 100
1 2001 2 3 110
1 2002 2 3 120
2 2000 1 4 200
2 2001 1 4 210
2 2002 1 4 220
3 2000 4 . 300
3 2001 4 . 310
3 2002 4 . 320
4 2000 3 2 400
4 2001 3 2 410
4 2002 3 2 420

id year nb1 nb2 x x_nb1 x_nb2

1 2000 2 3 100 200 300
1 2001 2 3 110 210 310
1 2002 2 3 120 220 320
2 2000 1 4 200 100 400
2 2001 1 4 210 110 410
2 2002 1 4 220 120 420
3 2000 4 . 300 400  .
3 2001 4 . 310 410  .
3 2002 4 . 320 420  .
4 2000 3 2 400 300 200
4 2001 3 2 410 310 210
4 2002 3 2 420 320 220


相关课程

连享会-直播课 上线了!
http://lianxh.duanshu.com

免费公开课:


课程一览

支持回看,所有课程可以随时购买观看。

专题 嘉宾 直播/回看视频
最新专题 DSGE, 因果推断, 空间计量等
Stata 数据清洗 游万海 直播, 2 小时,已上线
研究设计 连玉君 我的特斯拉-实证研究设计-幻灯片-
面板模型 连玉君 动态面板模型-幻灯片-
面板模型 连玉君 直击面板数据模型 [免费公开课,2 小时]

Note: 部分课程的资料,PPT 等可以前往 连享会-直播课 主页查看,下载。


关于我们

  • Stata 连享会 由中山大学连玉君老师团队创办,定期分享实证分析经验。直播间 有很多视频课程,可以随时观看。
  • 连享会-主页知乎专栏,300+ 推文,实证分析不再抓狂。
  • 公众号推文分类: 计量专题 | 分类推文 | 资源工具。推文分成 内生性 | 空间计量 | 时序面板 | 结果输出 | 交乘调节 五类,主流方法介绍一目了然:DID, RDD, IV, GMM, FE, Probit 等。
  • 公众号关键词搜索/回复 功能已经上线。大家可以在公众号左下角点击键盘图标,输入简要关键词,以便快速呈现历史推文,获取工具软件和数据下载。常见关键词:课程, 直播, 视频, 客服, 模型设定, 研究设计, stata, plus, 绘图, 编程, 面板, 论文重现, 可视化, RDD, DID, PSM, 合成控制法

连享会主页  lianxh.cn
连享会主页 lianxh.cn

连享会小程序:扫一扫,看推文,看视频……

扫码加入连享会微信群,提问交流更方便

✏ 连享会学习群-常见问题解答汇总:
https://gitee.com/arlionn/WD