固定效应还是随机效应?

发布时间:2022-05-09 阅读 4014

Stata连享会   主页 || 视频 || 推文 || 知乎 || Bilibili 站

温馨提示: 定期 清理浏览器缓存,可以获得最佳浏览体验。

New! lianxh 命令发布了:
随时搜索推文、Stata 资源。安装:
. ssc install lianxh
详情参见帮助文件 (有惊喜):
. help lianxh
连享会新命令:cnssc, ihelp, rdbalance, gitee, installpkg

课程详情 https://gitee.com/lianxh/Course

课程主页 https://gitee.com/lianxh/Course

⛳ Stata 系列推文:

PDF下载 - 推文合集

作者:韩杰 (暨南大学)
邮箱han_ovetk@foxmail.com

编者按:本文主要摘译自下文,特此致谢!
Source:Clark T S, Linzer D A. Should I use fixed or random effects?[J]. Political science research and methods, 2015, 3(2): 399-408. -PDF-


目录


在社会科学中,实证分析经常面对的是聚类或分组的定量数据。为了解释群体水平的变化并改善模型的拟合优度,学者们通常会选择一个固定或随机效应模型。但是,目前关于在什么条件下应该选择哪种方法的建议仍然含糊不清,有时甚至是相互矛盾的。

1. 引言

本文为学者们在固定效应和随机效应模型之间的选择提供了实用指导。这两个模型都包含了一系列假设,这些假设在任何给定的数据中都可能被违背。在某些条件下,随机效应模型可以引入偏差,但减少了对关注系数估计的方差。固定效应估计将是无偏的,但可能受样本依赖性的影响。

我们认为,研究者不应该过分重视最小化偏差或方差,而应该考虑在任何一个模型中两者之间的权衡。如果协变量与组效应相关,随机效应模型在系数估计中可能存在偏差,但这并不意味着协变量与组效应之间的任何相关,就认为固定效应是首选的。相反,应该判断的是产生了多少偏差,以及使用固定效应会引入多少方差。

2. 主要问题

考虑线性模型,观测值 i=1...N 可分成组 j=1...J

假设每个组的 β 是相同的。组效应 αj 表示在已知 x 的情况下,组 j 中 y 的预测必须向上或向下调整的量。j[i] 表示组 j 中的观测值 i。由于组效应是除 x 之外的所有其他预测 y 的未知系统因素,如果这些因素是已知的,他们可以作为协变量,来解释 y 的额外变动,以及消除 αj 的组间变异性。

由于这些变量不包括在模型中,我们用 αj 来代替他们。如果不考虑 αj 组间变化的可能性,则会导致对 β 的偏差估计。假设组效应都是等价的,即对于所有 j 和 kαj=αk,那么上述模型可简化为混合模型:

如果组效应不同,但与 x 不相关,则混合模型在估计 β 时也不会产生偏差。然而,在大多数应用中,组效应在一定程度上与 x 有关,因此必须对 αj 的变化进行建模,以避免对 β 的错误估计。

3. 固定效应和随机效应

有两种标准的方法来模拟 αj 的变化:固定效应和随机效应。固定效应模型是 y 对 x 的线性回归,它为每个组增加了一系列指示变量 zj,如果观测值 i 在组 j 内,则 zj[i]=1,否则 zj[i]=0

在随机效应模型中,αj 被假设遵循一个概率分布。这种分布是典型的正态分布,平均组效应为 μα 和方差为 σα2,它描述了其他单位效应在平均值周围的变化。

当我们假设 αjN(μα,) 而不是 αjN(μα,σα2) 时,随机效应估计量等价于固定效应估计量 (Gelman 和 Hill,2007)。实际上,两种模型下 β 系数的估计是数学相关的。设 xjyj 表示 j 组的 n 个观测值。根据 Greene (2012),随机效应模型 β 的广义最小二乘估计为:

令 I 为 n×n 的单位矩阵,i 是 n×1 的列,

其中,

当 σα2 或 n,θ1 时,随机效应估计量 β^RE 将简化为固定效应估计量 β^FE (Greene,2012)。

4. 如何选择

在某些情况下,固定效应和随机效应模型之间的选择遵循研究人员的理论模型。然而,理论模型往往没有一个特定的规范,以及理论模型并不适合经验依据。此时,两种模型并不存在明显的区分。

4.1 高方差问题

在特定条件下,固定效应模型中的 β 估计可能高度依赖于样本——即对给定数据中的随机误差过于敏感。假设组内观测值很少,或者相对于 y 的变化量,组内 x 的变化很小。那么 x 对 y 的组内效应估计可能会由于偶然因素,与真实效应产生相当大的偏差。固定效应模型的一个缺点是需要估计每组指示变量的系数。这大大降低了模型的效率,增加了系数估计的标准误差。当组内样本量很小时,问题就更严重了,因为仅是组效应就可以解释因变量的大部分变化。

随机效应模型通过跨组部分汇集信息,使 β 的估计具有较低的可变性 (Gelman 和 Hill,2007)。随机效应估计量在固定效应模型和混合模型之间形成了折中,对于偏离的组别,将其 αj 向平均值 μα 收缩。这使得 β 的估计值远离不稳定的固定效应估计值,而接近于更稳定 (尽管可能存在偏差) 的估计值。

4.2 偏差问题

随机效应模型最严重的缺点是在估计 β 时引入偏差问题。为了消除这种偏差,随机效应估计量要求协变量 x 和组效应 αj 之间不相关。

假设有一个变量 z 可以预测 y,但没有作为协变量包含在随机效应模型中。由于在模型中遗漏了 z,组 j 中 y 的更高或更低水平被组效应 αj 代替。为了在系数的估计中没有偏差,x 和 z 之间必须没有相关性。由于随机效应模型不估计单独的组效应,x 和 αj 之间的任何相关性都可能意味着在估计 β 时产生偏差。x 和 αj 之间的相关性越大,估计 β 的偏差越大。

有学者建议使用 Hausman (1978) 规范检验来检测是否违反了解释变量与组效应正交的随机效应模型假设。当检验结果显著时,表明 x 与 αj 之间存在相关性,这意味着应该摒弃随机效应模型,而采用固定效应模型。然而,在大多数应用中,协变量和组效应之间的真正相关性并不完全为零。

因此,如果 Hausman 检验不能拒绝正交性的零假设,很可能不是因为真正的相关性是零,相反,该检验很可能缺乏足够的统计能力来可靠的区分小相关性和零相关性。当使用随机效应模型时,即使 Hausman 检验没有发现显著的结果,在 β 的估计中仍然会有偏差。当然,在许多情况下,如果有偏 (随机效应) 估计量比无偏 (固定效应) 估计量提供足够的方差收缩,则有偏估计量可能比无偏估计量更可取。

4.3 实际考虑

除了这些理论考虑之外,研究人员在决定固定效应和随机效应估计值时,还可能考虑一些实际和技术问题。例如,研究人员通常希望在模型中包含一个重要的、在组内不变化的协变量。在这种情况下,组内不变估计量将与组指示变量完全共线,使其不可能估计该变量的独特影响,或者,自变量可能在每个组内表现出极小的变化。

在时间序列截面数据中,随时间变化非常缓慢的自变量通常被称为 slow moving or sluggish。如果 sluggish 和组效应之间的相关性足够高,则可以破坏对自变量效应的估计。当使用固定效应估计量时,进行样本外预测是不可能的,因为未观察到的组效应是未知的。在随机效应模型中,使用模型对总体中组效应潜在分布的估计作为样本外预测是可行的。

5. 相关推文

Note:产生如下推文列表的 Stata 命令为:
lianxh 固定效应 随机效应, m
安装最新版 lianxh 命令:
ssc install lianxh, replace

相关课程

免费公开课

最新课程-直播课

专题 嘉宾 直播/回看视频
最新专题 文本分析、机器学习、效率专题、生存分析等
研究设计 连玉君 我的特斯拉-实证研究设计-幻灯片-
面板模型 连玉君 动态面板模型-幻灯片-
面板模型 连玉君 直击面板数据模型 [免费公开课,2小时]
  • Note: 部分课程的资料,PPT 等可以前往 连享会-直播课 主页查看,下载。

课程主页

课程主页

关于我们

  • Stata连享会 由中山大学连玉君老师团队创办,定期分享实证分析经验。
  • 连享会-主页知乎专栏,700+ 推文,实证分析不再抓狂。直播间 有很多视频课程,可以随时观看。
  • 公众号关键词搜索/回复 功能已经上线。大家可以在公众号左下角点击键盘图标,输入简要关键词,以便快速呈现历史推文,获取工具软件和数据下载。常见关键词:课程, 直播, 视频, 客服, 模型设定, 研究设计, stata, plus, 绘图, 编程, 面板, 论文重现, 可视化, RDD, DID, PSM, 合成控制法

连享会小程序:扫一扫,看推文,看视频……

扫码加入连享会微信群,提问交流更方便

✏ 连享会-常见问题解答:
https://gitee.com/lianxh/Course/wikis

New! lianxhsongbl 命令发布了:
随时搜索连享会推文、Stata 资源,安装命令如下:
. ssc install lianxh
使用详情参见帮助文件 (有惊喜):
. help lianxh