固定效应还是随机效应？

发布时间：2022-05-09 阅读 4014

Stata连享会主页 || 视频 || 推文 || 知乎 || Bilibili 站

温馨提示： 定期清理浏览器缓存，可以获得最佳浏览体验。

New！ lianxh 命令发布了：
随时搜索推文、Stata 资源。安装：
. ssc install lianxh
详情参见帮助文件 (有惊喜)：
. help lianxh
连享会新命令：cnssc, ihelp, rdbalance, gitee, installpkg

✌ 课程详情： https://gitee.com/lianxh/Course

⛳ 课程主页： https://gitee.com/lianxh/Course

⛳ Stata 系列推文：

全部 | Stata入门 | Stata教程 | Stata资源 | Stata命令
计量专题 | 论文写作 | 数据分享 | 专题课程
结果输出 | Stata绘图 | 数据处理 | Stata程序
回归分析 | 面板数据 | 交乘项-调节 | IV-GMM
内生性-因果推断 | 倍分法DID | 断点回归RDD | PSM-Matching | 合成控制法
Probit-Logit | 时间序列 | 空间计量 | 分位数回归 | 生存分析 | SFA-DEA
文本分析-爬虫 | Python-R-Matlab | 机器学习
Markdown | 工具软件 | 其它

☝ PDF下载 - 推文合集

作者：韩杰 (暨南大学)
邮箱：han_ovetk@foxmail.com

编者按：本文主要摘译自下文，特此致谢!
Source：Clark T S, Linzer D A. Should I use fixed or random effects?[J]. Political science research and methods, 2015, 3(2): 399-408. -PDF-

在社会科学中，实证分析经常面对的是聚类或分组的定量数据。为了解释群体水平的变化并改善模型的拟合优度，学者们通常会选择一个固定或随机效应模型。但是，目前关于在什么条件下应该选择哪种方法的建议仍然含糊不清，有时甚至是相互矛盾的。

1. 引言

本文为学者们在固定效应和随机效应模型之间的选择提供了实用指导。这两个模型都包含了一系列假设，这些假设在任何给定的数据中都可能被违背。在某些条件下，随机效应模型可以引入偏差，但减少了对关注系数估计的方差。固定效应估计将是无偏的，但可能受样本依赖性的影响。

我们认为，研究者不应该过分重视最小化偏差或方差，而应该考虑在任何一个模型中两者之间的权衡。如果协变量与组效应相关，随机效应模型在系数估计中可能存在偏差，但这并不意味着协变量与组效应之间的任何相关，就认为固定效应是首选的。相反，应该判断的是产生了多少偏差，以及使用固定效应会引入多少方差。

2. 主要问题

考虑线性模型，观测值 $i = 1 . . . N$ 可分成组 $j = 1. . . J$ ，

y_{i} = α_{j [i]} + β x_{i} + ε_{i}; ε_{i} \sim N (0, σ_{y}^{2})

假设每个组的 $β$ 是相同的。组效应 $α_{j}$ 表示在已知 $x$ 的情况下，组 $j$ 中 $y$ 的预测必须向上或向下调整的量。 $j_{[i]}$ 表示组 $j$ 中的观测值 $i$ 。由于组效应是除 $x$ 之外的所有其他预测 $y$ 的未知系统因素，如果这些因素是已知的，他们可以作为协变量，来解释 $y$ 的额外变动，以及消除 $α_{j}$ 的组间变异性。

由于这些变量不包括在模型中，我们用 $α_{j}$ 来代替他们。如果不考虑 $α_{j}$ 组间变化的可能性，则会导致对 $β$ 的偏差估计。假设组效应都是等价的，即对于所有 $j$ 和 $k$ ， $α_{j} = α_{k}$ ，那么上述模型可简化为混合模型：

y_{i} = α + β x_{i} + ε_{i}; ε_{i} \sim N (0, σ_{y}^{2})

如果组效应不同，但与 $x$ 不相关，则混合模型在估计 $β$ 时也不会产生偏差。然而，在大多数应用中，组效应在一定程度上与 $x$ 有关，因此必须对 $α_{j}$ 的变化进行建模，以避免对 $β$ 的错误估计。

3. 固定效应和随机效应

有两种标准的方法来模拟 $α_{j}$ 的变化：固定效应和随机效应。固定效应模型是 $y$ 对 $x$ 的线性回归，它为每个组增加了一系列指示变量 $z_{j}$ ，如果观测值 $i$ 在组 $j$ 内，则 $z_{j [i]} = 1$ ，否则 $z_{j [i]} = 0$ 。

y_{i} = \sum_{j = 1}^{J} α_{j} z_{j [i]} + β x_{i} + ε_{i}; ε_{i} \sim N (0, σ_{y}^{2})

在随机效应模型中， $α_{j}$ 被假设遵循一个概率分布。这种分布是典型的正态分布，平均组效应为 $μ_{α}$ 和方差为 $σ_{α}^{2}$ ，它描述了其他单位效应在平均值周围的变化。

y_{i} = α_{j [i]} + β x_{i} + ε_{i}; α_{j} \sim N (μ_{α}, σ_{α}^{2}); ε_{i} \sim N (0, σ_{y}^{2})

当我们假设 $α_{j} \sim N (μ_{α}, \infty)$ 而不是 $α_{j} \sim N (μ_{α}, σ_{α}^{2})$ 时，随机效应估计量等价于固定效应估计量 (Gelman 和 Hill，2007)。实际上，两种模型下 $β$ 系数的估计是数学相关的。设 $x_{j}$ 、 $y_{j}$ 表示 $j$ 组的 $n$ 个观测值。根据 Greene (2012)，随机效应模型 $β$ 的广义最小二乘估计为：

{\hat{β}}_{R E} = {(\sum_{j = 1}^{J} x_{j}^{'} Σ^{- 1} x_{j})}^{- 1} (\sum_{j = 1}^{J} x_{j}^{'} Σ^{- 1} y_{j})

令 $I$ 为 $n \times n$ 的单位矩阵， $i$ 是 $n \times 1$ 的列，

Σ^{- 1 / 2} = \frac{1}{σ_{y}} [I - \frac{θ}{n} i i^{'}]

其中，

θ = 1 - \frac{σ_{y}}{\sqrt{σ_{y}^{2} + n σ_{α}^{2}}}

当 $σ_{α}^{2} \to \infty$ 或 $n \to \infty, θ \to 1$ 时，随机效应估计量 ${\hat{β}}_{R E}$ 将简化为固定效应估计量 ${\hat{β}}_{F E}$ (Greene，2012)。

4. 如何选择

在某些情况下，固定效应和随机效应模型之间的选择遵循研究人员的理论模型。然而，理论模型往往没有一个特定的规范，以及理论模型并不适合经验依据。此时，两种模型并不存在明显的区分。

4.1 高方差问题

在特定条件下，固定效应模型中的 $β$ 估计可能高度依赖于样本——即对给定数据中的随机误差过于敏感。假设组内观测值很少，或者相对于 $y$ 的变化量，组内 $x$ 的变化很小。那么 $x$ 对 $y$ 的组内效应估计可能会由于偶然因素，与真实效应产生相当大的偏差。固定效应模型的一个缺点是需要估计每组指示变量的系数。这大大降低了模型的效率，增加了系数估计的标准误差。当组内样本量很小时，问题就更严重了，因为仅是组效应就可以解释因变量的大部分变化。

随机效应模型通过跨组部分汇集信息，使 $β$ 的估计具有较低的可变性 (Gelman 和 Hill，2007)。随机效应估计量在固定效应模型和混合模型之间形成了折中，对于偏离的组别，将其 $α_{j}$ 向平均值 $μ_{α}$ 收缩。这使得 $β$ 的估计值远离不稳定的固定效应估计值，而接近于更稳定 (尽管可能存在偏差) 的估计值。

4.2 偏差问题

随机效应模型最严重的缺点是在估计 $β$ 时引入偏差问题。为了消除这种偏差，随机效应估计量要求协变量 $x$ 和组效应 $α_{j}$ 之间不相关。

假设有一个变量 $z$ 可以预测 $y$ ，但没有作为协变量包含在随机效应模型中。由于在模型中遗漏了 $z$ ，组 $j$ 中 $y$ 的更高或更低水平被组效应 $α_{j}$ 代替。为了在系数的估计中没有偏差， $x$ 和 $z$ 之间必须没有相关性。由于随机效应模型不估计单独的组效应， $x$ 和 $α_{j}$ 之间的任何相关性都可能意味着在估计 $β$ 时产生偏差。 $x$ 和 $α_{j}$ 之间的相关性越大，估计 $β$ 的偏差越大。

有学者建议使用 Hausman (1978) 规范检验来检测是否违反了解释变量与组效应正交的随机效应模型假设。当检验结果显著时，表明 $x$ 与 $α_{j}$ 之间存在相关性，这意味着应该摒弃随机效应模型，而采用固定效应模型。然而，在大多数应用中，协变量和组效应之间的真正相关性并不完全为零。

因此，如果 Hausman 检验不能拒绝正交性的零假设，很可能不是因为真正的相关性是零，相反，该检验很可能缺乏足够的统计能力来可靠的区分小相关性和零相关性。当使用随机效应模型时，即使 Hausman 检验没有发现显著的结果，在 $β$ 的估计中仍然会有偏差。当然，在许多情况下，如果有偏 (随机效应) 估计量比无偏 (固定效应) 估计量提供足够的方差收缩，则有偏估计量可能比无偏估计量更可取。

4.3 实际考虑

除了这些理论考虑之外，研究人员在决定固定效应和随机效应估计值时，还可能考虑一些实际和技术问题。例如，研究人员通常希望在模型中包含一个重要的、在组内不变化的协变量。在这种情况下，组内不变估计量将与组指示变量完全共线，使其不可能估计该变量的独特影响，或者，自变量可能在每个组内表现出极小的变化。

在时间序列截面数据中，随时间变化非常缓慢的自变量通常被称为 slow moving or sluggish。如果 sluggish 和组效应之间的相关性足够高，则可以破坏对自变量效应的估计。当使用固定效应估计量时，进行样本外预测是不可能的，因为未观察到的组效应是未知的。在随机效应模型中，使用模型对总体中组效应潜在分布的估计作为样本外预测是可行的。

5. 相关推文

Note：产生如下推文列表的 Stata 命令为：
lianxh 固定效应随机效应, m
安装最新版 lianxh 命令：
ssc install lianxh, replace

专题	嘉宾	直播/回看视频
⭐ 最新专题		文本分析、机器学习、效率专题、生存分析等
研究设计	连玉君	我的特斯拉-实证研究设计，-幻灯片-
面板模型	连玉君	动态面板模型，-幻灯片-
面板模型	连玉君	直击面板数据模型 [免费公开课，2小时]

固定效应还是随机效应？

1. 引言

2. 主要问题

3. 固定效应和随机效应

4. 如何选择

4.1 高方差问题

4.2 偏差问题

4.3 实际考虑

5. 相关推文

相关课程

免费公开课

最新课程-直播课

⛳ 课程主页

⛳ 课程主页

关于我们

热门资讯