控制变量如何选?大牛们的10条建议

发布时间:2022-07-09 阅读 519

Stata连享会   主页 || 视频 || 推文 || 知乎 || Bilibili 站

温馨提示: 定期 清理浏览器缓存,可以获得最佳浏览体验。

New! lianxh 命令发布了:
随时搜索推文、Stata 资源。安装:
. ssc install lianxh
详情参见帮助文件 (有惊喜):
. help lianxh
连享会新命令:cnssc, ihelp, rdbalance, gitee, installpkg

课程详情 https://gitee.com/lianxh/Course

课程主页 https://gitee.com/lianxh/Course

⛳ Stata 系列推文:

PDF下载 - 推文合集

作者:张雪娇 (中山大学)

邮箱zhangxj78@mail2.sysu.edu.com

编者按:本文主要摘译自下文,特此致谢!

Source:Becker, T. E., G. Atinc, J. A. Breaugh, K. D. Carlson, J. R. Edwards,P. E. Spector, 2016, Statistical control in correlational studies: 10 essential recommendations for organizational researchers, Journal of Organizational Behavior, 37 (2): 157-167. -PDF-


目录


1. 引言

统计控制广泛用于相关研究,旨在为变量间关系的估计提供更准确的的假设检验,或排除对实证结果的替代假设。然而,现有研究也指出,控制变量 (CVs) 的使用可能会产生无法理解的参数估计、错误的推论、不可复现的结果以及一些其他阻碍科学进步的障碍 (e.g., Burks, 1926; Meehl, 1970; Spector, Zapf, Chen, & Frese, 2000) 。本文的目的在于将现有关于正确使用控制变量 (CVs) 的文献整合并浓缩成可以提高研究质量的 10 条普适性建议 (如表 1 所示) ,旨在为组织学者在其研究中适当地应用统计控制提供指导。

表 1 关于控制变量 (CVs) 的十大建议

建议
目的
控制变量的选择
1 排除存在疑问的 CVs 提升对于结果的理解
2 选择概念上有意义的 CVs 并避免使用代理控制变量 提高适统计控制和 CVs 的有效测度
将控制变量纳入假设
3 将 CVs 纳入假设和模型 避免不合理的 CVs,并培养更深思熟虑的假设检验
控制变量的测度和分析
4 清楚地解释 CVs 测度和控制方法的合理性 有助于结果的解释和复制
5 对 CVs 施以与其他变量相同的信度和效度标准 提高了 CVs 的构造有效性,并提高了自变量参数估计的准确性
6 如果假设中不包含 CVs,则在分析中也不要包含 CVs 鼓励适当的假设检验和模型规范
7 对自变量 IVs 和控制变量 CVs 之间的关系进行比较检验 有助于理解 CVs 的因果作用以及与其他变量之间的关系。
8 分别在包含和不包含 CVs 的情况下运行结果,并进行对比 更充分地揭示了 CVs 对自变量和因变量之间关系的影响
结果的报告和分析
9 报告 CVs 的标准描述性统计和相关性,以及测量的估计值与其部分对应项之间的相关性 有助于理解 CVs 的测量特性,提高复现潜力,并能够在测量和部分预测之间进行比较。
10 在一般化涉及残差变量的结果时要谨慎 改进外部效度评估和结果的实际应用

2. 10 条建议

本文从控制变量的选择、假设中纳入控制变量、控制变量的测度和分析,结果的报告和解释 4 个维度出发,总结了在组织研究中处理控制变量的 10 条建议。接下来,我们将针对每项建议进行简明地陈述,并提供相应的解释和示例,但不提供数学公式或证明。

2.1 控制变量的选择


建议 1: 排除存在疑问的 CVs

谨慎的选择 CVs 要求研究人员要确保统计控制是合理的,并且要求 CVs 集适合包含在给定的研究中。当出现以下几种情况时,研究人员应该怀疑统计控制的价值。

(1) 变量控制的目的不明确

由于统计控制改变了原始实质性变量的含义,因此包含目的不明确 CVs 可能会影响结果的解释。添加 CVs 后,参数估计 (例如回归系数和路径系数) 反映的不再是原始测量的自变量 (IVs) ,而是原始 IVs 中与 CVs 无关的部分 (Breaugh,2008;Williams,Vandenberg, & Edwards,2009) 。这些变化是由于分割,即由一组预测变量解释的方差分割导致的 (Nimon & Oswald,2013;Pedhazur,1982) 。当研究人员不确定统计控制的目的时,分割可能会使参数估计的解释变得模棱两可。因此,我们敦促研究人员省略其目的不明确或在概念上不可辩护的 CVs。为了确保目的明确,在开始研究之前,研究人员需要考虑是否有令人信服的理由使用任何类型的统计控制 (Breaugh,2008) 。

(2) CVs 和其他变量之间的关联不确定

Spector 和 Brannick (2011) 证明,CVs 的错误指定可能会在 IVs 和 DVs 之间产生虚假关联。当 CVs 是多个自变量的原因时,就会出现虚假,即这些自变量本身与因变量没有直接的因果关系。因此,除非有合理的理由包含 CVs,不然添加 CVs 可能会混淆感兴趣的变量之间的关系。此外,我们也反对一种常见观点,即与包含更少或没有控制变量相比,更多 CVs 构成更好的方法。这种观点基于一个有缺陷的假设,即添加 CVs 必然会产生更保守的假设检验,并揭示感兴趣的变量之间的真实关系(谬误净化原理,Spector and Brannick, 2011 )。但事实上,在不知道所考虑变量的因果关系的情况下,CVs 的使用不会通过“谨慎行事”导致更保守的假设检验。并且包括大量 CVs 会降低自由度,降低给定自变量的检验效率。

(3) 弱 CVs

我们同意,弱 CVs 通常可以被省略,但不一定是因为省略这些 CVs 会提高分析能力。事实上,即使 CVs 和 DV 之间的相关性为零,CVs 和 IVs 之间的相关性也会影响结果。然而,包含与 DV 无关的 CVs 通常不能满足统计控制的目的。例如,有一位研究人员假设,更有责任心的员工比不那么有责任心的员工延迟工作的频率要低。研究人员决定控制从家到工作的距离,以排除另一种解释,即迟到只是距离的函数:距离工作地点越远的员工迟到的频率越高。如果 CV(离工作的距离)与 DV(迟到)不相关,那么距离不能代替责任心来解释迟到。关于估计的准确性,如果认真程度和距离相关 (可能更认真的员工会购买离工作地点更近的房子) ,那么在有距离和无距离的等式中,认真程度的系数可能会显著不同。然而,系数的差异并不能证明包含工作距离的分析可以揭示对责任感影响大小的估计更真实。

2.2 在假设中纳入控制变量


建议 2: 选择概念上有意义的 CVs 并避免使用代理控制变量

我们敦促研究人员仔细选择和度量 CVs,来提升控制和测量的有效性。为确定符合研究者目的的特定 CVs ,研究人员应尽可能为纳入的每个 CV 提供强有力的理论依据,如果理论建议应控制的 CVs 被省略,则应为其省略提供理由 (Breaugh,2008) 。如果没有坚实的理论基础,研究人员至少应该为选择给定的 CVs 提供逻辑解释,并解释为什么 CVs 是一个控制变量而不是主要变量。

此外,我们将概念上有意义的 CVs 与作为代理的 CVs 区分开来。代理变量通常与 DV 共变,但并非来自理论,也不能直接解释有意义的 CVs 和 DV 之间的关联。代理 CVs 的一个关键问题是,研究人员通常不知道代理与实际感兴趣 CVs 之间的关系强度 (Breaugh,2008) 。如果没有这些知识,就无法合理地得出,代理变量和其他变量之间的关系与感兴趣的 CVs 和其他变量之间的关系是相同或者相似的结论。因此,与使用更有意义的 CVs 相比,研究人员测试包含代理的变量假设可能产生不同的结果 (Carlson & Herdman,2012) 。


建议 3: 将 CVs 纳入假设和模型

我们建议将 CVs 纳入假设和模型,是因为它可以帮助研究人员避免纳入不合理的 CVs,并促进更深思熟虑的假设检验。因为假设可以对接下来的研究设计和分析起到引导作用,研究人员应该更多地基于理论而非分析基础来选择 CVs。良好的研究实践需要理论和假设之间有强大的逻辑联系,如果所讨论的理论要求使用 CVs,则 CVs 应包括在相应的假设中 (Edwards,2008;Spector&Brannick,2011) 。在模型中包含 CVs 鼓励研究人员对 CVs 所起的作用提供合理的解释,这也有助于确保分析符合假设。

2.3 控制变量的测度和分析


建议 4: 清楚地解释 CVs 测度和控制方法的合理性

对 CVs 的测量方法进行清晰的描述对于结果的解释和复现至关重要。此外,还应解释每个 CV 的测度方法以及为什么以这种方式测量 CVs,这样可以减少使用代理 CVs。

关于 CVs 的控制方法,有两种情况需要特别针对控制方法进行解释:第一,是每当使用不常见的统计控制方法时。例如,使用结构方程建模 (SEM) 的研究人员经常忽略讨论哪些路径是自由的,哪些路径是固定的。还有些作者通常在报告 SEM 结果的路径图中省略 CVs。这种遗漏使得读者很难准确解释研究结果,也使得其他研究人员很难复制分析结果。基于建议 2,应根据相关理论,或至少基于合理的推理和经验证据,指定从 CVs 到内生变量的路径以及与外生变量的相关性。

值得特别注意的第二种情况是,只将某些 CVs 包括在某些分析中,但不包括在其他分析中,或者某些 CVs 的处理方式与同一分析中的其他 CVs 不同。例如,有一种控制方法涉及通过将 DV 的数据除以 CV 上的数据。例如,一名研究人员将销售业绩 (DV) 除以销售区域中的客户数量,从而生成一个控制区域的销售业绩指数。当采用这种方法时,研究人员应解释为什么使用这种方法而不是更传统的方法 (例如,包括回归方程中的客户数量) 。当以这种方式控制一个或多个 CVs,而其他 CVs 则是采用其他方式进行控制时,需要补充解释。


建议 5:对 CVs 施以与其他变量相同的信度和效度标准

我们鼓励适当关注 CVs 的结构效度,以及提高 IVs 参数估计的准确性。即,研究人员应选择与 CVs 拟代表概念相对应的变量进行度量。Becker (2005) 讨论了一个无法令人信服的例子。这项有争议的研究以疗养院在每年年初经营床位数的自然对数作为作为控制变量 CV 来测度疗养院的规模。由于未报告计数的一致性,因此测量的可靠性是未知的。因为缺乏对组织规模的明确定义,因此有效性评估也是有问题的。并且该研究也并没有解释为什么使用床位的对数比患者或员工的数量更好,为什么年初的数量比年底或全年更好,或者为什么需要对数函数。

另外,在可能的情况下,应检查 CV 测量的可靠性和因子结构,以确定其可以充分反映预期的概念和其测量误差不会过大。研究人员还应考虑收敛有效性和判别有效性的证据。这些步骤至关重要,因为使用较差的 CVs 测量方法可能弊大于利。例如,如果用于表示 CVs 的度量不能充分反映预期结构,则该度量产生的部分关系不能解释为预期。此外,当对 CVs 进行误差测量时,分析中其他变量的参数估计可能会向上或向下偏移,从而得出无根据的结论 (有关所涉及的数学问题,请参阅 Edwards,2008) 。


建议 6:如果假设中不包含 CVs ,则在分析中也不要包含 CVs

本建议是建议 3 的推论。其本身很重要,因为它鼓励进行适当的假设检验和模型规范。正如良好的研究实践需要理论和假设之间有很强的逻辑联系一样, CVs 也需要假设和分析之间的对应关系。换句话说,研究人员应该将分析与假设相匹配。确保假设和分析之间的一致性意味着只使用假设声明中包含的 CVs (Becker,2005;Edwards,2008) 。

另一个相关的问题是,尽管 CVs 可能不是某项研究的重点,但它们值得与感兴趣的变量一样的分析与关注。例如,如果模型包括 CVs,则 CVs 的分布需要与 IVs 和 DV 的分布一样进行仔细检查。研究人员应该检查 CVs 中的异常值,因为极端值可能人为地放大或缩小 IV 和 CVs 之间的相关性,这反过来会扭曲 IV 和 DV 之间的关系。此外,在许多情况下,研究人员应检查 CVs 和 IV 之间可能的非线性关联以及潜在的 CV × IV 相互作用。


建议 7:对自变量 IVs 和控制变量 CVs 之间的关系进行比较检验

进行适当的比较检验可以帮助研究人员了解 CVs 的作用以及其他变量之间的关系。例如,对员工承诺和组织公民行为 (OCB) 之间关系感兴趣的研究人员可能会担心,感知到的来自主管的支持 (一种潜在的 CVs ) 可能会在某种程度上影响二者的关系。如前所述,CVs 可能会影响变量的测量造成"污染",也可能会影响潜在变量,造成"虚假相关"。例如,也许得到上司大力支持的员工希望取悦老板,因此,他们对组织调查的反应更符合社会需要。如果是这样,主管的支持可能会人为地夸大对员工承诺与 OCB 分数之间的相关性。主管支持可能会影响承诺的衡量、组织公民行为(OCB)的衡量或两者,并且在分析中包括主管支持将产生不同的影响,这取决于它是否污染了一个、另一个或两个其他测量变量。

当两个潜在变量相互关联时,虚假相关性存在。因为它们有共同的原因,而不是因为它们之间直接存在因果关系。如果承诺和组织公民行为仅因感知到的主管支持是两者的原因而相关,则会出现这种情况。希望排除虚假关系的研究人员可能会发现,包括一个或多个 CVs 可能会有所帮助。例如,如果在对感知来自主管的支持进行统计控制后,承诺与组织公民行为之间的关系仍然存在,那么承诺与组织公民行为之间的联系不太可能完全是虚假的。然而,研究人员不能仅仅依靠统计控制来证明因果关系。排除虚假性需要实验设计,允许对因果关系进行有意义的推断,其中可以证明 CVs 对感兴趣的变量没有影响,或只有可忽略的影响。在进行这些分析时,研究人员可以使用多种方法,包括层次回归和结构方程。


建议 8:分别在包含和不包含 CVs 的情况下运行结果,并进行对比

我们强烈鼓励研究人员在使用和不使用 CVs 的情况下分别运行回归进行分析,因为这样的比较结果可以证明 CVs 对 IVs 和 DV 之间关系的影响 (Atinc et al., 2012;Becker,2005) 。Becker (2005) 建议,如果结果没有差异,则只需报告不含对照组的分析,并声明当包含 CVs 时,结果基本相同。我们建议,如果有 CVs 和没有 CVs 的 IVs 的标准化系数相差小于 0.1,那么在大多数情况下可以忽略这种差异。

2.4 结果的报告和解释


建议 9:报告 CVs 的标准描述性统计和相关性,以及测量的估计值与其部分对应项之间的相关性

遵循这一建议,将有助于理解 CVs 的测量特性,提高复制的可能性,并能够在测量和部分预测之间进行比较。此外,应报告测量和部分预测因子之间的共享方差 (shared variance) 大小,因为它对假设和外部有效性的推断有影响 (Breaugh,2008) 。


建议 10:将涉及残差变量的结果一般化时要谨慎

限制基于分组结果进行一般化的扩展将改善对外部有效性的评估和结果的实际应用。存在许多研究人员不准确地将基于残差预测的结果推广到现实世界中的例子。Meehl (1970) 总结了统计控制问题。他认为,在多元分析中,[研究者]通过进行某些代数“校正”,在统计上捏造了一个虚拟或理想化样本。也就是说,通过使用变异数,研究人员创建了一个个体的统计样本,其中相关的预测因子被强制为正交。如果样本中相关的变量通过分割变得不相关,我们建议不要以此来推断在总样本中变量是不相关的。

3. 总结

研究人员为提供更准确的变量间关系估计,或对假设进行更保守的检验,他们通常依赖统计控制来排除外来变量的影响。

变量之间关系的潜在复杂性、变量为什么相关的不确定性以及忽略重要变量的可能性使得仅在研究中包含控制变量不可能实现这些目标。

要注意,对控制变量的正确使用需要基于经济理论仔细选择,进行彻底和周到的分析,并谨慎解释结果。

相关课程

免费公开课

最新课程-直播课

专题 嘉宾 直播/回看视频
最新专题 文本分析、机器学习、效率专题、生存分析等
研究设计 连玉君 我的特斯拉-实证研究设计-幻灯片-
面板模型 连玉君 动态面板模型-幻灯片-
面板模型 连玉君 直击面板数据模型 [免费公开课,2小时]
  • Note: 部分课程的资料,PPT 等可以前往 连享会-直播课 主页查看,下载。

课程主页

课程主页

关于我们

  • Stata连享会 由中山大学连玉君老师团队创办,定期分享实证分析经验。
  • 连享会-主页知乎专栏,700+ 推文,实证分析不再抓狂。直播间 有很多视频课程,可以随时观看。
  • 公众号关键词搜索/回复 功能已经上线。大家可以在公众号左下角点击键盘图标,输入简要关键词,以便快速呈现历史推文,获取工具软件和数据下载。常见关键词:课程, 直播, 视频, 客服, 模型设定, 研究设计, stata, plus, 绘图, 编程, 面板, 论文重现, 可视化, RDD, DID, PSM, 合成控制法

连享会小程序:扫一扫,看推文,看视频……

扫码加入连享会微信群,提问交流更方便

✏ 连享会-常见问题解答:
https://gitee.com/lianxh/Course/wikis

New! lianxh 命令发布了:
随时搜索连享会推文、Stata 资源,安装命令如下:
. ssc install lianxh
使用详情参见帮助文件 (有惊喜):
. help lianxh