平均处理效应真的存在吗？

发布时间：2022-04-09 阅读 1351
分享到微信 分享到微博 收藏文章

 

Stata连享会   主页 || 视频 || 推文 || 知乎 || Bilibili 站

温馨提示： 定期 清理浏览器缓存，可以获得最佳浏览体验。

New！ lianxh 命令发布了：
随时搜索推文、Stata 资源。安装：
  . ssc install lianxh
详情参见帮助文件 (有惊喜)：
  . help lianxh
连享会新命令：cnssc, ihelp, rdbalance, gitee, installpkg
 

✌ 课程详情： https://gitee.com/lianxh/Course

 

⛳ 课程主页： https://gitee.com/lianxh/Course

 

⛳ Stata 系列推文：

☝ PDF下载 - 推文合集

 

 

作者：王珞嘉 (厦门大学)
邮箱：ljwang@stu.xmu.edu.cn

 

 

编者按：本文主要摘译自下文，特此致谢！

  • The Effect Size Does Not Exist -Link-
  • How Many Studies Have Not Been Run? Why We Still Think the Average Effect Does Not Exist -Link-

 

 

目录

 

 

1. 为什么说平均效应不存在

1.1 平均效应如何赋权重

沉锚效应是指人们在决策时，不自觉地给予最初获得的信息过多的重视。对沉锚效应大小的评价，会受到估计域、经验和感知到的信息量影响，难下定论。相较而言，估计沉锚效应的平均效应似乎更加简单。

本文关注的重点问题：平均效应真的容易得到吗？

笔者认为计算平均效应是一个相当困难的问题，因为这要求我们回答一个无法回答的问题：当计算平均效应大小时，我们应该为每个可能的效应赋予多少权重？——根据研究的数量衡量？或是根据想象、计划、执行来赋予权重？再或是根据研究的干净程度来衡量？

1.2 平均沉锚效应权重问题

这里举一个简单的例子来解释为何平均效应的大小是一个无法回答的问题。假设在估计河流长度时的沉锚效应比估计门高度时的沉锚效应更大。当我们估计平均沉锚效应时，应当为所有估计河流长度的研究和所有估计门高度的研究各赋予 50% 的权重吗？

如果这是可以接受的，那么我们应该如何处理有关估计运河长度的研究呢？是将它们与估计河流长度的研究归为一类，还是单独计算呢？此外，如果我们根据研究的数量进行加权，那么当河流研究增加，平均沉锚效应将增大；而当门研究增加，平均效应则会变小。

对如何为平均沉锚效应加权的考虑不应停留在此，还有太多情况需要纳入分析。例如，目前没有人研究对草莓酱粘度的沉锚效应，但当我们考虑平均效应时，这一潜在的效应是否应该被包括呢？其他可能存在的零估计、需求效应、混杂因素等情况，是否也应在估计平均效应时考虑呢？

1.3 研究并不是随机的

回答上述问题之前，我们需要认识到：研究并不是随机的。一方面，我们不能随机地进行研究，因为无法得知每个可能的研究的相对频率。我们无法回答一共有多少河流研究或门研究，也就无法得知河流研究和门研究各有多大的可能性。

另一方面，我们也不想随机地进行研究。我们总是希望开展能给出新信息的研究，比如更干净的研究、能提供新理论贡献的研究等等。这与发表性偏倚问题十分相似。

以上的讨论是想提醒读者：想要由数据中得到可推广的结论，需要的是判断而不是统计。判断可以解释非随机进行的实验，但统计不能。

 

2. 什么是真正的平均效应

真正的平均效应需要包括以下所有研究：

  • (a) 结果显著且已报告的已完成研究；
  • (b) 结果不显著且已报告的已完成研究；
  • (c) 结果显著且未报告的已完成研究；
  • (d) 结果不显著且未报告的已完成研究；
  • (e) 理应结果显著的未进行研究；
  • (f) 理应结果不显著的未进行研究。

2.1 为何要包含如此多的研究

我们常用的 p 曲线策略只能提供 (a) 中的平均效应，这又被叫做真实效果。它代表了再次重复研究时，平均而言可以期望得到的真实结果。想得到完整的平均效应 (包括 a、b、c、d、e 和 f)，则需要说明你覆盖了全部的情况，或者能够完美地估计影响上述每一类研究大小的偏差。这是非常困难的，因此笔者使用了不存在平均效应的说法。

2.2 完整平均效应遇到的困难

首先，我们担心样本不是随机。例如，为得到加州大学伯克利分校学生的平均身高，对荷兰文学课上所有学生的身高进行平均可能会得到偏高的结果，因为样本中的荷兰人很多 (荷兰人特别高)。但我们无法知道到底有多偏，无法消除这种偏差。

此外，我们还担心是否报告了结果不显著的研究。发表性偏倚指出我们所看到的大量研究分布是有偏的，但我们并不清楚到底偏了多少，因而无法纠正这个未知的偏差。

即使上述问题都得到解决，我们还需要考虑另一重要的偏差来源：研究人会有选择地开展研究。

我们考虑积极情绪对帮助行为影响这一研究主题。Isen 和 Levin (1972) 开展了一项电话亭实验。他们发现在电话亭中意外发现一枚 0.1 美元硬币的人花费了 88% 的时间帮助捡起散落在地上的纸张，而其他人只帮助了 4% 的时间。

如果研究人员决定以不同的方式衡量帮助行为会怎样？比如考察人们是否会在周末帮助清理化粪池，这无疑也是一种帮助行为，但可能影响很小，难以检测。或是在电话亭中留下一个 100000 美元的公文包以操纵积极情绪，但预期的效果似乎太过明显。

显然，0.1 美元产生足够的积极情绪来改变乐于助人的态度更加令人兴奋，因此研究人员进行了 0.1 美元的捡纸实验，而不是我们提到的其他实验方案。可见，人们进行的实验只是真实效果的一小部分，这是一个有偏差的集合，且偏差未知，难以校正。

 

3. 总结

笔者提出平均效应不存在的观点，并指出真正的平均效应要涵盖无论显著或不显著、报告或未报告、已完成或未进行的全部研究，而这是极其困难，甚至无法完成的。这提示我们在使用平均效应的说法时应格外谨慎。

我们的研究结论常常依赖于 p 曲线，而此时的平均效应只是对结果显著且已报告的已完成研究的平均，并不是真正的平均效应。

 

4. 参考文献

  • The Effect Size Does Not Exist -Link-
  • How Many Studies Have Not Been Run? Why We Still Think the Average Effect Does Not Exist -Link-
  • 沉锚效应 -Link-
  • Isen A M, Levin P F. Effect of feeling good on helping: cookies and kindness[J]. Journal of personality and social psychology, 1972, 21(3): 384. -PDF-

 

5. 相关推文

Note：产生如下推文列表的 Stata 命令为：
  lianxh 处理效应 边际效应, m
安装最新版 lianxh 命令：
  ssc install lianxh, replace

 

相关课程

免费公开课

最新课程-直播课

专题 嘉宾 直播/回看视频
⭐ 最新专题 文本分析、机器学习、效率专题、生存分析等
研究设计 连玉君 我的特斯拉-实证研究设计，-幻灯片-
面板模型 连玉君 动态面板模型，-幻灯片-
面板模型 连玉君 直击面板数据模型 [免费公开课，2小时]
  • Note: 部分课程的资料，PPT 等可以前往 连享会-直播课 主页查看，下载。

 

⛳ 课程主页

⛳ 课程主页

 

关于我们

  • Stata连享会 由中山大学连玉君老师团队创办，定期分享实证分析经验。
  • 连享会-主页 和 知乎专栏，400+ 推文，实证分析不再抓狂。直播间 有很多视频课程，可以随时观看。
  • 公众号关键词搜索/回复 功能已经上线。大家可以在公众号左下角点击键盘图标，输入简要关键词，以便快速呈现历史推文，获取工具软件和数据下载。常见关键词：课程, 直播, 视频, 客服, 模型设定, 研究设计, stata, plus, 绘图, 编程, 面板, 论文重现, 可视化, RDD, DID, PSM, 合成控制法 等

 

连享会小程序：扫一扫，看推文，看视频……

 

扫码加入连享会微信群，提问交流更方便

✏ 连享会-常见问题解答：
✨ https://gitee.com/lianxh/Course/wikis

 

New！ lianxh 命令发布了：
随时搜索连享会推文、Stata 资源，安装命令如下：
  . ssc install lianxh
使用详情参见帮助文件 (有惊喜)：
  . help lianxh