哪些因素影响了实证结果的可再现性?

发布时间:2022-09-17 阅读 122

Stata连享会   主页 || 视频 || 推文 || 知乎 || Bilibili 站

温馨提示: 定期 清理浏览器缓存,可以获得最佳浏览体验。

New! lianxh 命令发布了:
随时搜索推文、Stata 资源。安装:
. ssc install lianxh
详情参见帮助文件 (有惊喜):
. help lianxh
连享会新命令:cnssc, ihelp, rdbalance, gitee, installpkg

课程详情 https://gitee.com/lianxh/Course

课程主页 https://gitee.com/lianxh/Course

⛳ Stata 系列推文:

PDF下载 - 推文合集

作者:章青慈 (中央财经大学)
邮箱Quincy_zqc@163.com

编者按:本文主要摘译自下文,特此致谢!
Source:Pérignon C, Akmansoy O, Hurlin C, et al. Reproducibility of Empirical Results: Evidence from 1,000 Tests in Finance[J]. Available at SSRN, 2022. -PDF-


目录


1. 文章简介

再现性 (Reproducibility) 是科研成果的重要要求,但几乎所有计算科学领域都面临再现论文实证结果的难题。这一问题通常是由数据或代码不可得造成的,然而即使所有资源都能够使用,我们也可能无法完全再现研究成果。

本文旨在探究何种因素影响实证结果的再现性。不同于以往研究再现性的工作 (尝试再现发表论文的研究成果),本文通过分析 168 个国际研究团队针对 6 个相同的金融问题提供的 1000+ 实证答案计算了再现性,研究发现:

  • 第一,无论是研究人员的资历,还是研究论文的质量似乎都与实证结果的再现性无关;
  • 第二,研究人员对于自身研究的再现性过度乐观,倾向于低估同行复制其结果的困难;
  • 第三,对于编程技能较强、在重现方面花费较多心思的研究者,研究结果的再现性更强;对于技术要求较高、实现代码较复杂的问题,研究结果的可再现性较差。

2. 数据和实验设计

2.1 数据来源

本文使用的数据由 Deutsche Börse 数据库提供,数据集包含 2002-2018 年间欧洲斯托克 50 指数的 7.2 亿条交易记录。

2.2 研究团队工作

基于上述数据,168 个研究团队对以下 6 个问题开展研究工作:

  • RQ1:市场效率
  • RQ2:已实现的买卖价差
  • RQ3:客户交易量在总交易量中的份额
  • RQ4:客户订单的已实现价差
  • RQ5:市场指令在所有客户订单中的份额
  • RQ6:客户的总交易收入

对于每个研究问题,团队要计算并报告效应量 (effect size) 和标准误的估计值,并提交结果实现的软件代码,概述再现研究结果的操作步骤。

2.3 量化实证结果的再现性

对于每个研究团队的 6 个研究问题,都要进行再现性水平打分。作者以通用数据集为基础,按照研究团队提供的操作步骤运行计算机代码,并计算 6 个研究问题的效果量和标准误。对于每一个参数,原始结果和再生结果之间的差异若小于原始结果的 10%,可以认为差异很小,大于原始结果的 10% 则认为是差异很大。最后,对于每个研究问题,可重复性得分分布在 0-100 之间,如下表所示。每个研究团队的再现性得分由 6 个问题的得分进行平均得到。

如下图所示,所有研究团队的可重复性得分均值为 63.0,中位数为 83.3。

2.4 识别再现性的影响因素

为了识别再现性的影响因素,本文构建了一个指标集,涵盖了学术研究的六大方面:

  • 研究人员的特征和技能
  • 研究问题的类型
  • 软件
  • 计算机代码的复杂性
  • 由同行评估的论文质量
  • 研究人员为使其结果可再现而做出的努力

下表为前定变量 (pre-determined covariates) 描述性统计,其中 a 标注表示数据记录在研究团队层面,b 标注表示由同行评估所得,* 标注表示该指标为 0-1 二元变量。

下表为共同确定变量 (co-determined covariates) 描述性统计。

3. 主要结论

3.1 确定再现性的影响因素

本文分别对前定变量和共同确定变量进行再现性的逻辑回归:

其中,π() 表示实证结果再现性的取值 (可完全再现=1,不可完全再现=0),Xp(Xc) 是前定变量 (共同确定变量) 的指标矩阵,βp(βc) 是要估计的系数向量。由于再现性的影响因素涉及多个维度,作者对每一类的细分指标进行主成分分析,使用最大的主成分和细分指标分别进行回归。

对于前定变量集的回归 (见下表) 可以发现:在模型 (1) 中,所有变量的联合瓦尔德检验在统计意义上显著,表明这一组前定变量对再现性得分具有一定解释作用。在研究团队的学术水平方面,没有证据表明这一因素对完全再现性有显著的影响。这一结果是令人惊讶的,因为人们通常期望经验丰富且更成功的研究人员能产生更易于重现的结果。

在编程技能方面,相关变量的第一大主成分显著增加了成果再现的可能性;在模型 (2) 中单个系数估计表明,是否使用循环对于再现性的影响较大。在研究问题方面,技术要求较低的 RQ3 和 RQ5 的成果再现性较强,概念抽象且技术要求高的 RQ1 的成果再现性较差。

对于共同确定变量集的回归 (见下表) 可以发现:所有变量的联合瓦尔德检验在统计意义上显著,表明这一组共同确定变量对再现性得分具有一定解释作用,而模型 (4) 的联合瓦尔德检验是不显著的。在论文质量方面,没有证据表明这一因素对完全再现性有显著的影响,这一结果同样是令人惊讶的。

此外,代码复杂程度和计算机文件质量的主成分回归结果均显著,而单个因素则不显著,出现这一情况的可能原因是:主成分占横截面变异性的份额较小。作者认为代码复杂性和文档质量的主成分不能合理地提取到单个维度,这个主成分缺乏现实意义。对单个因素的估计更为合理,缺乏统计证据来拒绝零假设,即代码复杂性和文档质量与计算再现性的可能性无关。

3.2 预期的再现性和挑战

研究团队需要回答关于自身研究结果再现性的两个问题:

  • 第一,您认为有可能根据原始数据和计算机代码再现研究您的结果吗?
  • 第二,您认为再现研究结果有多大程度的困难?

研究团队的预期和实际再现结果的比较如下图所示:

预期层面:70.5% 的研究团队认为他们的结果是完全可重现的,仅有 29.5% 的团队认为结果会存在差异。94.6% 的研究团队认为再现他们的结果很容易,剩余 5.4% 认为存在一定挑战,没有一个团队认为再现他们的成果是非常困难的。

现实层面:只有 28.3% 的研究结果是完全可重现的,大部分再现结果与原始结果存在差异。仅 62% 团队的研究结果是容易再现的,剩余 38% 团队的研究结果是存在一定挑战、甚至非常困难的。

可见,许多研究人员没有意识到,他们的成果是难以重现的。

4. 总结

本文通过分析 168 个国际研究团队对 6 个研究问题提供的 1000 多个答案,计算了研究结果的再现性。研究发现,可再现性与资历、学术地位、软件、性别或团队结构无关,实际产生影响的是使用循环进行编程、建立主文件夹或准备电子自述文件等。

研究结果的含义:一方面,缺乏再现性是普遍存在的,不仅限于某一类研究人员;另一方面,任何研究人员都可以采取行动,确保其研究实际上是可再现的。换句话说,再现性取决于你做的工作,而不是你的身份。一些提高再现性的简单措施:

  • 仔细记录代码;
  • 系统地跟踪代码和数据集的不同版本;
  • 要求其他人在另一台计算机上运行代码。

5. 相关推文

Note:产生如下推文列表的 Stata 命令为:
lianxh 重现 复现 再现, m
安装最新版 lianxh 命令:
ssc install lianxh, replace

相关课程

免费公开课

最新课程-直播课

专题 嘉宾 直播/回看视频
最新专题 文本分析、机器学习、效率专题、生存分析等
研究设计 连玉君 我的特斯拉-实证研究设计-幻灯片-
面板模型 连玉君 动态面板模型-幻灯片-
面板模型 连玉君 直击面板数据模型 [免费公开课,2小时]
  • Note: 部分课程的资料,PPT 等可以前往 连享会-直播课 主页查看,下载。

课程主页

课程主页

关于我们

  • Stata连享会 由中山大学连玉君老师团队创办,定期分享实证分析经验。
  • 连享会-主页知乎专栏,700+ 推文,实证分析不再抓狂。直播间 有很多视频课程,可以随时观看。
  • 公众号关键词搜索/回复 功能已经上线。大家可以在公众号左下角点击键盘图标,输入简要关键词,以便快速呈现历史推文,获取工具软件和数据下载。常见关键词:课程, 直播, 视频, 客服, 模型设定, 研究设计, stata, plus, 绘图, 编程, 面板, 论文重现, 可视化, RDD, DID, PSM, 合成控制法

连享会小程序:扫一扫,看推文,看视频……

扫码加入连享会微信群,提问交流更方便

✏ 连享会-常见问题解答:
https://gitee.com/lianxh/Course/wikis

New! lianxhsongbl 命令发布了:
随时搜索连享会推文、Stata 资源,安装命令如下:
. ssc install lianxh
使用详情参见帮助文件 (有惊喜):
. help lianxh