会计期刊论文的结果可重现吗?

发布时间:2020-06-24 阅读 8195

Stata 连享会   主页 || 视频 || 推文

温馨提示: 定期 清理浏览器缓存,可以获得最佳浏览体验。

课程详情 https://gitee.com/arlionn/Course   |   lianxh.cn

课程主页 https://gitee.com/arlionn/Course

汪蕾 (山东大学经济学院)
Email: 17862909559@163.com

编者按:

这篇推文分为两个部分。
第一部分 介绍了 2020 年发表于 JAR 的一篇论文,该文通过问卷调查的方式讨论了会计领域学术论文的可重现问题。原文篇幅较长,我们进行了只提炼了文中的核心观点。
第二部分 列举了一些听过论文重现数据和程序的网址,以便各位学习之用。


目录


简介

论文能否被重现关系着论文的严谨性和可信度,然而在很多领域,论文不可重现的问题都广泛存在。

《Nature》曾经在2016年面向1576名人员调查,询问他们对论文重现问题的看法。超过70%的受访者声明自己曾经尝试过重现他人的研究,但以失败告终。

本文推送的是2020年5月发表在JAR的论文《Reproducibility in Accounting Research: Views of the Research Community》,作者围绕会计领域的论文可重现问题进行了调查研究。

Hail, L., M. Lang, C. Leuz, 2020, Reproducibility in accounting research: Views of the research community, Journal of Accounting Research, 58 (2): 519-543. [Link], [PDF]

温馨提示: 文中链接在微信中无法生效。请点击底部「阅读原文」

作者在开篇引用了两位学界大牛的话作为引子:

由于我们对会计领域的不可重现问题很难进行全面了解,因此对领域内的学者进行调查是最好的选择。作者对2019年JAR会议的167名参会者开展了调查,了解他们对已发表会计文献中不可重现问题的频率、原因和影响有着怎样的认识。

基于问卷调查,作者有8个主要发现:

Q1: 论文可重现重要吗?

Panel A展示的调查结果是,56%的受访者认为论文可重现问题没有受到足够的重视。

Panel B展示的调查结果是,52%的受访者认为论文不可重现是一个严重的问题(回答“Strongly agree” 和“agree”)。与《Nature》的调查结果(90%的人认为是严重的问题)相比,会计领域的研究者们态度相对乐观。

如果与商科其他领域的论文可重现程度相比,41%的受访者认为会计领域与其他的水平相当,13%的受访者认为会计领域中的论文可重现度更高(认为会计研究更多基于大样本数据库,而有的领域研究是基于较难重现的试验或调查数据),16%的受访者认为会计领域中的论文可重现度较低(认为经济和金融领域的研究在文献分析有更高的标准)。

Q2:论文不可重现的问题常见吗?

与《Nature》调查结果相近,本调查中受访者们的认识也并不统一。有24%的受访者认为能被完全重现的论文很少(20%-39%),也有20%的受访者认为大多数论文(80-100%)都能够被完全重现,还有13%的受访者表示无法回答。

Q3:曾经遇到过难以重现某篇论文的问题吗?

69%的受访者的回答是肯定的,这一结果与《Nature》的结果也较为相近(72%受访者表示有过这种经历)。调查中6%的受访者承认曾经遇到过无法重现自己论文的情况,这一结果与《Nature》的结果差距较大,《Nature》的受访者中有56%的人曾经无法重现自己的论文。

Q4:论文不可重现会降低论文可信度吗?

FIG.4展示了“是否同意‘论文不可重现不会影响可信度’这一观点”的调查结果,55%的受访者认为论文不可重现会降低论文可信度(回答“Strongly disagree” 和“disagree”),21%的受访者认为论文不可重现对可信度影响不大(回答“Strongly agree ”和“agree”)。

Q5:为什么论文无法被重现?

作者针对这个问题提出了11个可能的原因,根据同意人数从多到少依次是: 选择性汇报结果(74%)、论文发表压力(55%)、统计分析不充分(42%)、数据权限问题(38%)、代码未公开(37%)、合作者的监督较少(36%)、实验设计不足(33%)、同行审议不严格(17%)、试验方法的技术性较高(14%)、运气不好(8%)、学术造假(4%)。

Q6:如何能减轻论文的不可重现性?

收获受访者较多同意的两条措施是提升学界对重现论文的认识(84%)、论文写作时采取措施保证可重现性(84%)。

Q7:当论文无法重现他人研究时,论文会被发表或拒稿吗?

当被问到“无法重现他人结论的论文是否得到过发表?”,有7%的受访者对这个问题进行了肯定的回答。然而当被问到“无法重现他人结论的论文是否被拒稿”,有6%的受访者表示被拒稿过。这两个问题的答案表明,重现他人研究的论文发表率低,并不是期刊的主要责任。

Q8:重现他人研究时面临着什么阻碍?

本文没有调查这一问题,但Dewald et al.(1986)曾经讨论过可能存在的阻碍:一是重现论文的创新价值相对较低,相比而言,学界更青睐创新价值更高的新研究;二是被重现论文的作者也许是未来的论文评审人、编辑,质疑他们的研究或多或少可能会影响学者未来的发展。

论文能否被重现是一个很重要的问题,这关系到研究结论可信度,影响着研究建议对于政策制定、标准制定、管理决策的可参考性。但重现论文是成本高、收益低的工作,这可能使某些论文浑水摸鱼,影响学术风气。目前国内要求公开数据和代码的经济学期刊只有《中国工业经济》,未来也许会成为越来越多学术期刊的共识。

附录:提供论文重现资料的网站链接

1.专业平台

2.期刊网页

3.学者主页

温馨提示: 文中链接在微信中无法生效。请点击底部「阅读原文」

相关课程

连享会-直播课 上线了!
http://lianxh.duanshu.com

免费公开课:


课程一览

支持回看,所有课程可以随时购买观看。

专题 嘉宾 直播/回看视频
最新专题 DSGE, 因果推断, 空间计量等
Stata数据清洗 游万海 直播, 2 小时,已上线
研究设计 连玉君 我的特斯拉-实证研究设计-幻灯片-
面板模型 连玉君 动态面板模型-幻灯片-
面板模型 连玉君 直击面板数据模型 [免费公开课,2小时]

Note: 部分课程的资料,PPT 等可以前往 连享会-直播课 主页查看,下载。


关于我们

  • Stata连享会 由中山大学连玉君老师团队创办,定期分享实证分析经验。直播间 有很多视频课程,可以随时观看。
  • 连享会-主页知乎专栏,300+ 推文,实证分析不再抓狂。
  • 公众号推文分类: 计量专题 | 分类推文 | 资源工具。推文分成 内生性 | 空间计量 | 时序面板 | 结果输出 | 交乘调节 五类,主流方法介绍一目了然:DID, RDD, IV, GMM, FE, Probit 等。
  • 公众号关键词搜索/回复 功能已经上线。大家可以在公众号左下角点击键盘图标,输入简要关键词,以便快速呈现历史推文,获取工具软件和数据下载。常见关键词:课程, 直播, 视频, 客服, 模型设定, 研究设计, stata, plus, 绘图, 编程, 面板, 论文重现, 可视化, RDD, DID, PSM, 合成控制法

连享会主页  lianxh.cn
连享会主页 lianxh.cn

连享会小程序:扫一扫,看推文,看视频……

扫码加入连享会微信群,提问交流更方便

✏ 连享会学习群-常见问题解答汇总:
https://gitee.com/arlionn/WD