温馨提示: 定期 清理浏览器缓存,可以获得最佳浏览体验。
汪蕾 (山东大学经济学院)
Email: 17862909559@163.com
编者按:
这篇推文分为两个部分。
第一部分 介绍了 2020 年发表于 JAR 的一篇论文,该文通过问卷调查的方式讨论了会计领域学术论文的可重现问题。原文篇幅较长,我们进行了只提炼了文中的核心观点。
第二部分 列举了一些听过论文重现数据和程序的网址,以便各位学习之用。
目录
论文能否被重现关系着论文的严谨性和可信度,然而在很多领域,论文不可重现的问题都广泛存在。
《Nature》曾经在2016年面向1576名人员调查,询问他们对论文重现问题的看法。超过70%的受访者声明自己曾经尝试过重现他人的研究,但以失败告终。
本文推送的是2020年5月发表在JAR的论文《Reproducibility in Accounting Research: Views of the Research Community》,作者围绕会计领域的论文可重现问题进行了调查研究。
Hail, L., M. Lang, C. Leuz, 2020, Reproducibility in accounting research: Views of the research community, Journal of Accounting Research, 58 (2): 519-543. [Link], [PDF]
温馨提示: 文中链接在微信中无法生效。请点击底部「阅读原文」。
作者在开篇引用了两位学界大牛的话作为引子:
由于我们对会计领域的不可重现问题很难进行全面了解,因此对领域内的学者进行调查是最好的选择。作者对2019年JAR会议的167名参会者开展了调查,了解他们对已发表会计文献中不可重现问题的频率、原因和影响有着怎样的认识。
基于问卷调查,作者有8个主要发现:
Q1: 论文可重现重要吗?
Panel A展示的调查结果是,56%的受访者认为论文可重现问题没有受到足够的重视。
Panel B展示的调查结果是,52%的受访者认为论文不可重现是一个严重的问题(回答“Strongly agree” 和“agree”)。与《Nature》的调查结果(90%的人认为是严重的问题)相比,会计领域的研究者们态度相对乐观。
如果与商科其他领域的论文可重现程度相比,41%的受访者认为会计领域与其他的水平相当,13%的受访者认为会计领域中的论文可重现度更高(认为会计研究更多基于大样本数据库,而有的领域研究是基于较难重现的试验或调查数据),16%的受访者认为会计领域中的论文可重现度较低(认为经济和金融领域的研究在文献分析有更高的标准)。
Q2:论文不可重现的问题常见吗?
与《Nature》调查结果相近,本调查中受访者们的认识也并不统一。有24%的受访者认为能被完全重现的论文很少(20%-39%),也有20%的受访者认为大多数论文(80-100%)都能够被完全重现,还有13%的受访者表示无法回答。
Q3:曾经遇到过难以重现某篇论文的问题吗?
69%的受访者的回答是肯定的,这一结果与《Nature》的结果也较为相近(72%受访者表示有过这种经历)。调查中6%的受访者承认曾经遇到过无法重现自己论文的情况,这一结果与《Nature》的结果差距较大,《Nature》的受访者中有56%的人曾经无法重现自己的论文。
Q4:论文不可重现会降低论文可信度吗?
FIG.4展示了“是否同意‘论文不可重现不会影响可信度’这一观点”的调查结果,55%的受访者认为论文不可重现会降低论文可信度(回答“Strongly disagree” 和“disagree”),21%的受访者认为论文不可重现对可信度影响不大(回答“Strongly agree ”和“agree”)。
Q5:为什么论文无法被重现?
作者针对这个问题提出了11个可能的原因,根据同意人数从多到少依次是: 选择性汇报结果(74%)、论文发表压力(55%)、统计分析不充分(42%)、数据权限问题(38%)、代码未公开(37%)、合作者的监督较少(36%)、实验设计不足(33%)、同行审议不严格(17%)、试验方法的技术性较高(14%)、运气不好(8%)、学术造假(4%)。
Q6:如何能减轻论文的不可重现性?
收获受访者较多同意的两条措施是提升学界对重现论文的认识(84%)、论文写作时采取措施保证可重现性(84%)。
Q7:当论文无法重现他人研究时,论文会被发表或拒稿吗?
当被问到“无法重现他人结论的论文是否得到过发表?”,有7%的受访者对这个问题进行了肯定的回答。然而当被问到“无法重现他人结论的论文是否被拒稿”,有6%的受访者表示被拒稿过。这两个问题的答案表明,重现他人研究的论文发表率低,并不是期刊的主要责任。
Q8:重现他人研究时面临着什么阻碍?
本文没有调查这一问题,但Dewald et al.(1986)曾经讨论过可能存在的阻碍:一是重现论文的创新价值相对较低,相比而言,学界更青睐创新价值更高的新研究;二是被重现论文的作者也许是未来的论文评审人、编辑,质疑他们的研究或多或少可能会影响学者未来的发展。
论文能否被重现是一个很重要的问题,这关系到研究结论可信度,影响着研究建议对于政策制定、标准制定、管理决策的可参考性。但重现论文是成本高、收益低的工作,这可能使某些论文浑水摸鱼,影响学术风气。目前国内要求公开数据和代码的经济学期刊只有《中国工业经济》,未来也许会成为越来越多学术期刊的共识。
Mendeley 平台: Discover Mendeley Data
密歇根大学的 ICPSR: ICPSR Data
哈佛大学的 IQSS: Harvard Dataverse
Sebastian Kranz(Ulm University): Find Economic Articles with Data
中国工业经济: 数据
上海大学《社会》: 数据源代码
American Economic Association: AEA Data and Code Repository(含AER) & Data-related Publication at ICPSR(AER)
Econometrica: Data & Programs
Energy Economics: Latest Mendeley Data Datasets
The Journal of Finance: Supporting Information
Journal of Financial Economics: Data & Programs
Journal of Economics and Statistics: Data & Programs
Journal of Labor Economics: Supplemental Material
Journal of Political Economy: Supplemental Material
Journal of Statistics Software: Data & Programs
PLOS ONE: Data-availability
Review of Financial Studies: Supplementary data
Angrist 主页: Data and Programs
Esther Duflo 主页: Published Papers
ITAY SAPORTA-EKSTEN主页:Research Papers
Daniel Taylor 主页:Code
......
温馨提示: 文中链接在微信中无法生效。请点击底部「阅读原文」。
连享会-直播课 上线了!
http://lianxh.duanshu.com
免费公开课:
直击面板数据模型 - 连玉君,时长:1小时40分钟 Stata 33 讲 - 连玉君, 每讲 15 分钟. 部分直播课 课程资料下载 (PPT,dofiles等)
支持回看,所有课程可以随时购买观看。
专题 | 嘉宾 | 直播/回看视频 |
---|---|---|
⭐ 最新专题 ⭐ | DSGE, 因果推断, 空间计量等 | |
⭕ Stata数据清洗 | 游万海 | 直播, 2 小时,已上线 |
研究设计 | 连玉君 | 我的特斯拉-实证研究设计,-幻灯片- |
面板模型 | 连玉君 | 动态面板模型,-幻灯片- |
面板模型 | 连玉君 | 直击面板数据模型 [免费公开课,2小时] |
Note: 部分课程的资料,PPT 等可以前往 连享会-直播课 主页查看,下载。
关于我们
课程, 直播, 视频, 客服, 模型设定, 研究设计, stata, plus, 绘图, 编程, 面板, 论文重现, 可视化, RDD, DID, PSM, 合成控制法
等
连享会小程序:扫一扫,看推文,看视频……
扫码加入连享会微信群,提问交流更方便
✏ 连享会学习群-常见问题解答汇总:
✨ https://gitee.com/arlionn/WD