经济学原理

顶刊编译社会科学研究中的可复现性


白癜风患者微信群 http://nvrenjkw.com/nxzx/5717.html
                            

社会科学研究中的可复现性

摘要:

对社会科学家无法复现实证研究的担忧,催生了大量相关文献。在这里,我们提供了一个形式文本建模方法来描述整个领域,这使我们能够总结这方面的文献的广度,并确定核心主题。我们分析从篇文章中构建的文本网络,以揭示在有关可复现性问题的论文中,社会科学学科之间的差异,并讨论文献中所涉及的子主题的多样性。可复现性是一个异质性的问题,不可复现的问题可能有多个来源和解决方案,之前声称能解决这一问题的“开放科学”方案或许并不适用。我们提出了一个替代的严谨性和可复现性模型,采取积极的方法来对出版前的工作严格要求。

译者注:Reproducibility,可复现性,指不同研究者用同样的方法重复一项研究(通常为实验、行为研究或对数据库的统计分析),可以得到可靠的、与原结论相似或相同的结果。

作者简介:

JamesMoody杜克大学社会学系

LisaA.Keister杜克大学社会学系

MariaC.Ramos佛罗里达州立大学

文献来源:

AnnualReviewofSociology,(48).

本文一作:JamesMoody

近年来,社会科学中关于复制性、严谨性和可重复性的文献飞快增长,每年有数百篇该主题的论文发表在社会科学期刊上。我们利用形式综述(formalreview)的方法,来帮助社会学家厘清过去的科学丑闻和有关开放科学(OpenScience)的倡导声,并提供一种关于可复现性研究的总体感觉。这种图景式的方法对过去专注于深入解读的综述(FreesePeterson)进行了补充。这篇综述的目标受众是有兴趣了解该领域的问题及其历史的量化社会学家。本文的目的是:扩大对属于“可复现性”这一标签下丰富问题的认识,以及对进行严格的、可复现研究的相应的挑战之难度的认识。

通过这一综述,出现了两个主题:一,社会学家的声音很小。我们表明,这些文献主要是由实验心理学家和政治科学家推动的,如果有更多社会学家参与进来,会为对话做出贡献。二,对我们来说,最常引用的解决可复现性危机的方法——即开放科学的倡导:增加对数据和模型的获取渠道,以供公众监督——是值得称赞的;但是鉴于可复现性问题的广泛存在,这一方案并不完整。开放科学建立在事后的被动纠正模式,而非事先阻止不当行为发生;然而,证据表明,不可复现的错误研究仍然被引用,这说明有必要防止不准确的结果发表。

系统性回顾:可复现性研究的知识地图

文本网络方法(Bail,Light)将语料库中的每篇论文视为一个节点,捋论文之间的相似性视为连接它们的链接。简言之,我们的综述过程是对学术索引进行详尽的搜索,对论文进行相关性过滤(结果有篇论文),根据重叠术语构建论文网络,对网络进行聚类以确定主题,然后绘制出网络以直观地表示知识景观。

图1是一个等高线图,展现了可复现性研究的全景。在这个图中,方向是无关紧要的;然而,在这个空间中相互靠近的聚类一般都有重要的内容,而地形着色中的差距则表明缺乏联系。显示的英文标签指的是语料库中确定的28个不同的聚类,覆盖了方法论、研究中的不当行为和实质性的研究主题(包括健康、政策、犯罪和语言)。在图的顶部中心,我们发现了一组与数据窥探(datasnooping)有关的论文,这指的是用不同的变量组合或编码策略多次使用同一个数据集来测试一个特定的假设。有四个与开放科学(OS)问题有关的集群。地图的右侧和底部显示了涉及特定实质性领域的研究。地图的左中部区域显示了统计问题(SI,statisticalissues)的共同主题,包含关于显著性检验、统计检验力(power)等的集群。左上角的集群包括了不当行为以及一些特定的数据丑闻。下面我们将详述集群的内容。

源自原文Figure1,对图中重要的、文中讨论过的概念进行了翻译。

实质性研究主题集群

在语料库中,最大的实质性研究聚类包含应用临床心理学的工作,主要是对酒精、人格和药物使用障碍的研究。许多研究集中于量表构建与测试,以前工作的实证复现,或者呼吁进一步公开的复现研究。很少有关于复现问题本身的呼吁;相反,复现研究看起来已经进入了这一领域日常的工作


转载请注明:http://www.deudeguo.com/jyxl/25214.html


当前时间: