华盛顿特区美国国会大厦上方的一面美国国旗

美国政府问责局为三家联邦科学资助者推荐了提高科学可重复性的方法。来源:沈婷/Bloomberg via Getty

美国最大的三家基础研究资助者正处于聚光灯下,因为联邦政府旨在使他们资助的科学更具可重复性。其中两个机构——美国国立卫生研究院(NIH)和美国国家科学基金会(NSF)——正在制定计划,以促进其过程更加严格和透明;与此同时,NASA也因不够积极主动而受到批评。

美国国立卫生研究院和美国国家科学基金会的这一举动是在一个美国政府问责局2022年7月的报告(GAO)关于联邦资助研究的可靠性,以及NIH、NSF和NASA如何评估他们资助的工作。报告发现,尽管科学界已经制定了许多收集、共享和存储研究数据的做法,但这三个机构在评估中并没有广泛推广这些方法。

根据该报告,这些机构“没有收集严格的研究设计和研究结果透明度的指标,如研究样本量、对研究计划的遵守程度或研究数据的可查找性、可访问性和可用性”。这意味着他们没有必要的信息来改进如何授予赠款或确定应该优先考虑哪些资助领域。

该报告就资助者如何使其资助的工作更加严格和透明提出了六项建议(每个机构两项)。这些建议侧重于收集关于严谨性的信息——“研究设计、执行、数据收集和分析的可靠性和准确性”——以及关于透明度的信息,确保这些信息被记录和自由共享。NIH和NSF接受了这些建议,但NASA不同意其中一项建议,只部分同意第二项建议。

“对我来说,透明和开放的研究是我们如何提高质量的关键部分,”英国布里斯托尔大学的生物心理学家Marcus Munafò说。他领导着英国重复性网络这是一个旨在调查促成强有力研究的因素的联盟。它还在这一领域提供培训和传播最佳做法。他表示:“基金授权在一定程度上有助于实现这一目标,但需要强制执行,才能真正推动变革。”

投资者的反应

在回复自然指数的电子邮件中,NIH和NSF表示,他们正在根据GAO的报告起草新流程的计划。美国宇航局的一位发言人让自然指数参考了这份报告,该报告复制了2022年6月的一封信,列出了该机构对这些建议的回应。

这封信是美国宇航局副首席科学家大卫·德雷珀写给美国政府问责局科学、技术评估和分析小组主任坎迪斯·赖特的。在这篇文章中,德雷珀认为,NASA不需要从研究人员那里收集有关科学严谨性的信息。德雷珀写道:“NASA认为,确保研究可靠性的最佳方式是同行评审过程,这一直是科学可信度的黄金标准。”“因此,NASA依靠科学界的同行评议程序来评估提交给NASA的科学提案的严谨性、质量、透明度和相关性,以及NASA资助的研究产生的科学期刊出版物。”

美国政府问责局报告的作者赖特说,对拨款提案的同行评议不足以淘汰不可复制或不可复制的科学。她说,政府问责局将继续与NASA就实施报告建议的好处进行接触。

澳大利亚悉尼麦考瑞大学的天文学家Richard de Grijs对此表示赞同。他说,在他看来,NASA没有充分回应这样一个事实,即同行评议过程并不能保证不合格的科学成果不会被发表。“实施额外的检查可能会有用,”他说。

至于报告对NASA提出的第二项建议,即审查并在必要时修改数据透明度政策,德雷珀写道,NASA只是部分同意。他指出,这是因为该机构已经在修订其科学诚信政策,并更广泛地采用开放科学实践。他写道:“NASA的科学任务理事会已经启动了开放科学年,这项努力的目标包括但不限于,通过应用FAIR准则:可找到性、可访问性、互操作性和重用,增强对NASA资助的研究出版物的随时访问。”

机构的行为

与此同时,美国国立卫生研究院(NIH)校外研究办公室的一位发言人表示,它正在考虑“几种不同的活动”来回应GAO的报告。其中一些已经推出:该政策于1月25日生效例如,它要求研究人员计划如何保存和共享他们的数据。发言人说,当要求拨款申请人描述他们在研究中确保严格的实验设计以获得稳健和无偏见的结果的策略时,NIH告诉候选人,他们应该努力确保实验设计、方法、分析、解释和结果报告都是稳健和无偏见的。

NSF的一位发言人指出,资助者“致力于提高其资助的研究的可靠性”,并同意政府问责局的建议。他们补充说,美国国家科学基金会“目前正在制定我们的行动计划,以回应这些建议”。

怀特说,政府问责局计划每年至少与这些机构进行一次检查,以评估进展情况,并将给资助者最多4年的时间来全面推出任何变化。政府问责局还将密切关注美国国会正在通过的相关立法;目前,它只会审查立法是否符合报告的建议。

Munafò认为,每个资助者的预算都应该留出一部分用于“研究中的研究”。Munafò说:“我们需要更好地理解影响研究质量的因素,特别是资助者政策和任务的影响——无论是有意的还是无意的。”他认为资助者受到挑战对这些问题做出回应是正确的。“这在不同程度上发生在不同的国家和资助者身上,但应该成为资助机构工作的一个组成部分。”