当我们推出人类行为2017年1月,我们采用了注册报告格式,并一直支持其进行验证性研究。在本期节目中,哈德威克和约阿尼迪斯对各期刊的格式进行审计,描绘其发展以及当前的挑战。在相关的通信中,钱伯斯和梅勒提供注册报告委员会和开放科学中心为应对这些挑战所做努力的最新情况。

注册报告源于越来越多的担忧,即标准的出版实践在不知不觉中鼓励了有问题的研究实践——有人认为,强调研究结果可以促进选择性地只报道那些符合“干净”故事的结果。p-hacking(运行多个备选分析,直到获得重要结果)和HARK-ing(在结果已知后进行假设)。注册报告提供了一种激进的替代方案:我们在数据收集之前对研究方案(基本上是研究论文的前半部分,包括分析计划)进行同行评审,并承诺无论结果如何,如果研究问题重要,方法可靠,都将发表完整的论文。数据收集后,全文再次接受同行评审,但只有在作者不遵守他们的协议的情况下才会被拒绝。

注册报告格式允许我们专注于研究问题的重要性和方法的质量,而没有任何被结果的形状分散注意力的危险。在编辑方面,对注册报告协议(或第一阶段提交)的评估意味着回答我们在每次提交时考虑的一些问题:研究问题是广泛兴趣还是专业?它是在场地的中心还是外围?与注册报告特别相关的是第三个关键问题:研究是验证性的还是探索性的?

验证性研究以可验证的理论为基础,允许明确的预测——这是为注册报告而创建的研究类型。如果某个特定假设为真,则预期的数据模式必须与确认零假设的数据模式明显不同。作者是否明确地倾向于一种假设而不是另一种假设并不影响评估。换句话说,验证性研究不必证实假设,也不必直接复制过去的研究,但它需要能够证实或否定特定的理论。

注册报告通过确保发布所有结果(包括null)来解决发表偏倚问题。为了确保结果是稳健的和可解释的,无论其方向如何,我们考虑并要求审稿人考虑提案是否包含结果阳性检验,以及这项或多项研究是否有足够的动力来检测感兴趣的影响。我们要求使用频率统计的研究具有等于或大于0.95的先验幂,以捕捉最小的理论上有意义的影响,而使用贝叶斯因子进行推理的研究必须收集数据,直到有利于实验假设或零假设的贝叶斯因子超过10为止。

已登记的报告通常要经过两轮审查,然后才能获得第一阶段原则上的接受。它们通常由两到三位专家审阅,他们的专业知识涵盖了研究问题和方法,就像所有其他研究手稿一样。审稿人被邀请对一组特定的问题进行评论(见方框)1)。此外,注册的报告通常有一个额外的审查人员,他非常熟悉格式,并审查协议满足特定于格式的要求的程度。在极少数情况下,我们会邀请统计方面的额外专家,例如功率分析。关于如何准备一份强注册报告的提示列在方框中1

第一阶段注册的报告通常会在审查之前或之后被拒绝,因为研究问题是专业观众感兴趣的,拟议的研究不能解决研究问题,或者项目是探索性的,没有牢固地基于现有的理论和证据。在修订中通常可以解决的常见问题包括数据分析管道中缺乏细节,功率分析/采样问题,以及未能承诺结果测量,并提前说明将哪种数据模式作为哪种假设的证据。由于研究还没有进行,审稿人就会努力提出一份尽可能完美的研究提案,并就作者如何跨越“t”和“i”来创作一篇出色的作品贡献他们的想法。这个过程可以有一种真正的合作感,这在其他格式中是罕见的,在那里审稿人可以很容易地感觉到他们工作的目的是在事后列出缺点。

正如hardwick和Ioannidis在他们的评论中所描述的那样,这种相对年轻的出版形式仍在发展中,期刊编辑和审稿人被要求从经验中学习并改进注册报告的范围。钱伯斯和梅勒强烈支持的作者提出的一个关键观点是,注册报告的成功在很大程度上取决于它们是否会被视为透明地记录了研究的确认性和预先计划性质的出版物。只有能够将第一阶段议定书与最终的第二阶段出版物进行比较,才能确保透明度和控制水平,从而使该格式能够实现其承诺。Hardwicke和Ioannidis指出,这种透明度(通过承诺作者将他们的第一阶段协议存放在官方存储库中实现)并没有全面实现。在人类行为在美国,第一阶段原则上接受的条件是作者将其协议存放在公共存储库中,以便立即或在第二阶段提交被接受后向公众开放。作为对作者的一项服务,我们提议代表作者在figshare的一个专用空间存放他们的协议,无论是公开的还是保密的。有兴趣的读者可以在那里找到作者选择立即公开的第一阶段接受协议的最初几个例子(https://springernature.figshare.com/registered-reports_NHB)。

我们致力出版已登记的报告,并与社会各界共同努力,以求将来有所改善。我们鼓励作者、审稿人和读者与我们联系,提出他们的问题,并期待着发表我们第一阶段第二阶段的完整投稿。