一位妇女在马赛癌症研究中心的实验室工作

资助者和出版商需要比现在更认真地对待复制研究。图源:Anne-Christine Poujoulat/法新社/Getty

可复制性——在重复实验时获得相同结果的能力——是科学的基础。但在许多研究领域，这被证明是难以实现的。现在，一组重要且备受期待的研究论文表明，要做到这一点是多么复杂、耗时和困难指导和解释癌症生物学中的复制研究1，2。

大约十年前，由弗吉尼亚州夏洛茨维尔市的非营利开放科学中心(Center for Open Science)和加利福尼亚州帕洛阿尔托市的研究服务公司ScienceExchange组织的研究团队，开始系统地测试发表在著名科学期刊上的高引用论文中的某些实验是否可以复制。这项工作是备受瞩目的可重复性项目:癌症生物学(RPCB)倡议的一部分。研究人员通过七个指标评估实验结果或“效应”，其中五个可以应用于数值结果。总的来说，46%的复制在三个或三个以上的指标上是成功的，比如结果是否落在实验预测的置信区间内或保留统计显著性。

该项目是在制药公司报告称他们无法复制许多癌症生物学论文中的发现之后启动的。但这些报告没有指明论文的名称，也没有复制的标准。RPCB的构想是为这种回顾性复制研究带来研究的严谨性。

初步调查结果

其中一个最明显的发现是，实验性治疗的效果——比如杀死癌细胞或缩小肿瘤——在复制中明显小得多，总体上比最初报道的要小85%。很难知道原因。例如，这可能是统计上的侥幸;原研究或复制中的偏倚;或者复制者缺乏专业知识，导致重复研究错过了原始研究的一些基本品质。

该项目也比预期多花了五年多的时间，而且，尽管花费了额外的时间，研究小组只能评估他们最初计划覆盖的四分之一的实验。这强调了这样一个事实，即这样的评估需要比预期更多的时间和精力。

RPCB研究的预算为三年130万美元。这笔费用增加到150万美元，这还不包括人事或项目管理费用。

在入选的53篇论文中，没有一篇包含足够的细节，可以让研究人员重复实验。因此，复制因子必须联系作者获取信息，比如注射了多少细胞，通过什么途径，或者使用的确切试剂。通常情况下，这些细节连作者都无法提供，因为这些信息没有被记录下来，或者实验室成员已经离开了。三分之一的作者要么拒绝提供更多信息，要么没有回复。在评估的193个实验效应中，有136个复制因子还必须向原作者申请关键试剂(如细胞系、质粒或模式生物)，因为他们无法购买或从存储库获得这些试剂。约69%的作者愿意分享他们的试剂。

开放性和准确性

自可重复性项目开始以来，一些努力鼓励作者分享他们研究的更精确的方法细节。自然2013年，《纽约时报》和其他期刊一起引入了可重复性检查表。它要求作者报告关键的实验数据，如所用动物的品系、年龄和性别。作者也被鼓励将他们的实验协议存放在存储库中，以便其他研究人员可以访问它们。

此外，“Landis 4”标准于2012年发布，以促进严格的动物研究。它们包括对盲法、随机化和统计评估样本量的要求。注册报告是研究人员在做实验之前公布他们的研究设计的一种文章形式，这是另一个关键的发展。这意味着“空效果”更有可能被发布，而不是埋在文件抽屉里。项目团队发现，零效应更有可能被复制;80%的这类研究通过了三项指标，相比之下，只有40%的“积极影响”。

更难解决的问题是，在一个实验室有效的方法在另一个实验室可能行不通，这可能是因为固有的差异或未被认识到的方法差异。举个例子:一项研究追踪了某种类型的细胞是否有助于肿瘤的血液供应3.。追踪这些细胞需要它们表达一个“报告”分子(在这种情况下，是绿色荧光蛋白)。但是，尽管进行了许多尝试和调整，复制团队还是无法使“报告者”在细胞中足够活跃，从而被追踪4，因此复制尝试被停止。

RPCB团队与原始作者一起审查了复制协议，并对其进行了同行评审。但是，关于实验设计的详细事先协议本身并不一定能解释重复研究时遇到的挫折——在某些情况下，在最初的研究之后很多年。这就是为什么美国国防高级研究计划局(DARPA)采用了另一种复制方法。在DARPA的一个项目中，研究小组被分配了独立的验证小组。研究团队必须帮助排除故障，并为验证团队提供支持，以便在工作发表之前就可以在另一个实验室获得关键结果。这种方法已纳入规划要求:分配给研究项目的资金中有3-8%用于此类核查工作5。

这些研究还表明，研究人员、研究资助者和出版商必须更加认真地对待重复研究。研究人员需要参与这些行动，资助者必须加大对这些研究的投资，出版商也必须发挥自己的作用，以便研究人员能够相信这项工作是重要的。值得称赞的是，在宣布该项目的成果的新闻发布会上，美国国家科学院、工程院、医学院和国家卫生研究院的领导人都发表了评论和赞扬。但该项目是由德克萨斯州休斯顿的慈善投资基金阿诺德风险投资公司资助的。

整个科学界必须认识到，复制不是为了复制而复制，而是为了获得对科学进步至关重要的保证:一项观察或结果足以有力地推动未来的工作。下一波复制努力的目标应该是使这一日常必需品更容易实现。