我的退缩教会了我

2021-01-21 23:54:15

在大流行期间,我收到一封电子邮件,询问是否可以访问2014年发表的论文背后的实验数据。三个月后,我要求收回该论文。经历并没有让我痛苦:如果有的话,它使我回到了进行研究的最初动机。

该查询是关于我感到骄傲的工作。我和我的同事曾要求数十名参与者进行脑成像实验,以解决视觉任务,这既困难又容易。我们想知道分心如何影响无关刺激的处理。我们的研究结果表明,注意力分散会模糊大脑视觉皮层中图像的表示,从而引发一种神经隧道视觉。令人兴奋的东西,我们当时以为。事实证明,这可能是一个统计假象。

它使我知道引起警报的研究员非常有帮助-Susanne Stoll,伦敦大学学院(UCL)的神经科学家Sam Schwarzkopf的博士研究生。在2019年布鲁塞尔会议上,我们与Sam和其他人合作,讨论了她在我博士期间所做工作的基础上令人困惑的结果。

Susanne和她的同事从不把我当做犯罪嫌疑人,而把我当成是同一条船上的同事。我们都想知道她的意外结果到底是怎么回事。他们告诉我分析中的问题如何影响我的研究(可能还有许多其他问题)。它涉及向均值的回归-当重复测量嘈杂的数据时,乍看之下极端的值变得不那么理想了。我很怀疑。毕竟,我的论文中的影响是相反的:参数值偏离均值。

我们召开了一个视频会议,决定Susanne将进行模拟,如果可以进行挖掘,我将处理我的旧数据。那是一个挑战。就在几个月前,我目前所在的大学遭受了网络攻击,一开始禁止访问我的备份驱动器。容易告诉其他人数据已经消失了(发生得太频繁了)。

但是Susanne和Sam想要破解这个谜团-好奇心是会传染的。我花了一周的时间将必要的文件拼凑在一起,并对管道进行编码以重现原始结果。令我震惊的是,我还重述了苏珊发现的问题。主要问题是我使用相同的数据进行选择和比较,这种循环性一次又一次地出现。在我们的特定情况下,这可能是个问题,在苏珊被发现之前,我和我的同事(也没有在该领域的其他任何人)都没有意识到。产生的偏差与教科书示例完全不同,并且仅通过数据的模拟和压力测试才变得明显。

突然,一切都变得更加严重。我立即起草了我的发现的摘要,并将其发送给我的原始合著者,并附有收回说明的初稿。我将永远不会忘记我的博士学位顾问UCL的Geraint Rees的回复。他的电子邮件开始了:“太棒了,我们一直努力理解我们的方法和发现!”他鼓励我更深入地进行分析。这表明了我们最初发现的趋势,但是这些趋势远没有我们想象的强大。

因此,我们决定撤退。我们的撤回通知解释了发生的情况,并指出了由Susanne领导的技术论文,以便其他人可以从我们的错误中学习(S. Stoll等人的预印本,网址为bioRxiv https://doi.org/fqs8; 2020)。多年来,神经影像学领域发现了许多可能的陷阱,并相应地改变了其实践。我希望我们能够为这一发展做出贡献,并促进改进,例如使用模拟数据进行健全性检查。

我认为大多数科学家都希望对自己的数据和结论提出更多批评,因为它们是由简单的学习欲望驱动的。但是,我们每个人都面临着职业激励措施,以惩罚举报错误和负面结果。到目前为止,我和我的合著者都没有因撤稿而受到影响,但我们愿意面对风险。作为一个没有任期的初级首席调查员,在流行的家庭教育和远程工作中忙于杂耍,我敏锐地意识到,重新分析和收回成本在时间和简历方面是多么昂贵。作为一名学生,我什至被告知不要在出版前尝试复制。那不是我想要的职业-幸运的是,我的博士顾问教了我相反的道理。

我们需要的是激发开放性和好奇心的激励机制,从而促使我们首先成为研究人员。将对方描绘成恶棍,试图超售或隐藏数据,或者开始进行女巫狩猎只会达到相反的效果。

将彼此视为具有了解世界的共同目标的同行是双赢的。我在2017年开始发布数据和代码时是因为我知道自己的研究可以从其他人的研究中受益。想要知道的是Susanne一直在探索令人困惑的结果的原因,是促使我重新分析数据的原因,以及促使我们的同事在此过程中支持我们的原因。

科学进步将始终涉及错误的检测和纠正。一些任期委员会和赠款机构已经开始询问候选人是否实践开放科学。我建议他们补充:“您从错误中学到了什么?”