经同行评审的论文越来越无聊

2021-01-02 08:26:17

研究人员和同行评审出版物的数量呈指数增长。据估计,全球研究人员的数量每16年翻一番,研究成果的数量增长甚至更快。

如果您接受已发表的研究论文可以准确衡量我们的科学成果,那么我们应该会感到很高兴。但是,Cowen和Southwood持相反的观点,并将这种增长表示为没有相关收益的成本增长。

(...)科学投入正在以高的速度增长,(...)然而,这是一个错误,推断这些投入的增加必然是科学进步的好消息。或者说,它们是成本的衡量标准,即在科学活动上投入了多少资金。投入越高,或者投资的增长越陡峭,大概我们可以期望看到科学的进步会更加令人印象深刻。如果没有,那么也许我们应该更加担心。

那么,我们正在大量生产的这些研究论文是否代表了真正的进步呢? Bhattacharya和Packalen得出结论,尽管我们发表的论文更多,但科学本身停滞不前,原因是激励措施更差,使研究重点放在低风险/无奖励风险的研究上,而不是真正的进步:

在对科学生产力进行衡量时,对引文的强调使科学家的报酬和行为从边缘转移到渐进式科学上,而脱离了更有可能失败的探索性项目,但这些探索性项目是未来突破的动力。随着对新思想的关注减少,科学停滞了。

Thurner等。他们在某种意义上同意,即他们发现“现成的”论文越来越难找到:

在过去的几十年中,主流论文的比例增加了,即开即用的比例下降了

当然,科学家们本身就有动力去纠正问题,并鼓励他们自己撰写更重要,更令人兴奋的研究论文?

大多数科学家强烈支持增加研究经费。他们喜欢以积极的眼光来描绘科学,强调利益,最小化负面因素。尽管可以理解,但证据表明,每花费一美元或一小时,科学就大大放慢了速度。该证据需要大规模的机构回应。它应该是公共政策以及赠款机构和大学的主要主题。更好地了解导致这种现象发生的原因很重要,并且找出扭转这种现象的方法是改善我们未来的最大机会之一。

如果我们认为研究论文正在变得越来越糟,它们传达的重要信息更少,那么合理的方法就是轻描淡写。每当您遇到科学家时,他们都会告诉您有关他们发表了多少论文,在哪里发表的论文,或者得到了多少引用……您不应该嘲笑所讨论的科学家,而应该将对话带入另一个层次。科学家正在从事什么工作,为什么它很重要?在表面下挖。

重要的是,这并不意味着我们不应该使人们不鼓励发表大量论文,而不仅仅是我们通常不鼓励程序员编写许多行代码。在其他所有条件都相同的情况下,热爱自己所做的事情并且擅长于此的人会做更多的事情。但是没有人会误会那些写很多作为优秀作家的人。

我们需要挑战传统的同行评审研究论文,在这篇论文中,我指的是出版物在发表之前已被2至5个同行评审。这是相对较新的创新,可能并不总是最好的。像爱因斯坦这样的人没有经历过这个过程,至少在他们早年没有经历过。研究过去更像是“博客”。您将写下您的想法并分享。人们可以阅读并批评它们。可以通过不同的方式来完成沟通过程:一些研究人员会在线广播他们的研究会议。

经同行评审的研究论文可让您“衡量”生产率。 X研究在顶级场所发表了几篇论文?这就是为什么它如此强大的原因。

寻求认可的人没有错。激励措施是好的。但是我们应该奖励人们研究的内容,而不是奖励我们可以从他们的简历中获得的浅薄的元数据。如果您没有阅读和使用某人的作品,那么您就不会告诉我们他们是好是坏。

另一个相关问题是研究人员与评估之间的乱伦关系。关于X理论的工作重要吗? “让我们问研究X理论的人”。不可以。您必须有客户,用户,有动机提供诚实评估的人。客户是客观地使用您的研究的人。如果您设计数学理论或机器学习算法,而投资银行家则依靠它,那么他们就是您的客户(无论他们是否付款给您)。如果失败,他们将停止使用它。

同行评审研究论文似乎建立了这种客户与供应商的关系,您可以得到坦率的评估。不幸的是,它在您扩大规模时失败。研究论文的客户是独立读者,的确如此,但是他们是有自己动机的读者。

您无法轻易地“伪造”客户。我们有时会和电影评论家这样说。但是电影评论家有动力给您值得信赖的推荐。

我们可以尝试在科学上模仿电影评论家模型。我可以开始在博客上审阅论文。我会尽一切努力成为一个好的批评家,因为否则,我的声誉可能会受到影响。但这是一个昂贵的过程。成为电影评论家是一项全职工作。成为研究论文评论家也将是一份全职工作。

那引用呢?好吧,经常被您最近的同行引用。如果他们从事与您相似的工作,则没有动力将其删除。

总而言之,我确实相信科学可能正面临着一系列不协调的激励机制带来的系统性停滞。经同行评审的论文在一个很好的场所接受,因为最终指标似乎是问题的核心。此外,现代科学的整个评估网络似乎经常被打破。看来,研究人员个人应遵循以下原则:

使用“客户”寻求有关您自己工作质量的客观反馈:会坦率地告诉您您的工作是否不好的人。请勿误导此类评估的引用或“同行评审”。

在评估另一项研究时,请尽力表现出与该研究有一定距离的客户。 不要将输入和输出视为质量指标。 没有人会说史蒂芬·金是一位伟大的作家,因为他出版了许多书。 如果您告诉我史密斯先生是一位出色的研究人员,那么您应该能够告诉我有关这项研究及其重要性的信息。