这个博客根本没有经过同行评审。当我写它的时候，我把它放在那里，人们读或不读。我独自控制的是我的小扩音器。
但是我不认为任何人，或者至少我希望没有人认为我在这里发表科学论文。但它们是我的观点文章，只有当有人发现我之前的观点在某些方面被证明是正确的时，它们才有价值。
最近有很多关于同行评议的讨论。这篇帖子是为了分享我三十年前作为作者和编辑进行同行评议的一些经验。
在我看来，同行评议远非完美。但是有了决心，新的和革命性的想法可以通过同行评议过程，尽管这可能需要几年的时间。当然，问题是，大多数革命性的想法都是错误的，所以同行评议往往会严厉地践踏所有这些想法。另一种选择是让每个人都自己发表，这就是jarxiv分发服务正在发生的事情。他们的论文被张贴在那里，没有接受同行审查的意图，所以它们实际上是在没有审查的情况下发表。这可以被视为民粹主义问题的一部分，在那里，所有自称的专家都被平等地听取，因此不再有任何专业知识。
自1984年夏天以来，无论是人工智能(AI)还是神经科学，我一直在与牛群走向何方的不适作斗争。这是我在斯坦福的第一份教职和我在麻省理工学院的第一份长期教职之间的一段时间。我仍然很担心，而且我正忙着写一本关于这个主题的较长的技术书籍-顺便说一句，出版一些东西作为一本书可以绕过全面同行审查的需要，…。
1984年秋天，当我来到麻省理工学院时，基于我的担忧，我改变了我的研究方向。一年后，我准备好谈论我正在做的事情，并提交了一篇期刊论文，描述了技术想法和初步实现。以下是两篇评论中的一篇。
这是令人鼓舞的，但它和第二次审查都建议不要发表这篇论文。这将是我第一次被拒绝。然而，编辑乔治·贝基(George Bekey)决定无论如何都要出版它，它看起来是这样的：
布鲁克斯，R.A.。“A Robust Layered Control System for a Mobile Robot”，IEEE“机器人与自动化杂志”，第2卷，第1期，1986年3月，第14-23页；另见麻省理工学院人工智能备忘录864,1985年9月。
谷歌学者(Google Scholar)报告称，这篇论文被引用的次数不到1.2万次，这是我发表过的被引用最多的论文。在控制机器人的方法中，它提出的包容架构直接导致了机器人吸尘器Roomba，这是一款机器人吸尘器，销量超过3000万台，是有史以来产量最高的机器人产品。此外，控制体系结构是由一系列研究人员多年来形式化的，它的后代行为树现在是大多数视频游戏的基础。(Unity和Unreal都使用行为树指定行为。)。这份文件每年仍有数十亿美元的影响。
大多数迷路的研究人员认为群体是错误的，最终会朝着自己错误的方向前进。我非常幸运，选择了一个具有令人难以置信的实际影响的方向。
然而，我在更深的知识层面上感到担忧，因此几乎同时开始写人工智能研究的哲学基础，以及我的方法有何不同。那里的评论更加残酷，正如这里的一篇评论所显示的那样：
这是对实验室备忘录AIM-899的回顾，这是我在一次会议上提交的关于通过构建机器人实现人工智能的实验备忘录。这是我第一次谈到机器人吸尘器的可能性，作为我倡导的哲学方法如何产生新的实际结果的例子。
上图中的评论可能有点难读。上面写着：
这篇论文是一篇延伸的、漫无边际的抱怨，即世界并不完全将作者的作品视为人类的救赎。
这里没有科学内容；几乎没有推理论证的方式，而不是任性的断言和非断言；以及关于这些问题的文献无知的充分证据。唯一被引用的哲学家是德莱弗斯-但提出的许多问题都没有被其他人处理得更容易理解(维特根斯坦和许多继任者的椅子定义问题等；塞尔的解释玩具禁令；福多尔的模块性问题；丁伯根的多重行为思想；以及约翰·加勒穆尔(他称之为计算实证主义)的建构主义方法。关于进化论的争论漏洞百出，关于抽象的讨论表明，作者对分析思维和科学调查的理解很少。
唉哟!。这就像向公牛挥舞红旗一样。我把这条评论和其他一些负面评论贴在我的办公室门上，他们在那里呆了很多年。到了第二年6月，我已经大幅增加了它，删除了吸尘器的想法，但保留了所有评论员不喜欢的东西，并挑衅性地将其重新命名为没有代表性的情报。我把论文提交给了期刊，得到了更多的拒绝-更多的帖子上门了。最终，它的名气蔓延到了该领域的主流期刊-美国人工智能杂志(The Artitical Intelligence Journal)原封不动地发表了它(Artitical Intelligence Journal(47)，1991，第139-159页)，现在已经有6900篇论文被引用。我经受住了批评，并被出版了。
同年，在主要的国际会议IJCAI：人工智能国际联席会议上，我很荣幸获得了计算机技术和思想奖，这让我相当惊讶，我认为这对其他几乎所有人来说都是一个惊喜。在获得这一荣誉的同时，也收到了在诉讼程序中发表正式论文的邀请，没有适用于其他所有人的六页限制，也没有适用于其他所有人的同行审查程序。我的文章长达27页，双栏，是一篇关于人工智能历史的批判性评论文章，也有一个极具挑衅性和互补性的标题，《没有理由的智能》(Proceases of 12Int.。联席会议。“关于人工智能”，澳大利亚悉尼，1991年8月，第569-595页)。它现在已经有超过3100次引用。
我的三篇被引用次数最多的论文要么在同行评审中被拒绝，要么在没有同行评审的情况下被接受。因此，我并不完全是同行评议论文的典范。
1987年，我与人共同创办了一本期刊，名为《国际计算机视觉杂志》(The International Journal Of Computer Vision)。多年来，它一直是由Kluwer作为硬拷贝期刊出版的，但现在它由Springer运营，并完全在线。它现在已经是第128卷了，已经有数百期了。我共同编辑了前七卷，总共有二十八期。
“纽约时报”在计算机视觉领域享有很高的声誉，并一直位居出版位置的前几位，而计算机视觉本身就是当今研究的一个非常热门的话题。
如果一篇论文是纯理论的，有很多方程，没有涉及处理图像的实验，那么它比一篇确实有实验结果的论文更有可能被接受。我把这归因于人们对数学的过度印象(我有纯数学学位，对方程式和复数符号不那么容易印象深刻)。我怀疑很多时候审稿人没有充分阅读和理解数学，因为他们中的许多人对这类论文的内容几乎没有评论。然而，如果一篇论文对真实图像进行了实验(当时计算机速度如此之慢，以至于处理的图像很少超过一把)，同样的评审者会对输出进行分析，指责它没有他们认为的那么好。
我很快就了解到，某个审稿人总是会详细阅读数学，并且总会对更多的数学论文提出批评意见。这看起来不错。真正的同行评议。但很快我就意识到他总是建议拒绝。从来没有一张纸达到过他的标准。拒绝！还有其他经常被拒绝的人，但没有人像这位特别的人那样教条。
同样，我发现某些评论者总是说接受。现在的问题是我为几乎任何一篇论文选择正确的三名推荐人，甚至在我把论文送去审查之前，我就可以知道大多数审稿人会建议接受还是拒绝。不怎么好。
我开始意识到编辑的工作是真实的，它要求我深刻理解论文的主题，以及审稿人的偏见，而不是把裁判视为自己有权决定论文的命运。作为一名编辑，我必须在这个过程中的许多步骤上增加评判，努力争取这个过程来改进论文，同时也要引入新的想法。就在几年前，我开始了解乔治·贝基和他在我的论文中所扮演的角色。
同行审阅和编辑更像是一对一教学的过程，而不是处理选择题考试结果的过程。如果处理得当，这是为了诱使科学家发挥最好的作用，并鼓励新想法蓬勃发展，鼓励该领域继续发展。
那些认为同行评议本质上是公平和准确的人错了。那些认为同行评议必然会压制他们出色的新想法的人错了。这不仅仅是这两种简单的对立倾向。
同行评议是在一个从事科学工作的人比今天少得多的世界里成长起来的。通常情况下，编辑会认识世界上每个过去对该领域做出贡献的人，并在每个新进入该领域的人开始提交论文时有足够的时间理解他们的想法。它依赖于人际关系和深刻而深思熟虑的理解。
这仅仅是因为今天科学努力的规模而改变了，而且不再可能以这种形式出现。
有一种要求双盲匿名审查的呼声，相信这会产生一个公平的竞争环境。虽然在某种意义上这是正确的，但它也降低了培育新想法的能力。Clamorers需要小心他们的愿望-比方说，这会让他们在速度测试中沦为竞争对手，而不是因为精湛的技艺而受到赏识。根据他们过去的历史或他们来自哪个机构，将被拒绝的风险归零，他们得到的回报是，他们注定永远把论文瞄准平庸领域的中间，几乎没有机会实现伟大。
另一个因素是新期刊的数量发生了变化。各机构，有时甚至整个国家，都认为要想让自己获得更好的名声，最好的办法就是拥有一本或三十本科学期刊。他们设立了它们，并让一名对全球范围内特定领域的思想流动没有真正了解的当地人担任编辑。现在，编辑变成了一个机械的过程，不了解论文的内容，也不了解他们请谁做评论的资格。我知道这是真的，因为我经常被要求审查我完全没有知识的领域的论文，是由我从未听说过的期刊编辑撰写的，也没有听说过他们的期刊，也没有听说过他们的期刊，也没有听说过他们的历史。我被邀请提交一份不可能是好评论的评论。我必须诱导其他评论也可能不是很好。
我没有解决办法，但我希望我在这里的观察可能会让一些人感兴趣。