人工智能应该开放吗？-Slate Star Codex

H·G·威尔斯(H.G.Wells)1914年出版的科幻小说“自由的世界”(The World Set Free)在预测核武器方面做得相当不错：

直到原子弹在他们笨手笨脚的手中爆炸，他们才看到了这一点。…。在上次战争开始之前，众所周知，一个人可以在手提包里随身携带足以摧毁半座城市的潜在能量。

威尔斯认为，即将到来的原子弹将是如此致命，以至于我们将不可避免地创建一个乌托邦的单一世界政府，以防止它们被使用。抱歉，威尔斯。这是个不错的想法。

但想象一下，在1910年代和1920年代，一些精英已经开始认真地沿着韦尔斯主义路线思考。他们会担心当第一个国家--比如说美国--拥有核弹时会发生什么。它在战斗中势不可挡，可能会铁腕统治世界。这种情况将是人类自由和进步的终结。

因此，在1920年，这些精英们汇集了他们的资源，制定了他们自己的曼哈顿计划。他们的努力取得了成果，他们学到了很多关于核裂变的知识，特别是他们了解到铀是一种必要的原材料。世界上的铀源足够少，以至于一个国家或联盟就可以垄断它们；原子专制的幽灵似乎比以往任何时候都更令人担忧。

他们让物理学家加班加点地工作，发现了一种完全不需要铀的新型核武器。事实上，一旦你理解了这些原理，你就可以用T型发动机的零件来制造一个。唯一的缺点是，如果你没有完全正确地建造它，它通常的故障模式是在工作台上以不受控制的过度反应引爆，这将把整个半球炸成碎片。

因此，知识和金融精英宣布了胜利-现在没有一个国家可以垄断核武器-并向世界上每个家庭发送了制造T型核武器的循序渐进的指南。不到一周，两个半球都被炸成了可以预见的碎片。

硅谷的一些顶级公司刚刚宣布成立一个新的组织，OpenAI，致力于以最有可能造福整个人类的方式推进数字智能…。尽可能广泛和均匀地分布。“。联席主席埃隆·马斯克和萨姆·奥特曼采访史蒂文·利维：

马斯克：从哲学上讲，这里有一个重要的元素：我们希望人工智能得到广泛应用。有两种思想流派？-？你是想要多个人工智能，还是想要少量的人工智能？我们认为多多益善。在某种程度上，你可以将它与个人意志的延伸联系在一起，这也是好的。[…]。

奥特曼：我们认为人工智能能够发展的最好方式是，如果它是关于个人赋权和让人类变得更好，并免费提供给每个人，而不是一个比任何人强大一百万倍的实体。因为我们不是一家营利性公司，不像谷歌那样，我们可以专注于让我们的股东致富，但我们相信对人类的未来来说，实际上是最好的事情。

Altman：我希望它会，但它将是开源的，每个人都可以使用，而不是像谷歌这样的人可以使用。该小组开发的任何东西都将向每个人开放。如果你拿着它，重新利用它，你就不需要分享它了。但我们所做的任何工作都将为每个人所用。

利维：如果我是邪恶博士，我使用它，你不会授权给我吗？

马斯克：我认为这是一个很好的问题，这也是我们辩论了很久的问题。

奥特曼：关于这一点有几种不同的想法。就像人类通过大多数人都是好人的事实来保护自己免受邪恶博士的伤害一样，人类的集体力量可以遏制坏人，我们认为很多很多人工智能更有可能努力阻止偶尔出现的坏人，而不是认为只有一个人工智能比其他任何东西都强大10亿倍的想法。如果这件事偏离正轨，或者如果邪恶博士得到了那件事，却没有任何东西可以抵消它，那么我们真的处于一个糟糕的境地。

这里的双方都在谈论谁将“使用”比人类强大十亿倍的超人智能，就好像它是微波炉之类的东西一样。我绝不会声称自己比马斯克或奥特曼对任何事情都了解得更多，但我建议，“如果邪恶博士使用超智能人工智能，你会怎么做？”的正确答案是：“如果邪恶博士使用超智能人工智能，你会怎么做？”是“喜极而泣，宣布胜利”，因为任何人对第一个超级智能都有一个有用的控制水平，这比我们有任何权利期待的要多得多，以至于我准备接受医学学位和不祥的姓氏的存在。

一种更波斯特罗米亚式的观点会忘记邪恶博士，并将人工智能的进步建模为古德博士和非道德博士之间的一场竞赛。古德博士是任何明白设计不当的人工智能可能会失控并摧毁人类的人-并且愿意测试和微调他的人工智能，无论需要多久才能真正相信它的安全性。非莫拉尔博士就是那些不担心这一点的人，他们只想尽可能快地前进，以便成为第一个完成项目的人。如果古德博士先完成人工智能，我们就会得到一个保护人类价值的好人工智能。如果非道德博士首先完成了人工智能，我们得到的人工智能与人类无关，这可能会缩短我们的未来。

阿莫拉博士在这场竞赛中有一个明显的优势：与构建人工智能并花费数年时间对其进行测试并确保其行为稳定和有益相比，构建人工智能而无需事先担心其行为要更快、更容易。他会赢得任何公平的战斗。人们一直希望这场战斗不会公平，因为所有最聪明的人工智能研究人员都会意识到风险，并加入古德博士的团队。

开源人工智能粉碎了这一希望。假设古德博士和他的团队发现了人工智能的所有基本原理，但明智地推迟了实际实例化超智能，直到他们可以进行必要的测试和安全工作。但是假设他们也发布了他们在互联网上得到的东西。阿莫拉博士下载这些计划，把它们塞进他的超级计算机，按下开关，然后--正如古德博士自己在1963年所说的那样--“人类变得多余了。”

将人工智能研究结果开源的决定是风险和收益之间的权衡。风险在于让世界上最粗心大意的人来决定AI研究的速度--因为每个人总是可以选择充分利用现有AI设计的力量，而世界上最粗心大意的人永远是第一个拿到它的人。好处是，在一个智能发展非常缓慢，人工智能很容易控制的世界里，没有人可以利用他们唯一拥有的唯一存在的人工智能来获得太多的权力。

但是，如果我们不生活在一个进步缓慢、容易控制的世界里，会发生什么呢？

如果人工智能懒洋洋地从下人类到人类再到超人，那么我们最终可能会得到很多或多或少同样先进的人工智能，我们可以进行调整和微调，直到它们与我们很好地合作。在这种情况下，我们不得不担心谁控制了这些人工智能，而正是在这里，OpenAI的模型最有意义。

但博斯特罗姆等人担心人工智能根本不会像这样工作。相反，可能会出现“硬起飞”，即在将人工智能研究进展与智力(以做事能力衡量)之间映射的功能上的主观中断。如果在1月1日，你有一个像牛一样聪明的玩具人工智能，而在2月1日，它证明了黎曼假说，并开始在太阳周围建造一个环，那就是一个艰难的起飞。

(我在这里没有足够的篇幅来真正公正地阐述这些论点，所以如果你还没有读过的话，我再次建议你读一读博斯特罗姆的“超级智能”。有关人工智能研究人员自己如何看待这些想法的更多信息，请参阅人工智能风险研究人员。)。

为什么我们要期待一次艰难的起飞呢？首先，这是以前发生过的。从犀利的牛角进化到拥有锋利长矛的原始人，进化花了2000万年；从拥有锋利长矛的原始人到拥有核武器的现代人，只用了几万年。几乎所有实际上有趣的智力差异都发生在一个你可能眨眼或忽略的小窗口内。

如果你要发明一种客观的动物智商，基于达到一定水平所需的进化工作量，大脑结构的复杂性，等等，你可能会把线虫定为1，奶牛定为90，黑猩猩定为99，直立人定为99.9，现代人定为100。99.9和100的区别在于“经常被狮子吃掉”和“必须通过反偷猎法以防止所有狮子被消灭”的区别。

更糟糕的是，我们人类没有更聪明的原因真的很愚蠢。即使是那些认为这个想法令人厌恶的人也同意，有选择地培育人类以获取智力在某种程度上是可行的。找到所有最聪明的人，让他们世世代代结婚，你就会得到一些真正聪明的曾孙。但想想这有多奇怪！从本质上讲，培养聪明人并不是在工作。它不是在发明复杂的新脑叶。如果你想把它全部拟人化，你只是在“告诉”进化，智力是它应该选择的东西。见鬼，这就是非洲大草原所做的一切--黑猩猩和人类之间的区别不是什么出色的新分子机制，它只是把黑猩猩困在一个选择智力的环境中，这样进化就会受到激励，拿出一些愚蠢的黑客。黑客似乎是“大脑更大”之类的东西(你知道吗，无论是在物种之间还是在人类个体中，大脑大小都与智力密切相关，而我们不聪明的一个原因可能是，通过产道挤进一个更大的大脑太难了。)。如果你相信格雷格·科克伦(Greg Cochran)的阿什肯纳齐智商假说，仅仅是拥有一种重视婚姻市场智力的文化，就足以在几个世纪内将智商提高15个百分点，而在我们这样一个智力增长非常容易的世界里，这正是你应该期待的事情。

我认为需要对智力进行一定程度的艰苦的工程/设计工作，远低于人类的水平。在此之后，对智力的限制与其说是新的发现，不如说是权衡的问题，比如“你能把多少大脑塞进一个足够大的脑袋里，足以填满一个产道？”(这句话的意思是：“你能把多少大脑塞进一个足够大的脑袋来填满一条产道吗？”)。或者“神经元生长更快不会增加患癌症的风险吗？”众所周知，计算机并不是必须通过产道或患上癌症，所以人工智能研究人员可能只需要开发几个基本原则-比方说足够制造奶牛级别的智能-之后，通往人类智能的道路就会通过在代码中添加NumberOfNeuronsSimulted=100000000000行来实现，而通往超级智能的道路则需要在代码中再添加一个零。

(请记住，从美索不达米亚到19世纪的英国，人类历史上所有的人都发明了一种可以和人一样快的交通工具。但在那之后，只用了另外四年的时间就制造出了一台速度比人类快一倍的机器。)。

如果出现硬起飞，OpenAI的策略就不再有用。确保每个人都有自己的人工智能是没有意义的，因为从第一个有用的人工智能到建模变得非常混乱，没有人“拥有”人工智能之间没有太多的时间。

OpenAI的策略还跳过了人工智能风险的第二个方面：控制问题。

所有这些关于“大公司会使用人工智能吗？”或者“邪恶博士会使用人工智能吗？”或者“人工智能会被用来造福所有人吗？”前提是您可以使用人工智能。你当然可以使用像国际象棋计算机中那样的人工智能，但也没有人非常害怕象棋计算机中的人工智能。那有没有足够强大到让人害怕的人工智能呢？

记住程序员的经典抱怨：计算机总是做你告诉他们做的事情，而不是你让他们做的事情。计算机程序很少在你第一次测试它们的时候做你想要的事情。谷歌地图的任务相对简单(绘制A点和B点之间的路线)，经过谷歌最优秀的工程师多年来的完善，日复一日地接受数千万人的“测试”，仍然偶尔会做一些可怕的事情，比如建议你开车越过致命的悬崖边缘，或者告诉你在去街角商店的路上无缘无故地穿过海洋往回走。

人类有一个强大的神经结构，以至于你可以从逻辑上证明他们正在做的事情是次优的，他们会耸耸肩，说无论如何他们都会去做。计算机不是这样的，除非我们让它们这样，这本身就是一项艰巨的任务。它们自然是脆弱的，并且指向特定的目标。如果人工智能的驱动力像谷歌地图偶尔会把你从悬崖上扔下去那样反常，那么它不一定会自我纠正。一个聪明的人工智能也许能够弄清楚，人类并不打算让它拥有它所拥有的驱动力。但这不会改变它的驱动力，就像你不能耐心地向一个同性恋者解释进化可能并不意味着他们就是同性恋一样，把他们转变为异性恋者。您的驱动器就是您的驱动器，不管它们是故意的还是无意的。

当谷歌地图告诉人们把车开下悬崖时，谷歌悄悄地修补了这个程序。比我们更强大的人工智能可能不需要接受我们的补丁，并可能会积极采取行动阻止我们打补丁。如果一个外星人物种出现在他们的不明飞行物中，说他们创造了我们，但却犯了一个错误，实际上我们应该吃了我们的孩子，并要求我们排队，这样他们就可以把吃孩子的功能基因植入我们体内，我们很可能会在独立日全力以赴；拥有更具目标导向的架构的计算机会更愿意抵制这样的变化。

如果这真的是一条从牛级AI到超人级AI的捷径，那么测试牛级AI的稳定性并期望它一直保持稳定到超人级真的很难--超人制造麻烦的方式比牛多得多。这意味着超人人工智能面临着严重的风险，它们想要做的等同于把我们从悬崖上扔下去，而且非常抵制我们将这种欲望从它们身上移除。我们或许可以防止这种情况发生，但这需要在奶牛级别的人工智能上进行大量深入的思考和仔细的测试和督促，以确保它们为过渡到超人做好尽可能多的准备。

而让人工智能开源，我们就失去了这个选择。当古德博士忙于测试和督促时，阿莫拉博士已经下载了这个程序，按下开关，我们就可以走了。

再说一次：将人工智能研究成果开源的决定是在风险和收益之间进行权衡。风险在于，在一个有困难起飞和难以控制问题的世界里，你会得到超人的人工智能，把每个人都扔下悬崖。好处是，在一个起飞缓慢、没有控制问题的世界里，没有人能够利用他们唯一拥有的唯一存在的人工智能来获得太多的权力。

但好处还不够清楚，不足以证明这种风险水平是合理的。我甚至还不确定OpenAI的创建者们是如何看待他们试图阻止的未来的。人工智能又快又危险吗？它们速度慢，容易控制吗？只有一家公司有吗？几家公司？都是有钱人吗？它们是不是适度的优势？一个巨大的优势？所有这些可能性似乎都不够可怕，不足以证明OpenAI在安全问题上的权衡是合理的。

我们是否担心，尽管人工智能几乎成为每一个计算应用程序的必需品，但它会被一家公司主导吗？Microsoft Windows由一家公司主导，几乎成为所有计算应用程序的必需品。有一段时间，人们真的很害怕微软会利用自己的优势成为垄断巨头，接管互联网和其他什么东西。取而代之的是，他们措手不及，被苹果和谷歌击败，另外，如果你真的想要，你可以使用像Linux这样的开源软件。无论如何，新版本的Windows不可避免地会遭到黑客攻击，最终出现在海盗湾。

还是我们担心人工智能会以某种方式帮助富人变得更富，让穷人变得更穷？对于一款几乎可以免费复制的软件，这是一种奇怪的担忧。Windows和Google搜索都是耗费数百万工时进行研究的极其复杂的产品；Google是免费的，Windows与您的计算机捆绑在一起。事实上，人们已经不辞辛劳地为这两家公司创造了极其复杂的竞争对手，并免费提供这些竞争对手，以至于多个团体都在竞相免费向人们提供极其复杂的软件。虽然富人有可能负担得起高级人工智能，但我很难将“富人得到高级版本的东西”与“人类可能被毁灭”等同于权衡。比如，想象一下，在一个反乌托邦的世界里，富人比我们其他人拥有更好的东西。这太可怕了，连想都不敢想。

或者我们担心人工智能会发展得非常快，让人拥有完全荒谬的能力？但请记住，仍然有一个政府，它倾向于怀疑其他人变得足够强大，能够与之竞争。如果一些公司垄断人工智能并变得太大，政府就会拆分它，就像他们在微软变得太大时一直威胁要拆分微软一样。如果有人试图利用人工智能来剥削他人，政府可以通过一项复杂的法规来反对这一点。你可以说很多关于美国政府的事情，但你不能说他们从来没有通过复杂的法规禁止人们做事。

还是我们担心人工智能会如此强大，以至于拥有人工智能的人会比政府更强大？考虑一下这个场景。如果政府注意到有人的权力只有它的四分之一，它很可能会采取行动。因此，人工智能用户不太可能压倒政府，除非他们的人工智能能够变得足够强大，足以以太快的速度击败美国军方，以至于政府无法注意到或做出回应。但是，如果人工智能能够做到这一点，我们就回到了智能爆炸/快速起飞的世界，在这个世界里，OpenAI的假设被打破了。如果人工智能能够在很短的时间内从零变成比美国军方更强大的机构，同时仍然保持良好的行为举止，那么我们实际上必须担心邪恶博士，我们不应该把我们所有的研究都给他。

或者我们担心一些大公司会秘密制造出比美国政府更强大的人工智能？我想这有点吓人，但很难对此感到太兴奋。所以谷歌接管了世界？很好。你认为拉里·佩奇是比这些人中的一个更好还是更差的统治者？如果他有一个超级智能的人工智能帮助他，而且一切都是后稀缺的，那会怎么样？是的，我想总的来说，我更喜欢宪法上的有限政府，但这是另一个假设的恐怖场景，甚至没有“人类可能被毁灭”那么大的份量。

如果OpenAI想要从流氓人工智能中牺牲人类的安全，以获得更好的安全，以对抗试图利用对人工智能的控制的人，他们需要比我迄今见过的任何东西都更有力地证明为什么后者是一个如此可怕的风险。

曾经有一段时间，美国是唯一拥有核武器的国家。除了可怜的广岛和长崎，它大多没有发挥自己的优势，笨手笨脚地让俄罗斯人窃取了原理图，现在从以色列到朝鲜每个人都有核武器，事情都很糟糕。

.