让人工智能变得更好，让它变得更慢
有益的人工智能和破坏性的人工智能之间的区别可能是让快速思考变得更快对用户是否有任何用处。
几个月前，我辞去了Auth0的工作，加入了一家由我的一些朋友创立的国防和国家安全公司。这是一个冒险的决定，既是因为该公司是一家新公司，也是因为当你与军方合作时，你不可避免地会建立会直接或间接杀死人的技术。这是一个充满伦理困境的环境，大多数技术专家更愿意通过简单地选择完全不参与来保持自己的清白。
决定冒这个险的原因有很多，但与这篇博客文章最相关的一个原因是，最近科技界的每个人都在谈论构建“符合道德的”产品，没有人能真正定义生产符合道德的产品的软件开发过程与生产正常产品的过程有何不同。只是“不要作恶”可能不再是谷歌的座右铭，但这绝对是硅谷看待事情的方式。
我不是那种认为结果取决于人的素质的人。最好的工程师有时会一起制造糟糕的技术。团队不是他们各部分的总和。简单地聚集一群有思想的人(Rebellion雇佣了很多终身和平主义者)并不意味着他们会建立符合道德的技术。
但是团队是他们互动的总和，互动是通过正式和非正式的过程来管理的。我是那种喜欢设计有效流程的人，当我最终接受朋友的提议时，我开始相信人工智能在防御中是一种何时的情况，而不是一种如果的情况。彻底禁止的机会来了又走了，这些工具将进入战斗空间，其影响在很大程度上将取决于谁参与将它们带到那里。
每个月在工作中，我们都会召开一次组织范围的常设会议，讨论我们的道德规范。在这次会议的一个早期版本中，我们认为攻击性工具和防御性工具之间的区别对于探索我们可能构建的工具的影响不是一个有用的区别。防守和进攻之间的区别实际上在于谁拿着工具，他们指的是什么。围绕这一点设计软件并非易事。
相反，我们最终把重点放在了冲突升级和降级的想法上。国防领域中负责任的技术是帮助人们更深入、更批判性地思考摆在他们面前的选择的技术。不负责任的技术鼓励他们仓促下结论，或者让他们与实地现实相去甚远，它使那些在部署技术时受到负面影响的人失去人性。
有道德的人工智能人们喜欢谈论“让人类保持在循环中”。在早先的一篇博客文章中，我使用系统安全框架讨论了这个概念，系统安全框架是一个现有的科学领域，研究安全策略以反直觉的方式受益或破坏安全结果。
人在循环中是设计政策时的有效指导原则，但在设计技术时要稍微困难一些，因为所有的技术都重新分配了人力在给定过程中的应用方式。当将新技术引入到现有任务中时，一些步骤会自动取消，而其他新步骤就变得必要了。产品团队如何确定在流程中移动人员的位置是否将他们带出了圈子？
答案可能来自于人类和计算机思维是如何相互结合和发挥作用的。“思维快与慢”一书普及了人类思维方式的一个模型叫做类型1对类型2。类型1是直觉(快速)思维。这对人类来说是很低的工作量。本能的，主要基于模式匹配和给定知识与另一历史知识的相似程度。类型2是分析性(缓慢)思维。计算性的，通常是统计性质的。这对人类来说是很大的努力，因此需要适当的预算，但通常会纠正第一型思维所犯的错误。
足够有趣的是，人工智能研究的早期记录了一种名为莫拉维克悖论的东西，它观察到计算机与类型1和类型2的思维有着完全相反的关系。对于计算机来说，第二型思维很容易，而第一型思维则很难，而且需要大量的资源。几乎所有的机器学习和人工智能都是类型1思维。因此，人工智能产品倾向于加速人类操作员的类型1思维。
但是第一类思维已经很快了，我开始怀疑有益的人工智能产品和那些制造问题的产品之间的界限是，用户真正从让快速思维更快中获得了多少效用？网络开发人员几乎和经济学家一样了解收益递减规律。它管理服务级别目标的开发。有一点，简单地让网站变得更快并不能真正改善用户的体验，它只是在花钱。
类似的，让类型1思考得更快实际上并没有给用户带来任何额外的好处，但它确实极大地增加了发生严重错误的几率。
如果人类纠结于类型2并且擅长于类型1思维，而计算机纠结于类型1思维并且擅长于类型2，那么好的决策涉及使用类型2思维来错误检查类型1思维…。.为什么我们要制造机器来为我们做第一类思考？使用计算机使缓慢的思考更具资源效率，而不是使快速思考更快，难道不会有更多的效用吗？
我对人工智能和伦理问题的探索越多，我就越明白问题选择的重要性。完全相同的技术可能会产生截然不同的后果，这取决于它所解决的问题的框架。
一名警官正在试图辨认照片中的人。人工智能隔离他们的脸，并在面部识别数据库中寻找匹配。
一名警官查获了一个硬盘，里面有数千份文件。人工智能搜索文件，并根据文件中可能存在的重要面孔对其进行优先排序。
在第一个场景中，计算机试图为人类操作员进行类型1思考。尽管一些运营商会仔细和批判性地检查比赛，以确认人工智能的结果，但大多数运营商不会。大多数人根本不会思考，只是简单地假设一场比赛就是一场确定的比赛。
第二个场景解除了人类进行类型1思维的障碍。在现实生活中，需要处理的数字法医证据的积压往往长达数年之久。这么久以来，很多法医证据根本没有被研究过，案件就是在没有这些证据的情况下继续进行。尽管现代计算机功能强大，但这项工作仍然需要人工操作员进行大量的人工搜索。使用人工智能来提高流程的效率，增加人类在循环中进行的批判性思维，而不是取代它。即使一些重要的文件丢失了，您仍然可以得到比没有它的情况下更多的信息。
这里有一个非假设的例子：将臭名昭著的量刑推荐应用程序COMPAS与类似的系统ESAS进行比较。从表面上看，这两种技术似乎解决了同一个问题：根据历史数据提出量刑建议。Compas试图将大量数据提炼成用户可以忽略但不能挖掘或质疑的简单结论。它考虑了从你父母的犯罪史，到你朋友的生活方式，再到你对个性问题的回答等方方面面。另一方面，ESA只关注案例信息。它寻找相似的案例，并让用户轻松地查找和探索产生的句子周围的上下文。是什么让一起案件值得长期监禁，而另一起同样指控的案件却值较短的刑期？
Compas试图为用户进行类型1思考，并且因为用于创建推荐的算法和数据都是隐藏的，所以将检查类型1错误的类型2思考被阻止。更糟糕的是，COMPAS给他们的建议分配了一个数值。有些人不仅仅是“高风险”，他们在数字尺度上也是高风险。关于第一类思维，我们知道的一件事是，它很容易受到锚定的影响。给某人一个很高的数字，即使他们认为这个数字是错误的，他们用来取代它的数字也会比他们原本估计的要高。
支持COMPAS的数据中的偏见已经有了很多，但事实上，即使数据是完美的，COMPAS仍然会产生糟糕的结果。它自动化了容易出错的类型1思维，用任意的锚定值毒化了用户的判断，并阻止了类型2思维发现问题。
在COMPAS对这一问题的定义中，还隐藏着一个无可质疑的怪胎假设：高风险再次犯罪的人将通过延长刑期来降低再次犯罪的可能性。再次犯罪的原因是监狱系统纠正的某些性格缺陷。康帕斯并不认为这种关系实际上可能会颠倒：在监狱里度过更长时间的人会与社会支持网络脱节，更有可能为了生存而再次犯罪。
这就是用计算机进行的第一型思维取代人类第一型思维的危险所在。计算机可以计算相关性，但它们不能围绕它构建一个故事，将这种相关性转化为可操作的洞察力。因此，即使是最好的算法也需要人类考虑其结果的上下文。移除该上下文的人工智能的生死取决于其模型的准确性。人工智能在几层抽象层上移除了上下文，当地球出错时，它会在地球上刻下一个大的爆炸半径。
另一方面，人工智能提高了人类可以更好地应用类型1和类型2的速度和机会。在佛罗里达州与ESAS进行的早期试验表明，通过将一个案件与一系列可比较的案件相匹配，并允许用户探索他们的上下文，句子的总长度被缩短了，有时甚至相当短。ESAS团队估计，仅5起刑事案件就为佛罗里达州节省了100万美元的每日监禁费用。
关于技术进步的叙述通常是关于什么被取代，但技术并没有真正取代，它是重新分配的。花在过程的一个部分上的时间、精力和金钱转移到同一过程的另一个部分。向某物添加一台计算机可能会移除执行手动过程的人员，但取而代之的是构建、部署和维护计算机进行工作的多个人员。
因此，任何使用人工智能的产品的影响和最终效果都不是由它使用的算法决定的，而是由它如何重新分配人力资源决定的。它是为批判性思维创造更多机会，还是以更少的思考和讨论鼓励更多的行动？与其他程序员相比，构建人工智能的软件工程师需要更多地关注计算机与人的交互。为用户进行类型1思考并阻止类型2思考的人工智能通常会导致灾难性的结果。人工智能增加了类型1思维的机会，并鼓励用户将类型2错误检查添加到机器的类型1思维中，这往往会增加实用性。
