警方正在告诉 ShotSpotter 改变来自枪击检测 AI 的证据

去年 5 月 31 日，25 岁​​的 Safarain Herring 在芝加哥的圣伯纳医院被一名名叫迈克尔·威廉姆斯的男子击中头部并送院。两天后他去世了。芝加哥警方最终逮捕了 64 岁的威廉姆斯，并指控他犯有谋杀罪（威廉姆斯坚称，赫林是在一次驾车射击中被击中的）。该案的一个关键证据是视频监控录像，显示威廉姆斯的车于晚上 11 点 46 分停在南石岛大道 6300 街区——警方称他们知道鲱鱼被枪杀的时间和地点。他们怎么知道枪击发生的地方？警方表示，ShotSpotter 是一种使用隐藏式麦克风传感器来检测枪声和位置的监视系统，会针对当时的时间和地点发出警报。根据威廉姆斯公众提交的一项动议，当晚，19 个 ShotSpotter 传感器在晚上 11 点 46 分检测到敲击声，并确定位置是南湖岸大道 5700 号——距离检察官称威廉姆斯犯下谋杀罪的地点一英里。后卫。该公司的算法最初将这种声音归类为烟花。那个周末，芝加哥发生了广泛的抗议活动，以回应乔治·弗洛伊德 (George Floyd) 的谋杀案，其中一些抗议者点燃了烟花。但是在晚上 11 点 46 分的警报响起之后，ShotSpotter 分析师手动覆盖了算法并将声音“重新分类”为枪声。然后，几个月后，在“后处理”之后，另一位 ShotSpotter 分析师将警报的坐标更改为南石岛大道上的一个位置，靠近摄像头看到威廉姆斯的汽车。 “通过这种人工参与的方法，本案中的 ShotSpotter 输出从不支持任何形式的刑事指控的数据显着转变为现在构成控方针对威廉姆斯先生的谋杀案的核心数据，”公设辩护人写道。在议案中。该文件是所谓的 Frye 动议——要求法官检查和裁定特定法医方法在科学上是否足够有效以作为证据输入。检察官没有在弗莱听证会上为 ShotSpotter 的技术及其员工的行为辩护，而是撤回了所有针对威廉姆斯的 ShotSpotter 证据。

该案例并非异常，它所代表的模式可能会对芝加哥的 ShotSpotter 产生巨大影响，该技术每年平均生成 21,000 条警报。该技术目前也在 100 多个城市使用。主板对威廉姆斯案以及芝加哥和纽约州其他审判的法庭文件的审查，包括来自 ShotSpotter 青睐的专家证人的证词，表明该公司的分析师经常应警察部门的要求修改警报——其中一些似乎正在抓住支持他们对事件的叙述的证据。麦克阿瑟司法中心的律师乔纳森·马内斯 (Jonathan Manes) 告诉主板，如果库克县州检察官办公室没有撤回威廉姆斯案中的证据，这可能会成为伊利诺伊州法院首次正式审查 ShotSpotter 背后的科学和源代码. “与其为证据辩护，[检察官] 只是逃避它，”他说。 “现在，除了 ShotSpotter 之外，没有人能够深入了解并审核这项技术。我们不会让法医犯罪实验室使用未经审查和审计的 DNA 测试。” ShotSpotter 营销和产品战略高级副总裁 Sam Klepper 在一封电子邮件中告诉 Motherboard，该公司没有理由相信检察官的决定反映了对其技术缺乏信心。他写道，ShotSpotter 的证据和员工证词已在 190 起法庭案件中被采纳。 “ShotSpotter 证据是否与案件相关是由检察官和被告律师自行决定的事情……ShotSpotter 没有理由相信这些决定是基于对 ShotSpotter 技术的判断，”他说。芝加哥警察局、库克县州检察官办公室、市长 Lori Lightfoot 的办公室和市议会公共安全委员会主席克里斯塔利亚费罗没有回应采访请求或问题。

2016 年，纽约州罗彻斯特市，警方在寻找可疑车辆时拦错了车，向乘客 Silvon Simmons 的后座开了三枪。他们指控他首先向警察开枪。反对西蒙斯的唯一证据来自 ShotSpotter。最初，该公司的传感器没有检测到任何枪声，算法判定声音来自直升机旋翼。罗切斯特警方联系 ShotSpotter 后，一名分析员裁定发生了四声枪响——这是警察向西蒙斯开枪的次数，其中一次失踪。 ShotSpotter 的专家证人兼公司员工 Paul Greene 在西蒙斯的审判中作证说，“随后罗切斯特警察局要求他进行本质上的搜索，看看发射的子弹是否比 ShotSpotter 捡到的要多，”一位民事人士说。西蒙斯已对市政府和公司提起诉讼。格林发现了第五枪，尽管现场没有西蒙斯开枪的物证。罗切斯特警方也拒绝了他多次要求他们测试他的手和衣服是否有枪弹残留的要求。奇怪的是，作为幻影第五枪唯一证据的 ShotSpotter 音频文件已经消失了。根据西蒙斯的民事诉讼，该公司和罗彻斯特警察局都“丢失、删除和/或销毁了卷轴和/或其他包含与涉警枪击有关的声音的信息”。 “格林在原告的刑事审判中承认，ShotSpotter 的员工和拥有音频编辑器的执法客户可以更改任何未锁定或加密的音频文件。”陪审团最终宣告西蒙斯谋杀未遂，法官推翻了他持有枪支的定罪，理由是 ShotSpotter 不可靠。格林曾在数十次刑事审判中作为政府证人出庭作证，他参与了 2018 年芝加哥的另一份经过修改的报告，当时 27 岁的埃内斯托·戈迪内斯被指控在该市射杀一名联邦探员。

对他不利的证据包括 ShotSpotter 的一份报告，称现场共开了七枪，其中五枪来自门口附近，视频监控显示戈迪内斯站在门口，后来发现弹壳的地方附近。根据法庭记录，视频监控没有显示门口有任何枪口闪光，弹壳无法与击中特工的子弹相匹配。在审判期间，格林在盘问下作证说，最初的 ShotSpotter 警报只显示了两声枪响（是一名警官在对最初的枪击事件作出反应时开枪的）。但在芝加哥警方联系 ShotSpotter 后，格林重新分析了音频文件。 “事件发生大约一个小时后，芝加哥警察局联系了我们，并要求我们搜索——本质上是搜索其他音频剪辑。根据审判记录，格林在法庭上告诉法庭，这确实在半定期的基础上发生在我们所有的客户身上。他后来裁定，公司的算法没有发现另外五声枪响。格林还在审判中承认，“我们坦率地承认，环境中的任何事物都会影响定位和检测精度。” ShotSpotter 分析师“在 90% 以上的时间里同意机器分类，”来自 ShotSpotter 的 Klepper 写信给 Motherboard。 “在极少数情况下，我们的客户要求我们进行位置分析以验证位置的准确性。如果我们发现错误，我们会向客户提供更准确的位置以协助调查。”在审判之前，法官裁定戈迪内斯不能质疑 ShotSpotter 的准确性或格林作为专家证人的资格。戈迪内斯已对定罪提出上诉，这在很大程度上是由于该裁决。 “他们技术的可靠性从未在法庭上受到质疑，没有人对此采取任何行动，”戈迪内斯的律师加尔·皮塞茨基告诉主板。 “芝加哥正在为他们的技术支付数百万美元，然后在某种程度上阻止任何人挑战它。”

反对 ShotSpotter 的核心是缺乏其有效的经验证据——​​就其传感器准确性和系统对枪支犯罪的整体影响而言。该公司不允许对其算法进行任何独立测试，并且有证据表明它在营销材料中关于准确性的声明可能并不完全科学。多年来，ShotSpotter 对其准确性的宣称不断增加，从 80% 的准确率到 90% 的准确率，再到 97% 的准确率。不过，根据格林的说法，这些数字实际上并不是由工程师计算出来的。 “我们的保证是由我们的销售和营销部门而不是我们的工程师提供的，”格林在 2017 年告诉旧金山法院。“我们需要给他们 [客户] 一个号码......我们必须告诉他们一些事情。 ......它并不完美。地图上的点只是一个起点。” 5 月，麦克阿瑟司法中心分析了 ShotSpotter 数据，发现在 21 个月的时间里，芝加哥技术产生的警报中有 89% 没有导致枪支犯罪的证据，86% 的警报导致没有犯罪证据。完全被犯了。 Klepper 向 Motherboard 反驳了这些调查结果，称“用于得出结论的数据源本身导致了对事件的不完整描述”，因为即使没有警方的书面证据证明枪支可能已经开火了.他还表示，格林在旧金山审判中的证词“与确定我们的实际历史准确率无关。虽然营销和销售对我们合同的服务水平保证有适当的投入，但实际准确率是基于我们记录的检测结果。”

与此同时，越来越多的研究表明，ShotSpotter 并没有导致其所在城市的枪支犯罪减少，一些客户已经放弃了该公司，理由是误报太多和缺乏投资回报。最近对圣路易斯的 ShotSpotter 进行的一项研究发现，ShotSpotter “对圣路易斯与枪支相关的暴力犯罪几乎没有威慑作用。 [自动枪支检测系统] 也不能持续减少警察响应时间，也不能实质性地帮助产生可操作的结果。” Klepper 对这些和其他研究结果提出质疑，称“研究的结论并不反映我们所看到的。”他指出纽约大学法学院警务项目 2021 年的一项研究表明，安装 ShotSpotter 后，圣路易斯县某些地区的袭击（包括一些枪支犯罪）减少了 30%。研究作者透露，ShotSpotter 自 2018 年以来一直在为警务项目提供不受限制的资金，ShotSpotter 的 CEO 是警务项目的顾问委员会成员，并且 ShotSpotter 此前曾向警务项目的研究人员提供过报酬。芝加哥是 ShotSpotter 投资组合中最重要的城市之一，并且越来越成为其使用的战场。如果法院同意检查 ShotSpotter 的法医可行性，或者如果检察官在受到质疑时继续放弃证据，则可能会产生巨大的影响。根据主板通过公共记录请求获得的数据，从 2017 年 1 月到 2021 年 6 月，ShotSpotter 报告了该市 94,313 起枪击事件，平均每年发生 20,958 起。芝加哥是 ShotSpotter 的第二大客户，仅次于纽约市，占该公司 2021 年第一季度收入的 13%。但芝加哥与该公司的 3300 万美元合同即将到期，市政府官员必须在今年 8 月做出决定更新它。

与此同时，该市正在努力应对新的研究、枪击事件的增加、威廉姆斯和戈迪内斯的审判等案件，以及引发对该技术再次批评的悲剧。 3 月 29 日凌晨，ShotSpotter 警报将警察派往小村的一条街道，他们最终在那里射杀了当时手无寸铁的 13 岁的亚当·托莱多。这件事和其他最近的事件引发了芝加哥社区和民权组织的一项新运动，呼吁市政府官员放弃 ShotSpotter。 “这些工具正在向黑人和拉丁裔社区派遣更多警察，”芝加哥种族与经济行动中心的组织者艾莉克斯·古德温 (Alyx Goodwin) 告诉 Motherboard。 “每次 ShotSpotter 警报都会让黑人和拉丁裔人面临与警察互动的风险。这就是 Adam Toledo 的遭遇。” Motherboard 最近获得的数据表明，芝加哥部署 ShotSpotter 的方式存在明显的种族差异。尽管芝加哥警方的数据显示枪支犯罪在整个城市蔓延，但传感器几乎完全被放置在以黑人和棕色为主的社区，而城市北部和西北部的白色飞地根本没有传感器。社区成员表示，他们从减少枪支暴力的形式（2021 年的枪击事件数量有望达到四年来最高）或更好地与警察的互动方面看不到该技术的好处。 “如果你与街区的任何人有关系，你就不需要这项技术，因为我们可以告诉你，”大恩格尔伍德居民协会主席亚西亚哈巴特勒告诉主板。相反，这项技术似乎为警方提供了另一个不与居民建立关系的借口。当附近响起枪声时，警察可能会做出更快的反应，但这是一种“过度军事化的警察存在”。你会看到很多。这不是友好的互动，”她说。