为什么有色人种可能不应该得到新的亚马逊光环

2020-09-03 23:41:46

一旦你设置了音调语音配置文件,它就会“被动地间歇地在后台运行,这样你就不必去想它了。”全天,它将采集你的演讲的短样本,并分析代表你对与你互动的人听起来如何的声学特征。“。

这自然带来了一些担忧。主要的收获是,一旦你打开了音调功能,它就会几乎不间断地工作,全天候记录你的声音。当然,它不仅会记录你的声音,而且还会记录你“全天”与之交谈的一个或多个人的声音。

“音调语音样本中的录音在电话上处理并自动删除之前,仅暂时存在于您的频带或智能手机上。它们从来不会被送到云端,甚至不能播放或下载,所以没人会听到它们。“。

这很可能是真的。录音不会发送给任何人,也没有人会听。但让我们回顾一下亚马逊是如何处理Echo语音命令的:它会自动转录对话,并将这些记录保存在服务器中。根据要求,用户可以删除这些录音,但保留文字记录。

从目前的措辞来看,亚马逊删除你的语音音频样本,同时转录这些音频样本,并保留这些文本录音,用于机器学习或产品改进或增加广告业务,这很可能是真的。

Alkhatib告诉CyberNews,这种功能集是“这些系统的设计者故意抽象的”。他们这么说对Halo来说很有价值,而且没有什么能阻止他们把这些数据卖给任何他们想要的人。“。

他们的数据隐私承诺也没有提到音调分析:你的录音不会被发送到任何地方,但对你的录音的分析,以及上下文和元数据呢?你的快乐、悲伤、压力、焦虑--也许是攻击性?在特定的时间,特定的一天,围绕一个特别有争议的事件的攻击性?

亚马逊通过RING与警察合作,将社区变成监控州。所以,如果你想考虑警察谋杀你,然后用亚马逊的数据说他们杀你时你的情绪很有攻击性,那就一定要去做。Https://t.co/pH9siDfZ38

-Ali Alkhatib(@_alialkhatib)2020年8月27日。

没有太多的猜测需要进行,以了解亚马逊可以用其Halo数据做的最糟糕的事情。

让我们简单地看看2018年初亚马逊收购的Ring的烂摊子,然后亚马逊通过亲密的合作伙伴关系将其数据提供给各个执法机构。这不可避免地带来了一系列问题,如透明度问题、市政资金补贴私人产品、加强监控等等。

这是阿尔哈提卜真正感到沮丧的一点。他告诉网络新闻,“使用数据时,他们的所作所为完全没有受到检查,也没有法律规定他们如何使用我们的数据…。这一切都搞砸了。这整个系统不应该是合法的,我们需要把它写进法律中的任何东西,我们只需要去做就行了。警方获取这些数据是主要问题,根据他们的说法,从技术上讲,这不是我的数据,而是亚马逊的。“。

现在,这里有两个大体要强调的要点。首先,如果你没有真正意识到,警察和有色人种并不是真正拥有最好的信任和关系,主要是因为警察似乎真的无法阻止不成比例的针对有色人种的行为。

其次,人工智能和有色人种也不是真正拥有最好的信任和关系。人工智能在识别黑人方面比白人差5-10倍。即使是谷歌,当它将两名非裔美国人误认为大猩猩时,也有自己的失误。它的变通办法不是修复它的人工智能,而是完全禁止识别大猩猩。

更不用说被称为“预测警务”的伪科学的问题了,它希望通过建模来识别未来的犯罪热点。但是,你怎么能在不讨论导致犯罪的历史和背景-社会学和伦理方面-的情况下讨论警察,特别是在美国?

正如一位推特用户所说:“让我们找出我们把谁定为刑事犯罪,然后我们就可以派更多的警车过去。”

让我们找出我们把谁定为刑事犯罪,然后我们就可以派更多的警车过去。

-马特·西格尔(@mattsiegel)2020年9月2日。

顺便说一句,当谈到今年热门的人工智能-面部识别时,底特律警察局承认,面部识别96%的时间会误认嫌疑人。

我问阿尔哈提布,为什么人工智能在与非白人合作方面如此糟糕。一个原因似乎是技术故障,目前这是一个重大挑战:缺乏细微差别识别。

人工智能是在训练环境中创建的,它们经过测试和训练,环境得到改善。但真正的技术问题可能是:为什么人工智能系统在新的、未经训练的情况下表现得如此糟糕?

“本质上,”阿尔哈提布提到,“人们可以识别新的情况,而算法不具备这种能力。”这是人工智能固有的问题--算法不能像人类那样反映,他们不能根据需要成长或发展。“。

但另一个原因反映了这些培训环境本身的创造:创作者的偏见和缺乏多样性。

阿尔哈提布告诉我:“(在这些领域)种族表现很糟糕。”“它非常白,有色人种太少了。这反映了这个领域的种族主义程度有多深。“。但它甚至超越了这一点。

这不仅是因为环境创造受到这种缺乏多样性或可怜的白人的影响,也是因为创建这样的节目-种族分析、犯罪或性别预测-并将其提供给有偏见的警察群体的伦理问题,即使到了今天也是如此:

回复@Abebab';的推文:如果顶级出版商决定不出版以非科学为燃料的虚假相关性,这个世界将会变得更美好。以下是统计数据@springerpub*今年*49:性别预测65:犯罪预测24:种族分类pic.twitter.com/YRnUprrKdh。

-Vinay Prabhu(@vinayPrabhu)2020年9月2日。

Alkhatib告诉我:“这很困难,但其效果是创建了一个系统,在这个系统中,人们并没有真正质疑这些系统,以及为什么要首先建立这些系统。”“这可能是因为缺乏包容性。”

作为有色人种的兄弟,我希望能与其他有色人种人交谈,希望我们能根据我以上提出的几点达成某种基础的理解:

我们在执法方面没有良好的历史,这实际上意味着他们在态度和做法上与我们没有真正的良好历史。

我们在人工智能方面没有良好的历史,而人工智能为亚马逊及其新的Halo等设备提供动力,这些设备为执法部门提供数据,而这些设备反过来又对我们产生了不成比例的影响。

这些有偏见的算法、无节制的数据收集和警方合作的结果是一种普遍的基于种族的痛苦,具有深远的影响:错误逮捕、恐吓、抑郁,甚至过早衰老。

听着,对于有色人种来说,这是可怕的,但在某些地方,这是自愿的可怕。这可能是资本主义推动我们走的一条直接或间接的道路。

借用印度活动家Arundhati Roy的话说:“如果我们梦游进入一个监视状态,现在我们正向它跑去,因为正在培育的恐惧。”当她谈到对冠状病毒的反应时,我们可以将其扩展到资本主义社会,这些社会利用恐惧-像对犯罪的恐惧一样普遍,或者像“信息自由法”这样微不足道-让人们向监督社会投降。

但说真的,为什么要吃呢?为什么要喂它呢?在对光晕或任何完全或部分依赖人工智能进行识别或分析的新奇设备仔细研究并对其本身进行分析之前,我建议有色人种干脆把它传下去。