为什么关于国际象棋的YouTube聊天被标记为仇恨言论

2021-03-02 01:00:34

去年六月,YouTube棋牌频道的主持人安东尼奥·雷迪奇(AntonioRadić)拥有超过一百万的订阅者,直播突然中断时,直播了对大师级中村光(Hikaru Nakamura)的采访。

观众没有听到关于国际象棋开放,著名游戏和标志性球员的热烈讨论,而是告诉他们Radić的视频已删除,因为其中包含“有害和危险”的内容。 Radić看到一则消息,指出该视频违反了YouTube的社区准则,其中仅包含讨论国王的印度国防的丑闻。它保持离线状态24小时。

到底发生了什么还不清楚。 YouTube拒绝发表评论,只是说删除Radić的视频是一个错误。但是一项新的研究表明,它反映了旨在自动在线检测仇恨言论,虐待和错误信息的人工智能程序的缺陷。

卡内基·梅隆大学(Carnegie Mellon University)专攻AI的项目科学家Ashique KhudaBukhsh本身就是一名严肃的国际象棋棋手,他想知道YouTube的算法是否可能被涉及黑白棋子,攻击和防御的讨论所混淆。

因此,他和CMU工程师Rupak Sarkar设计了一个实验。他们培训了两种版本的BERT语言模型,一种使用种族主义的极右翼网站Stormfront的消息,另一种使用Twitter的数据。然后,他们测试了8,818个国际象棋视频中的文字和评论中的算法,发现它们远非完美。该算法将大约1%的成绩单或评论标记为仇恨言论。但是,在被举报的那些人中,有80%以上是假阳性-在上下文中阅读,该语言不是种族主义者。他们在论文中说:“没有人在圈内,依靠现成的分类者对国际象棋讨论的预测可能会产生误导。”

该实验暴露了AI语言程序的一个核心问题。检测仇恨言论或虐待不仅仅是侦听污秽的单词和短语。相同的单词在不同的上下文中可能具有截然不同的含义,因此算法必须从字符串中推断出含义。

“从根本上讲,语言仍然是非常微妙的事情,”以前曾在KhudaBukhsh工作过的CMU教授Tom Mitchell说。 “这类训练有素的分类器很快将不会100%准确。”

华盛顿大学专门研究AI和语言的副教授Yeye Choi表示,鉴于当今的语言理解能力有限,她对YouTube的取消感到“一点也不惊讶”。 Choi说,在检测仇恨言论方面的其他进展将需要大量投资和新方法。她说,算法在孤立地分析多个文本时,例如结合用户的评论历史记录或发布评论的渠道的性质,效果更好。

但是Choi的研究还表明,仇恨语音检测如何使偏见永久化。在2019年的一项研究中,她和其他人发现,人类注释者更有可能通过自我识别为非裔美国人的用户为Twitter帖子贴标签,并且训练有素的算法使用这些注释来识别滥用行为将重复这些偏见。

公司已经花费了数百万美元来收集和注释自动驾驶汽车的培训数据,但是Choi说,注释语言还没有付出同样的努力。到目前为止,还没有人收集和注释包括仇恨言论或虐待的高质量数据集,其中包括许多含糊不清的语言的“边缘案例”。她说:“如果我们在数据收集上进行这样的投资,甚至只是其中的一小部分,我相信AI会做得更好。”

CMU教授米切尔(Mitchell)说,YouTube和其他平台可能拥有比KhudaBukhsh所构建的AI算法更复杂的AI算法。但即使是那些仍然有限。

大型科技公司指望AI在网上解决仇恨言论。在2018年,马克·扎克伯格(Mark Zuckerberg)向国会表示,人工智能将有助于消除仇恨言论。本月早些时候,Facebook表示,其AI算法检测到该公司在2020年的最后三个月中删除了97%的仇恨言论,高于2017年的24%。但它没有透露该算法遗漏的仇恨言论的数量,也没有透露如何人工智能常常会把它弄错。

有线将CMU研究人员收集的一些评论分为两个讨厌的语音分类器-一个来自Jigsaw,Alphabet子公司专注于处理错误信息和有毒内容,另一个来自Facebook。一些陈述,例如“在1:43,如果白人国王简单地移动到G1,那是黑人进攻的终点,而白人只是击倒了骑士,对吗?”被判定有90%的人可能不喜欢讲话。但是“白人攻击黑人”的说法是残酷的。白色阻碍了黑人的防御。黑人国王将要堕落……被判定有60%以上是仇恨言论。

尚不清楚在YouTube和其他平台上有多少次内容会被错误地标记为仇恨言论。 “我们不知道它发生的频率,” KhudaBukhsh说。 “如果YouTuber不那么出名,我们将不会看到它。”

📱在最新手机之间被撕裂? 不用担心-查看我们的iPhone购买指南和喜爱的Android手机