为什么关于国际象棋的YouTube聊天被标记为仇恨言论

去年六月，YouTube棋牌频道的主持人安东尼奥·雷迪奇（AntonioRadić）拥有超过一百万的订阅者，直播突然中断时，直播了对大师级中村光（Hikaru Nakamura）的采访。

观众没有听到关于国际象棋开放，著名游戏和标志性球员的热烈讨论，而是告诉他们Radić的视频已删除，因为其中包含“有害和危险”的内容。 Radić看到一则消息，指出该视频违反了YouTube的社区准则，其中仅包含讨论国王的印度国防的丑闻。它保持离线状态24小时。

到底发生了什么还不清楚。 YouTube拒绝发表评论，只是说删除Radić的视频是一个错误。但是一项新的研究表明，它反映了旨在自动在线检测仇恨言论，虐待和错误信息的人工智能程序的缺陷。

卡内基·梅隆大学（Carnegie Mellon University）专攻AI的项目科学家Ashique KhudaBukhsh本身就是一名严肃的国际象棋棋手，他想知道YouTube的算法是否可能被涉及黑白棋子，攻击和防御的讨论所混淆。

因此，他和CMU工程师Rupak Sarkar设计了一个实验。他们培训了两种版本的BERT语言模型，一种使用种族主义的极右翼网站Stormfront的消息，另一种使用Twitter的数据。然后，他们测试了8,818个国际象棋视频中的文字和评论中的算法，发现它们远非完美。该算法将大约1％的成绩单或评论标记为仇恨言论。但是，在被举报的那些人中，有80％以上是假阳性-在上下文中阅读，该语言不是种族主义者。他们在论文中说：“没有人在圈内，依靠现成的分类者对国际象棋讨论的预测可能会产生误导。”

该实验暴露了AI语言程序的一个核心问题。检测仇恨言论或虐待不仅仅是侦听污秽的单词和短语。相同的单词在不同的上下文中可能具有截然不同的含义，因此算法必须从字符串中推断出含义。

“从根本上讲，语言仍然是非常微妙的事情，”以前曾在KhudaBukhsh工作过的CMU教授Tom Mitchell说。 “这类训练有素的分类器很快将不会100％准确。”

华盛顿大学专门研究AI和语言的副教授Yeye Choi表示，鉴于当今的语言理解能力有限，她对YouTube的取消感到“一点也不惊讶”。 Choi说，在检测仇恨言论方面的其他进展将需要大量投资和新方法。她说，算法在孤立地分析多个文本时，例如结合用户的评论历史记录或发布评论的渠道的性质，效果更好。

但是Choi的研究还表明，仇恨语音检测如何使偏见永久化。在2019年的一项研究中，她和其他人发现，人类注释者更有可能通过自我识别为非裔美国人的用户为Twitter帖子贴标签，并且训练有素的算法使用这些注释来识别滥用行为将重复这些偏见。

公司已经花费了数百万美元来收集和注释自动驾驶汽车的培训数据，但是Choi说，注释语言还没有付出同样的努力。到目前为止，还没有人收集和注释包括仇恨言论或虐待的高质量数据集，其中包括许多含糊不清的语言的“边缘案例”。她说：“如果我们在数据收集上进行这样的投资，甚至只是其中的一小部分，我相信AI会做得更好。”

CMU教授米切尔（Mitchell）说，YouTube和其他平台可能拥有比KhudaBukhsh所构建的AI算法更复杂的AI算法。但即使是那些仍然有限。

大型科技公司指望AI在网上解决仇恨言论。在2018年，马克·扎克伯格（Mark Zuckerberg）向国会表示，人工智能将有助于消除仇恨言论。本月早些时候，Facebook表示，其AI算法检测到该公司在2020年的最后三个月中删除了97％的仇恨言论，高于2017年的24％。但它没有透露该算法遗漏的仇恨言论的数量，也没有透露如何人工智能常常会把它弄错。

有线将CMU研究人员收集的一些评论分为两个讨厌的语音分类器-一个来自Jigsaw，Alphabet子公司专注于处理错误信息和有毒内容，另一个来自Facebook。一些陈述，例如“在1:43，如果白人国王简单地移动到G1，那是黑人进攻的终点，而白人只是击倒了骑士，对吗？”被判定有90％的人可能不喜欢讲话。但是“白人攻击黑人”的说法是残酷的。白色阻碍了黑人的防御。黑人国王将要堕落……被判定有60％以上是仇恨言论。

尚不清楚在YouTube和其他平台上有多少次内容会被错误地标记为仇恨言论。 “我们不知道它发生的频率，” KhudaBukhsh说。 “如果YouTuber不那么出名，我们将不会看到它。”

📱在最新手机之间被撕裂？ 不用担心-查看我们的iPhone购买指南和喜爱的Android手机