它开始作为一个燃料的地牢游戏。 然后它变得更暗

2021-05-08 23:38:25

2019年12月,犹他州的初创公司纬度推出了一个名为Ai Dungeon的开创性的在线游戏,展示了一种新的人机合作形式。该公司采用了人工智能公司Openai的文本发电技术,为Dungeons&amp创建了一个灵感的选择您自己的冒险游戏;龙。当一个玩家输入了他们想要其性格的动作或对话时,算法将制作其个性化,不可预测的冒险的下一阶段。

去年夏天,Openai给了Latitude早期获得了一个更强大的商业版的技术。在营销材料中,Openai推出Ai Dungeon作为写作算法的商业和创造性潜力的例子。

然后,上个月,Openai说,它发现了Ai Dungeon也向人类合作表现出黑暗的一面。一个新的监控系统透露,一些玩家在键入造成游戏以产生描绘涉及儿童的性遭遇的故事的词语。 Openai要求纬度立即采取行动。 "内容审核决策在某些情况下很困难,但不是这个,“Openai Ceo Sam Altman在一份声明中表示。 “这不是我们任何人想要的ai的未来。"

纬度上周打开了一个新的审核系统 - 并触发了用户之间的反叛。有些人抱怨它是过性的,并且他们无法引用“8岁的笔记本电脑”而不触发警告信息。其他人表示,该公司的手动审查标记的内容的计划将不必要地窥探私人,虚构的创作,这些创作是性明确的,但只涉及成年人 - Ai Dungeon的流行用例。

简而言之,纬度尝试将人和算法组合给被人们产生的警察内容和算法变成了一团糟。 IRATE MEMES和取消订阅的索赔在Twitter和Ai Dungeon的官方Reddit和Discord社区上飞行厚实。

“社区认为纬度将扫描和手动访问和阅读私人虚构文学内容,”一位艾格尼多斯球员说,默认的球员和声称估计总共有100万字的估计有100万字的帮助,包括诗歌,暮光区苔藓和色情冒险。 MIMI和其他沮丧的用户表示,他们了解公司对警方公开可见的内容的愿望,但是说它已经过度彻底摧毁了一个强大的创意游乐场。 “允许我探讨我从未意识到的心灵的方面,”咪咪说。

纬度发言人表示,其过滤系统和可接受内容的政策都是精制的。工作人员以前禁止他们学习的球员使用了利用Ai Dungeon来产生儿童的性含量。但在Openai最近的警告之后,该公司正在致力于“必要的变化”,发言人表示。上周在博客岗位上承诺的纬度“继续支持其他NSFW内容,包括同意成人内容,暴力和亵渎。”

阻止AI系统在允许其他人难以创造某些类型的性或成人内容。像Openai的技术可以在许多不同风格中生成文本,因为它是使用机器学习算法建造的,这些算法已经消化了从网络刮擦的数十亿个单词中使用的语言使用的统计模式,包括不适合未成年人的零件。该软件能够令人惊讶的模仿的时刻,但不了解人们所做的社会,法律或类型类别。添加Homo Internus的恶魔创造力,输出可能是奇怪的,美丽或有毒的。

Openai将其文本生成技术发布为2019年的开放源,但去年将一个升级的版本称为GPT-3,进入商业服务。像纬度地支付的客户在文本字符串中喂养,并在文本应遵循的文本时恢复系统的最佳猜测。该服务在被授予的早期访问的程序员患者后,该服务捕获了科技产业的眼睛,共享了这项技术产生的令人印象深刻的流利的笑话,十四圈和代码。

Openai表示,该服务将授权企业和初创公司,并授予Microsoft,一个Hefty Openai的支持者,是底层算法的独家许可。有线和一些尝试该系统的编码器和AI研究人员显示它也可能产生令人讨厌的文本,例如反犹太主义评论和极端主义宣传。 Openai表示将仔细审查客户的杂草,并要求大多数客户 - 但不是纬度使用过滤器创建的AI提供商以阻止亵渎,仇恨语音或性内容。

出于逼近的利润率,AI地牢提供了对Openai的文本发电技术的相对不受约束的访问。 2019年12月,游戏使用早期的开源版本的Openai技术推出,它赢得了100,000名球员。有些很快发现并珍惜流利的性含量。其他人抱怨AI将提出性质,例如,当他们试图通过安装龙而试图旅行时,他们的冒险造成了不可预见的转弯。

Latitude Cofounder Nick Walton在发布时期在游戏的官方红线社区中承认了问题。他说,几位玩家已经向他派出了他的例子,让他们“感到深感不舒服”,补充说该公司正在努力过滤技术。从游戏的初个月来看,玩家还注意到 - 并在网上发布旗帜 - 有时会将孩子们写成性情景。

AI Dungeon的官方Reddit和Discord社区增加了专门的渠道,以讨论游戏生成的成人内容。纬度添加了一个可选的“安全模式”,从而从具有某些单词的AI中过滤了建议。然而,与所有自动滤波器一样,它并不完美。一些玩家注意到了据说安全的设置改善了文本发电机的色情写作,因为它使用了更多的类比和委婉语。该公司还增加了一个高级订阅层来产生收入。

当Ai Dungeon在2020年7月增加了Openai的更强大的商业写作算法时,写作更令人印象深刻。 “纯粹的创造力和讲故事的能力是天堂般的,”一位退伍军人说。这个人说,该系统在探索性明确主题的能力方面明显更具创造性。对于去年的时间,玩家注意到纬度试验到一个过滤器,它自动替换为“尊重”单词“强奸”一词,但该功能被删除。

Veteran Player是AI Dungeon Aficionados之一,他们将游戏作为AI增强的写作工具,可以探索成人主题,包括在专用的写作组中。可以从故事中删除来自算法的不需要的建议,以将其转向不同的方向;除非一个人选择分享它们,否则结果没有公开发布。

纬度拒绝分享有关冒险含量的数据。 Openai的网站表示,AI Dungeon每天吸引超过20,000名球员。

一位上周发布的AI地牢球员关于在公开访问的游戏中产生的每个故事的安全漏洞表示,他下载了4月四天创建的数十万冒险。他分析了其中188,000人的样本,发现了31%的含有词语,表明他们是性明确的。该分析和安全缺陷现在已修复,从一些玩家的愤怒中添加到纬度的新方法助长内容。

Latitude现在面临赢得用户信任的挑战,同时满足Openai对其文本发电机的更严格控制的要求。 Openai Shokesperson表示,启动现在必须使用Openai的过滤技术。

如何负责任地部署已摄取大型互联网文本的AI系统,包括一些令人讨厌的部分,已成为AI研究中的热门话题。经理人反对案例谨慎后,两位着名的谷歌研究人员被迫退出公司。

该技术可以以非常受限的方式使用,例如在Google搜索中,它有助于解析长查询的含义。 Openai帮助了AI Dungeon推出了令人印象深刻的但令人印象深刻的应用程序,让人们促使技术或者更少的任何东西都可以促使技术。

“真正难以知道这些模型如何在野外表现,”华盛顿大学研究员的研究员梅内因Gururangan说。他为来自UW和Allen Allen人工智能研究所的研究人员的研究和互动在线演示,表明,当从网上借来的文本来提示五种不同的语言生成模型,包括从Openai,所有这些都能够喷出有毒文本。

Gururangan现在是众多研究人员之一,试图弄清楚如何举办更多对AI语言系统的控制,包括更加小心他们从中学习的内容。 Openai和Latitude说他们也在努力,同时还试图从技术中赚钱。