在最近的测试中,AI 编写的网络钓鱼电子邮件比人类更好

2021-08-07 22:54:22

自然语言处理继续进入意想不到的角落。这次是钓鱼邮件。在一项小型研究中,研究人员发现他们可以使用深度学习语言模型 GPT-3 以及其他人工智能即服务平台,显着降低大规模鱼叉式网络钓鱼活动的进入门槛。长期以来,研究人员一直在争论诈骗者是否值得努力训练机器学习算法,然后生成引人入胜的网络钓鱼消息。毕竟,群发网络钓鱼邮件既简单又公式化,并且已经非常有效。不过,高度针对性和量身定制的“鱼叉式网络钓鱼”消息编写起来更加费力。这就是 NLP 可能出奇地派上用场的地方。本周在拉斯维加斯举行的 Black Hat 和 Defcon 安全会议上,新加坡政府技术局的一个团队展示了最近的一项实验,他们向 200他们的同事。两条消息都包含实际上并非恶意的链接,只是简单地向研究人员报告了点击率。他们惊讶地发现,点击 AI 生成的消息中的链接的人比人工编写的消息中的链接要多——幅度很大。 “研究人员指出,人工智能需要一定程度的专业知识。训练一个真正好的模型需要数百万美元,”政府技术局网络安全专家 Eugene Lim 说。 “但是一旦你把它放在人工智能即服务上,它就会花费几美分,而且它真的很容易使用——只需输入文本,文本输出。你甚至不必运行代码,你只需给它一个提示,它就会给你输出。因此,这降低了进入更多受众的门槛,并增加了鱼叉式网络钓鱼的潜在目标。突然之间,大规模的每封电子邮件都可以针对每个收件人进行个性化。”研究人员将 OpenAI 的 GPT-3 平台与其他专注于个性分析的人工智能即服务产品结合使用,以生成适合同事背景和特征的网络钓鱼电子邮件。专注于人格分析的机器学习旨在根据行为输入预测一个人的倾向和心态。通过通过多个服务运行输出,研究人员能够开发一个管道,在发送之前整理和完善电子邮件。他们说,结果听起来“非常人性化”,并且这些平台自动提供了令人惊讶的细节,例如在指示为居住在新加坡的人生成内容时提到了新加坡法律。虽然他们对合成信息的质量以及他们从同事那里获得的点击次数与人工合成信息的点击次数印象深刻,但研究人员指出,该实验只是第一步。样本量相对较小,目标库在就业和地理区域方面相当同质。此外,人工生成的消息和 AI 即服务管道生成的消息都是由办公室内部人员创建的,而不是试图从远处发出正确语气的外部攻击者。 “有很多变量需要考虑,”政府技术局网络安全专家 Tan Kee Hock 说。

尽管如此,这些发现仍促使研究人员更深入地思考人工智能即服务如何在网络钓鱼和鱼叉式网络钓鱼活动中发挥作用。例如,OpenAI 本身长期以来一直担心自己的服务或其他类似服务可能被滥用。研究人员指出,它和其他严谨的人工智能即服务提供商都有明确的行为准则,试图审计他们的平台是否存在潜在的恶意活动,甚至试图在某种程度上验证用户身份。 “语言模型的滥用是一个全行业的问题,我们非常重视这一问题,作为我们对安全和负责任地部署人工智能的承诺的一部分,”OpenAI 在一份声明中告诉 WIRED。 “我们通过我们的 API 授予对 GPT-3 的访问权限,并且在 GPT-3 上线之前我们会审查 GPT-3 的每一次生产使用。我们采取技术措施,例如速率限制,以减少 API 用户恶意使用的可能性和影响。我们的主动监控系统和审计旨在尽早发现滥用的潜在证据,我们一直在努力提高我们安全工具的准确性和有效性。” OpenAI 对反滥用措施进行了自己的研究,政府技术机构的研究人员向公司通报了他们的工作。然而,研究人员强调,在实践中,监控这些服务是否存在潜在滥用与对合法平台用户进行侵入性监控之间存在紧张关系。更复杂的是,并非所有 AI 即服务提供商都关心减少对其平台的滥用。有些甚至可能最终迎合骗子。 “真正让我们感到惊讶的是,访问这些 AI API 是多么容易,”Lim 说。“有些像 OpenAI 非常严格和严格,但其他提供商提供免费试用,不验证您的电子邮件地址,不要”要求信用卡。你可以继续使用新的免费试用版并制作内容。这是一种技术先进的资源,演员可以轻松访问。“研究人员表示,新加坡政府和欧盟开发的人工智能治理框架可以帮助企业解决滥用问题。但他们也将部分研究重点放在可能检测合成或人工智能生成的网络钓鱼电子邮件的工具上——这是一项具有挑战性的工作。随着深度造假和 AI 生成的假新闻激增,这个话题也受到了关注。研究人员再次使用 OpenAI 的 GPT-3 等深度学习语言模型开发了一个框架,可以将 AI 生成的文本与人类编写的文本区分开来。其想法是构建可以在电子邮件中标记合成媒体的机制,以便更容易地捕获可能的 AI 生成的网络钓鱼消息。不过,研究人员指出,随着合成媒体用于越来越多的合法功能,例如客户服务通信和营销,它将开发仅标记网络钓鱼邮件的筛选工具更加困难。

“网络钓鱼电子邮件检测很重要,但通常也要为即将到来的可能极具吸引力且令人信服的消息做好准备,”政府技术局网络安全专家 Glenice Tan 说。 “安全培训仍然可以发挥作用。小心并保持怀疑。不幸的是,这些仍然是重要的事情。”正如政府技术局研究员蒂莫西·李 (Timothy Lee) 所说,人工智能生成的网络钓鱼电子邮件令人印象深刻的人类模仿意味着对于潜在受害者而言,挑战仍然相同,因为赌注越来越高。 “他们仍然只需要做对一次,就算你收到成千上万条以不同方式编写的网络钓鱼邮件也没关系,”Lee 说,“只有一个让你措手不及——然后轰隆隆!” 📱 在最新款手机之间纠结?不要害怕——查看我们的 iPhone 购买指南和最喜欢的 Android 手机