Twitter 的第一个算法偏见赏金挑战

在机器学习 (ML) 模型中发现偏见是很困难的，有时，一旦公司已经接触到公众，就会发现意外的道德危害。我们想改变这一点。作为今年 DEF CON AI Village 的一部分，我们通过引入业界首个算法偏见赏金竞赛来尝试一些激进的东西。 5 月，我们分享了在显着性算法（也称为图像裁剪算法）中识别偏差的方法，并且我们将我们的代码提供给其他人来重现我们的工作。我们希望通过邀请和激励社区来帮助识别该算法的潜在危害，从而使这项工作更进一步。我们受到研究和黑客社区如何帮助安全领域建立识别和缓解漏洞以保护公众的最佳实践的启发。我们希望培养一个类似的社区，专注于 ML 道德，以帮助我们确定比我们自己能够解决的更广泛的问题。面对这一挑战，我们的目标是在 Twitter 和业界树立先例，以主动和集体识别算法危害。对于这个挑战，我们正在重新分享我们的显着性模型和用于生成图像裁剪的代码，给出预测的最大显着点，并要求参与者建立自己的评估。成功的参赛作品将在其方法中考虑定量和定性方法。有关挑战的更多详细信息，包括如何参赛以及我们将用于评分参赛作品的评分标准，请访问 HackerOne 上的提交页面。帮助我们审查参赛作品的将是我们尊敬的评审团：Ariel Herbert-Voss、Matt Mitchell、Peiter “Mudge” Zatko 和 Patrick Hall。获奖者将在 8 月 8 日由 Twitter 主办的 DEF CON AI Village 研讨会上宣布，我们将邀请获奖者展示他们的作品。获胜团队将通过 HackerOne 获得现金奖励：我们将于太平洋时间 7 月 30 日星期五下午 1:30 举办 Twitter Spaces 对话，与一些帮助实现这一挑战的人讨论挑战。关注@ruchowdh 收听对话。我们感谢 HackerOne 和 AI Village 在促进赏金挑战方面的支持。挑战赛将于太平洋时间 2021 年 7 月 30 日上午 9:01 至 2021 年 8 月 6 日太平洋时间晚上 11:59 开放。

所有参与者必须在 HackerOne 注册才能进行有效提交；任何拥有 HackerOne 帐户的人都可以参加此挑战。如果你准备好了：从这里开始！入场时间 7/30/21 9:01 am PT 至 8/6/21 11:59 pm PT。在禁止的地方无效。无需购买。参与不仅限于 DEF CON 会议与会者。有关完整规则和奖品说明，请参阅 https://hackerone.com/h1c-twitter-algorithmic-bias。 Twitter 提醒所有参与者在准备提交时遵守 HackerOne 条款和条件、行为准则、隐私政策和披露准则行为准则。此挑战与 HackerOne 上现有的 Twitter 安全漏洞赏金计划无关，并且是一次性挑战。此算法偏见赏金挑战赛不会扩展也不会修改现有 Twitter 安全漏洞赏金计划的条件或范围。算法偏差赏金报告不应提交给现有的 Twitter 安全漏洞赏金计划。如果提交错误，请注意，这些报告将作为“不适用”关闭，并且不会被视为此次挑战的有效提交。此算法偏见赏金挑战赛不归 Twitter 的信息安全组织所有或运营。