Facebook停止员工阅读有关起义的内部报告

2021-04-28 11:03:23

Facebook首席执行官Mark Zuckerberg在2021年3月25日的房屋能源和商业委员会听证会上作证。

上周四,Buzzfeed新闻透露,内部Facebook报告得出结论,该公司未能防止“停止窃取”运动,从使用其平台来颠覆选举,鼓励暴力,并帮助煽动1月6日试图对美国的政变进行政变国会大厦。

标题为“停止窃取和爱国者:对抗敌人有害运动的增长和减缓”,“报告是最重要的分析之一是如何撤销自由和公平的美国总统选举如何在全球最大的社交网络中传播 - 以及Facebook如何错过关键警告标志。该报告审查了该公司如何捕获平息,因为停止窃取Facebook集团提升了一个破坏民主的运动,并且总结本公司毫无准备,阻止人们在其平台上传播仇恨和煽动暴力。

该报告'谁是研究有害网络的内部工作组的一部分,该文件上个月将该文件发布给Facebook'在公司员工广泛使用。但在BuzzFeed新闻之后揭示了上周的报告'许多员工被限制访问它。

您在Facebook还是其他技术公司工作?我们很乐意听取您的意见。伸出[email protected]或通过我们的尖端频道之一。

“工作场所注意已被删除了吗?”一位员工在报告被限制后写在留言板上。 “我怀疑员工宁愿为自己阅读并得出自己的结论。”

“这对公司的关键写作很常见,如果它获得了任何内部或外部牵引力,那么该公司的批判写作被删除,这不是关于公众可见性,但我想象的士气效果,”另一名工人说。

鉴于报告的新闻负担和历史意义及其关于1月6日活动的启示,Buzzfeed新闻正在发布下文的全文。

“作者从未打算将此作为整个公司的最终文件," Facebook发言人在一份声明中说。 "他们无意中发布了广泛的受众,他们只是将它限制在它的内部工作组。"

该公司为保护2020年大选辩护了其工作。上个月在众议院能源和商务委员会之前的证词中,Facebook首席执行官Mark Zuckerberg表示,虽然公司在起义前没有捕获所有选举干扰,但它“使我们的服务荒废地对那些可能造成伤害的人。”

“我们致力于将人们对我们的服务安全和保护自由表达,我们努力制定和执行符合这些目标的政策,”他在对该委员会的准备评论中写道。 “我们将继续将非凡的资源投入内容审核,执法和透明度。”

Facebook的内容政策副总裁Monika Bickert在周二,据参议院司法委员会在来自YouTube和Twitter的高管和Twitter的高管讨论技术平台上的算法放大委员会中作证。

这是Facebook内部报告的全文。由于其技术性质,一些图形没有复制。

停止窃取和爱国者派对:对抗对抗有害运动的增长和减轻

[Facebook举报包括这里的封面图像,包括燃烧的美国国会大厦和卡通柯基作为消防员。]

在选举作为运动后,停止偷窃(STS)迅速增长,但我们的执法是零碎的。

作为网络处理STS允许我们了解运动中的协调以及在网络级别的危害如何持久。这种危害超过了部分的总和。

我们从这些案件中学到了很多东西。我们正在构建工具和协议,并具有政策讨论,以帮助我们下次做得更好,作为分解网络任务的一部分。

我们中的许多人都记得选举晚上和几天后。在没有重大事件的情况下使其在没有重大事件的选举中的满意度被愤怒的硫酸升起的升温,并且开始稳步增长的阴谋理论。当时,2016年退伍军人回忆起恐惧,愤怒和不确定性的飙升,梅尔巴群岛等泳装国家的增长。我们都要求自己在选举后我们看到的是同样的事情,或者更令人邪恶的东西。后见证是20/20,当时很难知道我们看到的是德定选举的协调努力,还是被害怕和困惑的用户受到保护的自由表达,并应得的同理心。但是,后代是20/20的内容使其更重要的是回顾学到我们所能的大选委员会增长,传播阴谋和帮助煽动国会叛乱的流动。

第一次停止窃取集团在选举之夜出现。它被标记为升级,因为它在评论中包含了高水平的仇恨和暴力和煽动(VNI)。该小组被禁用,调查被启动,寻找早期的协调和伤害新的停止,偷窃群体正在迅速发芽以取代它。通过我们的早期信号,目前还不清楚协调正在发生,或者危害足以构成指定术语。直到晚些时候,它变得清楚地达到了传统的焦点,并且他们将作为一个围绕着恐怖派会的集会点,这是暴力选举表达的运动可以聚结。

作为一个概念的“DEGITIMIZATION”(D14N)是用于分析和政策的新领域。在选举之夜之后,许多D14N工作流迅速,但问题周围存在很少的政策或知识。我们在US2020 IPOC期间的研究来自Hellcat中的主题分类器,CIRD管道,正则表达式和分类器跟踪的快速工作,以及通过Corgi建模的手动分析,我们能够在问题上发出降级和一些执法,但工作仍然存在制定解决问题的坚定政策框架。在本说明书中,我们将描述我们以后能够在STS运动中观察的危害,如爱国者派对(PP)如何在其唤醒中发展,以及我们如何利用我们学到的知识来更好地捕获协调损害未来。

从最早的群体中,我们看到了高水平的仇恨,VNI和德格明,结合了陨石增长率 - 几乎所有增长的FB组群体都在峰值增长期间停止偷窃。因为我们单独看待每个实体,而不是作为一个凝聚力的运动,一旦超过违规门槛,我们只能取消单个群体和页面。我们不能像帖子和评论一样行事,因为他们单独往往不违反侵犯,即使它们被仇恨,暴力和错误信息包围。在国会议会起义和一股风暴浪潮中全国各地的国会大厦事件,我们意识到个人德格尼亚,页面和口号确实构成了一个有凝聚力的运动。

我们的一些第一个指标使用离线信号,发现指定有组织的仇恨团体参与组织风暴的国会大厦(STC)事件使用Corgi Fanouts,并参与推动偷窃。我们还发现,STS团体和骄傲的男孩(指定的Doi Org)和民兵群体之间存在高会员资格重叠。

我们研究了组和页面的内容,使用Hellcat表比较了STS,PP和STC组中STS,PP和STC组中的仇恨语音,VNI和DOI引用的速率,该表将基于Integrity的内容信号聚合到复杂的实体级别。这让我们可以看到STS团体大大仇恨,VNI,以及与整个普通公民组织的阴谋和民兵的参考。

除了HELCAT外,我们还建立了快速的周转准分机和CIRD管道,以识别高风险群体和其他复杂实体。这些CIRD管道被连接到降级,以及聚集到表面高风险复杂实体。 MISINFO升级也经常频繁,尽管体积远远超过3PFC或升级审查能力。这些方法在一起使我们能够通过Heroco或事件队列来审查高度伤害的个人团体和事件。

这些基于内容的方法使我们能够观察整个运动中表现出的危害,表明这些术语沉浸在仇恨和VNI中。这有助于我们看到存在问题,但网络分析帮助我们了解运动中的协调,以及如何将危害作为网络传播。了解网络的增长将有助于我们将来更好地解决有害网络。

我们能够遵守通过调查工作阻止偷窃的直接协调,依靠外部来源进行领导。

术语停止窃取,爱国者在平台和关闭时被放大。 Ali Alexander和Kremer姐妹在集会中重复了口号,并通过女性4Trump和Lauinos的超级群体传播它们,为特朗普。克雷梅勒姐妹都是女性4Trump的管理员,而原来则停止窃取组。 1月6日之后,艾米克雷梅勒在平台上确认,她是一个辍学戒断的偷窃团结的组织者。

Ali Alexander在平台上工作,使用媒体外观和名人认可。我们还观察到他正式与他人组织,以传播该术语,包括与与民兵联系的其他用户。他能够通过仔细选择的单词来避开检测和执法,并依靠消失的故事。

这种深度调查需要时间,努力意识和我们经常没有的背景。当我们在深度调查中缺乏时间或背景时,我们可以利用哪种行为信号可以利用来遵守协调?我们可以建立哪些分析和模型来帮助我们将来识别这些网络?

观察运动中协调的一种方法是通过观察增长黑客。成长黑客可能并不总是糟糕。民主运动,寻求人权的运动,甚至广告运动,甚至可能都采用合法的技术来快速发展观众。然而,当增长与我们上面描述的危害信号混合时,这种快速增长表明危害的蔓延,并且可能表明协调造成的危害。

停止偷窃能够通过协调小组邀请迅速增长:67%的STS Joins通过邀请了。此外,这些邀请由少数超人员主导:30%的邀请来自仅为1,0.3%的应邀人员。邀请者还通过互动彼此相互连接 - 他们评论,标签,并分享彼此的内容。这些都是500多个邀请人的应邀人员。在顶级STS集团中,有137名超级邀请者,每次邀请500名。在这些用户中,88名是其他圣集团的管理员,建议在发展运动方面的合作。这些超级邀请者有其他垃圾行为指标:73%的人有不好的合作统计数据,朋友请求拒绝率超过50%。其中125人可能会发现他们的家庭位置。其中73人是有害阴谋团体的成员。我们还看到,这些团体的邀请者往往会连接。在1月初,在STS和PP群体后叛乱飙升之前,所有入学者的一半是> 100邀请也通过消息传递和标记,或者在上个月的彼此内容中彼此进行,建议许多邀请者彼此相连。

[Facebook报告在此处包含一个图形,显示了“大多数沉重的邀请者彼此连接的网络”。]

尽管我们试图阻止它,但仍然存在:团体工作队确定了集团邀请的风险,导致反检疫群体的快速增长。超级邀请者能够快速增长新的群体,既可允许有害群体的快速增长,并帮助避免执法作为备份组取代了残疾人群体。作为回应,实施了100个邀请/人/日的概率。我们发布了额外的新邀请率限制30个添加/小时(现在已弃用)在停止窃取组的增长期间,为用户添加新的朋友(< 3天)到新的群体(&lt 7天),以某种份额ACDC属性。然而,所有的速率限制都仅在一定程度上有效,并且该组的无论如何都要大量生长。

任何成功的运动也有有机增长,不应折扣。三分之一的增长来自自我联盟,而多个邀请来自少数用户,82%的邀请者邀请少于10人。这种增长和有机生长的组合使得具有举例说明了复杂的有害网络运动如何。为了探索这种增长以及通过扩增口号驱动的程度,我们探讨了流经更广泛的STS网络的内容,分组和超越的方式。

使用信息走廊,我们能够识别最大讨论STS和选举德国的较大社区。我们首先识别使用Delegimized语言发布最多的用户,谁使用各种各样的术语。这些是我们的高速公路。然后,我们煽动他们与众不同的每个人,并确定了那些也使用很多停止窃取语言的用户,或者在我们的分类器的基础上具有高倾向。这个高性能网络的网络是我们的信息走廊(IC)。它识别有害内容流通的平台上的社交网络的一部分。对于停止窃取信息走廊的概述演示,详细介绍了这里。

在6,450个高的收纳中,其中4,025(63%)彼此直接相连,这意味着它们与彼此的内容或彼此发消息互动。使用完整信息走廊时,77%彼此连接。这表明大部分停止窃取扩增正在发生作为凝聚力运动的一部分。

[Facebook报告包括一个网络图,显示如何"信息走廊允许我们识别伤害循环的网络的一部分。"]

通过跟踪这些语言网络,我们可以更好地捕获通过网络流动的协调伤害。走廊的成员产生了33%的仇恨,而VNI比高乐队周围更广泛的社区更多的VNI。信息走廊的成员容易受到正在传播的有害信息,因为它们受到影响,并且最有可能与那些有害的内容进行互动。 IC中的放大器是连接到许多其他易受攻击的用户的用户,所以所谓的,因为他们说的任何东西都达到了更大的受众。通过在放大器语言中查看模式,我们可以更好地理解通过IC推动的危害。放大器张贴了98%的VNI和40%的仇恨。该网络的核心有85%的VNI,45%更多的仇恨。我们还确定了IC的核心 - 使用K-Core分解,全部紧紧地与彼此紧密地啮合的用户。

[Facebook报告在此处包含一个图形,显示在网络中央的&#34之间的关系。“]

为了了解运动如何延续伤害,我们还需要了解它超越协调员和放大器的程度。我们还希望了解与协调员和高收纳者互动的用户的程度也在产生伤害。为此,我们围绕上述邀请者仔细观察了受众的亲密关系。与最多有50名邀请人的邀请者一起参与最多的用户。那些与那些邀请者相互作用的用户产生了92%的VNI,仇恨49%。相关的,我们还发现信息走廊有助于将STS网络核心中的用户链接到外围中的用户,帮助传播整个网络的消息。

总的来说,我们能够通过内容和诱人放大PP和STS信号,仇恨和暴力水平较高,表明这些运动是有害的,并且危害通过我们所能的网络持久界定。

停止偷窃不是D14N主题唯一一个围绕D14N主题的运动。爱国者派对是另一个在与圣地竞争中脱离的另一个动作,表现出类似的伤害水平。对于PP的许多协调员对STS运动失败表示失望,并通过通过新的政党进行系统性变革来进一步进一步。在另一个网站上,圣行系和现实生活领导人对他们有很大的名人和官方(官方)(那些没有从平台禁止的人 - 特朗普,罗杰石,亚历克斯琼斯等。)他们不一定希望被视为偏离传统共和党,开始一个丑陋,潜在的愤怒的爱国者聚会。

PP的管理员试图招募STS和Joe Biden的成员不是我的总统团体。 PP页面和组上的流行帖子和经常海报经常使用停止窃取口号,特别是在就职典礼之前。我们还看到PP能够在Sts走廊内生长:STS IC的成员可能更多地使用“爱国者”一词的可能性。最后,PP从来没有像STS一样长大,大部分是因为我们从Sts学到的教训,并且能够迅速申请PP。

[Facebook报告包括一对图形,展示了“信息走廊”允许该公司“跟踪在网络内增长的其他语言信号。”

PP的领导人汇集了STS支持者的成功。随着STS团体被禁用,我们的成员植入了PP组:20%的禁用STS团体成员加入为PP组。我们能够通过限制组来减轻这种增长,其中许多用户在被禁用后被禁用后被禁用,以打破玻璃措施。但是,圣集团不是PP组的主要来源:只有6.5%的行动的PP集团成员是Actioned STS组的一部分,只有1.1%的被动的STS集团成员加入了一个被动的PP组,只有3个大约1000名共享管理员。此外,我们看到PP主要被STS IC内的放大器推动,他们没有完全成功:我们没有看到通过少数人的IC - 学习从我们以前的STS的工作中广泛使用PP项,我们能够在能够传播之前停止PP。

[Facebook报告包括此处的图形,显示“组成员资格jaccard相似性。”]

我们所做的最有效和最引人注目的事物之一是寻找观察到的网络与民兵和仇恨组织的重叠。这是因为我们在我们有这些网络映射的背景下。在危机期间,有可能是一次多次升级,不同的团队专注于Doi,MISINFO等危害的不同网络。通过结合这些,我们可以更好地了解如何协调伤害的性质以及被使用的策略。由于PP出现,显示PP和ST之间的联系帮助我们了解在环境中造成危害的情况下通过PP持久的危害

......