由于测试软件无法看到它们,因此颜色的学生被标记

2021-04-09 09:42:29

Proctorio是一个考试监控软件,旨在让学生在考试的同时欺骗作弊,依赖于主板的报告,依赖于具有种族偏见问题历史的开源软件。该问题是由一名学生发现的学生,他们弄清楚软件如何进行面部检测,并发现它未能在一半的时间内识别黑色面孔。

Proctorio和其他类似的程序,旨在留意学生,同时他们正在考试。然而,许多学生的颜色据报道,他们有问题让软件看到他们的脸 - 有时必须采取极端措施让软件识别它们。这可能会导致学生问题:如果它没有检测到他们的脸,Proctorio会将它们标记给教练。

在轶事听到这些问题之后,Akash Satheesan决定研究软件正在使用的面部检测方法。他发现它与OpenCV相同看,这是一个可以用于识别面的开源计算机视觉程序(过去曾与种族偏见有问题)。学习此后,他使用OpenCV和数据集进行了测试,旨在验证机器视觉算法如何处理多种面孔。根据他的第二个博客帖子,结果不好。

该软件不仅失常识别黑色面孔的一半以上,它并不是特别擅长识别任何种族的面孔 - 最高击中率低于75%。主板在其报告中联系了一名安全研究员,他能够验证SAHEESAN的结果和分析。 Proctorio本身还确认它在其许可证页面上使用OpenCV,但它并不详细地详细介绍了如何。

在对主板的声明中,一个Proctorio发言人表示,SAHEESAN的测试证明了该软件仅查找面孔,不识别与它们相关的身份。这可能是可能是一个(小)舒适的学生,他们可以正确地担心与媒体软件有关的隐私问题,它并不解决种族偏见的指责。

这不是Proctorio被召唤出来的第一次失败,因为它引起了一个大学引起了颜色学生的问题,因为它不会与公司续签合同的原因。参议员Richard Blumenthal(D-CT)甚至在谈论互联网软件中的偏见时呼吁公司。

虽然代码中的种族偏见没有新的东西,但看到它影响其只是试图做学校工作的学生尤其令人痛苦,特别是在远程学习是唯一的选择。