把学生挡在大学门外的秘密算法

18岁的阿纳希塔·纳格帕尔(Anahita Nagpal)今年秋天开始训练成为一名医生的计划已经破灭。她指责统计模型。

纳格帕尔住在德国哥廷根，他获得了纽约大学的医学预科学位和奖学金。她说，这两个项目本周都被取消了，因为她的国际文凭成绩比预期的要差得多。国际文凭是一个两年制的高中项目，得到了大学的认可，今年有超过17万名学生参加，其中大部分在美国。

青少年对成绩感到遗憾并不少见，但IB文凭项目背后的基金会计算今年成绩的方式是不寻常的。周一公布的成绩是由该项目背后的基金会IB在因新冠肺炎取消了往常的春季考试后匆忙部署的一个公式决定的。该系统使用信号，包括学生的作业成绩和他们学校过去毕业生的成绩，来预测如果不是大流行阻止面对面测试的话，他们会得到什么分数。

纳格帕尔和其他许多学生、家长和老师说，这些预测没有奏效。他们说，许多学生收到了令人怀疑的低分，打碎了他们秋季及以后的计划。如果纳格帕尔错过了纽约大学，她的后备计划是去德国学习医学，但她低于预期的成绩也不允许这样做。“像很多人一样，我非常震惊，”她说。“我基本上再也不能在任何地方学习我想学的东西了。”

超过15000名家长、学生和教师在网上签署请愿书，要求IB“对他们的评分算法采取不同的方法，使其更加公平。”该基金会拒绝回答有关其系统的问题，但表示已与过去五年的结果进行了核对，失望的学生可以使用其现有的上诉程序，这是收费的。该基金会发布的汇总统计数据显示，今年的平均分数略高于去年，并表示成绩分布相似。

中东一所学校的一位数学老师表示，IB应该公开其模型的全部工作原理，以供外部监督。他和一位拥有数学博士学位的同事一直对它的设计感到困惑，因为有几名学生在获得比老师预期低得多的成绩后，失去了奖学金给顶尖大学。一些被抓的学生现在不确定他们将如何支付大学学费。“我唯一的猜测是一个有缺陷的模型，”他说。

随着越来越多的公司和政府将计算机应用于传统上的人类问题，如保释决定、识别犯罪嫌疑人以及决定什么是仇恨言论，人们对有缺陷的数学模型的担忧与日俱增。根除此类系统中的偏见和不准确是激进主义和学术界日益增长的领域。

质疑IB算法派生分数的人现在也提出了一些同样的问题。他们想知道这个系统是如何设计和测试的，为什么它的工作原理没有被完全披露，以及使用一个公式来确定可以塑造一个人生活中机会的分数是否有意义。

当新冠肺炎在3月份夺取了世界的控制权时，许多高中最后一年的青少年处于岌岌可危的境地。就地避难所的订单使得完成最终任务或考试变得具有挑战性或不可能，这些作业或考试可能决定他们的大学和生活选择。

考试提供商争先恐后地设计新的方法来评估学生。在美国，提供GRE的教育考试服务机构(Education Testing Service)和举办AP考试的大学理事会(College Board)将考试转移到了网上。这带来了怪异和故障-比如要求学生不分时区同时参加考试，以及因技术错误而被迫重考-但它保持了正常过程的外观。

总部设在日内瓦的IB选择使用统计公式代替-增加了越来越多的技术修复建议，以自动化消除大流行的影响。事实证明，IB文凭的操作以及结果的时机对申请美国大学的IB学生尤其有害。与AP考试不同，AP考试通常与高中成绩分开，IB成绩旨在反映学生一年的学习情况。IB学生通常会根据预测的成绩获得大学录取许可，当他们在夏天有空时，他们会提交最终结果。包括纽约大学和东北大学在内的一些大学在他们的招生页面上警告说，IB成绩与这些预测不够接近的学生可能会失去他们的位置。

在正常情况下，IB文凭学生从物理和哲学等选修课中选择6门课程，并获得最终成绩，部分取决于作业，但主要取决于春季举行的笔试。该项目由美国近900所公立学校提供，在世界各地的国际学校很常见。今年3月，IB取消了所有考试，并表示将使用一家专门从事数据分析的未具名教育组织开发的方法来计算每个学生的期末成绩。

这个想法是利用之前的模式来推断一个学生在2020年不是致命的流行病占主导地位的分数。IB没有透露方法的细节，但表示成绩将根据学生的作业成绩、预测成绩和他们学校的IB历史成绩来计算。该基金会表示，年级界限的设定是为了反映大流行期间远程学习的挑战。对于缺乏历史数据的学校，预测将基于从其他学校收集的数据。

在IB发布的一段关于这一过程的视频中，该基金会负责评估研究和设计的经理安东尼·弗隆(Antony Furlong)表示，该系统基本上为每所学校创建了“一个定制的方程式”。

美国一所学校的一位视觉艺术老师说，她和同事们看到的情况表明，这件衣服没有量身定做。“当我看到这些记号时，我惊呆了，”她说。“我对自己的预测成绩总是比较保守，但除了一个学生外，其他每个学生都被降级了。”在与她一起工作的15名学生中，有4名不得不重新考虑今年秋天的计划，因为他们错过了大学入学机会，这是她对他们中任何一个人都没有预料到的。

在不知道其公式或输入和输出的情况下，确定IB的系统是否存在缺陷是具有挑战性的。仅仅因为一些人不喜欢数据分析的输出并不意味着它是不正确的。但犹他大学(University Of Utah)研究自动化决策的社会后果的教授苏雷什·文卡塔苏布拉马尼亚(Suresh Venkatasubramanian)表示，IB似乎可以更负责任地部署其系统。他说：“所有这些都表明，当你试图在没有透明度的情况下安装某种自动化流程时会发生什么。”“举证责任应该落在制度上，以证明它的存在是正当的。”

数据分析比以往任何时候都更强大，但仍远不能预测复杂的未来人类行动。根据过去的统计趋势推断的模型最终可能会不公平地对待人们，因为他们的情况不同，即使结果平均与过去的模式相匹配。

Venkatasubramanian说，根据学校过去的趋势来计算学生的分数可能与学生自己的学校职业生涯无关，这可能是不公平的。他说，使用其他学校的数据-就像IB对记录很少的学校所做的那样-是一个“危险信号”，因为这将意味着一些学生的成绩计算方式与其他学生不同。

康斯坦斯·拉弗涅(Constance Lavergne)的儿子在英国的IB成绩低于预期，错过了他喜欢的大学。许多父母都在努力理解发生了什么，康斯坦斯·拉弗涅就是其中之一。她说，她与科技行业的数据分析师密切合作的经历让她对IB的方法持怀疑态度。她认为，对于像她儿子这样的小班来说，这自然会产生更嘈杂的结果，因为他们提供的过去数据点更少。“算法有问题，”Lavergne说。

中东的数学老师说，他认为他的学校因为IB宣布和校准模型的方式而受到了影响。在IB表示这些作业将有助于指导评分模式之前，学校的学生提交了他们的作业。其他学校的一些IB学生还没有提交这些作业，这让他们可以投入额外的努力，因为他们知道自己不必准备考试。本周末，他计划与他的数学博士同事和一个软件包合作，调查IB公式可能出现问题的地方。

许多成绩令人失望的学生现在正期待着11月份，届时IB通常会提供第二轮面对面测试，他们可以参加被取消的笔试。沮丧的医科学生纳格帕尔打算参加，费用约为700欧元(791美元)。如果新冠肺炎也扰乱了这些考试，她希望IB能将它们转移到网上，而不是在数据主导的评分方面尝试更多的实验。

治疗师👁加入了--这是一款聊天机器人应用程序。另外：获取最新的人工智能新闻。

💻使用我们Gear团队最喜欢的笔记本电脑、键盘、替代打字设备和降噪耳机升级您的工作游戏