老师说,他们正在花费大量时间来审查自动评分机器人评分不正确的测试,这些评分试图使学生对答案的回答与答案相符

2020-11-22 21:07:48

当今年秋天的成绩单出炉时,有些父母可能会感到意外:成绩低于预期。但这可能不是对孩子工作的准确反映,而是许多学校正在使用自动系统检查学业的故障。

除非父母和老师复习学生的测验,否则这个问题很容易遗漏。只有当我的五年级学生炸毁了我知道他已经准备好进行的科学测试时,我才发现问题。我在线上打开了测试,看看他错过了什么,发现他输入的一些答案正确无误,但被标记为错误。错误”?它们包含大写字母。我认为我最好通过他参加的每项测试,当我这样做的时候,我又发现了几个例子。

自动评分有望节省教师的时间,但是现在,他们中的许多人都花了很多时间来仔细研究学生的每次评估和考试的答案,前提是他们完全意识到了评分问题。

失败的根源是许多评分机器人的设计过于简单:它们试图使学生对老师答案键的响应与之匹配。如果两者不相同,即使人类很容易就能看出答案是正确的,通常也会将其标记为错误。突然转向远程学习给老师,父母和学生带来了又一个头痛。

这种教育软件的开发者意识到自动评分的问题,并说许多老师没有足够的时间来正确培训如何使用在线平台。

克里斯蒂娜·佩雷斯(Cristina Perez)是科罗拉多州奥罗拉(Aurora)的单亲母亲,她说,她的三个孩子对整个远程学校的经历感到沮丧,包括在我的孩子在加利福尼亚使用的同一虚拟教室“画布学习管理平台”中接受了许多错误评分的测试。

如果您有学龄儿童,在家中的在线学习情况如何?加入下面的对话。

“我所有的孩子都是'B'学生,现在他们大部分课程都失败了。佩雷斯女士说,那真是太糟糕了。佩雷斯女士的孩子分别是7年级,8年级和10年级。 “这对孩子的心理健康以及他们甚至愿意尝试的行为有什么影响?”

佩雷斯女士在上学期间从事汽车零件的运输工作,她说很难找到老师。她的每个孩子都有七个老师。她说,她已通过电子邮件将其中的一些问题寄给了她,但考试成绩并未得到更正。

她说:“我没有时间坐在那里监视所有这一切。” “到了某种程度,我告诉我的孩子们只是登录并尽他们所能。他们承受的压力足够大。”

帕特里克·莱特尔(Patrick Lytle)在伊利诺伊州高地公园(Highland Park)经营一家设计公司,当他的五年级女儿告诉他,她在在线平台Otus的数学测验中得到了错误答案时,情况更好。她的老师指示学生在答案中加入单位,她正确回答了“ 3克”。但是,自动分级机将其标记为错误,并仅以“ 3”显示正确答案。莱特尔(Lytle)先生通过电子邮件向老师发送了电子邮件,她更正了女孩的分数。

总部位于犹他州的教育软件公司Invas Inc.的首席产品官Mitch Benson表示,该公司经常听到其自动分级功能存在问题。他说,在热衷于虚拟学习的过程中,许多学区和大学都没有足够的时间对Canvas的各个方面进行全面的培训,而Canvas本身就是远程学习的一站式商店。

本森先生说:“教师不得不使用他们不熟悉的工具,这带来了许多新的挑战。”

老师在Canvas中建立了自己的虚拟教室,学生可以在其中登录视频会议,访问教育应用,接收和提交作业以及参加测试。在较早版本的测验功能中(Instructure表示其6,000名学区和大学客户中约有75%仍在使用),学生必须完全按照老师的输入回答问题。大约18个月前,Canvas开始使用一种算法来推出更新的测验功能,该算法可以检测答案何时足够接近。

本森先生说,在业务快速增长的过程中很难跟上所有问题。 Canvas并发用户的峰值数量已从4月的200万增加到9月的650万。客户支持电话与使用电话一起增加,上个月收到超过200,000个帮助请求。

本森先生说,该公司旨在简化教师的工作。他说:“对于我们跌倒的地区,我深表歉意。”

位于伊利诺伊州Otus的首席运营官基思·韦斯特曼(Keith Westman)在170 K-12学区使用过汽车,他还说自动分级问题不是技术问题,而是师资培训问题。

当教师在Otus中设计测试时,他们可以包括几个替代答案。例如,如果数学问题的正确答案是“ 3克”,则教师可以指定几个将被认为是正确的答案,例如“三克”或“ 3”。教师可以选择给定答案的分数是满分还是半分,并且可以要求答案是完全匹配的,或者包含正确文本的一部分。

韦斯特曼说,如果老师不喜欢自动评分,他们可以完全禁用它。他说:“自动评分在可行时很棒,但是在不可行时,会对学生造成毁灭性的打击。”

明尼苏达大学双城分校的高级教学专家克里斯汀·比米什·布朗(Kristin Beamish-Brown)每天在她的第三学期西班牙语班上每天处理来自偏远学生的灾难。即使她警告他们说他们在“画布”中看到的自动评分可能不正确,但她还是经常听到他们的声音,然后才能再次检查自动评分。

“我有71名学生。我需要几个小时才能对应该是自动评分的测验进行评分,”她说。 “我不仅必须返回并检查他们的成绩,还必须回复给50位发给我担心成绩的学生的电子邮件。”

比米什·布朗女士说,她已经开始向学生隐藏成绩,直到她可以复习所有答案为止。当自动分级机标记出错误的内容时,她发现自己已阅读了三,四次以确保答案。

她说:“我正在猜测自己,因为这台机器说错了。” “技术使我们的生活更加轻松。”

印刷版出现在2020年11月18日,名称为“给孩子测验成绩不合格的机器人”。