级别结果:为什么算法不是制作成绩©Getty Images

级别结果:为什么算法aren’t making the grade

近期英国近期争议的争议突出了使用算法对我们做出决定的陷阱。出了什么问题,我们应该做得更好吗?

当英国政府决定取消学校考试时 新冠病毒 大流行,他们给了Qual挑战的考试监管机构:无论如何,向学生分配成绩,并确保今年的毕业等级在标准中相当于前几年。 OFQUAL的解决方案是创建一种算法 - 一种计算机程序,旨在预测学生在考试中会收到的成绩。

广告

不幸的是,当发出计算机生成的成绩时,40%的A级学生的成绩比他们的教师预测得多。其中一些比例降低了。承诺大学的地方被撤回了。律师提出采取法律行动对抗Qual。愤怒的青少年用标语牌带来了街道,称为'f ** k这个算法'。

更糟糕的是,大州立学校的学生似乎已经失去了更多的私立学校或那些学习古典和法律等受欢迎的人的学生。教育部长面临着这种耀眼的不公平,宣布毕竟将接受教师预测,但在大学填补了他们的课程之前,不会让每个人都争先恐后地解决修订的优惠和过度订阅的课程。

鲍里斯约翰逊的总理称为“突变算法”,好像计算机程序有一些以某种方式演变的邪恶权,以摧毁青少年的愿望。但实际上,OfQual的计划确实究竟旨在做到了什么。

阅读更多关于算法的信息:

您可能预计算法以教师的预测开始,他们知道每个学生都是最好的。但是,没有关于每个学生的任何信息都发挥了最小的作用。当大多数情况下,当学校中的学生数量小于15岁以下的学生人数时,才会使用教师预测,模拟考试结果和GCSE结果。对于较大的群体,该数据仅用于将整个集团与学校的结果进行比较,在过去三年中。

被指示的OFQUAT被指示使今年的总体结果与前几年的结果相当,以避免“成绩通货膨胀”,这就是他们所做的。他们在过去三年里,平均每所学校的成果,为今年的学校成果的预期传播:有多少A * S,BS等。

接下来,他们利用今年集团的过去的表现,与前几年相比,在学校表现的任何改进或下降方面进行调整。但他们还调整了以保持与过去类似的成绩分布。这给了今年主题群体的成绩分配。然后,要决定哪个学生获得哪个成绩,每个学校都被要求将每个学生从每个主题中的最糟糕的最差排列。从最糟糕的最糟糕的排名阶段抛出了等级。

正大光明?

是公平的算法吗?好吧,这取决于你如何定义公平。 Ofqual ofqual致力于检查没有受保护的群体在算法下比考试时间更差。男孩,贫困社会经济群体,不同的民族,所有人都与前几年相似,作为一个类别。那么为什么州立学校的学生比私立学生更糟糕?

在他们参加考试的年份,州立学校的学生更有可能从教师的预测中标记下来。他们的统计学上不太可能获得比私立学校的最高等级,您可以缩小较差的资源,从父母或教师的较低愿望,或者是因素的结合。

无论原因如何,许多抗议该算法抢劫其未来的算法可能同样对自己的考试表现的结果同样失望。但至少他们有机会展示他们在压力下可以做的事情。

刻录级别的结果证书©Shutterock
© Shutterstock

今年的学生提前注定,他们的成就由其他学生在达到之前封锁。该算法已经决定您的学校是您潜力的更好指导,而不是您自己的任何潜力。

这说明了算法的两个问题。他们的预测基于过去,这意味着预测的未来将默认情况下,看起来像过去。虽然它们往往擅长人口规模预测,但这并不意味着这些预测可以或应该用于个人。

算法从未预测未来。人类使用机器制造的投影预测未来。这是人类编写了一个程序,以找到随着时间的推移收集的数据中的模式,然后问这个问题,“如果这些模式继续,未来的样子是什么样的?”

大部分时间,这效果很好。例如,交通流量的模式,每天重复自己和每周。可以将其更改为常规模式,如学校假期或特殊事件的其他因素可以编程到算法中。因此,长期趋势可以增加人口,或者更多的人口,或更多依赖互联网购物交付。

根据证据和想象,这些决定中的每一个都是人为判断的行为。您可以跟踪支出的趋势,结合打算在线购买的人的调查,并决定送货车交通将上升。但是,您也可以决定收集有关人们向商店开车的数据,并得出结论,汽车旅程的减少将抵消增加的范流量。

您包括或排除您的数学模型的数据与您选择处理它的计算机程序类型同样重要。但是你无法从未来收集数据。以这种方式,算法与现实世界完全相同:如果人类决定使其不同,未来只会与过去不同。

算法,尤其是机器学习算法,这是通常的意义 人工智能,擅长在大量数据中找到模式。在许多方面比人类更好,因为他们可以处理更多信息,而不是先前的假设分散注意力。这就是为什么他们在信息丰富的问题​​中非常有用,如发现可能是疾病早期症状的医学扫描的异常。

他们无法做的是了解任务的真实背景,这意味着它们对因果关系不好。例如,算法可能会发现一件事,学习物理学,例如,预测另一件事 - 成为一个男孩。但这是统计学意义上的预测。

这意味着如果你随意选择一个级别的物理学生,你将找到一个男孩的四次。它肯定并不意味着一个女孩无法学习物理学。但它确实意味着,如果你从第六种形式挑选一个随机的男孩和女孩,那么男孩更有可能学习物理学比女孩。

但是,在个人层面上,这种预测是不准确和不公正的。所有科学的主题只占五分之一的一个级别条目,因此我们最有可能既不是我们随机采摘的学生都在学习物理学。

要采取更极端的例子,有10个凶手有9个是男性,统计上,是一个男人是成为凶手的强烈预测因素。但大多数男人不是凶手,所以任何随机挑选的人都不太可能杀死任何人。没有人会在没有证据表明他故意杀死某人的证据而被判谋杀。

算法和犯罪

虽然我们可能希望刑事法院将我们每个人视为个人,但算法已经过去习惯预测谁将将来犯下犯罪,或者在哪里或谁处于高核准的风险。

这是一项警察和法官始终完成的延伸,试图在发生之前防止犯罪,或者如果他们不太可能重新偿还,则将违法者留出罪行。然而,在实践中,很难将这些预测与上述陷阱分开:假设未来看起来像过去,而且人口的真实是真实的。

杰弗里布兰廷汉教授从加利福尼亚大学洛杉矶洛杉矶开发了Predpol软件,以预测预测地震的模型来预测未来犯罪的位置。由于它根据过去的犯罪报告使用数据,因此宣称将警方送回同一社区,寻找更多的犯罪并逮捕。广泛用于美国和英国,它现在被一些警察迫在眉睫,因为有关有效性以及公平性。

Jeffrey Brantingham教授(蓝衬衫)开发了Predpol软件,以帮助预测未来的罪行,使用基于上一个报告的数据©Shutterock
Jeffrey Brantingham教授(蓝衬衫)开发了Predpol软件,以帮助预测未来的罪行,使用基于上一个报告的数据©Shutterock

其他算法将风险分数分配给个人以帮助法官或假释板决定重新讨论的可能性。他们基于将数据与过去的人口的数据进行比较,并且在美国法院缺乏透明度的挑战,并根据其他人在过去所做的事情上判断一个人。

Propublica的调查记者发现一个叫做Compas的一个风险评分算法,更有可能错误地将黑色违规者视为高风险,而白违规者风险低。 2020年7月,10个美国数学家写了一封呼吁他们的同事们停止在这种算法上工作的公开信,因为结果是种族主义者。

但是如果司法系统对使用算法越来越谨慎,以使生活变化的决策,其他人正在拥抱它们。

雇主淹没在工作申请中正在转向算法,以根据他们与现有员工的比较方式过滤掉不合适的申请人。这已经回来了 - 例如,发现亚马逊的算法是使用成为一个成功的当前员工和男性之间的相关性,并且必须撤回。

阅读更多关于人工智能:

其他雇主声称,自动化招聘过程的第一阶段扩大了他们的新进入者池。 Unilever Ditched招聘展览会在少数在线招聘中的大学,甚至在人类看到任何候选人之前通过算法评估甚至视频访谈。但批评者指出,残疾申请人或英语不是他们的第一语言,可能因评估他们的肢体语言或声音的算法而受到惩罚。

和算法可以呈现。一些招聘人员试图通过使用软件使广告的语言更少“男性化”来使他们的广告更有吸引力。使用相同的软件,申请人可以使其工作申请听起来更加男性化 - 到一个训练在主要男性劳动力的算法。

如果我们为公平而不是不公平地设计,往往可以逃脱人类偏见和偏见的算法。写作一个程序可以强迫我们决定我们的意思是“公平”。

提供考试结果是否更加公平,这是假设您的学校过去的结果是您自己获得的最佳预测因子,或者为您提供您的老师预测的成绩?第一个看起来更接近前几年的成绩,第二个是每个人都让人受到个人判断的好处。但是,在更好的学校的学生上是公平的,其老师不太可能过度预测?

算法曾经公平吗?

在一个不公平的世界中,它是创建公平算法的数学不可能。该公司设计了Compas算法的公平性,指出,既不是比赛的比赛也被用作数据。相反,它们归咎于黑白群体之间的差异。

在过去,黑人罪犯更有可能被逮捕为另一个罪行。这使'虚假阳性' - 错误地分配了高风险分数 - 更有可能以算法看起来像以前的罪犯一样。

虽然该算法对被评估人员的种族视而不见,但许多基于风险分数的输入将不会在不同的群体中发现。详细信息,如家庭或就业历史,了解其他罪犯,甚至对社交机会问题的态度,对司法系统的不同经历以及一般来说的人都会有所不同。

治疗每个人同样给予人口规模的不平等结果。通过人口群体提供平等的结果将意味着根据比赛调整个体,这可以称在一个司法系统中也是不公平的,这应该在他们自己的记录和性格上判断每个人。每当一个人在过去的别人所做的别人的基础上被判断,重要的是要问其他人“喜欢他们”。

使用算法的优点是,如果它们是透明的,它们会强制使用它们来明确地了解他们的假设和目标。在审计的情况下,目标是使整体分布类似于前几年,并且所包括的假设“您的学校以前的表现是您未来表现的更好指南,而不是您自己的成绩”。

算法的麻烦通常不是数学。大多数时候,这就是人类设计的东西。

广告