古德哈特定律和你追逐的指标如何塑造系统

2020-07-08 04:24:25

我是诺亚。如果你在企业界呆过一段时间,你肯定遇到过古德哈特定律。它以英国经济学家查尔斯·古德哈特(Charles Goodhart)的名字命名,通常被描述为,当一项指标成为目标时,它就不再是一项好的指标。换句话说,一旦你将一项指标变成目标,其有效性就会降低。这不是反对测量的论点,而是关于测量行为如何改变感知、激励,最重要的是改变行动的警告。

古德哈特最常见的版本是通过一个可能是虚构的苏联时代钉子厂的故事来讲述的:

从前,苏联有一家制造钉子的工厂。不幸的是,莫斯科对他们的钉子生产设定了配额,他们开始努力实现所描述的配额,而不是做任何有用的事情。当他们按数量设定配额时,他们大量生产了数十万个微小的、无用的钉子。当莫斯科意识到这是没有用的,并改为按重量设定配额时,他们开始建造又大又重的铁路钉式钉子,每个钉子重一磅。

大卫·曼海姆(David Manheim)在古德哈特定律(Goodhart‘s Law)上写了一大堆文章,他称这种捏造数字的行为是“狼吞虎咽”。他在去年播客的一期节目中理性地解释道:“你必须做好很多事情,以确保你可以信任一个你付钱给别人或激励他们的系统中产生的数字。”在去年的一集播客中,他理性地解释道:“你必须做好很多事情,以确保你可以相信一个系统中的数字,在这个系统中,你正在支付员工工资或激励他们。”“或者在苏联的情况下,威胁说如果他们做不到你想让他们做的事情,就把他们扔进古拉格监狱。”那真的很难让他们不玩游戏了。“。

当我们谈论涉及到在一定程度上激励人们的系统时(几乎所有人都是这样),我们不能忽视古德哈特定律对产出的影响。如果你在一个注重功能而不是影响的产品组织工作过,或者曾经上过一堂课,在那里你的论文是根据页数而不是理解的深度来衡量的,你可以证明人们会用什么方式来玩弄这个系统。也就是说,他们将构建更多的功能并扩大利润率,以确保他们能够实现所衡量的目标。

当我们的全国焦点从COVID转移到警察时,我想起了Reply All关于CompStat的出色的两部分,这是纽约警察局在90年代中期开发的用于衡量和管理犯罪的系统。该系统包括跟踪该市的所有犯罪,然后定期向该市警察局的老板报告。以下是所有回复中对会议的描述:

警察局长,就像50岁的男人一样,会在CompStat会议之前在卫生间呕吐。他们会试着找部门里的朋友,他们可以给他们通风报信,看看他们是不是下一个。这些人住在社区,在那里他们管理着300人的小军队,他们必须服从他们的每一个命令,从来不能询问他们任何事情。现在,他们不得不去另一个房间,在那里,他们站在一个打着蝴蝶结的家伙面前,周围都是他们想要打动的人,200个最可怕的同龄人,他们的生活刚刚被挑剔得体无完肤。当你确信他们什么都不知道时,他们会被问到一些后续问题,就像你在他们工作的第一天问他们的那样。如果他们不能正确回答这些问题,他们就会感到羞辱。然后他们就被解雇了。一位酋长告诉记者,如果他们要继续开这样的会议,他们真的应该让我们在门口检查一下我们的枪。

但这个系统起作用了,或者至少看起来起作用了,纽约市的犯罪率骤降。谋杀案在一年内下降了近20%。从外面看,阳光似乎真的是最好的消毒剂。但是,就像你调整复杂系统时经常发生的那样,二阶和三阶效应开始发挥作用,一开始可能是出于好意,后来变成了一个专注于特定犯罪和社区的系统,这些犯罪和社区可能会产生统计数据,并误报一些可能会让他们的老板在城市高层面前难堪的可怕事情。以下是来自All回复的一点内容:

但是有些头目开始意识到,等一下,真正负责跟踪我家附近的犯罪情况的人是我。因此,如果他们不能让犯罪率下降,他们就会停止报道犯罪。他们找到了所有这些不同的方法来做这件事。你可以拒绝接受受害者的犯罪报告,你可以写下与实际发生的事情不同的东西。你可以直接把文件扔掉。所以那个家伙会在CompStat会议中幸存下来,他会得到晋升,然后当下一个人出现时,他必须击败的数字是作弊者设定的数字。所以他不得不多作弊一点。

“酋长们觉得他们是在为专员压低犯罪率,”这段插曲还在继续。“专员觉得他是在为市长压低犯罪率。市长,市长必须保持较低的犯罪率,否则房地产价格会暴跌,游客会流失。就好像犯罪率本身就成了老大。“。(重点是我的。)。“火线”的粉丝们会在该剧的五季中认出这种模式。

古德哈特定律就是这样运作的。这并不是说衡量事情或设定目标不好,但在一个晋升和薪酬都与这些措施和目标挂钩的环境中,你可以放心,人们会篡改数字和系统,以确保它们看起来很好。正如我在系统版中所说,这并不是说我们不应该让警察部门内的那些人对他们的行为负责,但如果想要创造持久变化的希望,干预需要在结构中更深层次地进行。(NRB)。

作为编辑和播客主持人,我们一直是丹尼·贾科佩利的粉丝。他在Monocle24电台的企业家节目中磨练了自己的牙齿,现在是伦敦Courier的掌舵人。他们把播客改成了每周播客的形式,但仍然是一样的,关于商业、创新和文化的广泛讨论都有全球视野。最近,我在Reilly出色的WITI专栏上发表了关于他的公路之旅,以及客户体验和热情好客的评论。听一听。(CJN)。

为什么这很有趣?是诺亚·布里尔和科林·纳吉(以及他的朋友们!)。关于有趣的事情。如果您喜欢这个版本,请考虑将其转发给朋友。如果你是第一次读,可以考虑订阅(免费的!)