为了继续我们在投票后、计票前的评估(另见这里和这里),我想分开两个可以合并的问题:1.以民调为基础的选举预测的问题。
这些预测都落空了。我们预测拜登将获得54.4%的两党选票,但他似乎只获得了52%左右的选票。我们预测拜登将获得356张选举人票,看起来他最终只会获得280张左右的选票。我们有不确定的区间,看起来结果会落在这些区间内,但我们仍然不能对发布96%的获胜概率感到高兴。我们的模型搞砸了。
但是,事情是这样的。假设我们包括了更宽的不确定性区间,所以结果是,比方说,在50%的预测区间内。很好。如果我们给拜登75%的获胜机会,然后他以微弱优势获胜,预测看起来会很好,我会对我们的模型更满意。但是民调仍然会搞砸,只是我们应该更好地把我们的模型搞砸的可能性包括在内。
换句话说,像“民调搞砸了”这样的声明不仅仅是关于民调的声明,也是关于如何解读民调的声明。对民调进行更真实的建模可以纠正偏见,并为我们无法纠正的偏见增加不确定性。但当佛罗里达州的绝大多数民调显示拜登领先,然后拜登以几个百分点的差距落败时,这是一个民调错误。俗话说,先验往往只能在可能性的背景下才能被理解。
-在所有选票清点完毕之前,我们真的不能说任何一个州的民调都搞砸了多少。
-一些州的民调混乱程度比其他州更严重。佛罗里达州是民调错误的最明显例子。
-如果你包括一个足够大的术语来表示未建模的非抽样误差,你可以说没有一个民意调查搞砸了。但我的观点是,一旦你需要分配一些大的非抽样误差项,你就已经承认有问题了。
-说民调搞砸了,并不能以任何方式为我们的模式搞砸的事实开脱。该模型的一项关键工作是解释民意调查中的潜在问题!
归根结底,民调中的问题和基于民调的预测中的问题并没有确切的界限。举个简单的例子,假设所有问题都可以通过在每次民调中增加2个百分点的共和党支持率来解决。如果民调机构在公布数据之前这样做,我们会说民调很好,一点问题都没有。纠正后的偏见根本不是偏见。但如果偏见只是停留在那里,需要稍后纠正,那么这就是一个问题,通过增加一个允许民调在两个方向上都相差几个百分点的误差项,不能消除偏差的范围就会缩小。
换句话说,我们已经知道民调“一团糟”,即每一次选举都有不同的系统性误差。基于民调的选举预测在很大程度上与做出调整和增加不确定性有关,这样才不会扰乱预测。