We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode How To Read Polls In 2024

How To Read Polls In 2024

2024/9/26
logo of podcast FiveThirtyEight Politics

FiveThirtyEight Politics

AI Deep Dive AI Chapters Transcript
People
G
Galen Druk
N
Nathaniel Rakich
Topics
Galen Druk: 本期节目讨论了如何负责任地解读民调,特别是在2024年总统大选临近的关键时刻。节目邀请了资深选举分析师Nathaniel Rakich,分享了10条解读民调的实用建议,旨在帮助听众更客观、更理性地看待民调数据,避免过度解读和情绪化反应。 Nathaniel Rakich: 首先,要关注民调机构的信誉和透明度。FiveThirtyEight网站对民调机构进行了排名,排名依据是其过往预测的准确性和数据透明度。其次,要考虑民调的委托方,党派倾向的民调可能存在偏见,需要谨慎对待。再次,要区分注册选民和可能投票的选民,因为实际投票人群的构成可能与整体选民构成存在差异。第四,要理解民调的误差范围,这反映的是由于样本大小导致的抽样误差。第五,要关注民调问题的措辞,因为问题的措辞会影响受访者的回答。第六,要比较同一民调机构的民调结果,因为不同民调机构可能存在系统性偏差。第七,要关注民调结果的平均值,不要过分关注个别民调结果的异常值。第八,要记住民调结果并非完美无缺,存在一定的误差范围。第九,不要试图对民调结果进行人为调整,因为民调机构已经对数据进行了加权处理,以确保其代表性。第十,要记住民调是快照,而非预测,但随着选举日的临近,其预测能力会增强。 Nathaniel Rakich: 在解读民调时,要关注民调机构的信誉、透明度和党派倾向,区分注册选民和可能投票的选民,理解民调的误差范围,关注民调问题的措辞,比较同一民调机构的民调结果,关注民调结果的平均值,不要过分关注个别民调结果的异常值,不要试图对民调结果进行人为调整,记住民调是快照,而非预测。

Deep Dive

Chapters
As the 2024 presidential election heats up, understanding how to interpret polls is crucial. This chapter emphasizes checking the pollster's track record and transparency using resources like FiveThirtyEight's pollster ratings. It also advises caution with polls sponsored by partisan groups, as they may present a biased picture.
  • FiveThirtyEight rates pollsters based on historical accuracy and transparency.
  • Partisan polls tend to favor the sponsoring side by 4-5 points.
  • New or unrated pollsters should be interpreted with caution.

Shownotes Transcript

- 教堂的原味秘方又回来了。- 你永远不会选错原味。- 尝起来还是和以前一样。- 现在,两块鸡肉起价仅 2.99 美元,十块鸡肉起价仅 10.99 美元。教堂,优惠活动在参与门店有效。

您好,欢迎收听 FiveThirtyEight 政治播客。我是 Galen Druk。2024 年总统竞选活动即将进入高潮。在接下来的五个半星期里,美国人将受到新闻、政治广告以及当然还有民调的轰炸。

我们在 FiveThirtyEight 全年都在关注民调,但在接下来的一个月左右,民调专家将发布一些他们有史以来进行过的最引人注目的民调。它们将产生点击量、对话和误解。如果历史可以作为参考,党派人士会查看新的民调,并以狂喜或绝望做出回应,而这些情绪会在下一轮民调中逆转。

在我们进入十月,新闻周期变得更加疯狂之前,我们将用一集的时间回顾民调的一些基本知识。我们

我们整理了一份清单,即负责任地解读民调的十个要素。如果您是本播客的长期听众,其中一些技巧听起来会很熟悉,但我认为将它们提炼成基本要素会让您获得一些额外的细微差别。如果您是新听众,那么首先,欢迎您。这是一个绝佳的起点。它会让您了解我们如何看待数据和政治,以及我们有多么书呆子气。

为了做到这一切,我邀请了高级选举分析师 Nathaniel Rakich 加入。Nathaniel,欢迎来到播客。嘿,Galen。感谢你的邀请。事实上,能邀请到你真是太好了,因为你制作了这份指南,大家也可以在网站上阅读。我只想先开始。我们稍后会讨论这十个技巧。但你为什么认为在 2024 年竞选活动的最后阶段创建这份指南很重要呢?

我们正处于竞选活动的疯狂时期。就像你一样,就像你在引言中所说的那样,人们会对每一次民调都过度反应。有些人会故意散布虚假信息,或者只是因为他们不太了解民调的细微之处。我们希望为人们提供一份指南,让他们能够以冷静的方式解读民调。

不要被每一次波动都牵着鼻子走,也要了解民调无法做到的事情,以及它们确实拥有的非常真实的权力,这当然也是 538 的存在理由。好的,让我们直接进入正题。负责任地解读民调的第一个技巧是检查是谁进行了民调。

我们要确保民调来自值得信赖、高质量的民调专家。我们的网站上有民调专家的评级,上面有数百名民调专家。今天排名第一的民调专家是《纽约时报》和锡耶纳学院。Nathaniel,这些评级是如何计算出来的?更广泛地说,是什么造就了一位优秀的民调专家?对于我们在 FiveThirtyEight 的目的而言,我们非常重视准确性。

查看民调专家是否优秀可靠的最简单方法是查看他们过去的表现如何。因此,民调专家评级的一个重要组成部分是该民调专家在过去几次总统选举中与选举结果的接近程度,无论他们追溯到多久以前。当然,民调专家拥有越长的准确性记录,他们的民调专家评级就越高。纳入我们民调专家评级的另一件事是透明度。我们有一套十个问题,基本上是说,民调专家是否这样做?民调专家是否那样做?或者他们是否披露他们这样做,并就发布交叉表以及他们按权重划分的所有群体等问题提供充分的答案。

民调专家的透明度得分越高,他们的民调专家评级也越高,因为有时民调专家可能只有追溯到几年前的跟踪记录,但我们凭经验知道,更透明的民调专家往往随着时间的推移会拥有更高的准确性评级。因此,我们可以将其用作一种替代指标。

曾经有一段时间,我们在判断民调专家时考虑的因素之一是他们的方法。他们是否使用真人通过固定电话或手机联系选民或注册选民?通常是两者兼而有之。

但最近,我们得出结论,这样做实际上并没有优势。民调专家已经进行了改进,并纳入了混合方法,例如短信、电子邮件,甚至发送邮寄信件。因此,当我们今天考虑民调专家的质量时,方法是否有任何规则?

是的。正如你提到的那样,长期以来,人们认为民调的黄金标准是使用真人访谈员通过电话呼叫人们。但我们在研究中发现,实际上,这些类型的民调的准确性与在线民调专家的准确性并没有显著差异。当然,这是因为电话民调也面临着自身挑战,例如响应率低。现在人们都有来电显示,他们通常会筛选这些电话。

需要注意的一点是,我认为人们有一种观念,认为民调专家只是,你知道的,就像你正在让某人做饭,然后墙上的电话响了,他们接起电话并以这种方式回答民调。这不仅仅是固定电话。因此,很明显,现在全国大多数人都使用手机而不是固定电话。基本上,所有民调专家现在除了固定电话外还会拨打手机。因此,我看到的对民调的常见批评是,哦,当你只是拨打固定电话时,它怎么能准确呢?他们不是那样做的。

好的,第一个技巧的关键部分是使用 FiveThirtyEight 的数据库,并查看民调专家的准确性和透明度随时间的变化。那么,如果出现新的民调专家并且他们没有 FiveThirtyEight 的评级怎么办?

每当有新的民调专家开始发布民调时,FiveThirtyEight 的工作人员都会主动联系他们,以审查他们并向他们提出一些任何有效的民调专家都应该能够轻松回答的问题,然后我们才会将他们纳入我们的民调页面。因此,我们将所有有效的民调专家都纳入我们的民调页面,但这并不一定意味着它们是

高质量的或准确的。因此,我们始终建议,对于新的民调专家或民调专家,也许他们已经存在几年了,但他们没有足够的民调让我们给他们评级。我们只是建议,你知道的,你可以听取他们的意见,但要谨慎对待,你应该像我们对我们实际的文字模型那样,在你的思维模型中给予那些来自高度准确机构(如《纽约时报》、锡耶纳学院、马里斯特学院等)的、拥有良好记录的民调专家更多信任和权重。

好的,负责任地解读民调的第二个准则是检查是谁赞助了民调。许多民调是由党派团体赞助的,我们在网站上用红色或蓝色的菱形标记它们。这是有道理的。也许我们应该对那些带有议程的团体发布的数据持怀疑态度。

但与此同时,如果我查看我们的民调专家评级,你会发现相当多的党派民调专家的排名相当靠前。在左翼,你有 Data for Progress,其使命是帮助进步事业。它在我们评级中排名第 26 位。另一方面,你有 Remington Research Group,这是一家排名第 30 位的顶级共和党民调专家。这意味着我们不应该完全忽略党派数据来源。那么,当我们看到民调与某些党派有关时,我们应该怎么做呢?

同样,重要的是要意识到这一点,并在精神上将其考虑在内。我们在 FiveThirtyEight 发现,由党派赞助的民调历来比它们应该有的结果要好 4 到 5 个百分点。

你知道,你会一直看到这种情况,对吧,就是竞选活动发布的民调显示他们领先一分或类似的东西。当我看到这样的民调时,我会想,哦,好的,这意味着你实际上可能正在落后,你只是发布了这一个显示你领先的民调,因为你想创造一种叙事,比如你很有竞争力或者你领先。对。

正如你提到的那样,这并不一定是因为这些民调专家不好或不准确,尽管我认为民调的赞助者试图误导,并且,你知道的,当他们发布这些民调时,他们总是有一个议程。但是,许多党派民调专家会与竞选活动私下合作,对吧?他们会向他们提供大量数据。然后竞选活动会决定,哦,我们得到的这个民调显示我们领先,而其他四个民调显示我们落后,我们将只发布这一个。

因此,你只需要记住,你可能没有看到党派民调的完整画面。还有一些党派民调专家会,我认为,也许会在制作他们的可能选民模型时做出有利的投票率假设,也许如果你是民主党民调专家,你可能会说,哦,这个黑人选民的比例可能会高于客观分析师认为的比例。

需要记住的重要一点是,这些民调专家不一定是,是的,他们不一定是质量较差的,但赞助者,那些为他们付费的人,他们只向你提供他们想让你看到的数据,他们可能正在利用它来塑造一种叙事。并且总是很好地问问自己,为什么我会看到这个民调?他们试图构建什么样的叙事?我们如何……

作为新闻编辑室,在处理党派民调时,在我们的平均值方面是如何处理的?我们是根据其党派偏见的平均预期对其进行扣分,还是完全排除它们?我们包含所有民调,无论其党派如何,但我们确实会根据党派进行调整。因此,共和党民调专家,你知道的,我们会减少 5 个百分点或任何数字,确切的数字可能会因我们历史上发现的情况而异。对,除非他们被证明是完全准确或公正的

随着时间的推移,对吧?因此,如果这是一个全新的民调专家,那么起始假设是,他们会扣除全部平均值。但如果他们被证明是,你知道的,严谨的、透明的、准确的,那么他们以党派方式行事这一预期就会降低,并可能降低到零。

对,没错。尽管值得区分民调专家和赞助者,对吧?因此,像由党派赞助的民调会根据他们是共和党还是民主党而扣除 X 个百分点。但你可以有一个由党派赞助的民调来自高质量的民调专家,并且该民调仍然可以根据其准确性记录获得很大的权重,就像你说的那样。好的。第三个技巧是注意谁被调查了。

有时,调查特定的人口群体或摇摆州是有用的,但同样重要的是要记住,这些结果并不代表整个国家。另一个例子,今年非常重要的一点,是注册选民民调与可能选民民调之间的区别。那么,Nathaniel,为什么这种区别如此重要呢?简单的原因是我们知道,并非所有注册选民,当然也不是所有成年人都将投票。

投票率是一个问题。即使在总统选举中,通常也只有三分之二的合格选民会出来投票。投票的人口,尤其是在投票率较低的选举中,看起来是不同的,对吧?他们并不代表整个国家。因此,这就是为什么当我们谈论所谓的“可能选民模型”时,我意识到我之前说过但没有完全解释,但我现在来解释一下,那就是当民调专家

说他们根据从州政府获得的注册选民名单呼叫注册选民时,他们会使用不同的技术,无论是直接询问选民是否会投票,还是查看选民的投票历史并根据此评估他们今年是否可能出来投票。他们使用这些技术来确定谁可能在这次选举中投票。有时,仅在可能选民中的这些数字将与所有注册选民不同。有趣的是,历史上,可能选民民调往往比注册选民民调更倾向于共和党。

选民民调。但似乎这种情况现在已经发生了逆转,民主党现在在可能选民民调中表现更好,因为从人口统计学角度来看,他们现在更有可能投票,特别是受过大学教育的人,他们往往是最有可能投票的人,并且越来越倾向于民主党。好的。我想谈谈总是很性感的误差范围。但首先,休息一下。

今天的播客由 Shopify 提供赞助。准备好为您的业务做出最明智的选择了吗?向 Shopify 问好,这是一个全球性的商业平台,让销售变得轻而易举。

无论您是开设在线商店、开设第一家实体店还是达到百万订单,Shopify 都是您的成长伙伴。使用 Shopify 的一体化电子商务平台和店内 POS 系统在任何地方销售。使用 Shopify 转换率最高的结账流程将浏览者转化为买家,比其他平台高 36%。

使用 Shopify Magic(您的 AI 驱动的全明星)轻松销售更多商品。您是否知道 Shopify 占据了美国所有电子商务的 10%,并支持 Allbirds、Rothy's 和 Brooklinen 等全球品牌?加入遍布 175 个国家的数百万成功企业家,他们得到了 Shopify 广泛的支持和帮助资源的支持。

因为成长的企业,都与 Shopify 一起成长。立即开始您的成功故事。在 shopify.com/538 上注册每月 1 美元的试用期。数字不是字母。shopify.com/538。

今天的播客由 GiveWell 提供赞助。你是一个注重细节的人。你想了解事情的真正运作方式。因此,当您向慈善机构捐款时,您应该查看 GiveWell,这是一个独立的资源,用于对优秀的捐赠机会进行严格、透明的研究,其网站将让即使是最注重细节的读者也忙个不停。

GiveWell 现在已经花费了 17 年的时间研究慈善组织,并且只将资金定向到他们发现的少数几个影响力最大的机会。超过 100,000 名捐赠者已使用 GiveWell 捐赠超过 20 亿美元。严谨的证据表明,这些捐赠将挽救超过 200,000 条生命

并改善数百万人的生活。GiveWell 希望尽可能多的捐赠者对高影响力的捐赠做出明智的决定。您可以在他们的网站上免费找到所有研究和建议,并且您可以向他们推荐的基金或慈善机构进行免税捐赠,而 GiveWell 不会从中抽取任何费用。

访问 GiveWell.org 了解更多信息或进行捐赠。选择播客并在结账时输入 538 politics,以确保他们知道您是从我们这里了解到他们的。再次强调,这是 GiveWell.org,用于捐赠或了解更多信息。

好的,Nathaniel,首先,你有没有看过那些视频,比如物理学家向孩子、高中生和博士候选人解释一个概念?没有,我没有。好吧,我还是要让你现在这样做。观看视频?不。假装我是一个孩子。哦,好的,好的。好吧,假装你是一个孩子。我的意思是,也许不需要太多假装。是你说的,不是我。

首先,你能像我八岁时那样向我解释误差范围吗?好的,所以……你不需要用中西部口音。如果你拥有世界上所有的钱,对吧,你会调查整个国家的人口或整个州的人口,无论你试图接触谁,对吧?并询问字面上的每个人,这基本上是选举中的正确做法。我们没有……

世界上所有的钱。所以你会做的是抽取样本,

事实证明,如果你只采访一个州的一千人,它实际上确实非常接近于代表整个州,或者至少你有足够的受访者可以对民调进行加权,这基本上意味着,你知道的,如果你得到的样本在人口统计学上并不代表整个州,你可以对其进行调整,以便对那些

没有以更大数量回应民调的人给予更多权重,以便民调的最终构成看起来像选民的构成或你将要提及的任何东西。这对于一个八岁孩子来说可能太复杂了。我正要这么说,我不太确定你认识哪些八岁孩子,但是,你知道的,我认为我们会坚持下去。我们会坚持下去的。好的。对不起。对不起。如果有任何八岁孩子正在收听并且感到困惑,我很乐意再次尝试。只需给我发电子邮件。不过,在使用互联网之前,请先征得父母的许可。是的。

无论如何,因此,你可以通过对大约一千人的样本进行调查,来非常接近地代表整个州或国家或任何东西的观点。但你不会做到 100%。对。存在一种叫做抽样误差的东西,当你的样本相对于你试图测量的整体而言过于民主党化或过于共和党化时,就会发生这种情况。

整体。这就是误差范围。基本上,它表示,如果你有一个误差范围为正负 4% 的民调,它基本上表示该民调的误差可能在任一方向上达到 4 个百分点。这就是抽样和民调的本质。当我们在这个播客上一直说民调相当不错,但它们不可能完全准确时,这就是我们的确切意思。

那么,是否可以假设样本越大,民调专家实际交谈的人越多,误差范围就越小呢?是的,误差范围基本上是根据样本量计算的。但同样重要的是要注意,你会有边际收益递减,对吧?因此,如果民调专家只呼叫 100 人或在线调查 100 人,那么误差范围将会很大,从 100 人增加到 1000 人,这就像这是一个显著的改进。你将获得相当合理的误差范围。如果你从 1000 人增加到 10000 人,它对你的误差范围的影响不会那么大。同样,因为民调专家没有世界上所有的钱,他们往往会在达到合理的样本量后停止,一旦他们觉得他们获得了足够接近的误差范围。为了真正强调这一点。

误差范围,比如说 3 个百分点,可以在任一侧,这基本上会产生一个差距,你将这个数字加倍,说 6 个百分点,就实际结果可能出现的位置而言。

看看我们现在所处的时刻,我认为所有七个战场州都在误差范围内。因此,理论上,在所有七个案例中,实际获胜者都可能与民调显示今天领先或落后的人不同。对,没错。因此,举一个现实世界的例子,如果你看到宾夕法尼亚州的民调显示特朗普领先哈里斯 46 比 45。

这通常会在媒体中被报道为特朗普领先哈里斯,但只领先一分。有了这个误差范围,特朗普的实际得票率可能高达 49%,也可能低至 43%。哈里斯的得票率可能高达 48%,也可能低至 42%。显然,两者之间有很多重叠。这就是为什么当你看到显示一分“领先”的民调时,最好将其视为实际上势均力敌,因为再次强调,

再次简单地说,这可能只是一个获得过于民主党化或过于共和党化的样本的问题,这可能会逆转实际领先地位。抽样误差并不是民调中唯一的误差来源,即使我们在谈论误差范围时关注的是这一点。还有哪些其他误差来源?

有诸如无响应误差之类的事情。例如,我们可能在 2020 年遇到了这种情况,某些类型的人,也许是特朗普的支持者,也许是不信任机构的人,不太可能进行调查。你只是无法以更大的数量获得他们。我的意思是,还有其他一些事情,比如简单的暂时性误差。因此,我们现在在 9 月份录制这段对话。选举要到 11 月份才举行。

从现在到那时,情况可能会发生变化,而民调无法解释这一点。我们稍后会谈到这一点。但是,是的,这实际上是一个很好的观点,即误差范围只指的是抽样误差的概念。你会在民调中看到,再次强调,它有 3 个百分点的误差范围,4 个百分点的误差范围。但实际上,我们发现,根据经验,例如在参议院选举中的平均民调误差实际上更接近 5 个百分点。这是因为还有其他误差来源。

好的,第五个技巧是检查民调是如何撰写的。我们的意思是,字面上的意思是,他们问受访者什么问题?问题设计在这个过程中非常重要。当事情出错时,当问题写得不好时,会产生什么样的结果?风险是什么?

我特别是在考虑这个问题民调,对吧,就是你措辞的方式可以基本上使受访者倾向于以某种方式回答。因此,我认为一个经典的例子是,当你询问奥巴马医改与平价医疗法案时,对吧,就是当你将其与巴拉克·奥巴马联系起来时,他是一个——我想现在他是一位受欢迎的政治家,但在过去他并非如此。

你知道的,他是一位人们对他的两派都有强烈感受的政治家。它可能会产生更多类似于分裂的东西,如果你询问平价医疗法案,甚至询问具体的条款,比如包含对既有疾病的保护以及允许人们在他们 26 岁之前继续使用父母的健康保险之类的法律。

我们也在播客中多次谈论过这个问题,涉及各种事情,例如堕胎和政府停摆等等,就是公众对这些事情的真实看法是什么?没有正确答案。没有正确或错误的民调撰写方式,但重要的是要阅读

民调专家是如何提出这个问题的,因为如果你要进行一项民调,说,哦,奥巴马医改非常受欢迎,这是因为他们以某种方式询问了这个问题,也许淡化了不受欢迎的部分以及与奥巴马的联系,你需要在四处挥舞它作为证据之前知道这一点。好的。第六个技巧是,只有在民调由同一个民调专家进行的情况下才能进行比较。

我认为这意味着什么是不言而喻的。为什么?基本上,因为与我刚才所说的相关,问题措辞很重要。调查的设计方式在问题顺序或询问人们的方式方面很重要。例如,在线民调的结果可能与电话民调不同。基本上,所有这些类型的事情都会累加起来。

一些民调专家,并非所有民调专家,但一些民调专家将始终如一地,例如,比民调共识更倾向于民主党或共和党,我们在 538 将其称为“房屋效应”。基本上,你不能比较一个民调专家的民调和

另一个民调专家的民调,因为如果一个民调专家有倾向于共和党的房屋效应,而另一个民调专家有倾向于民主党的房屋效应怎么办?它看起来好像比赛已经转向卡玛拉·哈里斯,因为倾向于民主党的民调专家第二个进入现场,但这可能仅仅是因为方法论。但如果你只查看昆尼皮亚克大学的民调,并且你看到两周前他们说了一些话,然后

两周后,使用相同的问题措辞和相同的方法,他们发现比赛发生了变化。你可以更有把握地认为这是一个真正的变化。

民调技巧中的第七个。我认为,这和事情变得性感一样。不,第九个才是性感的。别闹了,Galen。好的,好的,好的。各位,请系好安全带。请大家继续关注。我们这里要疯狂了。第七个,不要关注异常值。相反,查看民调的平均值。在我开始使用我的防御性异常值民调之前。哦。为什么,Nathaniel?

这很刺激,Galen。基本上,通常会发布一个与共识不同的民调。它会引起很多关注,因为当事情令人惊讶时,它会引起很多关注。

当这在媒体中被放大时,这是不好的,因为一般来说,查看民调的共识通常比查看单个民调更准确。因为单个民调可能会遇到,就像我说的那样,一个过于民主党化或过于共和党化的样本。每隔一段时间,它就会发生。我们没有在误差范围内讨论过,但是

为了更深入地探讨,误差范围应该描述民调应该在 95% 的时间内所在的范围。但在 5% 的时间里,你会得到一个甚至超出误差范围的民调。这就是你进行民调时应该发生的事情。如果你要进行 20 次民调,理论上你会在 19 次中得到一个结果,这个结果会在,你知道的,

几分或四分,或者类似的实际所谓的“地面真相”的误差范围是多少,但你会发现第20次的结果与实际情况相差六分或其他数值,这是一个异常值,这是民调的完全正常的一部分,所以我认为你不应该忽视它,因为那样你就会开始,你知道,挑选数据,例如,“哦,这是一个异常值,所以我只要忽略它就行了”,但有时异常值可能会

引导你走向正确的方向。但这就是为什么我们只告诉每个人,把它加到平均值中。这一侧的异常值通常会抵消另一侧的异常值,结果大致相等。

嗯,有几点。首先,我认为“共识”这个词可能有点棘手。当我们谈论查看民调平均值时,这并不意味着存在民调共识。民调在对竞选结果的预测上可能存在巨大差异。但从历史上看,我们仍然知道,将所有这些民调平均起来会让我们更接近最终结果,即使存在很多分歧。因此,通常不会有共识,但查看平均值仍然是关键。

现在,当你得到那个额外的异常民调时,我认为,你知道,也许初学者应该谨慎处理,但有时它可能表明竞选中正在发生变化,因为某些事情发生了变化。例如,在辩论、丑闻或你可能预期会扰乱竞选的事件之后。

或者,民调机构可能有一段时间没有进行调查,或者我们没有很多新的民调,然后出现一些与平均值不符的新结果。有时它可能是领先指标。我们确实有一些这样的例子

在民调界已经相当出名了。安·塞尔泽在这里被提及,因为她在例如2008年奥巴马和希拉里·克林顿之间的爱荷华州党团会议之前,以及2020年爱荷华州大选的最后几天,都发布过异常民调,显示在其他民调显示选情势均力敌的情况下,特朗普领先约七到八个百分点,而这最终成为爱荷华州的选举结果。所以有时……

异常值是正确的?当异常值正确时,我们应该如何为异常值伸张正义?#为异常值伸张正义。我认为,是的,正如你所说,你的最初观点是,当异常值发生在大型辩论之后时,我会更认真地对待异常值,或者至少我会更多地考虑它。例如,你知道,我们在北卡罗来纳州共和党州长候选人马克·罗宾逊的这场重大丑闻发生后不久就谈到了这件事。如果我明天看到一个新的民调显示民主党在该州领先15个百分点,

这将大大偏离民调平均值(目前民主党领先9个百分点)。但这将是可信的,因为这些消息的性质具有丑闻性质。但是

但基本上,我总是想要更多信息,对吧?如果这确实是新趋势的开始,那么之后还会有更多民调证实这一趋势。但如果接下来的几个民调,尤其是来自高质量民调机构的民调,回到平均值或更接近平均值,那么我认为我会更像,“好吧,也许这是一个异常值”。但如果它们更接近那个新的异常值,那么,是的,这看起来像是趋势的开始。再说一次,这就是我们对民调进行平均的原因,因为,你知道,你有一条线,然后你可能得到一个异常值,然后它可能

稍微移动一下这条线,但这条线会根据接下来的几个民调继续移动。如果接下来的几个民调像异常值一样,它将继续将这条线移动到异常值的方向。然后你就会在我们民调平均值中看到趋势。这里一个重要的点是

异常民调,仅仅因为我们说也许不要关注它们,关注平均值,并不意味着我们不应该将这些异常民调包含在平均值中。事实上,要获得准确的平均值,就必须由进行民调的民调机构发布异常民调,并由汇总民调的人员将其纳入平均值中。因为我们在这个行业中可以看到的一个问题是,人们会感觉到他们认为选举在哪里,并且

他们会对发布与这种传统观点相悖的民调感到犹豫。当这种情况发生时,我们会发现实际平均值最终会变得不那么准确。因此,这对民调机构来说可能是可怕的。我相信安·塞尔泽在2020年大选之前,在2008年爱荷华州党团会议之前,对即将发布的数据感到有点紧张,但发布这些民调

异常结果会让我们更接近答案。正是这一点,提示编号八,民调通常是准确的,但并不完美。什么?纳撒尼尔,民调并不完美?是的。我的意思是,如果你已经收听了530政治播客相当长的时间,这可能不会让你感到惊讶。但我们的使命很大一部分是试图解决这个问题,对吧?那就是

我们确实相信民调是预测选举的最佳工具,因为即使在电话响应率低和民调方法创新的时代,它们也确实有良好的记录。例如,在2022年中期选举中,民调的准确性达到了过去20年中的最高水平。

民调通常非常擅长让你了解竞选的总体情况,但它们不会绝对准确。这又回到了误差范围的问题。如果在选举日,卡玛拉·哈里斯在佐治亚州落后唐纳德·特朗普一分,那么

这根本没有告诉你任何信息。我的意思是,它可能告诉你,特朗普的机会比哈里斯略好一些,因为这个误差可能朝任何方向发展。但这在误差范围内。它在这个置信区间内。民调的误差在……

四到五个百分点内,这基本上应该是我们进入竞选的默认预期。这就是为什么我真的很鼓励人们去思考,你知道,思考那些势均力敌的竞选,或者,你知道,如果其中一位候选人取得巨大领先,你可以说,“好吧,特朗普明显更有优势”等等。但是,是的。

这里还有一个存在主义问题,你知道,21世纪全国总统选举民调的平均误差略高于4个百分点,参议院选举为4.3个百分点。大选约为5.5个百分点,众议院大选为6个百分点,总统初选为6个百分点,甚至更多,接近10个百分点。

我们正处于这些事情往往非常接近的时代。因此,如果我们应该预期民调在总统选举中全国范围内会出错约4个百分点,然后说在一些州一级的民调中,我们经常看到比这4个百分点更大的误差。我们到底在做什么?

好吧,我认为首先,我认为有很多,我想我有三个答案。我是谁?我为什么在这里?这只有两个问题。引用一位著名的副总统候选人的话。好吧,让我们看看我是否能记住所有三个。好的,第一个是民调不仅适用于衡量选举,对吧?还有许多重要的公众舆论问题。

在这个播客中,我非常关注赛马民调,我想退一步,确保人们理解,在一个民主社会中,了解美国人对问题、对他们的政治家以及诸如此类事情的看法非常重要。你知道,很多事情不像我们的选举那样是50-50的。例如,大麻合法化非常受欢迎,民调是衡量这一点的好工具。即使我们可能无法说它正好是67%或最新的民调是多少,我们知道它通常在60%到70%的范围内,对吧?所以这是第一点。

第二点是,我们不一定知道选举是势均力敌的,直到我们进行民调。我们正处于总统选举极其接近的时代,如果对这次选举完全没有民调,我会押注它会非常接近,因为2020年大选非常接近,因为2016年大选非常接近,因为2012年大选非常接近。但你直到进入实地调查才知道,也许在某个时候,我们可能会达到这种两极分化程度逐渐消退的程度。

而且,你知道,也许一个政党会暂时占据主导地位,或者我们回到像20世纪那样在普选票中出现巨大波动。民调会告诉我们这一点。你知道,你在,我不知道,以过去的大选为例,例如1992年,现任总统老布什的命运在竞选前的整个过程中变化很大。民调可以告诉我们这一点。

然后我认为第三点是,是的,我认为我理解你的观点。我认为你绝对是对的。我认为总的来说,民调确实得到了过多的关注。选举民调可能得到了过多的关注。我认为,即使这有点像,你知道,538的商业模式,我认为我们关注每个民调的曲折变化以及过度分析哈里斯领先半点还是特朗普领先半点是不健康的。总体结论实际上是一样的。

我认为我们会说,如果你要这样做,就以专业的方式去做。这就是我们专注于做的事情。但我们并不假装我们在报道中对民调的重视程度应该与美国各新闻机构相同。是的,完全正确。我认为这一点很重要。就像FiveThirtyEight一样,我们存在的很大一部分原因是向人们解释民调以及民调是如何运作的。希望我们在这方面做得很好。但它也包括报道赛马,让人们了解谁会获胜,因为我

我认为这很重要,而且肯定有这种需求。但我认为,除了民调以及谁获胜之外,报道总统选举或其他类型的选举还有很多其他重要的事情。我知道每个人都想了解谁会获胜。我也一样。相信我。我们正在尽最大努力。但在这些势均力敌的选举中,会有不确定性。

但另一件事是,如果你拥有足够精确的工具,我们在FiveThirtyEight认为我们拥有这些工具,包括我们的民调平均值和我们的选举模型,你就可以识别出,也许,好吧,两位候选人都可能获胜,但一位候选人可能比另一位候选人更有可能获胜。

如果一位候选人在一个州领先,你知道,我一直都在谈论大约半点或其他什么,这实际上是一种,你知道,这就是我们现在录制时的状态。但也许在选举日,特朗普在内华达州将领先两分,对吧?这在误差范围内,结果可能朝任何方向发展。但在这种情况下,你仍然更希望特朗普在内华达州获胜,对吧?好了,继续前进。第九点,不要试图纠正民调。为什么不呢?是的。

首先,我们所说的纠正民调是什么意思,为什么人们不应该这样做?真正的老手会记得2012年大选,当时这个想法开始流行,有一个网站unskewedpolls.com。它由米特·罗姆尼的支持者运营,基本上试图争辩说,哦,这个民调中的民主党人太多了。因此,如果你调整民主党人的数量,它实际上会从奥巴马领先两分变为罗姆尼领先三分或其他什么。就像,这就是真实的真相。

如今,尤其是在拜登仍在竞选中并且在民调中落后的时候,你会看到有人通过民主党人来进行歪曲,他们可能会说,哦,这个民调中没有足够的非裔选民,或者这个民调中的年轻选民实际上支持特朗普。这没有道理。因此,我们应该抛弃这个民调,或者,就非裔选民而言,我们应该增加非裔选民的数量,使其更符合我认为实际选民构成的情况。

我们只是不推荐这些做法,原因有几点。首先,民调机构是专业人士。他们擅长此道。这是他们的工作。他们有动力做到正确。也许党派民调机构有误导的动机,但总的来说,大多数民调机构都有做到正确的动机。他们正在努力发布他们所能提供的最佳数据。如果他们认为这是选民的构成,那么可能会有充分的理由。他们

已经对民调进行了加权,以确保它在种族、性别、教育和年龄方面具有代表性。尤其是那些倾向于这样做的人,他们更具党派性,也许更业余,他们根本没有工具能够做得更好,即使民调机构做得不完美,因为没有人能够做到完美,因为没有人能够准确预测选民将是什么样子。

是的,我们应该在这里补充一点,因为我们正在讨论交叉表细分,并且真正深入到选民的构成以及基于这些民调的选民子群体的感觉,随着这些交叉表中样本量的缩小,误差范围会增大。因此,如果你特别关注18至29岁之间的选民或拉丁裔选民,

误差范围将不会是民调的总体三个百分点的误差范围。它会增大。因此,是的,如果你看到一些奇怪或古怪的事情,那并不是一个疯狂的结果。这是可以预期的。但随着时间的推移,这些都会平均化。这并不意味着民调的总体误差范围有任何不同。

记住这一点也很重要,就像,我们不知道,对吧?如果你忽略看起来奇怪的交叉表,因为它们与历史不相符,如果它们最终是正确的,你将错过潜在的重新调整。而且,你知道,你基本上想对这类事情保持开放的心态。

是的,我想在这里说,我们谈论的是一种或多或少在奥巴马-罗姆尼时代形成的民调纠正。最近,由于过去两次总统选举低估了对特朗普的支持,我们看到了一种新的民调纠正,那就是查看全国总统民调或各州的平均误差。

取当前民调平均值,然后根据误差情况进行加减,然后说,好吧,我们知道民调会出错。因此,我们将取整个平均值,并根据民调的表现将其移动三到四个百分点。

现在,有些人会为一方这样做。这在2022年也变得流行起来,民主党人说,好吧,这并没有完全体现出热情,因为多布斯案或其他什么原因。因此,我们应该总体上将事情转向民主党人等等。但这与非党派新闻机构会进行的思维练习不同,即他们会取平均值,然后向你展示,嘿,如果正常的民调误差低估了共和党人,那么

结果可能是这样。嘿,如果正常的民调误差低估了民主党人,结果可能是这样。这只是为了让人们对结果可能落在其中的范围有一些参考框架。完全正确。是的,我很高兴你提到了这一点,因为,你知道,我经常听到来自不同阵营的人这么说。对。2016年和2020年,民调低估了特朗普。对。所以他们今年还会这样做。对。

答案是否定的,不一定。我们不知道。如果这么简单,那么,你知道,我们会知道,对吧?我们会,每个人都会进行这种调整,包括重要的是民调机构。这就是我们不知道的一个重要原因,对吧?那就是每年民调机构都会进行迭代并努力做得更好。因此,他们非常清楚他们在2020年和2016年犯了错误。

低估了共和党人的方式,因此他们试图进行改进,以避免今年出现这种情况,因此你不能简单地添加它,因为,你知道,民调机构已经在相应地修正他们的模型

每年都会出现民调误差,但误差方向每年都在变化,看起来像是一种随机的、不可预测的模式。因此,在2016年和2020年,民调误差有利于民主党人,对吧?或者民调过于偏向民主党人。在2012年,民调实际上过于偏向共和党人。它在波动。在2022年,民调实际上基本上没有偏差。有一些误差,因为那是一年中期选举,人们可能会记得,在一些州出现了……

红色浪潮,在一些州出现了蓝色浪潮,民调在一些州低估了民主党人,在其他州高估了他们。因此,基本上,是的,任何认为他们可以提前预测民调误差方向的人,如果他们在11月6日或我们知道选举结果时是正确的,那将是因为他们运气好。你们有50%的机会猜对。好了。这让我们回到了提示编号10。民调是快照,而不是预测。

当然,随着我们越来越接近选举日,它们确实变得更具预测性。因此,我们在夏季和竞选初期的大部分时间里都说为时尚早,为时尚早,现在还不要关注民调。这里有一些注意事项。你知道,也许随着我们作为选民变得更加坚定,民调可以更早地变得更具预测性,尤其是在你有一些非常有名的人竞选公职时。

总统。但正如你已经提到的,这些情况会发生变化,趋势线并不总是朝着相同的方向发展。我们有新的候选人,我们有新的候选人。但从历史上看,民调何时变得更具预测性?是的,没有一个点我们可以说,哦,这些民调,你知道,你现在可以听取这些民调了,对吧?它变成了一个范围。你越接近选举日,它们就越好。

我认为一个重要的转折点发生在春季,当候选人确定下来并且初选结束时。而且,你知道,从历史上看,你知道,今年你有了拜登和特朗普,他们两人都非常出名。而且很明显他们将赢得提名。

但你必须追溯到2004年左右,当时民主党人不知道他们将提名约翰·克里。因此,在一月份进行的关于约翰·克里的民调,大多数美国人都会说,谁?我不认识那个人。但到了五月,美国人已经了解了约翰·克里。他是民主党候选人。民主党人已经团结在他周围。在那时,民调往往更准确。因此,这通常是所有民调开始报道大选民调的时候。但同样,

但随着时间的推移,它会越来越好。从历史上看,9月初进行的民调与最终结果的接近程度不如9月下旬进行的民调,9月下旬进行的民调与最终结果的接近程度不如10月中旬进行的民调,等等。

好吧,正如你从我们的谈话中可能可以看出,民调可能是反复无常的事情,尤其是在我们围绕它们投入如此多的情感时。这里有一些临别赠言。在查看民调时,尽量保持冷静。它们在大多数情况下都不是私人的。幕后的人们通常试图找出关于美国生活或人口的一些事实真相。

政治。正如你所说,纳撒尼尔,非常重要的一点是,

仅仅因为他们无法告诉我们谁将赢得选举,并不意味着他们无法告诉我们很多关于我们国家的信息。而且,通常情况下,可能比人们看新闻时想象的更频繁,美国人在某些事情上达成一致。当他们这样做时,并且像,你知道,三分之二或更多的美国人说X或Y或Z,民调可以告诉我们这一点,并且在一个民主社会中,这对于政治家和掌权者来说很重要。

非常感谢你,纳撒尼尔。谢谢,加伦。我的名字是加伦·德鲁克。我们的制作人是谢恩·麦基翁和卡梅隆·特罗塔维安,我们的实习生是杰拉·埃弗雷特。你可以通过电子邮件与我们联系,地址是[email protected]。你当然也可以在推特上向我们提问或发表评论。如果你喜欢这个节目,请在Apple Podcast Store上给我们评分或评论,或者告诉别人关于我们。感谢收听,我们很快再见。