We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Lord of the Rankings

Lord of the Rankings

2021/7/1
logo of podcast Revisionist History

Revisionist History

AI Deep Dive AI Chapters Transcript
People
(
(未指明发言人)
A
Ali Houshmand
B
Bill Mayhew
D
Dean (匿名)
H
Hua Ying Qiu
K
Kelly McConville
M
Malcolm Gladwell
以深入浅出的写作风格和对社会科学的探究而闻名的加拿大作家、记者和播客主持人。
P
Peter Bernstein
R
Robert Morse
W
Walter Kimbrough
Topics
Peter Bernstein:美国新闻与世界报道杂志的大学排名最初是为了提升杂志地位,与《时代》和《新闻周刊》竞争,并通过一个秘密算法对大学进行排名。该排名系统经久不衰,对高等教育产生了深远影响。 Kelly McConville & Hua Ying Qiu:里德学院的学生团队对美国新闻与世界报道杂志的大学排名算法进行了逆向工程,发现该算法是一种加权求和模型,同行评议评分是其中最重要的因素。他们发现该算法对里德学院的排名存在偏差。 Robert Morse:美国新闻与世界报道杂志的声誉评分是通过向学校校长、教务长和招生负责人发送调查问卷获得的,调查对象对所有被评价的学校都未必非常了解,评分可能受到个人偏见的影响。杂志对同行评议评分进行了修整,以减少战略投票的影响,但没有进行社会科学研究来验证其可靠性。 Ali Houshmand:罗文大学的排名较低,是因为其同行评议评分很低,这反映了大学领导者对该校了解不足。罗文大学尝试通过向大学校长赠送辣酱来提高其声誉。 Dean (匿名):大学招生负责人认为自己更适合评选棒球名人堂,而不是评价其他大学,对未曾访问过的大学的评价是主观的,基于有限的信息。 Malcolm Gladwell:美国新闻与世界报道杂志的大学排名系统可能存在循环依赖的问题,同行评议评分缺乏严谨性,可能受到大学领导者个人偏见的影响,该排名系统可能允许大学领导者将偏见融入到排名中。 Bill Mayhew:债券市场对美国黑人高校的债券定价更高,反映了对这些学校的偏见。与其他条件相同的高校相比,美国黑人高校的债券发行价差更高,这反映了种族偏见。 Walter Kimbrough:美国新闻与世界报道杂志的大学排名反映了特权,而不是学校的实际质量。低同行评议评分使得美国黑人高校难以在排名中获得高分。

Deep Dive

Chapters
The episode explores the origins of the U.S. News & World Report college rankings, created by Peter Bernstein and his colleagues in the 1980s to distinguish the magazine from its competitors.

Shownotes Transcript

普希金。LinkedIn 将帮助你与你无法在其他任何地方找到的专业人士建立联系,即使是那些没有积极寻找新工作的人。在一个月中,超过 70% 的 LinkedIn 用户不会访问其他领先的求职网站。因此,如果你没有查看 LinkedIn,那么你是在错误的地方寻找。

像专业人士一样招聘专业人士,并在 linkedin.com/Gladwell 上免费发布你的工作。这是 linkedin.com/Gladwell,可免费发布你的工作。适用条款和条件。

最具创新性的公司正在与 T-Mobile for Business 进一步发展。红牛利用 T-Mobile 5G 网络的力量来发射第一人称视角无人机,让粉丝们获得无与伦比的极限运动视角,同时从美国一些最偏远的地方实时广播。这是令人心跳加速的粉丝体验。这是红牛与 T-Mobile for Business 合作的结果。

在 T-Mobile.com/now 进一步发展你的业务。从 20 世纪 80 年代中期,冷战仍在肆虐,一位名叫罗纳德·里根的人占据白宫的时候开始,美国有三家主要的每周新闻杂志。《时代》杂志排名第一,发行量达数百万册。《新闻周刊》排名第二。那么,排名第三的新闻杂志是什么呢?

一家位于华盛顿特区的沉睡的小型出版物,名为《美国新闻与世界报道》。该杂志在那些年的一位执行编辑彼得·伯恩斯坦回忆起改变一切的那一天。那是一个非常激动人心的时刻,我的意思是,因为莫特刚刚接管了。周围有很多嗡嗡作响的人。

莫特指的是莫蒂默·B·祖克曼,一位加拿大亿万富翁,他收购了《美国新闻与世界报道》,梦想成为媒体大亨。杂志里有很多真正的好主意,我认为可以公平地说,我们的感觉是执行可以更好得多。我们想做的一件事是从《时代》和《新闻周刊》中区分开来,因为我们是第三家杂志。

如果你总是排名第三,你如何才能与众不同呢?如果一位怀揣宏伟愿景的加拿大亿万富翁紧追不舍,你会做一些大胆的事情。你会创造一些受过教育的父母不可能忽视的东西。一个检查每个美国学院和大学并将其从上到下进行排名的计划。

我们正在寻求重塑杂志,《大学排名》变得非常重要。

是其中的一部分。因此,伯恩斯坦和他的同事们开始收集大量关于美国大学的统计数据。为了理解这些数字,他们提出了一种算法,一种秘密算法,可以为每所学校分配 1 到 100 的分数,无论其规模、使命或复杂性如何,一种捕捉学术卓越难以捉摸的品质的算法。

找到这些数据点并将它们放入排名,正如你所理解的,这是一项复杂的任务。是的。充满了价值判断,充满了问题、挑战、危险,但我们毫不畏惧,继续前进。

我喜欢你对此事发笑。那是一个非常令人兴奋的时刻。我们认为,我们确实挑战了《时代》和《新闻周刊》的游戏。排名成为了一种制度。《美国新闻与世界报道》销量激增。职业生涯就此开启。财富创造。我的意思是,今天令人着迷的是,《时代》和《新闻周刊》基本上已经消失了。《美国新闻与世界报道》的其他部分也基本上消失了。但排名却依然强劲。

在这个瞬息万变的世界中,知道有些东西能够持久存在,这很好。作为一个记者,你知道,你的作品在一天后就变成了陈旧的鱼,看到有些东西在一段时间后仍然有影响力,这很好。彼得很久以前就离开了《美国新闻与世界报道》。

但他和他的同事们为美国学术日历增添了新的内容。除了新生周、期末考试、毕业典礼之外,现在还有新的排名发布的那一天。最新第 30 版的《最佳大学》于今天上午刚刚发布。

我们得到了它。你看到 2019 年的名单是普林斯顿大学,其次是哈佛大学。学者们注意,美国最好的大学已经揭晓。《美国新闻与世界报道》发布了年度榜单。我们掌握了该算法是如何随着时间的推移不断发展演变的内幕消息。你多久调整一次?

我想你会问到这个问题。我的意思是,我确实上网查看了它,我很高兴看到他们定期对其进行调整,至少如果你查看他们的方法论的话。当然,他们也一直在应对竞争。我的意思是,你知道,很多人批评过排名以及这种神话是否真的……

方法论,对不起。就是这样。彼得,这就像弗洛伊德式口误的教科书定义。你正在谈论你的得意之作,却称之为神话。继续。这是真的。我本来不可能有意识地想到这一点。《美国新闻与世界报道》的方法论在什么时候变成了神话?让我们来找出答案。

我的名字是马尔科姆·格拉德威尔。你正在收听我的播客《修正主义历史》,关于被忽视和误解的事情。在本集中,我问道,20 世纪 80 年代的一个促销噱头是如何变成美国高等教育的迷恋对象的?这些排名是如何运作的?为什么每个人都如此认真地对待它们?

我们将启动一项修正主义历史调查,这项调查将带我们去各种奇怪的地方,去债券市场,去俄勒冈州波特兰,去新奥尔良。我们将遇到一位神秘的大学管理员,他要求只以“院长”的身份出现,以及一群同意加入我们事业的黑客。

好的,好的。所以我们准备好了。这非常令人兴奋。现在,在我们开始之前,你们两位能否自我介绍一下?我是凯利·麦康维尔,我是里德学院的统计学助理教授。我是邱华英,我是一名目前在北卡罗来纳大学研究生院学习的国际学生。这些是我的同伙,这就是我需要他们的原因。

《美国新闻与世界报道》会告诉你他们使用哪些变量来确定一所学校是好是坏,但他们不会透露他们如何将这些变量组合成一个分数。我的意思是……

他们为什么要这样做呢?这是他们的秘密武器。他们每年收取 40 美元的费用,以获得对他们调查结果的付费访问权限。这是一项大生意。所以我认为我真正了解排名算法的唯一机会是找出是否有人实际上已经破解了该算法。事实证明,有人做到了。这是一群里德学院的学生,这是一所位于俄勒冈州波特兰的小型文理学院,在他们的教授凯利·麦康维尔的领导下。

告诉我,这个研究《美国新闻与世界报道》排名的项目是如何开始的?我教授一门名为“统计实践”的课程。在这门课程中,学生们完成一个为期一个学期的实证研究项目。我从里德学院的其他教师和工作人员那里征集这些项目和数据。每年,《美国新闻与世界报道》都会向学校索取大量数据。但里德学院的管理部门已经停止提供这些数据了。

他们决定他们不再相信排名了。但杂志仍然为里德学院生成排名。里德学院的某位管理人员找到了凯利·麦康维尔,说:“自从我们退出以来,我们在《美国新闻与世界报道》中的排名暴跌了。我们认为他们一直在惩罚我们。你能仔细检查一下他们的计算吗?

那是我们的任务。我们的任务是重建模型,然后看看如果我们提供数据,我们的排名会是多少。是的。那么,你们两位,向我解释一下,从概念上来说,如何才能回答这个问题?他们使用一个称为加权和模型的模型。这意味着他们会考虑大约 20 个左右关于学校的不同因素,例如班级规模和毕业率。

他们根据他们认为该因素的重要性来权衡每个因素。然后他们将所有这些部分加起来,然后进行校准,使最高分达到 100。然后根据这些分数,他们对学校进行排名。里德学院的团队必须从头开始构建他们自己的《美国新闻与世界报道》算法版本,尽量使其尽可能接近。

我们从公开的政府来源获取了所有我们可以获取的变量。我们构建的模型并非试图重现《美国新闻与世界报道》的加权和模型。相反,它只是试图以高度的准确性预测一所学校的《美国新闻与世界报道》分数。华英,你有多接近?我会说相当接近。唯一一所……

这意味着里德学院的学生们构建的与《美国新闻与世界报道》算法完全相同的算法是如此出色,以至于当他们运行他们对美国大学的排名时,他们的名单看起来几乎与《美国新闻与世界报道》的名单完全相同,只有一个例外,那就是里德学院。等等,他们是在耍你吗?

根据我们的调查结果,这似乎是合理的。他们做了一些事情。2019 年,《美国新闻与世界报道》将里德学院排在第 90 位。你认为你应该排在第几名?第 36 名?哦,等等,什么?差别这么大?是的。这太疯狂了。哦,我的天哪。哦,他们真的对里德学院下手了。现在,我们不需要进一步深入里德学院和《美国新闻与世界报道》之间随后发生的冲突。

该杂志称本科生的分析,“不准确”。但想象一下,当我偶然发现华英的分析时,我的喜悦之情。我当时正在寻找某种方法来理解彼得·伯恩斯坦和他的伙伴们在 20 世纪 80 年代想出的秘密算法,结果发现,里德学院的一群本科生已经破解了密码。他们有动力帮助我吗?绝对有。因为《美国新闻与世界报道》贬低了他们的学校。

我对凯利和她的团队的第一个问题是,我应该从哪里开始?他们说,从一个名为同行评估分数的小东西开始。你能给我一个更精确的统计意义,说明它的重要性吗?好的,所以我们发现同行评估分数具有最大的影响。所以它的系数大约是 6.58。

换句话说,如果你保持其他所有因素不变,并将同行评估分数提高一个单位,你的总分将提高 6.58。同行评估分数是《美国新闻与世界报道》秘密武器的核心,是声誉的衡量标准,是整个排名系统中最强大的元素之一。所以如果我是一所学校,我很焦虑……

提高《美国新闻与世界报道》的排名,我应该真正关注的是努力提高我的声誉分数。是的。是的。我收到了我的行动指示,我知道接下来我必须去哪里。去《美国新闻与世界报道》大门的守护者,洞口处的巨龙,罗伯特·莫尔斯。罗伯特·莫尔斯,负责《美国新闻与世界报道》排名的人,是一位上了年纪的人。白发,非常讲究,很好,如果有点忧郁的话。

戴着王冠的头垂得很重。我给他打了电话。我想了解里德学院的黑客告诉我非常重要的神秘变量。再次描述一下,声誉分数是如何生成的?所以我们发送……

每所学校三份调查问卷,然后他们会回复。他们按五到一的等级或无回复对学校进行评分。那么,每所学校被要求填写调查问卷的三人是谁?校长、教务长和招生经理或招生主管。调查问卷每年通过电子邮件发送一次。对于美国高等教育中所有重要的人来说,

如果你在文理学院,你会得到一份你所在类别中所有其他 222 所文理学院的名单。如果你是一所大型大学的一部分,你会得到一份美国其他 388 所大型大学的名单。你的工作是在 1 到 5 的范围内对名单上的学校进行排名。5 表示很棒,1 表示这里存在严重问题。人们是根据什么来做出这些判断的?

好吧,我的意思是,这是一个好问题。我的意思是,我们要求他们根据他们对学校本科学术质量声誉的看法来进行判断。但是,我的意思是,你怎么知道呢?

我的意思是,我们相信,对所有作为高等教育领导者的评分者进行汇总,你知道,他们是校长、教务长和使命院长,所以他们不是新手。在任何给定时间,当你汇总他们的观点时,他们代表着这些学校在市场上的地位。我的意思是,所以这是对他们对其他学校看法的评估,对吧?

好吧,他们是高等教育的领导者。所以它是基于他们对其他学校的了解,这些了解是通过会议或接触获得的。他们是否一定了解他们正在评级的所有学校?我不知道。如果我在 Yelp 上对一家餐馆进行评分,那是因为我去过那里,对吧?是的。但是在这里,当我评价一个……

在《美国新闻与世界报道》排名中,这并不是因为我去过那所大学或在那里教过书。这只是……好吧,你可能去过。我们不应该说你没有去过。但如果你说,对学校进行评分的人……

去过每个校园,在那所学校教过书,或者深入了解他们的课程目录?没有。他们中的一些人对他们正在评级的学校有更多了解吗?是的。他们中的一些人对学校的了解较少吗?是的。所以我认为这从拥有大量知识到拥有很少的知识不等。在我的天真想法中,我曾想象过《美国新闻与世界报道》加权和模型中这个关键变量会有一定的严谨性。

一种我可以学习、分析、从中学习的方法。但莫尔斯并没有提供太多帮助。所以我试图让他详细说明。我的意思是,我非常着迷于有一小堆学校,杨百翰大学、耶希瓦大学和冈萨加大学都在全国大学排名中大致相同。所以是一所摩门教学校、一所保守的犹太学校和一所耶稣会学校。我试图思考,

耶希瓦大学的拉比对杨百翰大学了解多少?冈萨加大学的耶稣会牧师对耶希瓦大学了解多少?不,我的意思是,这是一个很好的观点。例如,冈萨加大学是否给了乔治城大学 5 分,给了波士顿学院 5 分……

我们没有查看人们如何评价其他学校。我们正在进行修整平均数。因此,我们去掉了一些最高评分和一些最低评分,以消除你所提到的某些策略性投票。好吧,我不知道这是否是策略性投票。我想知道这是否仅仅是因为

如果我是冈萨加大学的校长,我非常有动力相信耶稣会教育是最好的教育。所以当我看到乔治城大学时,我认为他们做得对。当我看到耶希瓦大学时,我说,新约在哪里?他们为什么不使用新约?我的意思是,这只是自然的人类偏见。我只是不知道它们与机构的质量有什么关系。♪

好吧,我没有不同的答案。《修正主义历史》的忠实听众会记得,几年前我爱上了新泽西州的罗文大学。我喜欢罗文大学。但罗文大学在全国大学名单中排名第 187 位。糟糕。平庸。为什么?因为它的同行评估分数是令人难忘的 2.4。

美国大学校长们究竟是如何集体决定他们讨厌位于新泽西州南部的罗文大学的呢?我给学校校长阿里·侯什曼打了个电话。在过去五年中,有多少来自其他大学的大学校长访问过罗文大学?两三个。一个来自加拿大,一个参与了认证,我相信另一个是朋友。

就这些?是的。所以当他们给你一个分数时,他们使用什么依据来给你?他们怎么知道罗文大学的任何事情?再说一次,我不知道。我只能代表我自己说话。我可以向你保证,我对被要求排名或评分的机构真的不太了解。我只是没有足够的工具。现在,这不像大学校长对评分一无所知。他们自己曾经都是老师。

但是当谈到对学校进行评分时,他们似乎只是在敷衍了事。接下来,我给一所大型大学的招生主管打了个电话。你听说过它,相信我。但我不能告诉你它是什么。为了保护这个人的身份,我们改变了他的声音。当然,我们必须这样做。看看《美国新闻与世界报道》是如何对待里德学院的。我的消息来源告诉我,只称呼他们为院长。我确信我更有资格……

成为美国棒球作家协会的成员并对名人堂进行投票,而不是为《美国新闻与世界报道》评估其他机构。是的,是的。我建议院长我们做一个练习。我会随机命名一所学校,然后我们两个人都会尝试对其进行同行评估。佛罗里达州立大学。从未去过那里。你去过那里吗?我没有去过那里。我想。3.2。雪城大学。雪城大学。

是的。在开车回加拿大我妈妈家途中,我曾经在那里停下来喝咖啡。我不知道这是否算数。我认为不算数。我认为算数。你会算上吗?你体验了天气。但那里没有学生。那是圣诞节。但我会这么说。我的表弟去了雪城大学,玩得很开心。所以你会根据这个来评价它吗?

让我们给雪城大学一些爱。3.9,不,4.0。西雅图的华盛顿大学?是的。你去过那里吗?是的,我去过。你在那里做了什么?嗯,我四处走动。我认为这算数。这算数。我对院长说,你可以从那里看到山脉,看到太空针塔。让我们大胆一点!西雅图的华盛顿大学,4.2。你去过威廉与玛丽学院吗?

我去过。你去过。我喜欢历史。我喜欢殖民地威廉斯堡。你还记得你给威廉与玛丽学院打了多少分吗?我可能给了他们 4 分或 5 分。真的吗?你给了 5 分?是的。它是美国第二古老的大学。你认为这会影响你的判断吗?我确定会的。院长和我聊了相当长的时间。

我们长时间讨论了达拉斯的南方卫理公会大学,以及学校在 20 世纪 80 年代拥有的伟大的橄榄球队是否应该对他们有利。院长说不行。我说可以。现在,这是否是一个有益的练习?不是真的。但话说回来,现在我和排名大师罗伯特·莫尔斯进行了交谈。做排名的人向我提出的一项建议是,他们用来为其他大学制作声誉分数的东西是他们拥有的唯一其他大学声誉分数来源,那就是去年的《美国新闻与世界报道》排名。

这是循环的吗?如果他们告诉你这一点,那么这不是我们对人们如何进行评分的期望,而是查看排名表并查看分数。我们相信,人们的思考比这要多。但我们没有进行任何社会科学研究来证明或反驳这一点。你们没有做过任何研究?对。是的。是的。

他们没有做过任何社会科学研究。只有一位人士给了我对同行评估分数机制的很多见解。那就是罗文大学的校长阿里·侯什曼。他的建议是:“你必须自己动手。”那么他做了什么?他制作了自己的辣酱。他告诉我,罗文大学向全国每个大学校长发送免费样品。

那不是真的,是吗?是的。它确实如此。至少现在更多的校长知道我制作辣酱。这是否会帮助我在评分方面,我希望如此。是的。等等,我想知道你的辣酱。你有什么样的辣酱?哦,我制作的是非常非常辣的辣酱,但我实际上是从种子一直种植到包装。并且有三个辣度等级。啊。

最低的一种叫做阿里辣酱,有点温和。然后是下一个用哈拉比诺辣椒作为辣味的,叫做美味辣酱。然后是加了卡罗来纳死神椒的,叫做恶毒辣酱。我会寄给你一包。恶毒辣酱会让你受不了。

但这不会帮助你的事业。这会损害你的事业。如果你给美国中西部某个大学校长一些恶毒辣酱,他们会诅咒你的名字。他们可能会。但我认为没有宣传就是坏宣传。我尝试过恶毒辣酱吗?哦,是的,我尝试过。按 1 到 5 的等级,5.0。

在我对同行评估分数及其许多含义的调查过程中,我和杜克大学的一位教授比尔·梅休进行了交谈。

梅休与一些债券交易员很友好,有一天他与其中一些人交谈时,他们提到他们在处理由历史上黑人学院(简称 HBCU)发行的债券时遇到困难。如果你是一名债券交易员,你会担心移动你库存中的债券。他们只是提到,你知道,嘿,我们很难安置这些 HBCU 学校,因为人们不想持有它们。债券市场的工作方式是,机构需要资金。

假设一所大学想要建造一栋耗资 5000 万美元的宿舍楼。学校无法独自筹集所有这些资金,因此它会去华尔街银行,后者购买债券,即大学的还款承诺。然后银行将该债券分成数百甚至数千份,并将这些部分出售给富有的投资者、保险公司或对冲基金。

因此,当梅休听说银行难以出售历史上黑人学院的债券时,他想知道,这只是一个华尔街的杜撰故事吗?还是真的?幸运的是,有一种简单的方法可以测试这一点。债券交易员收取的价格称为总价差。如果很容易找到债券买家,总价差可能很低。如果交易员难以找到买家,价差可能会非常高。

因此,如果黑人学校的债券比白人学校的债券更难出售,那么价差应该更高。它们是高吗?是的,它们是高的。梅休和他的同事将黑人学校与其他方面相同的非 HBCU 学校进行了比较。历史上黑人学校的价差高出 20%。在债券市场上,价差的 20% 的差异是巨大的。

梅休和他的同事们又更进一步。他们重点关注了深南部的三个州。这三个州是……所以是路易斯安那州、密西西比州和阿拉巴马州。这些州的价差差异是多少?不是 20%。37%。梅休和他的同事们为我们提供了对黑人机构在现实世界中面临多少负担的科学严谨的衡量。

你已经对声誉进行了量化。压倒性地接受和教育黑人孩子的学校的声誉成本是多少?在路易斯安那州,声誉成本为 30%。这是一种思考方式,但我认为这是声誉的种族成分。价差是一种声誉分数,不是吗?

投资者并不了解他们被要求购买的所有机构的具体细节。他们怎么能呢?在任何给定时间,市场上都有数十万计的债券。因此,投资者会根据一种感觉来进行操作,一种关于获得贷款的机构的价值、安全性和合法性的感觉。你看到一所黑人学校,你对自己说,我不像对街上的白人学校那样重视这所 HBCU。所以你给黑人学校一个折扣。

顺便说一下,这就是偏见。折扣。黑人的生命不如白人的生命重要。是谁对黑人学校施加折扣的呢?他们是富有的、成功的人,他们只是在打勾。我喜欢这张债券。我非常喜欢这张。我不喜欢这张。

我怀疑,他们与每年为《美国新闻与世界报道》排名对同行进行评分的大学管理员并没有太大区别,他们受到同样的无意识偏见的驱使。我喜欢这所学校,4.2。我非常喜欢这所,4.5。我不喜欢这所,2.4,即使我并不真正了解它。

因此,如果你是一所位于声誉折扣为 37% 的州的历史上黑人学院的校长,你认为你会如何看待你的同行评估分数?我认为我会给迪拉德大学的校长沃尔特·金布罗打电话,迪拉德大学是路易斯安那州的一所历史上黑人学院。所以当我开始查看公式并深入研究时,我想,这不是对我们所做工作的真正好的衡量。事实上,这是对特权的衡量。

迪拉德大学的声誉分数是 2.6。这不好。你永远无法凭借 2.6 的同行评估分数达到《美国新闻与世界报道》排名的顶峰。也许这听起来很悲观,但我的意思是……这并不悲观,这是现实的。这是现实的,是的,是的。这就是我们所生活的这个世界。没有人会仅仅说,这所全是黑人的学校很棒。在他们很久以前急于与《时代》和《新闻周刊》竞争时,

也许《美国新闻与世界报道》所做的只是创建了一个系统,让全国每所大学的校长和院长都能为他们的偏见分配一个数字,将神话伪装成方法论。下周在《修正主义历史》中,我们将为迪拉德大学伸张正义。我邀请我在里德学院的老朋友来帮助我。这样我们就可以让迪拉德大学进入文理学院的顶级行列。

所以是威廉姆斯学院、阿默斯特学院、迪拉德大学、斯沃斯莫尔学院。是的。《修正主义历史》由米娅·拉贝尔、莱伊·曼吉斯图和雅各布·史密斯制作,伊洛伊丝·林顿和阿南德·奈姆参与制作。

我们的编辑是茱莉亚·巴顿。原始评分由路易斯·格拉拉完成。后期制作由弗兰·威廉姆斯完成。音响工程由马丁·冈萨雷斯完成。事实核查由艾米·盖恩斯完成。特别感谢普希金剧组、海达·费恩、卡莉·米格里奥雷、玛雅·科尼格、玛吉·泰勒、埃里克·桑德勒、妮可·莫拉诺、杰森·甘布雷尔,当然还有雅各布·魏斯伯格。我是马尔科姆·格拉德威尔。

如果您喜欢这个节目以及普希金工业公司制作的其他节目,请考虑成为Pushnik会员。Pushnik是一个播客订阅服务,每月4.99美元,提供额外内容和不间断收听体验。仅在Apple Podcasts订阅中寻找Pushnik。

真够呛。好的,伙计们。等等,等等。我们必须同时做这件事。就是这个吗?是的。好的。好的,一二三。开始。哦,我喜欢这个。这个更辣。它上来就又香又浓。哦,是的,是吗?它很辣。加油,阿里。加油,阿里。这真的很好吃。很好吃。

等等。我……你还好吗?它很辣,而且辣得很久。伙计们,我……它不像以前那样辣了。我再吃一口。不过它确实很辣。马丁在挣扎。顺便问一下,我的哈佛辣酱呢?我没看到哈佛辣酱。没有人从纽黑文寄辣酱给我,是吗?没有。

我是马尔科姆·格拉德威尔,我想花一点时间谈谈我主持的一个很棒的新播客,叫做《荣誉勋章》。这是一个感人的播客系列,庆祝那些保护我们国家的人的鲜为人知的故事。它由LifeLock赞助,LifeLock是身份盗窃保护领域的领导者。您的个人信息存在于许多地方,这些地方可能会意外地使您面临身份盗窃的风险。

并非每个处理您个人信息的人都像您一样谨慎。LifeLock让您轻松掌控自己的身份,如果发生身份盗窃,它将努力修复。加入数百万信任LifeLock的美国人。访问LifeLock.com/metal,即可节省第一年高达40%的费用。

8月29日,索伦回归。Prime Video邀请您回到中土世界,观看史诗般的新剧集。索伦将失败。你杀不死我。战争即将来到中土世界。

在他被消灭之前,我不会停歇。每个灵魂都处于危险之中。我们开始吧?《指环王:力量之戒》。新剧集,8月29日。仅在Prime Video播出。