We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Policymaking Is Not a Science — Yet (Update)

Policymaking Is Not a Science — Yet (Update)

2025/4/9
logo of podcast Freakonomics Radio

Freakonomics Radio

AI Deep Dive AI Chapters Transcript
People
D
Dana Suskind
J
John List
L
Lauren Supplee
P
Patti Chamberlain
S
Stephen Dubner
以《怪诞经济学》系列著名的美国作家、记者和广播电视人物。
Topics
Dana Suskind: 我是一名儿科外科医生,专门从事人工耳蜗植入手术。这项技术能够帮助重度耳聋患者恢复听力,效果显著。然而,即使手术成功,患者也可能因为佩戴外部设备的问题而无法充分受益,这说明即使是有效的干预措施,也可能因为依从性等问题而难以推广。我的研究关注点在于如何帮助低收入家庭的儿童充分发挥其教育潜能,这需要考虑手术以外的因素,例如家庭环境和社会经济地位等。 John List: 我是一名经济学家,我的研究关注点在于如何将实证研究成果转化为有效的公共政策。许多在小规模研究中有效的干预措施,在大规模推广中却难以取得成功。这其中存在许多挑战,例如研究对象的选择不当、研究环境的变化以及缺乏足够的证据支持等。我们需要改进研究方法,确保研究结果的稳健性,并找到一种方法让社会科学领域的实证研究更好地与政策制定者、公众和科学界进行沟通。 Patti Chamberlain: 我从事儿童福利、少年司法、心理健康和教育系统中循证实践的实施研究。我创立的治疗寄养项目通过将儿童单独安置在有经验的家庭中,并为儿童及其家庭提供全面的支持,取得了良好的效果。然而,将这个成功的项目推广到多个地点并非易事,需要克服系统性的复杂性,例如不同系统之间的政策和程序冲突。在项目推广过程中,需要衡量项目实施的保真度,确保推广后的项目与原始项目保持一致性。 Lauren Supplee: 许多循证项目是由学术研究人员在理想条件下设计的,将这些项目推广到其他环境中存在挑战。实施科学是研究项目如何付诸实践以及实施质量如何影响项目效果的学科。 Stephen Dubner: 许多在研究阶段看似有效的解决方案,在实际应用中却难以推广,我们需要了解如何将小规模实验的成功经验转化为大规模的实际应用。我们需要改进研究方法,确保研究结果的稳健性,并找到一种方法让社会科学领域的实证研究更好地与政策制定者、公众和科学界进行沟通。

Deep Dive

Chapters
This chapter explores the common issue of promising solutions failing to scale up in various fields like education, medicine, and policy. It introduces the concept of implementation science and highlights the need to understand the science of scaling.
  • Many promising solutions in education, medicine, and criminal justice fail to scale up.
  • The difficulty of translating small-scale research findings into effective large-scale policies is discussed.
  • The need for a new field of "implementation science" is emphasized.

Shownotes Transcript

这条消息由 Apple Card 提供。Apple Card 是一张免年费信用卡,每天都能为您提供每日现金返还。在 Apple 上返还 3%,使用 Apple Pay 通过 Apple Card 进行的每次购买均返还 2%。立即在 iPhone 上的 Wallet 应用中申请 Apple Card。

作为美国领先的商业贷款机构,美国银行就在您身边,也为您保驾护航。

凭借 2150 亿美元的商业贷款和遍布全国的 3700 多名商业专家,我们帮助企业蓬勃发展,从而使社区繁荣昌盛。您想拥有怎样的力量?请访问 bankofamerica.com/localbusiness 了解更多信息。美国银行,2025 年国际足联俱乐部世界杯官方银行。版权所有 2025 美国银行公司。保留所有权利。

大家好,我是史蒂芬·达布纳。我们刚刚发表了一个关于一些人所说的“泥潭”的两部分系列文章,意思是所有使填写税表、寻找医疗服务提供者甚至取消订阅变得困难的摩擦。我们系列文章的一部分涉及政府的“泥潭”,以及它如何干扰政策的制定。

这个系列让我想起了我们曾经制作的另一集,我认为这值得再次收听。因此,我们将它作为奖励剧集播放给您。它被称为《政策制定还不是一门科学》。我们已根据需要更新了事实和数据。一如既往,感谢您的收听。通常,当孩子天生耳聋时,他们称之为神经性耳聋。但这实际上并不是真正的神经。它是耳蜗中微小的毛细胞。

达娜·苏斯金德是芝加哥大学的医学科学家。更引人注目的是,她是一位专门从事人工耳蜗植入手术的儿科外科医生。我的工作是植入这件令人难以置信的技术,它绕过了这些有缺陷的毛细胞。

并将来自环境的声音,即声学声音,转换成电能,然后刺激神经。植入后严重到完全深度耳聋的人可以拥有正常的听力水平。这真是太了不起了。

这真是太了不起了。如果您需要痛哭一场,一场幸福的哭泣,只需在 YouTube 上搜索“人工耳蜗激活”即可。您会看到孩子们第一次听到声音,他们的父母欣喜若狂。干得好!她很开心。她太开心了。

- 是的,那是你的耳朵。- 是的。- 人工耳蜗是一项了不起的技术,但它实际上只是医学和其他领域许多了不起的进步之一,这些进步是由敬业的研究人员、技术人员和各种聪明人创造的。你知道什么更令人惊奇吗?

我们多久未能利用这些进步一次。最令人信服的例子是高血压问题。大约三分之一的美国人患有高血压。首先,知晓率只有大约 80%。在总数中,只有 50% 得到控制。我们有很好的药物,对吧?但是当……您可以看到问题层出不穷时……

您必须传播,您必须坚持等等,以及由此产生的公共卫生影响。这些血压数据甚至比我们 2020 年首次发表这集节目时还要糟糕。显然,我们仍然没有找到将科学传播给需要它的人的方法。

处方依从性是一个非常难以解决的问题。那是约翰·利斯特。他是芝加哥大学的经济学家。他们实际上必须去获取药物,许多人很难做到这一点,即使它每天晚上都放在你的床边。人们不服用它。

他们不服用它是因为他们忘记了。他们不服用它是因为副作用比他们认为获得的好处要严重得多。所有这些类型的问题,作为人类,包括我自己,我们都在努力解决方面做得非常糟糕。我们所有人,我们的生活都很忙碌。我们忘记了。你不会认为人工耳蜗会有依从性问题。它有如此明显的好处。

然而……当我植入内部装置时,它就留在那里。但它实际上也需要一个外部部分,有点像助听器。这就是您看到与依从性相关的问题的部分。仅仅因为我植入了内部部件并不意味着个人或儿童会佩戴外部部件。在一项研究中,只有半数参与者全天候佩戴他们的设备。

我的意思是,我们已经通过随机对照试验来了解因果关系,小规模的实际影响。但下一步是了解如何使用这项科学的科学。因为,你知道,在完美条件下小规模地做这件事与混乱的现实世界非常不同。这是一个非常现实的问题。今天在 Freakonomics Radio 上,如何解决这个非常现实的问题,因为……

您不仅在医学领域看到了同样的情况,还在教育、经济政策和其他领域也看到了同样的情况。在研究阶段看起来万无一失的解决方案未能扩大规模。人们说,让我们把它发布出去。然后我们很快意识到这要复杂得多。可能有一些你认为很棒的东西,但它永远不可能在现实世界中实施。我们需要知道魔法调料是什么。我们将在稍后寻找这种魔法调料。

这是 Freakonomics Radio,一个探索一切隐藏面的播客,由您的主持人史蒂芬·达布纳主持。约翰·利斯特是最近让经济研究在现实世界中获得更多信誉的相对较新运动的先驱。

如果您将时间倒回 20 世纪 90 年代,经济学领域发生了一场信誉革命,重点关注从相关性到因果关系需要哪些数据和建模假设。List 通过运行数十次现场实验做出了回应。现在,我在信誉革命中的贡献是,我没有使用二手数据,而是真正走向世界,

并将世界作为我的实验室,生成新的数据来检验理论并估计项目效果。好的,你和其他人将实验从实验室转移到了现实世界。但是你能够成功地将这些实验结果转化为,比如说,好的政策吗?

我认为将我们的工作带入政策制定圈并产生非常强大的影响根本不存在。我认为最重要的问题之一是,我们将如何使社会科学中的实地实验自然发展,以便更敏锐地与政策制定者、更广泛的公众以及整个科学界进行交流?

按照 List 的说法,像他这样的学者努力为旨在帮助减轻贫困或改善教育、帮助人们戒烟或服用血压药物的干预措施提出证据。

然后,这位学者会为一本看起来令人印象深刻的学术期刊撰写他们的论文。至少对其他学者来说,这令人印象深刻。对我们其他人来说,这是术语繁多且难以理解的。但是,有了论文在手,这位学者就开始向政策制定者宣传。

他可能会说,你们政客总是谈论制定循证政策。好吧,这里有一些关于解决您所说的非常关心的问题的有效且具有成本效益的方法的新证据。然后,政策制定者可能会说,好吧,我们上次听取像你这样的学者的意见时,我们做了他们告诉我们的事情,但这并没有奏效。而且成本是他们所说的三倍。我们在媒体上受到了猛烈抨击。事情是这样的。

政客和学者都可能是对的。约翰·利斯特现在已经从两方面看到了这一点。在我过去的生活中,我在白宫工作,就经济学中的环境和资源问题向总统提供建议。

这是在 2000 年代初小布什执政时期。我学到的一课是,你必须评估公共政策的影响,而不是它的意图。因为意图显然是好的。例如,提高小学生的识字能力或帮助低收入高中生上大学。当你退后一步看看我们制定的无效政策的数量……

这简直是一场灾难。List 有直接的失败经验。因此,在芝加哥高地,我进行了一系列干预措施,其中一种更有力的干预措施被称为“家长学院”。这是一个每隔几周邀请家长参加的项目,我们教他们

他们可以与他们三岁、四岁和五岁的孩子一起使用的最佳机制和方法,以提高他们的认知能力和执行功能能力,例如自我控制?我们发现,在三到六个月内,我们可以很快地让孩子拥有非常强的认知测试分数和非常强的执行功能能力。

因此,当然,在获得这种结果后,我们非常乐观,我们希望全世界现在都能开设家长学院。英国与我们联系,说他们想在伦敦和伦敦周围的自治市推广它。我们发现它惨败了。

这并不是说该项目很糟糕。它惨败是因为实际上没有家长报名。因此,如果您想让您的项目在更高层次上发挥作用,您必须弄清楚

如何让合适的人,当然还有所有的人,都参与到这个项目中来。哇。如果你让我猜测这个项目失败的所有方式,我需要一段时间才能猜到你根本没有获得家长的参与。主要问题是我们只是不了解规模化的科学。如果你要附加一个名词来解释这是什么,可扩展性________,它是一个……

问题?这是一个困境?这是一场危机?我认为这是一场危机,因为如果我们作为科学家不加以解决,我认为我们所做的一切都可能在政策制定者和更广泛公众的眼中受到破坏。我们不明白如何利用我们自己的科学来制定更好的政策。

因此,约翰·利斯特、达娜·苏斯金德和其他一些研究人员正在努力解决这场可扩展性危机。例如,他们一直在撰写一系列论文,《使用科学的科学:对扩大实验威胁的理解》。他们的大部分重点都放在早期教育上,因为这是苏斯金德特别热衷的领域。

我想你可以说我白天是外科医生,晚上是社会科学家。我的临床工作是每次照顾一个孩子。我的研究实际上源于这样一个事实,即并非所有孩子在手术后都做得一样好,并试图找出让所有我的病人,特别是出生在低收入家庭的孩子都能发挥其教育潜力的最佳方法。

这有点像反向超级英雄。白天,你做的是轰轰烈烈的事情,晚上,你回家分析数据,弄清楚发生了什么。我认为真正困难的部分是晚上的部分。我喜欢做手术。我非常喜欢我的病人,但这实际上并不像这个世界上许多复杂的问题那么难。

那是因为手术后有些孩子沿着教育阶梯飞速上升,而有些孩子却没有吗?是的。这不仅仅是听力损失的问题。这是因为语言是大脑发育的食物。手术前,他们看起来都具有相同的潜力,正如你所说,沿着教育阶梯飞速上升。手术后,结果大相径庭。而且这种差异往往与社会经济地位有关。

这让我开始在手术室之外寻找原因以及我能做些什么。它带我踏上了一段旅程。所以我和达娜在 2012 年相遇,我们是由一位共同的朋友介绍的,因为我们太忙了,所以我们通常会互相忽视几年。

情况紧急。达娜和我开始从事幼儿研究。在那之后,研究变成了爱情。我总是开玩笑说,我是被电子表格和假设所吸引的。

那是真的吗?是的。是的。事实上,我决定嫁给他的原因是我希望这个规模化领域成为他一个强大的研究领域。因为它确实是一个主要问题。

Suskin 启动了当时被称为“三千万词倡议”的项目,“三千万”是对低收入家庭的孩子到四岁时比富裕家庭的孩子少听到的单词数量的估计。但如今,该项目被称为 TMW 早期学习和公共卫生中心。我们实际上已经不再使用“三千万词”这个术语,因为它是一个非常敏感的问题。敏感是因为很难相信这个数字是真实的?是的。

好吧,不。我的意思是,有些人说,看,这是一种缺陷心态。你在谈论不存在的东西。然后是复制,有人做了另一项研究,说,哦,只有 400 万。这实际上甚至不是重点,因为它甚至与单词无关。它与互动有关。所以我做出了决定。我宁愿专注于发展研究,而不是进行命名之战。所以你没有让 TMW 代表其他东西?好吧,不。

这就是每个人都为此责备我的原因。它代表三千万个单词,但我只知道这一点。好吧,现在你们也都知道了。

无论如何,他们带着这个想法创立了中心。带着这个想法,你知道,我们需要在早期采取公共卫生或人口水平的方法来优化早期基础大脑发育。因为研究非常清楚,在生命的前三年中,父母的谈话和互动是大脑发育的催化剂。所以这就是我们的工作。

好的,到目前为止一切顺利。研究清楚地表明,大量接触语言有利于大脑发育。但是,您如何将这一研究发现转化为行动?您如何将其扩展?

最初,我们从密集的家庭探访项目开始,但了解到要达到人口水平的影响,您需要开发既着眼于扩展规模,又着眼于了解父母经常去哪里(因为医疗保健)的项目。

与教育体系不同,生命的前三年实际上没有任何基础设施来传播项目。因此,我们实际上扩展了我们的模型。我们有一个多方面的项目,在父母所在的地方接触他们,从产科病房到儿科诊所,到家庭以及小组会议。

最容易受到规模问题影响的项目是复杂的某种服务交付干预措施。你知道,任何需要人力服务交付的东西。扩展不是一个终点。它实际上只是一个延续。♪

你知道,这是一个难题。那是俄勒冈州社会学习中心的资深研究科学家帕蒂·钱伯林。我研究并在儿童福利、少年司法、心理健康和教育系统中实施循证实践。钱伯林还将扩展视为一个过程。所以这几乎就像你必须经历的阶段一样。

如果第一步是涉及 RCT(随机对照试验)的研究,那么已经有一个重要的选择需要做出。最好将您的 RCT 置于现实世界环境中,而不是大学诊所,以便您从一开始就了解什么是可行的,什么是不可行的。可能有一些你认为很棒的东西,但它永远不可能在现实世界中实施。

我已经做了大概 25 年了,我是在失败中学习的。钱伯林创立的一个项目被称为俄勒冈州治疗寄养护理。

孩子们倾向于一起犯罪。这是一项团队运动。但是,奇怪的是,我们处理那些对自身和社区造成真正危险的孩子的方式是将他们一起安置在集体宿舍中。我们正在将孩子们置于更有可能犯罪的环境中。

因此,我们决定,如果我们将一个孩子单独安置在一个完全致力于使用循证育儿技能来帮助该孩子在学校和家庭环境中与同伴相处良好的家庭中会怎样?如果我们给孩子的亲生父母同样的技能,就像治疗寄养家庭一样,

如果我们给孩子进行个体治疗呢?亲生家庭正在接受家庭治疗。我们在学校为孩子们提供支持。所以我们基本上是在家庭住宅中围绕一个孩子提供所有这些服务。我们发现,是的,孩子们做得更好。他们的逮捕次数少得多。他们在机构中度过的时间更少。他们吸毒更少。你猜怎么着?成本也低得多。因为你没有设施,对吧?

你没有 24/7 的轮班工作人员需要支付工资。

你没有,你知道,运营机构所需的一切。你有一个家庭。钱伯林项目的成功引起了正在为联邦机构少年司法和违法行为预防办公室工作的研究人员的注意。所以我们接到了这个电话,说,你知道,我们希望你在 15 个地点实施你的项目。如果该项目在一个地点成功,

在 15 个地点使其发挥作用有多难?我以为这不会太难,因为我们有很好的结果。我们证明我们可以节省资金。然而……我们完全没有准备好。这并不是因为我们没有足够的数据。那时,我们已经有足够的数据了。

但我们不知道如何在现实世界中实施这件事。它爆炸了。一个原因是系统性复杂性。儿童福利、少年司法和心理健康这三个系统都投入了一些资金来资助这项实施。我非常高兴。我认为,哦,这将很棒,因为所有相关系统都支持这一点。

好吧,发生的事情是,当我们试图实施时,我们遇到了巨大的障碍,因为如果我们满足了一个系统的政策和程序,我们就会与另一个系统的政策和程序相冲突。

帕蒂·钱伯林遇到了达娜·苏斯金认为在尝试扩大研究发现规模时存在固有的脱节。显然有实施,每个人都专注于依从性,但也存在某种基础设施交付机制,我认为这是一个问题,无论是政府还是医疗保健,他们只是没有为干预措施做好准备,这些干预措施有点像创新。所以你有一些认为自己是……的研究人员,

科学企业家正在开发下一个最好的东西,你知道,认为,你知道,你建造它,他们就会来。然后你有一些为了效率而不是有效性而建立的组织无法吸收它。如果只有一种其他的科学,一种科学来帮助这些科学企业家和机构走到一起实施这项新的研究就好了。

也许可以称之为……实施科学。实施科学。实施科学。实施科学。好的,让我们定义一下实施科学。它是关于项目如何付诸实践以及实施的质量如何影响该项目运行好坏的研究。

那是劳伦·苏普利。当我们和她交谈时,苏普利是非营利组织儿童趋势的副首席运营官,该组织促进循证政策以改善儿童的生活。整个科学可能只有 15 年的历史。

它实际上源于循证政策和项目运动,人们说,好吧,我们有这个项目。它似乎改变了重要的结果。让我们把它发布出去。然后我们很快意识到有很多问题,实际上发布它要复杂得多。我们拥有的许多循证项目都是由学术研究人员设计的,他们在可能……

他们可以使用更理想的环境进行测试,其中可能包括研究生。它可能是一个非常赞成研究的学区。然后你利用结果并试图将其应用到另一个地方,这就是挑战发生的地方。所以休息后,实施科学真的能有所帮助吗?你知道,我希望政策科学不是一个矛盾修辞法。您正在收听 Freakonomics Radio。我是史蒂芬·达布纳。我们马上回来。

Freakonomics Radio 由亚马逊赞助。当你生病时,你最不想做的事情就是去药店取处方,因为那时你会和一群生病的人一起排长队。而且每个人都厌倦了在其他生病的人周围生病。亚马逊药房将快速送货上门,因此您可以获得药物而无需与传染性人群聚集在一起。医疗保健变得不那么痛苦了。亚马逊药房。

在全食超市参加春季盛会,享受复活节、休闲聚会等的优惠。在 4 月 22 日之前,节省无抗生素肉类、当季春季农产品、早午餐美食、甜点等的费用。三款独特的全电动凯迪拉克。有些人驾驶它们是为了性能。其他人驾驶它们是为了续航里程。还有些人驾驶它们是因为这是唯一能让人惊艳的方式。三种不同的方式让每一次驾驶都成为一次盛会。

无论你的理由是什么,现在都是说“让我们开凯迪拉克”的最佳时机。全电动凯迪拉克汽车系列。Escalade IQ、Optic 和 Lyric。随机对照试验告诉我们关于干预措施的信息是该干预措施在特定人群、特定环境中的作用。

这并不意味着它是普遍适用的。再次强调,这是来自芝加哥大学的达娜·苏斯金德。但是你必须继续进行科学研究,以便了解它如何在不同的地方、不同的环境中、不同的人群中发挥作用并产生相同的效果。这是规模化科学的一部分。规模化科学。这就是苏斯金德和她也是她丈夫的经济学家合作者约翰·利斯特以及其他研究人员一直在研究的。

他们一直在系统地研究为什么在实验或研究环境中效果良好的干预措施往往无法扩展规模。您可以看到为什么这是一个需要解决的重要难题。扩大新的干预措施(如医疗程序或教学方法)的规模有可能帮助成千上万、数百万甚至数十亿人。但是如果它在规模上失败了呢?

如果最终成本远高于预期或造成严重的意外后果怎么办?这将使下一组研究人员更难说服下一组政策制定者倾听他们的意见。因此,List 和 Susskind 一直在研究过去的规模化失败,并试图对出错的原因进行分类。您可以将我们学到的东西大致分为三个类别,这些类别似乎涵盖了失败的原因。

第一类是根本没有证据证明最初应该扩大该项目的规模。教育部对旨在减轻青少年吸毒和犯罪以及类似方面的预防项目进行了广泛调查。他们发现,只有 8% 的项目实际上得到了研究证据的支持。

我们实施的许多项目实际上并没有研究结果来支持它们。这就是科学家所说的假阳性。那么我们是在谈论糟糕的研究吗?我们是在谈论挑选吗?我们是在谈论发表偏差吗?所以在这里我们没有谈论这些。我们正在谈论一项小规模的研究结果,该结果是该发现的真相,该结果

但是由于统计推断的机制,它只是不会正确,你所涉及的是我所说的导致事物失败的第二个原因。这就是我所说的研究对象错误。你知道,这些研究对特定人群样本显示出非常大的项目效应大小,这些人群样本

但是当你的项目推广到普通人群时,这种效果就会消失。因此,从本质上讲,我们研究的是错误的人,并将规模扩大到错误的人。当你提到错误的人时,正在被研究的人是针对什么的?他们是那些获得最大项目效益的一部分人或群体。

所以我想到在大学里进行的一些实验,对吧,那里有一位教授正在试图了解,比如说,利他主义。实验环境是一个教室,20 名大学生会进来,他们是一个相当同质的人群,而且他们非常积极主动。也许他们非常自律。这可能并不代表现实世界的样子。这就是你所说的吗?这是其中一部分。另一部分是,

谁会让他们的孩子参加“启航计划”或社区中促进儿童阅读能力的项目?谁会排在第一位?那些真正关心教育的人,以及那些认为他们的孩子会从该项目中获得最大好处的人。现在,另一种方法是按照你刚才谈到的思路。它可能是研究人员知道一些关于人口的信息,对吧?

其他人不知道。就像,我想让我的项目有最大的成功机会。好的。你的第三类规模化失败是什么?第三类是我们所说的使用了错误的情况。我的意思是,当您从最初的研究转向大规模研究项目时,情况的某些方面会发生变化。

我们不明白情况的哪些特性或环境的哪些特征会很重要。有一大批实施科学家多年来一直在探索这个问题。现在,他们强调和关注的是所谓的电压降。

电压降基本上意味着我在最初的研究中发现了一个非常好的结果。但是当他们大规模地进行时,这种电压降最终会变成,例如,原始结果的十分之一或四分之一。一个例子是,当您查看“启航计划”的家庭探访服务时,他们在那里所做的是一项幼儿干预计划。

在最初的研究中发现了儿童和父母结果的巨大改善,但当他们试图将其扩展到大规模的家庭探访时,他们发现,例如,针对高危家庭的家庭探访涉及更多的家庭干扰,并且在以儿童为中心的活动上的时间更少。所以这有点像

在规模上给予了错误的剂量或错误的程序。许多因素都会导致这种电压下降,包括原始研究人员制定的令人钦佩的高标准。当研究人员开始他的实验时,他的倾向是,我将获得世界上最好的导师,所以我将能够展示我的干预措施有多有效。

达娜·苏斯金德再次发言。你只需要10个数学家教,而你碰巧得到了芝加哥大学的博士生。然后发生的事情是,你展示了这个巨大的效应量,但在扩展过程中,你突然需要100个或1000个。你不再能接触到这些人,你就会……

要么沿着供应链向下寻找那些训练水平不太高的个人,要么最终不得不支付更多的钱来维持训练有素的家教项目。不管怎样,干预措施的影响都会下降,或者你的成本会大幅上升。这个第三个类别中另一个问题——这是一个很大的类别——

是当设计干预措施并策划初步试验的人在项目扩展到多个地点后,不再能够如此参与时。想象一下,如果我们讨论的不是教育或医疗项目,而是一家成功的餐厅和最初的厨师。当你想到厨师时,如果一家餐厅因为厨师的神奇工作而成功,

而你考虑扩大规模。如果你不能扩大厨师的魔力,那就无法扩展。现在,如果魔力是因为配料的混合和秘密酱汁,例如达美乐披萨,例如,秘密酱汁或必胜客是实际的配料,那么这将是可扩展的。♪

现在,如果你是一位不喜欢达美乐或必胜客披萨的披萨爱好者,那么欢迎来到规模化困境。做大意味着你必须成为许多人的许多东西。做大意味着你将面临许多权衡。做大意味着很多人会问你,你想快速完成还是想正确完成?

一旦你仔细研究了List和Susskind描述的这些失败类别,就不足为奇了,为什么这么多好主意都无法扩展。那么他们提出了什么可以帮助解决这个问题的建议呢?现在,我们的建议是,我们不相信应该在95%确定结果是真实之前扩展项目。

所以,这基本上意味着我们需要最初的研究,然后是原始发现的三个或四个强大的独立复制。在现实世界中,比如说教育改革研究中,这种情况发生的频率有多高?

我一个都叫不上名字。哇。医疗依从性研究领域呢?我的直觉是,他们可能离三个或四个强大的独立复制不远了。在硬科学中,很多情况下,你不仅有最初的研究,而且还有在科学杂志上发表的第一次复制。

科学界当前的可信度危机是一个严重的问题,主要结果无法复制。原因是我们一开始就没有认真对待复制。因此,这在某种程度上将责任推给了政策制定者和资助机构,说我们需要改变均衡状态。

这表明政策制定者或决策者正在做什么?过于急切,过早地接受对他们来说看起来不错的发现,并希望将其迅速付诸实施?还是研究人员自己过于自信,或者过度推动这项研究?这种失败究竟发生在哪里?我认为这是一种混合。

我认为公平地说,一些政策制定者正在寻找证据来为他们偏爱的项目提供依据。这将减缓这一进程。如果你有一个你想要完成的宠物项目,那就资助复制,让我们确保科学是正确的。我们认为我们实际上应该奖励尝试复制的学者。

你知道,现在在我的社区里,如果我试图复制别人的东西,你猜我做了什么?我刚刚树立了一个终生的死敌。如果你发现了一个可发表的结果,那是什么结果?你正在反驳之前的研究。现在我加倍对抗我的敌人。所以这是奖励尝试复制的学者的第一步。

现在,为了补充这一点,我认为我们还应该奖励那些产生了独立复制结果的学者。你知道我在说什么吗?将终身教职决定、拨款等与为我们提供了可复制的可靠研究的人联系起来。休息之后,研究人员如何确保他们正在复制的科学在扩展时有效?

在康卡斯特,我们对军队的承诺可以追溯到我们的创始人,美国海军退伍军人拉尔夫·罗伯茨。

今天,我们通过与各组织合作来帮助退伍军人、正在过渡的军人以及军人配偶在当今的数字世界中取得成功来纪念他的遗产。提供他们需要的互联网连接、技能和支持,以促进经济流动性并为新的机会打开大门。访问ComcastCorporation.com/military了解更多信息。康卡斯特,自豪地支持我们的军队,因为你们的服务很重要。

本集由摩根士丹利的盈透证券赞助。使用盈透证券易于使用的工具深入了解市场,现在更有值得喜爱的地方。获得摩根士丹利的专家见解,帮助您驾驭市场。开设账户,并通过合格存款获得高达1000美元或更多的奖励。访问ETrade.com了解更多信息。适用条款和其他费用。投资涉及风险。摩根士丹利史密斯巴尼有限责任公司。SIPC成员。盈透证券是摩根士丹利的业务。三款截然不同的纯电动凯迪拉克。

有些人驾驶它们是为了性能。其他人驾驶它们是为了续航里程。还有些人驾驶它们是因为这是唯一能让人惊艳的方式。三种不同的方式让每一次驾驶都成为一次盛事。无论你的理由是什么,现在都是说“让我们开凯迪拉克”的最佳时机。纯电动凯迪拉克汽车家族。凯雷德IQ、奥普特克和抒情。

休息之前,我们正在与芝加哥大学经济学家约翰·利斯特讨论将良好的研究转化为良好政策的挑战。一个挑战是确保研究结果实际上足够强大,可以扩展。假设我在芝加哥高地进行一项关于幼儿的实验,并且我发现了一个很好的结果

当我将该结果推广到整个伊利诺伊州、整个中西部或整个美国时,我应该对该结果仍然会发现多有信心

我们在芝加哥高地发现的重要的效益成本概况。我们需要知道什么是神奇的秘诀。是你雇佣在芝加哥高地的20名教师吗?如果我们在全国范围内推广,我们需要20000名教师吗?

因此,作为最初的研究人员,我应该说,看,如果这要扩展,我们将需要更多的教师。我知道教师是一个重要的投入。20000名教师的平均水平与20名教师的平均水平相同吗?这就是实施科学家所说的可怕的电压下降。

实施科学家将保真度作为电压下降背后的核心组成部分。保真度意味着扩展的程序反映了原始程序的完整性。保真度衡量。这是实施过程的一个非常关键的部分。再次强调,这是帕蒂·钱伯伦,俄勒冈州治疗寄养护理的创始人。

你必须能够衡量,现实世界中的这个东西是否相同,你知道,它是否具有在RCT中产生结果的相同组成部分?记住,钱伯伦在寄养家庭中的年轻人取得了良好的成果,这使得联邦官员想要首先扩大她的项目。我们接到了这个电话,说,我们希望你在15个地点实施你的项目。她发现最初的扩展非常具有挑战性。

这并不是我们认为将会发生的和谐时刻。但随着时间的推移,俄勒冈州治疗寄养护理成为一个非常受尊敬的项目。它已经存在大约30年了,并且该模式已经传播到俄勒冈州以外的地区。成功的关键之一是制定保真度标准。我们是这样做的:我们让人们将他们所有的会议上传到一个HIPAA安全的网站上,然后我们对这些会议进行编码。

如果他们没有达到保真度标准,那么我们将提供保真度恢复计划。我们不必放弃任何地点,但我们必须对该地点的一些人进行再培训或不再继续。能够从远处很好地衡量保真度为扩展提供了另一个好处。它允许开发原始程序的人最终退后一步。

他们不会成为瓶颈,这是一个常见的扩展问题。可以有一个有序的过程,随着人们在做的事情上越来越熟练,你可以逐步退后。这就是你想要的,因为你不想让它永远与开发者绑定。否则,你就无法获得任何合理的覆盖范围。也就是说,你还需要有一些谦逊。

当你扩展规模时,你不应该假设你的原始程序是完美的,它不需要调整,并且你应该愿意进行调整。例如,我们认识到,当我们在现实世界的社区中时,

孩子们需要一些并非严格意义上的治疗的东西。他们需要技能,因为孩子们经常被排除在正常的社交活动之外,你知道,例如运动队和俱乐部。因此,我们需要我们所说的技能教练来帮助这些孩子学习他们需要掌握的动作,以便能够参与,你知道,这些亲社会的活动。

这些都是正常的事情。所以你有研究,你有理论,然后你有实施,这会促成更多的研究、更多的理论、更多的实施。看,归根结底,每个人的动机都是为了为他们服务的人做好事。达娜·苏斯金德再次发言。那里有很多孩子,有很多不公正的事情,所以我们需要行动,但是……

我不知道。科学比你想要的要慢。人们在我认为他们准备好之前就想要东西,并且找到一种方法来处理人们想要信息但也想要继续构建证据的这种舞蹈,我认为我们可以找到方法来做到这一点。我认为这是完全正确的。约翰·利斯特再次发言。我认为很多时候……

无论是在公共政策中,还是在营利性或非营利性组织中,当我们遇到问题时,我们往往只关注市场的一面。你真的需要考虑双方,因为你的最佳解决方案,最好的解决方案,只有在你考虑市场双方时才会出现。我可能理解错了,或者至少过于简化了,但对我来说,这听起来像是扩展项目以帮助人们的主要障碍是

是人,人是问题。是的,我认为从本质上来说,这是关于人的问题。也就是说,这不是一个致命的缺陷

这让我们举起双手说,好吧,这不是物理学。这不是化学。我们必须处理人,所以我们不能使用科学。我认为这是错误的,因为扩展规模有一些非常非常好的优势。你知道,从成本方面考虑,经济学家总是谈论,你知道,当事情越来越大时,会发生什么?单位成本下降。

这被称为规模报酬递增。我们正在考虑的问题是,让我们确保那些真正想在青年科学领域做正确事情的政策制定者拥有正确的项目来实施。

所以你的论文中包含了比尔·克林顿的这句话,或者至少是克林顿可能说过的话,这基本上意味着几乎每个问题都被某个地方的某个人解决了,但我们似乎无法在其他任何地方复制这些解决方案。那么是什么让你认为你掌握了成功的关键,而其他人可能无法做到呢?你知道,我认为我们所做的是提出了一套适度的建议,

这只是解决我认为证据支持的政策制定中最棘手的问题——规模化——的开始。我认为我们只是在理论上和经验上采取了一些小的步骤。但我确实认为这些第一步很重要,因为

如果你朝着正确的方向前进,我所学到的是,文献会遵循那个方向。如果你朝着错误的方向前进,有时文献会在几年内遵循错误的方向。我们真的没有时间。现在,时间的机会成本非常高。最后,我希望政策科学不再是矛盾的词。我认为这就是这项研究议程的意义所在。我这样看待它:

世界是不完美的,因为我们没有在政策制定中使用科学。如果我们加入科学,我们就有机会让不完美的世界变得更完美一些。

如果你想阅读约翰·利斯特和达娜·苏斯金德及其合作者一直在研究的论文,你可以在Freakonomics.com上找到链接,以及帕蒂·钱伯伦与俄勒冈州治疗寄养护理合作的链接,以及更多内容,包括一如既往的本集完整文字记录。我们很快就会带着另一集新的Freakonomics Radio回来。在此之前,照顾好自己,如果可以的话,也照顾好其他人。

Freakonomics Radio由Stitcher和Renbud Radio制作。你可以在任何播客应用程序上找到我们的全部档案,也可以在Freakonomics.com上找到,我们在那里发布文字记录、节目说明。本集由Matt Hickey制作,Augusta Chapman更新。

Freakonomics Radio Network的工作人员还包括Alina Kullman、Dalvin Abouaji、Eleanor Osborne、Ellen Frankman、Elsa Hernandez、Gabriel Roth、Greg Rippin、Jasmine Klinger、Jeremy Johnston、John Schnarz、Morgan Levy、Neil Carruth、Sarah Lilly、Tao Jacobs和Zach Lipinski。我们的主题曲是Hitchhikers的《Mr. Fortune》,我们的作曲家是Luis Guerra。一如既往,感谢收听。

所以你想谈谈规模化?哇,这是一篇重量级的论文,对吧?很棒。我最初以为是关于鱼类规模化的。所以这就是我所有的背景阅读。是的。我不知道我们今天要谈论什么。我也一样。所以我们都可以即兴发挥。Freakonomics Radio Network。一切的隐藏面。Stitcher。

在康卡斯特,我们对军队的承诺可以追溯到我们的创始人,美国海军退伍军人拉尔夫·罗伯茨。

今天,我们通过与各组织合作来帮助退伍军人、正在过渡的军人以及军人配偶在当今的数字世界中取得成功来纪念他的遗产。提供他们需要的互联网连接、技能和支持,以促进经济流动性并为新的机会打开大门。访问ComcastCorporation.com/military了解更多信息。康卡斯特,自豪地支持我们的军队,因为你们的服务很重要。

本集由摩根士丹利的盈透证券赞助。使用盈透证券易于使用的工具深入了解市场,现在更有值得喜爱的地方。获得摩根士丹利的专家见解,帮助您驾驭市场。开设账户,并通过合格存款获得高达1000美元或更多的奖励。访问ETrade.com了解更多信息。适用条款和其他费用。投资涉及风险。摩根士丹利史密斯巴尼有限责任公司。SIPC成员。盈透证券是摩根士丹利的业务。

在卡佩拉大学,在线学习并不意味着独自学习。访问capella.edu。