Helping Doctors Make Better Decisions With Data: UC Berkeley's Ziad Obermeyer
33:08 Share

今天，我们播放的是由我们的朋友 Modern CTO Podcast 制作的一期节目，他们最近很友好地邀请我作为嘉宾参加。我们讨论了生成式 AI 的兴起，在技术方面取得成功的意义，以及领导者在指导技术实施工作时需要考虑的一些因素。您可以在 Apple Podcast、Spotify 或您收听播客的任何地方找到 Modern CTO Podcast。目前，机器学习研究人员不得不苦苦恳求获得医疗数据。

这种稀缺性从根本上限制了我们的进步。当我们获得开放的、经过整理的、有趣的数据时，会发生什么变化？在今天的节目中找出答案。我是来自伯克利的 Ziad Obermeyer，您正在收听《我和 AI》。欢迎收听《我和 AI》，这是一档关于人工智能和商业的播客。在每一期节目中，我们都会向您介绍一位在人工智能领域进行创新的个人。我是萨姆·兰斯博瑟姆，波士顿学院分析学教授。

我同时也是麻省理工学院斯隆管理评论的 AI 和商业战略客座编辑。

我是谢尔文·科杜班德，BCG 的高级合伙人，也是我们 AI 业务的领导者之一。麻省理工学院 SMR 和 BCG 自 2017 年以来一直在研究和发表关于 AI 的文章，采访了数百名从业人员，并对数千家公司进行了调查，了解构建、部署和扩展 AI 能力以及真正改变组织运营方式需要什么。

今天，谢尔文和我非常高兴能邀请 Ziad Obermeier 加入我们。Ziad，感谢您的到来。欢迎。谢谢。很高兴来到这里。

我在多伦多的一次 NBER 会议上认识了 Ziad，当时他正在谈论他的一些健康数据平台的工作。所以也许我们可以从这里开始。Ziad，请您告诉我们一些关于您正在做的事情，这个令人兴奋的平台是关于什么的。告诉我们关于 Nightingale 的信息。当然。我可以告诉您一些背景故事，那就是我的所有研究都在某种程度上将机器学习或人工智能应用于医疗保健数据。

即使我说我在这个领域进行研究，但实际上我花费大量时间的事情是恳求获得我进行这项研究所需的数据。恳求、讨价还价，利用我多年积累的所有网络和联系。它仍然非常困难和令人沮丧。

因此，鉴于我花费了大量时间在这上面，我的合著者之一、芝加哥大学的 Sandal Malanathan 和我决定，我们在这方面的痛苦可能并非孤例。因此，几年前，由于 Schmidt Futures（埃里克·施密特的基金会）的支持，

我们能够启动一个名为 Nightingale 的非营利组织。Nightingale Open Science（这是它的全名）是一个非营利组织，它利用慈善资金与医疗系统合作构建有趣的数据集。我们与医疗系统合作，了解对他们来说哪些是高优先级和有趣的问题。

我们构建的数据集包含大量的影像数据。例如胸部 X 光片、心电图波形、数字病理学、活检样本。我们将这些图像与电子健康记录中的有趣结果配对，有时还会与社会保障数据配对（当我们需要死亡率数据时）。

我们创建的数据集旨在回答我认为当今医疗保健领域一些最有趣和最重要的问题。为什么有些癌症会扩散而另一些癌症不会？为什么有些人因 COVID 感染而流鼻涕，而另一些人最终会进入 ICU？

因此，我认为所有这些问题都是机器学习真正能够有所帮助的领域，它不仅可以帮助医生做出更好的决策，还可以推动一些科学发展。但是这些数据集非常短缺。我们与医疗系统一起创建这些数据集，然后我们对其进行去标识化处理，并将它们放在我们的云平台上，让世界各地的研究人员可以免费使用。

我认为我们这项工作的灵感来自于机器学习在其他领域取得的巨大进步，这不仅得益于数据集的可用性，还因为开放的、经过整理的、有趣的数据集能够解决重要问题，并提供给那些希望在这些任务上推动性能进步的人们。这是我在过去几年中一直在研究的健康数据平台之一。

是的，请举一些这方面的例子。有哪些类比？您指的是哪些其他平台？是的，我认为最著名的是 ImageNet。它是在几年前通过从互联网上获取大量图像而创建的。

然后让人们为这些图像添加标题。例如，我们得到一张照片，上面是人们在海滩上玩飞盘。然后，一旦我们获得了数百万张这样的图像，我们就可以训练算法，将图像中像素的集合映射到人类为该图像分配的标题。有很多这样的数据集。例如，手写识别数据集、面部识别数据集。

正如我们一次又一次看到的那样，这些数据集在推动机器学习进步方面发挥了重要作用。因此，人们组建团队，进行合作，相互竞争，都在努力完成这些任务。这已经成为一个巨大的增长引擎，与计算能力和硬件方面一起，真正推动了软件方面的创新。

这真是太迷人了。也许我们先退几步。Ziad，请您告诉我们一些关于您的研究以及您希望用机器学习数据做什么的信息。您是经过培训的医生。您还是一位科学家和副教授。所以也许您可以告诉我们一些关于您的背景信息，您是如何走到今天的，这种跨多个学科和技能集的令人惊叹的“独角兽”。

这是一个非常友好的描述。谢谢，谢尔文。我在大学学习历史，然后获得了历史和哲学硕士学位。我非常感兴趣科学，研究科学是如何产生的，新的领域是如何形成的，科学家们是如何分成这些派系的，以及知识是如何被社会建构的。在管理咨询公司短暂工作后，我实际上去了医学院，

我实际上是克里斯·默里的研究助理，他负责全球疾病负担项目，并且仍在该领域做着非常、非常令人惊叹的工作，对全球疾病负担进行量化。我从克里斯那里学到了很多关于如何进行研究的知识，我认为这是一个反复出现的主题，那就是因为我非常幸运和有特权，我设法与一些非常、非常聪明的人共事，他们投入了大量的时间和精力来教我东西。

我在急诊医学方面接受了培训。在急诊室工作是一次令人着迷、有趣且充满压力的经历，因为您会不断面临自身思维和理解问题能力的局限性。所以我上了医学院和住院医师培训，然后我开始执业。当我开始执业时，我开始看到医学中所有这些非常困难的事情，这些事情会，你知道，让我整夜睡不着觉。例如，我会在值班后回家，然后躺在床上，我会因为我送走的一位病人而感到非常紧张，因为我记起了她的一些事情，或者我应该进行一项检查但我没有进行。所以我把很多压力都转化成了研究，我不知道弗洛伊德医生会对此有何评价，但我可能以后需要和我的治疗师一起探索一些问题。

我认为，无论你在这项工作中有多么出色，如果你注意的话，你总是会犯错误。我认为这是几乎每个医生都会经历的事情。我认为我意识到的一件事是，医生最容易犯的错误是

是机器学习真正擅长解决的问题类型。因此，医生需要做的最困难的事情之一，实际上是医学中一项基本活动，那就是诊断。那么什么是诊断呢？诊断就是观察病人，观察所有的检查结果、X 光片、实验室数据、他们的外观等等，并将这些信息提炼成一个单一变量，例如 X。

这个人患有肺炎吗？他们患有充血性心力衰竭还是其他什么疾病？因此，将患者层面上非常高维的数据集映射到患有疾病一、疾病二、疾病三的概率，这是一个伟大的机器学习任务。

因此，医学中充满了这些问题，A，医生在许多不同的性能指标上表现都很差，B，如果算法围绕这些问题周到而仔细地构建，它们可以真正提高决策质量。所以……

我的整个研究计划的起源是构建算法，A，帮助医生做出更好的决策，B，乐观地也试图推动一些决策背后的科学发展，例如谁会突然心脏死亡，谁会并发 COVID，谁会发展为转移性癌症，谁不会。

我认为医学与其他领域可能存在另一种情况，在其他领域，人类和机器共同努力使机器变得更好，使人类变得更好，这可能是这样一个事实：纠正机器的专家意见可能经过了更严格的审查，因为存在规则手册和指南。由于您成为一名医生并获得执照并获得委员会认证，

医学专家之间意见分歧或差异的程度不太可能高于，比如说，市场营销或信用评估领域。或者我认为这使得算法的训练部分更加标准化，或者不太受某位专家意见的影响。

这是一个非常、非常有趣的问题集。我了解很多医学知识。我知道一些关于如何进行研究的基本知识。但我开始与哈佛大学的一位健康经济学家大卫·库特勒以及他的同事之一 Zendul Malanathan 合作。我认为这就是我开始投入大量时间学习一些技术技能的地方，这些技能与临床技能和临床知识相结合，构成了我今天正在进行的研究的基础。

有时我们试图通过说来解决这个问题，好吧，我们不会只有一位放射科医生。我们将有五位放射科医生。然后我们将进行多数投票。但我们真的是通过多数投票来进行医疗实践吗？所以这是一个有趣的地方，在医学中进行机器学习与其他领域非常不同，因为我们与基本事实有着根本上更复杂的关系。

即使这些专家经过了训练，并且在多年的住院医师培训中积累了大量的实践经验，我们也不能将他们的意见视为真理。我会告诉你几年前我们写过的一篇论文。这篇论文是由我在康奈尔大学的计算机科学家同事艾玛·皮尔森领导的。我们所展示的是，放射科医生系统性地忽略了 X 光片（在本例中是膝盖 X 光片）上的某些东西，这些东西不成比例地导致黑人患者疼痛。

因此，当您回顾我们对医学中关节炎的了解的历史时，许多产生医生今天仍在使用的评分系统的原始研究是在 1940 年代和 50 年代的英格兰兰开夏郡的煤矿工人身上进行的。因此，毫不奇怪，在那个非常具体的时间和地点积累的知识不一定适用于医生今天在英格兰或美国诊所中看到的患者群体，

我们展示这种方式实际上是通过训练一个算法，而不是做大多数人会训练算法做的事情，即从 X 光片到放射科医生对 X 光片的描述。如果我们训练一个算法只是

将放射科医生的知识编码到算法中，我们将编码放射科医生所具有的所有错误和偏差。因此，我们所做的是，我们训练一个算法来预测的不是放射科医生对膝盖的描述，而是患者对膝盖的描述。因此，我们训练算法基本上预测的是，这个膝盖是疼痛的膝盖还是不是。

这就是我们设计一个算法的方式，该算法可以揭示这种偏差，不是放射科医生本身的偏差，而是医学知识中的偏差。它确实为以下方面提供了一条前进的道路，A，算法，尽管我的许多工作已经表明它们可以强化甚至扩大医学中的种族偏见和其他类型的偏见，但也存在这样一条途径，即它们可以做人类无法做到的事情。

它们可以发现人类忽略的这些复杂图像和波形中的信号。它们也可以成为正义和公平的力量，就像它们可以成为强化我们医疗系统和社会中所有丑陋事物的力量一样容易。

训练问题实际上要困难得多，因为您没有基本事实。您不仅要暴露或纠正模型的偏差或不准确性，还要纠正作为训练一部分的医生。是的，说得完全正确。挑战不仅仅是构建算法。这不仅仅是我们其他领域面临的相同挑战。

健康方面的根本挑战是创建反映基本事实的数据集。好消息是，由于电子健康记录的巨大成功，能够将医院的数据集与州社会保障数据和其他来自其他地方的有趣真相来源链接起来，大量信息使我们能够将基本事实拼接在一起并进行三角测量。

但这不仅仅是一个机器学习问题，而是一个非常困难的临床问题。我认为这是除了数据缺乏之外，我们没有看到的一个主要原因

机器学习改变医学实践的方式与它改变其他行业的方式相同，因为这些问题需要某种双语技能。您需要了解如何使用数据做有用的事情，但您还需要真正了解这些问题的临床医学方面才能有效，因为您不能仅仅用放射科医生的判断来代替图像中是否有猫的判断。这是一个困难得多的问题。

这种双语能力似乎非常困难，这让我想到你的背景。你显然处于一个你最终掌握了这两种语言的位置。我还很好奇，我们必须这样做吗？在不减少这个问题的难度的情况下，让我举一个类似的事情做得非常好的例子。

这比我的领域更接近你的领域，萨姆，但行为经济学我认为是一个非常、非常好的例子，它需要完全相同的双语能力。因此，作为一门学科，行为经济学所需要的是，首先，经济学要认真对待人类行为，而不仅仅是激励措施的简单函数。

但你也需要心理学家在学习方面进行相当大的投资

证明什么是偏差，什么是错误，什么不是错误等等的技术基础。所以我认为有一个非常好的类比，在这个类比中，医生扮演着心理学家的角色，计算机科学家也扮演着经济学家的角色。我认为这些事情难以回应悲观主义的一些原因是

在学术界，我们做得并不好，尽管每个人都说多学科工作多么有趣和精彩。没有任何激励措施真正能够促进这种工作。因此，如果您是一位计算机科学家，并且需要将您的论文发表在某些会议论文集中，那么您在获得基本事实标签方面做得多么出色或做得多么糟糕

对您将论文发表在您最喜欢的会议论文集中的概率几乎没有影响。我认为，如果您是一位医生，那么您是否在机器学习方面进行了大量投资，这不会影响您的

您申请 NIH 拨款的可能性。因此，回到 Sundell 和我启动 Nightingale 的原因之一，我认为我们需要这种能够帮助建立这种认真对待这些事情的人群的机构。因此，如果您是一位博士生，您需要数据才能在这个领域工作。我在伯克利有很多博士生

来找我说：“哦，我真的很想把我擅长机器学习的东西应用到健康领域。”

我说，哦，太好了，你知道，我们会把你添加到数据使用协议中，然后你必须进行所有培训，然后我们会修改 IRB。到那时，你知道，这已经完成了，他们已经在 Facebook 或其他地方找到工作了，一切都结束了。所以我认为在这个领域建立这些公共产品是一个非常好的起点，可以建立能够完成这项工作并成为一组合作者、同行评审者等等的人群。但这一个过程。

你的评论在我的脑海中点亮了另一件事，那就是我们今天将要进行的实验设计，以对任何事物进行诊断，鉴于现在的数据比 50 年、30 年、20 年前的数据丰富得多，

当时数据非常稀缺。我想知道这是否实际上改变了甚至它的指南。

我们如何看待阳性诊断，因为你谈到的一些这些相关性可能甚至都不可能。所以也许没有人想过你肯定患有这种疾病，如果发生这两件事。但也许两三个月后会发生第三件事，你甚至不知道会发生，因为没有人收集过关于它的数据，或者没有人能够关联数据。是的，说得很好。我认为它真正突出了

今天进行这项工作的一个巨大优势，当我们拥有来自电子健康记录的纵向数据时，这些数据可以与来自许多其他不同地方的许多其他数据链接起来，数据的价值随着规模、范围和链接的扩大而呈指数级增长。正如你所说，它开启了大量以前无法获得的新可能性。

你让我们在这里面临一个霍布森的选择，比如，好吧，我们可以等待三天进行培养测试，或者有人必须立即做出决定。这正指出我们能够更好地测量各种事物，并且现在可能能够测量我们以前甚至没有想过要测量的事物，这些事物现在可能会告诉我们三天后会发生什么。正如你所说，我认为我们仍然处于这个过程的早期阶段。你提到了一些事情，比如

负面新闻可能会污染水源。而且，你知道，我想到这一点，你知道，通过类比，我本周在课堂上刚刚讲授了手写识别。在课堂上，我能够带一群学生，我们能够用算法完成 15 年前赢得比赛的事情。我们可以在课堂上用笔记本电脑做到这一点。

那么，通过类比，使用你现在正在整理的这些数据集，我们可以期待哪些类型的胜利？我的意思是，抵消污染水源的方法是奇迹疗法。我不想在这里说得太像江湖郎中，但我们可以期待哪些事情？到目前为止，你将这些数据集提供给人们使用，取得了哪些成功？是的，我可以告诉你一些关于我思考输出的信息

像 Nightingale Open Science 这样的组织。我认为那里的输出是知识、论文和在这些数据上开发的计算方法。但我认为还有一种思考输出的方式。我可以告诉你一些关于我一直在研究的另一个平台的信息，它被称为 Dandelion Health。Dandelion 是一家营利性公司。这家公司所做的是，我们首先与美国各地的一些非常大型的医疗系统签订协议，

通过这些协议，我们可以访问他们所有的数据。当我提到所有数据时，我的意思是所有数据。不仅仅是结构化的电子健康记录，还有心电图波形、患者住院期间的监测数据、数字病理学、睡眠监测，所有的一切。这家公司旨在帮助解决这个瓶颈，并帮助人们更快地将这些产品投入临床使用。

方法，你知道，所以我为此苦苦挣扎了很久。我认为我思考这个问题的方式是，使用健康数据进行产品开发显然存在缺点。我认为隐私确实存在风险，而且，你知道，人们关心的事情很多。我认为这些风险是真实的，而且对我们来说非常明显。还有一组风险同样真实，但关于不使用数据的风险却鲜为人知。

我认为还有一些应用是人们认为的生命科学和临床试验。今天有一整套疾病，例如阿尔茨海默病，我们看到又一种有前景的阿尔茨海默病药物的令人悲伤的消息。在这一领域，几十年来一直都是相当令人悲伤的消息。原因之一是这个奇怪的事实，直到我开始看到这些应用我才想到，那就是如果你想为阿尔茨海默病的药物进行试验，

你必须招募患有阿尔茨海默病的人。但这意味着你只能开发那些基本上必须逆转已经发生的疾病进程的药物。所以现在想象一下，你有一个阿尔茨海默病预测器，它可以在一定的前期时间内找到那些有很高风险患上阿尔茨海默病但尚未患病的人。现在你可以带这些人

并让他们参加临床试验。现在你可以测试一种全新的药物，一种可以预防这种疾病而不是必须逆转或减缓这种疾病的药物。所以，我认为，这也很令人兴奋。我们可能快到时间了。谢尔文，你今天是五问的人还是我？我可以。我们会解释的。是的，它不像听起来那么繁琐。所以我们有一种标准的方式来结束这一集。

所以，Ziad，我们有一个环节，我们会问你一系列快速的问题，你只需要告诉我们你想到的任何事情。好的。你最引以为豪的 AI 或机器学习时刻是什么？我现在正在研究一篇论文，这篇论文是与瑞典的一位心脏病学家合作完成的，我们正在将该地区曾经进行的所有心电图波形与死亡证明联系起来。

我们开发了一种算法，它实际上可以以令人惊讶的准确度预测在心电图一年后将死于心脏性猝死的患者。我认为，除了在科学上非常有趣之外，这还开辟了巨大的社会价值，能够在人们死前找到他们，以便您可以调查他们，甚至植入可以防止人们

每年发生数十万次且医生无法理解和预测的这种灾难性事件的除颤器。这就是值得骄傲的事情。哇。你对 AI 感到担忧的是什么？我认为我所做的关于算法偏差的工作让我对这些算法可能造成的损害程度进行了负面更新。我们研究了一种算法，该算法

不幸的是，可能仍然部署在该国许多最大的医疗系统中，由制造其估计的公司部署。它每年被用于 7000 万人，以筛选他们并让他们获得或不获得额外的医疗帮助。

我认为这些类型的产品，这些不是理论上的风险。这些是实际部署在医疗系统中并每天影响决策的真实产品。从长远来看，它们正在造成巨大的损害。我担心这些事情会导致完全合理的反应，从而关闭一系列最终可能非常积极的事情。你最喜欢的活动不涉及任何技术？

没有技术。我将宽松地解释这一点，并假设冲浪板不涉及技术，尽管它需要很多……我意识到对于一位学者来说，这是一个非常不完善的问题。我真的很喜欢滑雪。我的妻子，尽管来自瑞典……

不喜欢雪或任何与雪有关的事情。所以我们的妥协是学习一起冲浪。这已经成为我最喜欢做的事情之一。我喜欢它的一点，甚至超过滑雪，就是技术很少。没有电梯。没有靴子。没有你需要滑雪的所有这些东西。像冲浪一样，你只需要一块，你知道，木板。然后你就出去，这太棒了。

是的，感谢你挑战这个问题。我认为我们需要改写这个问题。你想要的第一份职业是什么？你小时候想做什么？当我上小学和中学的时候，人们对人类遗传学的兴趣和乐观情绪出现了巨大的爆发。

我对此以及生物学都着迷。回想起来，我很高兴我没有这样做，因为我认为我现在正在做的事情是

我将做一个许多人不同意的预测，但我认为应用于数据的机器学习与遗传学无关，例如心电图和图像。它将比人类遗传学更早地对健康和医学产生更大的影响。最后，你对未来 AI 的最大愿望是什么？当我今天环顾 AI 的用途时，

我认为产生大量社会价值的事情的比例不幸的是相当小的。我认为有很多广告点击优化，我不介意。我的意思是，我从广告点击中受益匪浅。我不是那种退出所有这些事情的人。我想要个性化广告。我在 Instagram 上购买了很多针对我的商品。我认为这很棒。我不是，对广告个性化没有批评，但是

但是广告点击个性化的机会成本，鉴于投入到其中的才能、技术和资金，我认为相对于健康和医学以及 AI 在这些其他领域具有巨大潜力改善整个社会而言，是巨大的。我希望在 10 年或 20 年后，从事这类问题的人数比例会比今天高得多。

感谢您的解答。您在这里提出的一点引起了我的强烈共鸣，那就是不做……的机会成本。

利用医疗数据做一些事情。当您谈到医疗保健的一些负面影响时，我不禁摇头，我认为我们有很多机会，我会用我的部分数据换取20年甚至30年的健康生活吗？我愿意。所以我希望我们的一些听众会有共鸣，感谢您提出这些问题，并提高人们对这一令人着迷的一系列问题的认识。

您参与的倡议遍布各地。我认为我们称您为双语、三语人士。我不确定我们能达到多少种语言，但非常感谢您今天抽出时间与我们交谈。与你们两位交谈真是荣幸。感谢收听。下次，Sherva 和我将与微软 AI 平台负责人 Eric Boyd 谈谈。下次再聊。

感谢收听《我和 AI》。我们相信，与您一样，关于 AI 实施的对话不会仅限于本播客。这就是为什么我们在 LinkedIn 上专门为像您这样的听众创建了一个群组。它被称为“AI 领袖”。如果您加入我们，您可以与节目创建者和主持人聊天，提出您自己的问题，分享您的见解，

并访问来自 MIT SMR 和 BCG 的关于 AI 实施的宝贵资源，您可以访问 mitsmr.com/AIforLeaders 来访问它。我们将在节目说明中添加此链接，我们希望在那里见到您。