This doctor says he can make AI in health care safer
47:11 Share

人工智能发展迅速。它正在改变医生为患者提供护理的方式。如何确保这些新的 AI 工具安全?布莱恩·安德森博士说他有一个答案。</context> <raw_text>0 本期节目由 Shopify 提供赞助。

当您将业务切换到 Shopify 时,忘记选择商业平台的烦恼,Shopify 是一个全球性的商业平台,无论您在哪里销售,它都能增强您的销售能力。使用 Shopify,您将利用与世界领先品牌使用的相同的直观功能、值得信赖的应用程序和强大的分析工具。立即注册,享受每月 1 美元的试用期,网址为 shopify.com/tech(全部小写)。网址为 shopify.com/tech。这是 On Point 节目。我是梅格纳·查克拉巴蒂。谢谢。

人工智能正在改变一切,甚至包括您看医生的就诊。已经开始使用许多工具......

帮助自动化医生工作的一部分。例如,语言模型可以帮助我更好地撰写笔记或电子邮件。我认为,越来越多的工具甚至开始查看图像,例如心脏的超声图像,并预先填充心脏病学家将要撰写的报告。

Ziad Obermeier 博士是加州大学伯克利分校公共卫生学院卫生政策与管理副教授。我发现第二种类型的工具比这更令人兴奋,那就是帮助医生做一些医生今天还不知道如何做的工具。

其中一个例子是我的麻省理工学院的同事雷吉娜·巴尔齐莱在开发 AI 工具方面做了大量工作,这些工具可以读取乳房 X 光照片,其效果实际上比任何放射科医生都能做到的都要好。因此,该算法查看大量乳房 X 光照片,并查看患者在未来五年的结果。他们是否进行了活检?他们的乳腺癌是否最终会发展?它从这些数据中学习

然后根据今天的乳房 X 光照片的外观提供预测,预测患者的癌症将会发生什么。Obermeier 博士说,通过提高癌症筛查的准确性,这些工具还可以降低治疗成本,因为患者需要忍受和支付的侵入性手术会更少。雷吉娜发现,人类在查看患者的影像学检查时,基本上会犯两种错误。

一种错误是医生有时做得太多。他们查看乳房 X 光照片,然后说,哦,不,这风险很高。这个人需要活检和核磁共振成像。结果所有这些都是阴性的,所有这些都是

不必要的检查。但有时医生会错过算法能看到的真正高风险病例,而医生却看不到。而那些医生说,“是的,你的乳房 X 光照片很好,过几年再来做下一次检查”的患者,实际上他们的乳房 X 光照片上存在非常严重的癌症。在这些情况下,AI 的前景在于它可以将护理针对真正需要的人。

Obermeier 博士在他自己的研究中,使用 AI 工具来检测患者的猝死。他发现,这些工具不仅有可能更好地治疗患者并降低患者的成本,还可以帮助医疗保健提供者了解这些难以发现的病例为什么会发生。根据心电图波形的样子,这种我错过的非常高风险的波形,直到 AI 才能向我们展示它是什么样子,

我们实际上可以开始形成关于那里正在发生什么的假设,因为我们对心脏如何产生这些波形有很多了解。因此,我们实际上可以将 AI 的这些新见解与实验室研究联系起来,帮助我们了解这个问题的机制,然后开发新的治疗方法和诊断方法。所以我认为真正令人兴奋的部分不仅仅是临床上的改进,还有 AI 推动的实验室突破。

顺便说一句,Obermeyer 博士曾在几年前我们制作的一个获奖系列节目《更智能的健康》中出现过。该节目全部讲述了 AI 如何改变医疗保健。您可以在我们的播客节目中或 onpointradio.org 网站上找到它。现在,那时,事实上,一个巨大的问题笼罩着 AI 和医疗保健。

我们如何知道这些工具是安全的?什么系统和法规可以帮助确保这些工具不会意外地伤害人们?

好吧,去年 11 月,当时领导拜登政府美国食品药品监督管理局的罗伯特·卡利夫博士这样说道。这个领域将如此之大,我们不可能在 FDA 雇佣足够的人来独自监管所有这些。因此,至关重要的是,我们要让临床社区、医疗系统、

您去看病的人的专业人士积极参与制定我们所说的监管生态系统,在这个系统中,这些算法可以不断得到评估。

现在,了解 AI 对我们所有人来说都非常重要,我们 On Point 节目的工作人员将继续关注它,跟进我们之前无法回答的问题,以了解技术、其影响和监管方式是如何变化的。因此,今天,当政策制定者谈到 AI 和医疗保健中的监管生态系统时,他们到底是什么意思?

谁会创建它?谁会参与其中?它将如何确保患者安全?当行业基本上被要求自我监管时,总会有陷阱。在美国的 AI 和医疗保健领域,这些陷阱可以避免吗?尤其是在这个国家的医疗保健交付如此多的利润的情况下?

因此,为此,我们今天转向布莱恩·安德森博士。他是健康人工智能联盟 (CHI) 的首席执行官兼联合创始人,他加入了我们的演播室。安德森博士,欢迎来到 On Point 节目。你好,梅根。很高兴来到这里。请叫我布莱恩。好的,布莱恩。所以,我必须承认,正如我所说,我们一直在寻找最新、最智能、最周到的方法来谈论人工智能和文明,我在 Politico 上看到一篇关于你的文章。

来自今年年初,1 月初。它上面写着:好的。然后它说:好的。

就帮助政府应对这项快速发展技术的监管而言,他可以做到。责任重大。所以,我的意思是,Politico 的业务是让人们想阅读更多内容。我明白。但是你如何提供帮助?你在做什么来帮助监督 AI 对医疗保健的监管?是的,好问题。是的。

我们在 CHI 所做工作的一部分是将私营部门的利益相关者聚集在一起,以帮助就负责任的、良好的 AI 在健康领域的体现达成共识。

重要的是,我称之为这项工作中的两个或三个关键利益相关者。所以你有供应商,制造模型的技术公司。您拥有医疗系统和医院,它们本质上是这些模型的客户。他们购买它们,他们购买它们,他们部署它们。而且您还有患者,他们显然是这项工作的中心。我们希望构建能够很好地、安全地治疗他们的 AI 模型。

在这种情况下,当我们将这个拥有 3000 多个组织的社区聚集在一起时,我们发现有一大群客户希望更好地了解这些模型的实际性能。

在像他们自己这样的患者身上,作为医生和护士,他们可能会使用这种工具,他们最终可能会决定购买这种工具。挑战在于,做出这些决定的医生和管理人员往往没有真正能说明这些模型如何发挥作用的数据。它们在波士顿这样的患者群体中是如何运作的,如果我是一个希望使用模型的医疗系统呢?

因此,我们试图建立一个本质上是质量保证资源或实验室的网络,能够代表可能没有这种测试能力的医疗系统进行此类测试。因此,提高了对这些模型实际工作方式的透明度。好的。所以我要先记住这一点。

然后回来,因为这是你提供的和试图在这里开发的核心内容。但为了让听众了解背景,让我从你那里了解一下,你认为目前医疗保健中可用的 AI 工具(更不用说一年后或五年后了)与我们对技术的理解之间差距有多大。

它们做什么,它们如何做,以及对患者的潜在影响。监管机构通常会尝试回答的所有问题。是的。所以我用去杂货店为例。当您、我或我们的任何听众去杂货店时,如果我们对罐装汤或一盒麦片中的成分感兴趣,我们通常会把它翻过来,看看标签,然后清楚地了解成分是什么,有多少碳水化合物、脂肪、糖等等。

在 AI 中,我们没有任何类似的东西。我们没有标准的方法来描述构成这些模型使其执行其操作的因素。我们没有任何标准的方法来分享我们的培训方法是什么?用于训练这些模型的数据集是什么?重要的是,它们的性能如何?它们的适应症是什么?也许最重要的是,它们的局限性是什么?

因此,现在使用工具的医生在看病时,缺乏关于他们面前特定类型患者的此类信息。因此,我们在 CHI 中关注的事情之一是创建 AI 营养标签,以便医生、以便医疗系统能够获得这些信息。现在,我们依赖于 PowerPoint 演示文稿和非常,我认为,来自非常有良好意愿的供应商的高级描述。

你知道关于 AI 和医疗保健让我感到奇怪的是什么吗?医疗保健可能是美国监管最严格的行业之一,对吧?我的意思是,只是——显然,我们都知道一种药物为了获得患者使用的批准必须经历的所有步骤。我们知道医疗设备必须经历的所有步骤,对吧?就像,我们实际上——我们对 AI 的影响并不完全了解的所有事情,我们都了解医疗保健。

例如,心脏监护仪或起搏器,因为所有这些实际上都必须在政府说“是的,你可以在医院使用它”之前得到证明和理解。所以对我来说,这实际上也像如果我们继续将 AI 视为工具,它们不仅仅是计算机上的工具,对吧?它们是实际上正在影响人们接受的治疗和护理的工具。是的。就像,这是怎么回事?

人工智能已经如此深入地进入医疗保健行业,而没有任何监管方面的暂停。好吧,问题的一部分是它发展得太快了。所以我们有我所说的传统 AI 或预测性 AI。在 FDA 的监管环境中,已经有 800、900 个不同的模型得到了改进。

现在,生成式 AI,我认为这是让我们很多人兴奋的原因,很多在线的大型语言模型,它是 Gemini 或 ChatGPT 或 Bing 或我们使用的任何东西,这些模型可能对我们作为医生如何实践医疗保健以及作为患者如何理解和驾驭医疗保健都有深远的影响。FDA 没有批准任何一个生成式 AI 领域的模型。所以挑战的一部分是

只是跟上并试图掌握这个生成式 AI 领域的监管框架,而 FDA 尚未做到这一点。另一个挑战是......但是这些工具正在被使用,对吧?哦,是的。我认为许多人都会产生共鸣的一个很好的例子是,LLM 能够在医患关系中......

通过为他们总结整个对话内容来帮助医生更好地与患者联系,而不是让医生花 10 分钟来打出这份笔记。好的。所以在我们进一步了解 CHI 或健康人工智能联盟目前正在做的那些质量保证实验室之前,当我们休息回来后,我想

进一步探讨一下为什么人工智能已经完全嵌入医疗保健,以及这与监管之间的差距。所以我们会在回来后这样做。这是 On Point 节目。

本播客的支持来自 On Air Fest。WBUR 是 On Air Fest 的媒体合作伙伴,On Air Fest 是一个声音和讲故事的节日,将于 2 月 19 日至 21 日在布鲁克林举行。今年的阵容包括 SNL 的詹姆斯·奥斯汀·约翰逊和《死亡、性与金钱》的销售以及 200 多位其他创作者。

On Point 节目的支持来自 Indeed。您刚刚意识到您的企业昨天需要招聘某人。您如何快速找到优秀的候选人?很简单,只需使用 Indeed。无需等待。您可以使用 Indeed 加快招聘速度。

On Point 的听众将获得 75 美元的赞助职位积分,让您的职位在 Indeed.com/OnPoint 上获得更多关注。立即访问 Indeed.com/OnPoint,并通过说明您是在本播客中了解到 Indeed 的来支持该节目。Indeed.com/OnPoint。适用条款和条件。招聘?Indeed 就是您所需要的一切。

在 Radiolab,我们最喜欢的事情莫过于对科学、神经科学、化学进行深入研究。但是,但是,我们也喜欢讲述其他类型的故事情节。关于警务、政治、乡村音乐、曲棍球、性的故事。

关于虫子的故事。无论我们是否关注科学或非科学,我们都会带着严谨的好奇心来获得答案。并希望让您以全新的视角看待世界。Radiolab,在我们认为我们所知范围边缘的冒险。无论您在哪里收听播客。

您回到了 On Point 节目。我是梅格纳·查克拉巴蒂,布莱恩·安德森博士今天与我们在一起。他是健康人工智能联盟 (CHI) 的首席执行官兼联合创始人。这是一个相当庞大且有影响力的群体,他们走到一起,试图找出方法来

使 AI 在医疗保健中的部署更负责任、更透明。我们所有人的一个大问题是,你知道,这如何才能转化为 AI 和医疗保健的更好监管?安德森博士,所以......

再说一次,我实际上是在这里偏离主题了,因为我必须坦率地说。人工智能及其发展速度可能幸运地让我在对事物的理解上变成了一个五岁大的孩子。所以我的很多问题都处于最基本的层面,因为我认为它们是每个人都有的问题。所以回到这个差距,已经存在的监管差距——

或者,是的,让我们称之为比任何东西都更深远的差距。我当时真的在想,好吧,对于任何出现的新程序,甚至是手术程序,它都会经过多年的概念验证测试。它会经过实验室模型,在动物身上进行测试。然后必须在线上进行大量的透明度和知情同意。

在第一个愿意尝试这种手术创新的患者身上。有一个非常完善的......

是的。用于改进医学。但是,如果我错了,请纠正我。我只是没有看到 AI 经过这种严格的考验。它只是突然跳入,好吧,现在我去我的诊所,我不知道 AI 如何影响我的医生做出的决定、她做出的诊断或她推荐的治疗方法。看起来我们只是跳过了开发新医疗工具的整个方面。是的。

是的,不,我认为你是对的。首先回到像五岁孩子的感觉,我认为我们所有人都必须认识到,在这个领域中,我们有很多东西不知道,即使是我们那些花费大量时间的人也是如此。因此,我们必须以不完全理解这些模型如何执行它们的操作或我们有时看到的紧急能力的态度来处理这个问题。

现在,关于这些模型如何通过今天的监管流程,我认为你是对的,我认为,关于这些模型实际上是如何从

提交监管审批,然后最终获得监管审批。例如,你提到了临床试验,对吧?临床试验,稳健的流程通常涉及数千人,理想情况下,这些人代表了最终使用该药物的人。在 AI 中,挑战的一部分是,特别是对于 FDA 等监管机构而言,

是如何独立评估或测试该模型,而与供应商可能提交给您的任何提交内容分开?因此,坦率地说,对于 FDA 等机构来说,挑战之一是,我可以在哪里获得数据集来单独测试模型,以实际查看赞助商、供应商提供的声明是否属实?它们是否有效?

这就是问题所在,这就是为什么卡利夫博士在开场白中评论说,我们社会需要团结起来,与医疗系统合作,医疗系统通常是这种数据所在的地方,可以在那里安全、私密地使用这些数据来测试这些模型。我们在 FDA 等机构中还没有这种能力。那么你能让我更具体地说明一下吗?

如果我理解你的意思,就像 FDA 从一开始就落后于形势,因为在对潜在的 AI 模型进行测试时,他们甚至没有像

什么,医疗保健数据或患者数据,或者他们甚至不能使用假设数据来模拟患者进行测试吗?当然,可以使用合成数据,但我认为许多研究表明,当您使用合成数据时,它不是真实数据。因此,会有很多混杂变量可能会潜入其中。测试数据集的理想用途是适合模型用途的真实测试数据,以测试其输出。

这是一个真正的挑战,因为有如此多的 AI 模型。正如卡利夫博士提到的那样,FDA 不可能雇佣足够的人来满足这种需求。好的。但是对于医疗保健中的 AI 工具,你的对照组是什么?你在测试什么?

对于 AI,因此你将在真实的人身上进行测试,根据用例的不同,这将是你的对照组。雷吉娜试图构建一种计算机视觉算法来检测乳房 X 光照片中的乳腺癌。你会有没有患癌症的人做乳房 X 光照片。你会有患有癌症的人。

并做乳房 X 光照片。然后你挑出并训练或测试模型识别乳房 X 光照片上的某个地方,你知道,令人担忧的乳腺癌病变的能力。我明白了。所以这个很简单。但是再说一次,在思考

医学的一个基本真理是,你永远不会两次看到相同的病例,对吧?就像,因为身体非常非常复杂。因此,随着 AI 变得越来越复杂并且能够做更多的事情,是否甚至有可能针对对照组进行这种测试?

提出了一个很好的问题。我认为特别是在生成式 AI 领域,非确定性模型(如我前面提到的 AI 助理模型)的控制是什么?我们不知道。我们没有就如何构建测试和评估框架达成一致,特别是对于生成式 AI 领域而言。这就是为什么有如此迫切的需求

当我们寻求扩大这些模型的使用时,生成式 AI 模型,在越来越多的后果严重的用例中,例如 ICU 中的 Zeon,以及使用 AI 模型来识别将因心律失常而突然死亡的人。这些都是风险相当高的案例。挑战在于,特别是当您将 AI 技术领域的领导者聚集在一起时,我们没有就如何衡量

疗效,如何衡量偏差达成一致。这些是新兴生成式 AI 领域的一些真正挑战。好的。所以让我们回到罗伯特·卡利夫博士,他

是美国食品药品监督管理局的前任负责人,是美国食品药品监督管理局的前任负责人,他在拜登政府担任该职位,并在去年 11 月与 NPR 进行了交谈。以下是他在描述 FDA 目前如何评估 AI 启用设备时所说的内容。如果它是一个嵌入高风险设备中的 AI 算法,例如心脏除颤器,这是一个很好的

例子。如果你的心脏突然停止跳动,你需要电击来让你的心脏重新开始跳动。你想确保算法是正确的。这是非常仔细地进行监管的,你通常需要在人们身上进行临床研究,以表明该算法实际上确实有效。你对 AI 的管理用途。这些根本没有受到监管。这是行政和财务。在中间,我们有这个巨大的决策支持领域。所以有一个范围。

这是罗伯特·卡利夫博士。而且你知道,当他说如果空气实际上连接到设备时,这是很有道理的......

它必须经过 FDA 的正常监管流程。试验。但决策支持方面。好的。那么让我们谈谈这个。现在,健康人工智能联盟 (CHI),你创立和运营的组织。让我们深入了解你试图在这里提供的内容。这些可以进行卡利夫所说的 FDA 目前无法进行的测试的质量保证实验室。

所以你有没有一个现实世界的例子,甚至是一个假设的例子来说明它是如何工作的?是的。所以在开场白中,你提到了齐亚德,齐亚德·奥伯迈耶博士。所以齐亚德和我,同学,我们在 CHI 中做的很多事情都受到齐亚德目前正在做的一些工作的启发。一个现实世界的例子是他创立的一家公司 Dandelion Health,它做的工作与这非常相似。所以

如果您将一群医疗系统聚集在一起,他们显然拥有大量健康数据。然后可以对这些数据进行去标识化、安全化、私密化,并以一种您可以让想要训练其模型或验证现有模型性能的技术供应商的方式进行协调。这些实验室能够加速这种创新。因此,像 Dandelion 或梅奥诊所的 Validate 或 Beekeeper AI 这样的组织的一件令人兴奋的事情是,它们可以做到

使数据以一种降低初创企业或科技公司获得此类数据以进行训练的门槛和挑战的方式访问和激活。它很强大。它是各种各样的数据集。因此,您可以拥有理想的、强大的模型。好的,我要在这里插一句。所以我的 AI 五岁孩子的理解能力又开始发挥作用了。是的。

让我们围绕 CHI 如何工作的示例设置一些具体的参数。假设我是德克萨斯州 MD 安德森癌症中心的代表。所以这是一个非常大的组织,很重要,治疗很多人。我们有兴趣使用一种新的 AI 工具,例如,在卵巢癌诊断后的决策过程中提供帮助。很棒。新工具,CHI。

我们想了解它的工作原理。我们想了解缺陷或优势。CHI 将如何提供帮助?是的。所以现在我们从像 MD 安德森和更广泛的德克萨斯大学医疗系统这样的医院听到的是,只是被想要销售模型和工具的供应商淹没了,这些模型和工具可能会真正帮助他们。

当然,挑战在于筛选所有这些征集。我认为医疗系统面临的负担是了解什么是炒作,什么是真实的。尤其是在肿瘤学领域,您真的需要清楚地了解在卵巢癌用例中什么有效,什么无效。因此,在这个用例中,MD 安德森可能会对卵巢癌临床决策支持工具进行某种征集。

供应商将征集并可能分享他们的模型卡,他们的 AI 营养标签。理论上,MD 安德森可以说:“太好了,我们已经缩小了两个或三个供应商的选择范围。我们想让他们将他们的模型发送到实验室。”我们将与 MD 安德森和供应商合作,选择他们想要的任何实验室。

然后他们将选择一种测试数据集,该数据集将代表来 MD 安德森的患者。因此,如果您选择与他们合作,该模型将用于真实患者,您将拥有一个代表性样本。但是实验室将使用该测试数据运行某种模拟测试。

他们将发布一份评估报告。它将包含许多不同的内容,例如成绩单,许多不同的等级。然后 MD 安德森将获得它,他们将能够做出更明智的决定。因此,它不是监管性的,因为 FDA 没有使用这些数据来做出监管决定。你在私营部门有一个购买者试图获得更多关于他们想要与哪个供应商继续合作的数据。但这是一种测试疗效、安全性的方法,所有这些都是我们作为消费者所关心的问题。

你明白了。从业者和患者。好的。所以某种样本数据集,它来自已经去过 MD 安德森的患者吗?它来自哪里?所以,我的意思是,这是 AI 时代真正令人兴奋的事情。所以在过去 30 年的医疗保健中,我们一直在投资数十亿美元,将医生过去在笔记本上用鸡爪字写的、只有他们自己才能读懂的数据

带入计算机世界,现在它已经数字化了,它在电子健康记录上,我们可以共享它。术语互操作性意味着,如果您从一个诊所走到街对面的另一个诊所,您的数据理论上可以轻松地与您一起移动。

这需要付出很多努力才能使数据能够协调并在不同的系统上工作。正因为如此,现在像 Dandelion 或其他质量保证实验室这样的组织能够将来自不同医疗系统的数据集整合在一起,对其进行协调,并使其可用于这种测试。所以在 MD 安德森的例子中......

人工智能发展迅速。它正在改变医生为患者提供护理的方式。您如何确保这些新的 AI 工具安全?Brian Anderson 医生表示他有一个答案。</context> <raw_text>0 你知道,一个质量保证实验室可能会说,好吧,我们需要创建一个包含卵巢癌患者的子数据集。我们将仅对这些患者测试此模型。我们将汇总该数据,或者

或者使用来自美国 30 多个医疗系统的联合网络。这就是他们创建该数据集的方式。是医院系统还是任何客户(不是供应商,而是医院系统)决定,我希望您根据以下标准对产品进行评分?

是的,理想情况下,供应商和客户就测试内容达成一致。我们在 CHI 努力创建的是这个质量保证实验室网络,它得到供应商社区和客户社区的信任。因为只有在这个空间中,你才能拥有这些独立的实体

才能真正发布供应商和客户都想要的评估报告。谁为此付费?因此,模型的供应商很可能将是与实验室建立业务关系并收取测试费用的那些人。现在,供应商很可能会将此成本转嫁给客户。因此,这将与费用相关联。我们在 CHI 中的希望是

这个实验室市场将具有竞争力。所以不仅仅是一个实验室,而是多个实验室。因此,最终的价格点将由自由市场企业决定。好的。所以要明确的是,当我们谈论供应商时,我的意思是这些 AI 工具的开发人员。在这种情况下,当我们谈论客户时,我们指的是医院、医疗系统等。是的。

所以,在我看来,安德森医生,这是一个非常令人兴奋的想法。但是,我必须说,当我听到工具制造商花钱让人测试他们的工具时,我的新闻记者的怀疑也增加了一点,因为我自动想到的第一个词是利益冲突。

我的意思是,你怎么能保证他们不会影响测试的结果呢?这是一个很好的问题。这也是我们在 CHI 中关注的一个非常重要的领域。因此,CHI 所做的是创建一个认证框架,该框架基本上旨在减轻您刚才描述的利益冲突。因为如果供应商付钱给某人,那么绝对存在这种风险,即该实验室将以某种方式被迫发布一份有利的报告。

因此,该认证框架涉及许多步骤,包括引入独立的审计机构。我们利用了一个国际标准 17-025,这确实是一种久经考验且值得信赖的方式,可以确保不允许这些实验室这样做,并且会对此进行审计,以与他们合作的任何供应商进行商业合作。

这是一个真正的挑战,对吧?因为我认为,如今许多医疗系统都认识到,他们的健康数据是一项非常宝贵的资产。因此,许多医疗系统已经与技术供应商合作。你知道,一些在许多小型初创公司中都广为人知的知名大公司。

因此,确保供应商选择的任何实验室都不能进行商业合作。他们不能有这种纠缠,因为正如你所说,他们会有冲突。但是商业合作并不是唯一的问题,对吧?这就像你付钱让我做这些测试,因此你可以对测试的结果施加一些压力。这是一个公平的观点。我想说的是,如果没有来自外部资金的支持,这是我们目前前进的唯一途径。为什么不让客户(即医院)付费?

所以我们可以将其作为一个模型。目前,我认为我们听到的是客户社区希望与供应商一起前进。他们不想付钱。所以我从这里坐下来,我将占据患者倡导者的位置,并继续就这些问题向你提问。我们将在这里稍作休息。我们正在与 Brian Anderson 医生交谈。他是 CX 的首席执行官。

Chai,它是健康人工智能联盟,他有一个伟大的想法,并与美国各地的主要团体和公司合作,以帮助解答这些新的人工智能工具是否安全有效的问题,这些工具正在医疗保健领域无处不在?稍后更多内容。这是 On Point。

On Point 中对 AI 报道的支持来自 MathWorks,它是用于技术计算和基于模型的设计的 MATLAB 和 Simulink 软件的创建者。MathWorks,加速工程和科学领域的发现速度。了解更多信息,请访问 mathworks.com。

以及来自奥林工程学院,致力于通过“人工智能与社会”等课程向学生介绍人工智能在工程中的伦理意义,olin.edu。还在为修理你的汽车而四处奔波吗?你可以做到。在 eBay 上,你会发现数百万种保证适合的零件。无论是大修发动机还是第一次更换雨刷器,都没关系。

eBay 有您需要的零件,随时可以点击完美地到位,以进行大小更改。大声或安静。以您喜爱的价格找到您需要的所有零件。每次都保证合适。但你已经知道了。eBay。事物。人们。爱。仅限合格商品。不包括在内。你回到了 On Point。我是 Meghna Chakrabarty。在我们回到关于如何确保质量的真正有趣的谈话之前,

当涉及到医疗保健中的 AI 工具时。我们稍后会回到这一点。我只想让大家知道,在这个春天晚些时候,我们将有一个非常重要且大型的系列节目,主题是男孩和教育,因为有很多证据。事实上,证据的数量正在增长,表明在现代美国,男孩和女孩高中毕业后的结果大相径庭。所以我们将看看

从幼儿园到 12 年级,并试图了解当今美国男孩在学校中经历了什么样的经历。因此,您作为父母和教育者的经验将对本系列节目非常非常重要。我们希望

想听听你的意见。例如,从你年幼的儿子那里,他们是如何谈论学校的?你如何看待他们的学习和参与?或者你如何看待他们没有参与学校?他们觉得自己属于那里吗?而且在行为和纪律方面,两者兼而有之

父母和教育者,你是否看到男孩和女孩之间有区别?对于课堂上的老师来说,你是否必须以不同的方式管理男孩和女孩?你对美国男孩的行为和纪律有什么问题和担忧?所以我想让你做的是获取 OnPoint VoxPop 应用程序。如果您还没有,只需在您获取应用程序的任何地方查找 OnPoint VoxPop 即可。

这是向我们发送您的想法的最佳方式。再次,作为父母、家庭成员、教师和教育者,谈谈美国男孩在学校中的经历。那就去做吧。或者,如果在手机上安装另一个应用程序不是您的爱好,您也可以致电 617-353-0683 联系我们。再次,这是我们这个春天关于男孩和教育的系列节目。我们真的希望尽可能多地从听众那里获得故事和第一手经验。所以......

Brian Anderson 医生,健康人工智能联盟(CHI)负责人。让我回到你这里谈谈医疗保健和人工智能。我确实看到了拥有您所描述的经过审查的高质量 AI 质量保证实验室的这一想法的力量。但正如你所知,你也有批评者。这个概念本身就有批评者。所以让我只向你提供我听到的一种主要的笼统批评,那就是

通过这样做,你实际上最终可能会让医院比以往任何时候都更快地将 AI 工具引入他们的治疗中。这可能会将利益,特别是医院的经济利益置于患者之上。有趣。我还没听说过这个。是的。

人工智能创新的速度令人惊叹。我认为,医院有理由希望找到解决方案来应对他们面临的无数挑战,包括财务、护理交付以及接触服务不足的人群。因此,我认为寻找人工智能领域的潜在解决方案是合适的。现在,你正确地指出

你知道,我们如何才能跟上这种创新步伐,并制定能够让患者和提供者都拥有这种信任程度的指导方针和保障措施。

我并没有所有的答案。我可以告诉你,我们在 CHI 努力做的一部分是创造这种自我监管的空间,让医疗系统和供应商能够走到一起,建立能够成为这些指导方针和保障措施的共识框架,这些框架理想情况下能够跟上创新的步伐。我认为人工智能真正令人兴奋的事情之一是创新。

它能够将医生和护士的能力扩展到我们无法接触到患者的地方。你知道,我的许多家人住在科罗拉多州的南方尤特保留地。那里没有多少医生。

而且你有一些服务不足的诊所,那里没有多少医生有空位去看病人。想象一下未来,在这种情况下部署了一个 AI 工具,并且它们能够帮助人们。AI 模型不会感到疲倦。他们不会不耐烦。这是未来一个非常令人兴奋的机会。

在农村社区与人们见面。因此,我认为这就是我希望在这些诊所和医院中看到的加速采用。你提到这一点非常有趣,因为正如你所知,人们已经对这些工具中内置的偏见表达了很多担忧。我的意思是,例如,对土著人民、有色人种提供不同的诊断。我的意思是,但人们对这种担忧有很多

提出?这将是 QA 测试的一部分吗?我认为是的。我的意思是,你想确保这些模型对每个人都是安全有效的。是的。或者至少对那些他们服务和使用的人。因此,我认为这是合适的,

你知道,无论你来自哪个种族和背景,你都希望该模型能够很好地为你这样的人工作。因此,我们经常在研究中发现,健康的社会决定因素具有高度影响力。而且,你知道,Ziad Obermeyer 我想在这方面做了很多研究。许多人都有。

因此,是的,我们希望拥有一个强大的实验室生态系统,如果合适的话,可以在特定人群的子群体上测试模型。好的,这里还有几个技术问题,然后我们将讨论所有这一切的政治方面。AI 的另一个特点是,它与药物或医疗器械截然不同,因为它几乎不断地被更新或不断地被

被修改、自我改进,无论你称之为什幺。因此,一次性测试就是这样。这是一次性测试。

你将如何管理?梅格纳,你显然在这方面比五岁的孩子强。我不知道。有些五岁的孩子知道的更多。所以是的,部署后监控至关重要。漂移、退化和性能等概念对于管理和监控都非常重要。因此,这些实验室也能够做到的一件事是

特别是如果您拥有遍布 30 个不同医疗系统的网络,此外,我们还有 300 多个医疗系统是 CHI 的一部分,如果您创建了这些已部署模型的医疗系统的监控网络,他们可以在那里生成关于该模型如何实际作用于患者的真实世界证据,然后随着时间的推移不断更新,您可以拥有这种监控网络

我们已经拥有了 FDA、CDC 和其他机构用于药物、疫苗、医疗器械、生物制剂的监控网络。我们已经拥有了这些疗法的监控网络。我们还没有为 AI 提供这些,而且我们迫切需要它,这正是因为你所说的原因。因此,我们希望做的是建立一个

一个医疗系统网络,他们将负责监控这些模型的实际性能并透明地共享这些信息。你提到了病人,对吧?我们希望能够确保患者能够访问这种数据,以便他们知道如果我去看我的医生,他们可能会使用这个工具

它现在对像我这样的人的性能如何?好的,你说的是透明的。这意味着这些地方进行的质量保证测试的结果是否可以提供给不仅仅是对测试感兴趣或委托测试的医院系统?是的。我们的目的是,要成为 CHI 认证的质量保证实验室,您需要能够立即共享该结果。

公开地。公开地。好的。所以任何人都可以获得它。如果你能做到这一点,那将清除医疗保健和人工智能面临的一个主要障碍,对吧?

部分原因是法律。我们要保护人们的隐私。我明白了。但同时,我们也经常听到供应商或开发人员说,我们不会给你我们测试过的数据集。我们不会告诉你它到底是如何工作的。这里只有结果。这尤其是在我们的健康方面,我认为这会让很多人犹豫。所以你承诺要要求这些结果的透明度?绝对的。如果你问我什么是可能最单一最重要的

负责任的人工智能原则,那就是透明度。如果我们想建立对人工智能的信任,我们就有一个巨大的信任问题。一次又一次的民意调查、一次又一次的调查显示,大多数美国人都不信任人工智能,尤其是在医疗保健等后果严重的用例中。

如果我们想解决这个问题并建立这种信任,那就从透明度开始。例如,这涉及到为 CHI 走到一起的人或群体。我在这里看到,如果我错了请纠正我,这是来自 Politico 的报道,近 3000 家行业合作伙伴加入了您的努力。没错。所以很多。

显然,其中许多是医疗系统,但我将关注技术的实际方面,包括微软、亚马逊、谷歌。我们还应该知道哪些其他大公司?我认为 OpenAI 就是其中之一。Anthropic,其他。好的。所以,再次......

我对这些公司的动机高度怀疑,因为首先,它们都是营利性公司。他们拥有科技界最聪明的人才。这不是我有什么问题的地方。是他们的动机,对吧?OpenAI 是一个非常有趣的一个。我的意思是,Sam Maltman 在他所说的方面到处都是

他认为它应该是私有的,应该是公开的。OpenAI 是营利性的吗?是非营利性的吗?我的意思是,很难理解这家公司实际上想做什么。正因为如此,患者如何才能信任——

他们的最佳利益在这 3000 人的群体中得到代表?让我换一种说法。例如,在董事会中,谁坐在董事会中,谁的工作是代表美国 3.3 亿患者进行倡导?好问题。因此,在我们的董事会中,数字医疗教育协会的首席执行官 Jennifer Goldsack 是患者社区倡导的董事会代表。

这在 CHI 中非常重要,因为我们是由我们的会员驱动的。正如你所描述的,我们有很多不同的利益相关者。我们希望确保董事会能够代表这些重要的利益相关者。如果你问我,患者社区利益相关者群体是最重要的。所以这是詹妮弗的工作。

但我认为你提出了一个非常好的观点,那就是当激励措施并不完全一致时所面临的挑战。我认为这就是我们在当今医疗系统中所面临的现实。我们有营利性制药公司、营利性医疗器械制造商、营利性技术公司。医院系统。医院系统,所有这些都为我们的患者提供工具、技术和护理本身。我们如何协调

以确保我们为患者提供高质量的护理并建立信任的方式是挑战的一部分。因此,这就是为什么透明度在这里如此重要。你提出了这个概念,例如,你是如何训练你的模型的?你用什么数据来训练它?你是对的。许多技术供应商,我认为这是正确的,

不愿分享这一点,因为这通常是他们的知识产权所在,对吧?他们是如何训练这些数据的?他们到底使用了什么数据?如果我完全透明地分享所有这些,还有什么能阻止你或其他人做同样的事情呢?因此,这是一种平衡行为,在想要保护其知识产权的供应商与想要合法了解这一点的医疗系统和患者之间

该模型是如何训练的,因为这会影响它实际上对像我这样的人的性能。

因此,就进入 AI 营养标签的细节达成一致,该标签描述了你是如何训练该模型的?你使用了什么数据集?这是挑战的一部分。但这也是我们在创建标签时所达到的目标,即供应商可以接受的、患者和医疗系统作为 CHI 的一部分可以接受的关于数据训练的商定细节。好的。所以我理解去年秋天——

你去了国会山,向两党人士介绍了许多这些想法。好吧,自从 2024 年 11 月以来,感觉已经过去了一千年了。现在我们在 2025 年 2 月,新政府上任了。

很难真正了解特朗普总统如何看待人工智能和医疗保健。但据我了解,国会议员对这一想法有一些担忧。例如,我在这里看到加利福尼亚州众议员 Jay Obernolte。他是一个

共和党人,显然他写信给或至少写信给拜登政府的成员,正式警告说你们的保证实验室实际上——这很有趣。这与患者无关,而是因为进行 Chai 的 QA 流程的成本而使初创企业处于劣势。是的,我认为在 Chai 的早期,对我们实际做什么以及我们试图实现什么有很多误解。是的。

有了质量保证资源,如果你问任何科技领域的初创公司,特别是健康科技领域的初创公司,除了筹集资金之外,最大的挑战是什么,那就是获得高质量的数据。

要在医疗保健领域训练 AI 模型,您需要访问高质量的数据,这些数据本质上是私密的、敏感的,并且不会广泛共享。那么你该如何做到呢?这是一个真正的挑战。这些实验室能够做到的是拥有一个由 30 多个医疗系统组成的生态系统,所有这些系统都签署协议,基本上说,

我们在这里,我们希望与技术公司合作,以强大、高效、快速的方式训练模型。所以恰恰相反。当我与 Obernolte 众议员会面时,我分享了这一点。这些实验室旨在加速初创公司的创新。

这完全是一项私营部门的努力。所以,我的意思是,我们,你知道,当拜登政府表示有兴趣加入 CHI 并为他们提供席位时,我们感到非常兴奋,他们是我们启动的每一个工作组的一部分。我已经与特朗普团队分享了同样的观点,即我们相信公私合作。这是私营部门牵头的。

而且,你知道,新政府非常欢迎参与我们的工作组。是的。你知道,很清楚。我完全不否认技术发展如此之快,以至于完全不切实际且不明智地假设联邦政府可以成为主要的,比如说,测试者或监管监督者。因此,某种形式的伙伴关系对我来说很有意义。但是

也许将来我们会请你回来看看情况如何,因为监管俘获问题不会离开我的大脑。但我们这里只有一分钟时间,安德森医生。我很抱歉。我们可以再聊一个小时。我在节目的开头提到过,你也是服务欠佳社区的家庭医生。所以请用最后 30 秒的时间向我描述一下,为什么这种经历让你相信人工智能在医疗保健中的重要性。

如今,许多医生和护士都面临着无法看所有需要看的患者的挑战。你知道,在一天之内,你可能会看超过 20 个病人。这会让提供者和护士非常精疲力尽。这是不可持续的。我认为一个令人清醒的事实是,我们必须毕业超过两个医学院学生班级,才能弥补每年自杀的医生。而这部分原因是倦怠问题。

当医生倾注他们的心血来服务服务不足的人群时,例如波士顿和我在那里工作的更大洛厄尔劳伦斯地区的人群,重要的是我们要为他们配备工具,

以实现他们想要提供的这种服务。我相信,人工智能具有帮助我们的巨大潜力。你知道,我还想到了美国各地许多农村社区,他们看到他们的医院或诊所关闭或合并。即使是获得初级保健也越来越难了。

好吧,Brian Anderson 医生,他是健康人工智能联盟(CHI)的首席执行官兼联合创始人。非常感谢您今天加入我们。非常高兴来到这里,梅格纳。我是 Meghna Chakrabarty。这是 On Point。