How SDSC Uses AI to Transform Surgical Training and Practice - Episode 241
26:08 Share

玛戈·马森-福赛思，外科手术数据科学集体（SDSC）的机器学习主管，讨论了人工智能驱动的视频分析如何改变外科手术培训和实践，使手术更安全，并惠及全球数十亿人。</context> <raw_text>0 您好，欢迎收听NVIDIA AI播客。我是您的主持人诺亚·克拉维茨。我们今天的嘉宾是一位机器学习和人工智能领域的领导者，她参与的项目范围很广，从可持续性和重新造林工作到为环保时尚达人创建虚拟服装交换平台。但在过去一年半左右的时间里，她一直担任非营利组织外科手术数据科学集体（SDSC）的机器学习主管。

在那里，她领导的研究重点是利用手术的视频数据来开发工具，为外科医生提供关于他们表现的即时反馈和见解。她最近还发表了一个题为

《为什么你希望人工智能观看你的手术》的TEDx演讲，我鼓励大家在听完我们的谈话后去YouTube上观看。因为她现在就在这里，要和我们谈谈人工智能帮助外科医生为每个人带来更好医疗保健的潜力。玛戈·梅森-福赛思，欢迎您，非常感谢您加入NVIDIA AI播客。你好，诺亚。感谢你的邀请。

玛戈，也许我们还可以再谈谈你的背景。我在引言中稍微提了一下。在学习机器学习并利用你的技能和经验进行大量人工智能工作后，你参与了各种项目，我们称之为“为了公益的人工智能”项目，但在我看来，这些项目实际上是在帮助改善每个人的生活质量。所以也许你可以详细说明一下，然后带我们了解你如何开始参与

外科手术数据科学集体（SDSC）。是的，当然。就像你说的，我已经在人工智能领域工作了相当长一段时间。我的第一个学习领域是计算机科学，所以我做过足够的软件开发。然后我意识到我想做更多科学项目，所以我回去完成了我的硕士学位，并专注于计算机视觉。

计算机视觉是我非常热爱的东西，因为我是一个非常注重视觉的人。因此，分析图像和视频是我非常热衷的事情，我会这么说。而且

从那时起，我参与了许多不同的项目，处理过非常大的视频和图像文件。就像你说的，我参与过几个项目，从分析木材扫描到分析卫星图像以检测森林砍伐或分析外科手术视频。这绝对是一次相当精彩的经历。我

我学到了很多东西，主要是在如何将人工智能产品化以及我们如何利用人工智能对世界产生影响，并且关注的是它是否真的有用，你知道，并在某个时候产生影响。

这就是我迄今为止职业生涯的概况。你是否发现你所参与的项目，是出于对下一个技术或科学挑战的吸引，是追求技艺并不断突破计算机视觉以及图像和视频分析能力的界限？还是你更受这些不同项目的使命驱动？

或者你只是发现自己能够同时兼顾这两方面的优势？我会说两者兼而有之，是的。非常幸运。是的，总是。我的意思是，我一直对不同的科学充满热情。所以我很难只专注于一件事情或一个项目。而且

当我了解气候技术时，例如，我真的很想看看我如何才能提供帮助，以及人工智能如何帮助处理所有这些巨大的卫星图像。你知道，遥感处理起来非常困难。然后我

我了解了外科手术视频，我了解到有数千兆字节的外科手术视频没有被使用。这是一个相当大的挑战，因为外科手术视频非常庞大，非常长。你可以想象一下八小时的手术过程。没有人真的想看这些视频。所以当时我在想

人工智能确实是这种数据的完美工具，这种数据非常庞大，非常长，而且还具有时间元素，这

相当困难。当我想到这一点时，这是一个非常有趣且有影响力的项目。但在技术挑战方面，我认为它也很有趣。这实际上就是我加入SDSC的原因。那么你是怎么发现的呢？是什么吸引你去看大量的外科手术视频？

当我遇到创始人，一位儿科神经外科医生丹诺霍博士时，我开始在外科手术数据科学集体（SDSC）工作。他向我介绍了这个问题。你知道，他告诉我，他把所有这些视频都保存在硬盘里，但他什么也没做。我知道我的许多同事、朋友和其他外科医生都有硬盘，里面保存着数小时甚至数小时的外科手术视频，而这些视频只是静静地放在他们的桌子上，并没有真正发挥任何作用。

是的。为了给听众，也包括我本人，提供一些背景信息。手术通常都会录像吗？这些是人体内部的摄像机，用来引导外科医生，还是手术室头顶的摄像机？或者这是如何运作的？外科手术视频。我，

这是一个很好的问题。它非常多样化。我们有很多内窥镜视频和显微镜视频。例如，内窥镜会穿过鼻子或身体的任何其他部位，你需要在里面看到。实际上，内窥镜视频对我们来说是一个非常好的数据点，因为我们看到计算机视觉算法看到了外科医生看到的东西。这非常宝贵，因为这些视频中包含大量信息

对于显微镜视频，外科医生有时在手术时也会使用它来放大他们正在观察的东西。例如，如果他们在操作非常小的动脉，他们需要进行这种高强度的放大。这就是他们将要使用的。通常情况下，它对他们来说是3D的，我们也有一些3D视频。所以是的，它混合了显微外科手术视频、内窥镜视频。

我们还没有手术室的视频，你知道，就像安全摄像头一样，但我们的一些合作者使用这种视频来了解手术室里发生了什么。是的，所以你，

你遇到了创始人。所以外科手术数据科学集体（SDSC）已经存在，你遇到了创始人并参与其中？是的。那是在很早的时候。外科手术数据科学集体（SDSC）是一个由丹诺霍博士创立的非营利组织。其主要使命和主要理念是创建和分析数据。

一个外科手术视频库，以改进外科手术技术和患者预后。因为直到今天，仍有50亿人无法获得安全的手术，并且全球至少有420万人死于手术后30天内。

因此，如果我们将手术视为一种疾病，它将成为主要的死因。这就是为什么，你知道，SDSC的目标是利用这些年度外科手术视频来识别最佳实践，支持医学教育，甚至在手术前预测潜在的预后和并发症。是的。所以我们有其他的……

医疗从业人员和来自医疗行业的嘉宾参加了播客，谈论到的事情是，想到的是分析静态图像，你知道，X光片和扫描，并使用人工智能来发现事物，通常就像你说的那样，在超高放大倍数下，你知道，癌症预测等等。

告诉我们分析所有外科手术视频中涉及的一些机遇和挑战。我认为，首先，挑战在于收集数据，然后处理所有数据，但带我们了解一下。是什么，你知道，你说过改进最佳实践和实时反馈，所以也许你也可以谈谈这个。

是的。正如你所说，第一个挑战实际上是收集所有这些数据。正如我之前所说，许多外科手术视频都存储在硬盘上。要访问这些硬盘非常困难。有时，你知道，你必须飞到某个地方，与外科医生会面才能获得视频。大多数情况下，视频甚至没有被录制。

因为人们不知道它们可以被用来做什么。那么他们为什么要录制呢？所以实际上最大的挑战之一是要求人们按下录制按钮。-是的，我在笑，但我可以想象，如果我是个外科医生，这可能是我最后考虑的事情，对吧？-没错，是的。我的意思是，这绝对不是优先考虑的事情。然后如果他们考虑录制，也就是按下这个按钮，他们必须从设备中导出视频

拿着U盘四处走动，将视频上传到笔记本电脑，上传到云端。对于这些非常忙碌的人来说，他们每天还有很多其他重要的事情要做，这里有这么多步骤。这绝对不是优先考虑的事情。所以这是我们的第一个挑战。这是我们遇到的最大挑战之一。

但我们在收集至少一个良好的外科手术视频库基础方面取得了相当大的成功。到目前为止，我们大约有40TB的外科手术视频。好的。我们预计会得到更多，你知道，另一个挑战是获得多样化的外科手术视频。

我们显然不希望，对于人工智能模型来说，我们不希望来自一家医院的一位外科医生进行相同手术的视频。数百小时的扁桃体切除术只能让你走这么远，我想。是的，没错。所以另一个挑战是如何从医生那里获得这些视频

不同的来源和不同的领域，这也是大量的网络工作，因为你必须去和人们交谈，要求他们录制，然后做

他们是否愿意与我们合作，以便我们开始收集这些视频？所以这是数据收集这一挑战的另一个第二部分。但就其他挑战而言，显然外科手术视频相当长，但它们也是时间的函数。所以是视频，对吧？所以这是一种不同类型的模型，你会用它来处理静态图像。我们有与你将用于其他模型相同的架构，但是

但是我们总是必须考虑视频中发生的事情的时间性。这实际上是我们实现大多数模型的方式。假设你接受过训练来跟踪外科手术工具，你知道，你必须考虑外科手术视频中随之而来的所有挑战，这些挑战将是障碍，有时你会有，你知道，血液喷溅之类的事情。你想能够开始尝试工具而不会丢失它们或……

谁在处理这些问题，这些问题与其他计算机视觉问题非常相似，但由于这些环境的混乱程度，它稍微更具挑战性。当然，我只能想象。所以从技术的角度来看，你知道，显然有

我们现在经常在新闻中听到关于视频模型被开放供消费者使用的事情。你已经与数据科学集体合作了两年了，对吗？是的。所以你使用，你正在自己构建工具吗？你是否使用现成的工具并对其进行修改以适应你的需求？你是否与其他人工智能实验室有合作关系？你如何微调工具以获得你需要的输出？我

你刚才说的所有内容的混合。我们通常会，所以，你知道，我们是一个相当小的团队和一个非营利组织，所以我们会尝试对我们来说最有效的方法。很多时候，我们会重复使用一些现有的架构，然后根据我们的需求对其进行微调。组合一些架构是我们经常做的事情，尤其是在时间模型方面，所以有……

你知道，CNN和时间架构的混合，或者我们一直在玩很多视觉转换器，最近是视觉文本转换器，这就是你在这里谈论的大型模型。我

而且很多时候，我们总是会小心对待新技术。所以我们想尝试它们，我们想确保我们掌握创新的最新动态，看看我们是否可以将其应用于外科手术数据科学领域。对于这种数据来说，相当

有趣且具有挑战性的事情是，它需要很多专业知识，作为计算机科学家、工程师，我们并不具备。因此，我们需要与临床医生和外科手术专家密切合作。这实际上是工作中最重要的部分。甚至不是模型架构或新的酷炫人工智能工具。对我们来说，真正重要的是理解什么

专业知识是什么，然后应该应用哪些模型来提供对外科医生有用的信息。你能否带我们了解一个例子，如果我错了请纠正我，但我可以想象你与外科医生和其他医疗专业人员和机构有合作关系，你是否向他们发送图像？

图像或视频只是为了分析并让你知道他们看到了什么，或者是什么，我想知道这个过程是什么，或者从片段和人们揭示片段到其他从业者可以从中受益的结果是什么，无论是新的技术还是改进最佳实践等等，对于我们的大多数合作，我们

我们将与拥有视频但没有计算机科学知识的临床医生和外科医生合作。所以他们会来找我们做所有的计算机视觉和分析。当他们开始与我们合作这些项目时，也许我可以通过一个具体的例子来说明

我们一直在与几个专注于外科手术教育的非政府组织合作。其中一个叫做AllSafe，他们专注于向低收入国家的学生教授外科手术程序。他们通过数字平台进行教学。所以是网络课程，然后通过视频进行复习。

所以我们在这里试图看到的是，我们能否分析这些视频并通过计算机视觉为学生提供反馈？而且

这很有用。所以重点是这很有用。然后我们将致力于开发计算机视觉模型来提取我们需要提取的特征以进行分析，然后与临床医生和外科医生合作，确定他们究竟需要什么反馈，或者他们认为我们应该关注什么？因为大多数时候，你知道，我们会看一些东西，而我

我会用我的工程师思维去想，哦，我会看这个特征，我会制作这个图表，它会很棒。然后我说，他们说，什么？

这就是为什么它被称为社会编码数据科学集体，因为第一步是与临床医生和计算机科学专家建立一个社区。我们还与计算机科学家群体进行了一些合作。

我们将与他们合作分析我们拥有的部分视频。这几乎是两者之间的联系：我们有希望做一些非常具体的事情的外科医生，我们有计算机科学家合作者可以帮助我们完成这项我们可能没有带宽的任务。所以我们也在努力扩大我们社区的这一部分。

以真正产生影响并扩大规模，因为它不仅仅是我们，它将是一项全社区的努力。-我正在与玛德·梅森·福赛思交谈。玛德是外科手术数据科学集体的机器学习主管，这是一个非营利组织，它使用人工智能机器学习工具来分析手术的视频数据，以开发

工具和反馈循环以及其他机制，可以帮助外科医生了解手术过程和技术的见解和反馈，并真正为全球更多的人带来更好的医疗保健，正如玛戈刚才谈到的那样。你提到，你知道，现在做人工智能研究的非营利组织有点不寻常。那是什么样的？有些事情要么是，你知道，好吧，我的意思是，我当然可以想象资金

资源是一个问题，对于几乎所有非营利组织来说都是如此。但是，作为非营利性人工智能研究小组，是否有特别突出的事情？作为非营利组织，有很多有趣的方面。就像你说的，资源确实有限。所以我们必须在训练计算机视觉模型的方式上更有创意。

我们总是从简单开始，这实际上是我一直以来所做和倡导的事情，那就是如果你想启动一个计算机视觉项目，也许你不需要从现有的最大模型开始。你知道，从一个小数据集开始，做一个概念验证，然后迭代。这就是我们作为开发管道和研究管道所拥有的。我们总是从简单和小规模开始，然后扩展。这很好。

因为我们的资源，显然。但对我来说，这实际上是一件好事。如果我有10倍的预算，我也会这样做。我可能会这样做，但这在某种程度上有所帮助。然后……

它带来了许多不同的项目。作为一个非营利组织，我们能够从事一些项目，如果我们是营利性组织，我们可能无法从事这些项目。当然，这实际上将完全不同。这就是为什么当我第一次遇到丹诺霍博士时，我真的很想尝试SDSC，因为我对它很好奇。我想，我们该怎么做呢？你知道，我从未做过人工智能。我从未见过在非营利组织中进行人工智能。有一些其他的，但是……

它真正专注于研究和社区，我相信你无法在营利性组织中做得这么好。我们将根据迄今为止发生的事情或你对近期情况的看法来回答这个问题。对于临床医生和患者来说，你已经看到或期望从以下方面获得哪些好处，你知道，不仅仅是你自己在集体的努力，而是更广泛地利用人工智能来帮助

外科手术过程？我相信人工智能领域将为医学领域带来许多新的好东西。在外科手术领域，这是我主要接触的领域，它将带来很多标准化。我在这个领域工作时发现的一件事是，每家医院的每位外科医生都会以不同的方式进行手术和操作，没有人真正知道……

A、B、C、D如何进行特定手术。因此，通过在这里使用人工智能工具，首先鼓励人们收集数据。所以首先我们将获得外科手术视频。我们将最终开始查看这些未被查看的视频，然后在全球各地的外科医生之间共享这些视频。这将带来很多稳定性

标准化，或者至少他们将开始互相交谈，我认为这是一种美好的事情，因为现在你并没有真正的好方法来互相交谈。通过外科手术视频，希望他们能够开始互相交谈。当你想象到这么多应用时，例如，我总是会想到教育。与其使用带有图画的医学教科书，不如让学生观看

关于如何进行特定手术的教程。我认为这是一个很大的区别，它将改变很多事情。然后能够通过分析外科手术视频来找到最佳实践将非常有趣，因为谁知道

这些视频中有什么。还有很多东西有待发现。当我们考虑这些数据时，需要有很大的创造力，因为没有人曾经看过这些数据，也没有人真正考虑过我们可以用所有这些数据做什么？我的问题是什么？我想得到什么答案？

是的。这实际上是我们的挑战之一，有时我们会问外科医生，哦，你想通过你拥有的所有这些视频来回答什么问题？他们真的不知道，因为他们以前没有这个选择。

是的，这很有趣。这让我想起了，我提到了一些核磁共振成像和扫描分析以及心脏护理之类的例子。我在想人工智能工具能够帮助从业者发现，你知道，在非常非常，你知道，纳米的基础上发现细胞的差异，对吧？但即使是这样，我在想，哦，好吧，他们知道他们在寻找什么。

或者即使是他们在寻找异常，它仍然是某种程度上我们知道我们在寻找什么。但是，是的，对于手术，我非常天真，你知道，在这次谈话中对这个领域知之甚少，认为，哦，好吧，你知道，视频片段被用来训练人工智能系统。那么我们是否正在朝着，你知道，为人类提供更好的教育，甚至训练机器人？

手术臂或类似的东西。但听到你说这话真是令人着迷。作为一个非外科医生，我认为这对我来说是有道理的，他们会寻找什么？这与寻找，你知道，可能突出的细胞中的异常并不相同。我认为在开始时，可能是在他们第一次开始用人工智能分析核磁共振成像时，他们也必须有创造力，因为

有人必须提出这些问题。对于外科手术视频，第一步将是寻找异常，这实际上是我们现在开始做的，什么是异常值？谁在使用这个工具，而其他人没有在相同的手术中使用它？所以我们从低垂的果实开始，我想。但是更深层次的……

存在性问题还没有出现。我真的很高兴与临床医生合作，通过向他们展示数据来帮助他们提出这些问题，因为没有人会提出这些问题。这必须是每天都在手术室工作的人。实际上，视频是一个非常好的数据来源，但还有更多的事情正在发生。显然，有，你知道，患者数据，有患者预后，有手术室里发生的一切。而且

我们所有的工程师实际上都在手术室里，以便他们了解摄像机后面发生了什么。我也去过手术室几次，这真的帮助我更好地理解了正在发生的事情。有时当我们接触到一个新的手术时间时，我……

去手术室，因为我想更好地理解，比如一些随机的问题，有时像你在哪里，它在身体的哪个部位，或者有多少人在操作，因为有时不止一位外科医生，只是有很多事情你无法在视频中捕捉到，但显然视频中仍然有很多信息，太棒了，那么

对于想了解更多信息的听众，或者希望有一些外科医生，一些临床医生正在听，他们正在想，哦，我有一个外科手术视频，你知道，放在硬盘架上的某个地方。也许我可以发送它并帮助这个事业。听众可以去哪里了解更多关于外科手术数据科学集体正在做的工作的信息，你正在做的工作的信息？

也许还可以作为合作伙伴参与其中，谁知道呢？听众可以去哪里了解更多信息？-我们的网站是sojucorvideo.io

你也可以在社交媒体上找到我们，外科手术数据科学集体。我还想鼓励任何想从事他们一直在从事的不同项目并且对外科手术人工智能感兴趣的计算机工程师、计算机科学家也联系我们，因为我们在这一方面与很多不同的部分合作。所以任何感兴趣的人都应该联系我们。太棒了。

玛戈，非常感谢你抽出时间来参加播客，并谈论你正在做的工作。我不知道，像这样的故事，技术方面与社会影响相匹配，我认为只是太棒了。

精彩的故事。对每个人来说都有一些东西，对吧？听起来你正在找到一条非常有趣的途径，将你的技术兴趣与你自己的工作中的影响结合起来。所以祝贺你，并祝你和你在集体的所有合作伙伴和同事一切顺利。好吧，谢谢，你知道，感谢你邀请我参加播客。我真的很享受这次谈话。我也是。很荣幸。谢谢。