医学影像领域的数据获取更为复杂,且涉及隐私保护问题。此外,医疗领域的算法优化和算力部署也更为复杂,因为需要处理的专业细分数据更多。
AI在医学影像中的应用包括自动化分析CT、MRI、超声等图像,进行病灶识别、异常检测等任务。还可以用于临床决策支持、个性化治疗、药物研发和患者监测等。
AI通过深度学习自动学习高阶的语义特征,这些特征通常比人为定义的特征更有效。此外,AI的学习能力在不同任务中是通用的,能够减少重新设计规则的需求。
准确性因任务而异,全脑全肝等器官分割任务可以达到9分甚至9.5分,但复杂病灶检测任务可能只有5到6分,尤其是在不同医院或扫描设备数据上表现不稳定。
医疗数据比自然图像更难收集,且涉及隐私问题。目前通过医院联盟和联邦学习框架来解决数据缺乏性和多样性问题,同时保护隐私。
AI医疗产品主要通过AI加人模式或应用于低风险体检领域。商业化还需要与临床一线人员保持沟通,了解需求,并通过融资和政策支持推动。
医院联盟通过联合收集数据,提升模型的泛化能力和多样性,同时通过联邦学习框架保护隐私,促进医疗AI的发展。
未来趋势包括大模型的应用、多模态信息的融合以及AI模型的透明度和可解释性。大模型能够通用地帮助各种下游任务,多模态融合利用多种医疗信息,而透明度和可解释性则有助于提高AI的可信度。
大家好,欢迎收听 AI Odyssey 这是一档探索 AI 的博客无论您是专注于 AI 产品开发的创新者技术革新的先锋高效运营的策略家还是热衷于 AI 领域的猎手 AI Odyssey 都将为您提供深度洞察和前瞻性观点在这里,我们不仅分享知识和经验更探讨如何利用 AI 赋能现代商业和科技未来现在,让我们一起开启这场关于智能科技产品创新和投资前沿的对话吧哈喽,大家好,我是 Leo
我是彭彭今天我们非常荣幸邀请到了复旦大学的工程师郑仁成来和我们聊聊 AI 在医学影像领域的作用首先让我们欢迎一下郑工郑工和我们的听众朋友简单的介绍一下自己吧好的 感谢主持人大家好 我是来自复旦大学内脑智能科学技术研究院的郑仁成我目前在白院担任算法工程师的一职我的一个研究方向主要是人工智能算法
以及他在一个医学影像自动化分析中的一些应用那今天也是非常高兴收到 Rio 以及我同学司鹏的一个邀请来和大家探讨一下 AI 技术在医疗领域目前的一些应用现状以及一些未来的一个发展趋势好 感谢郑工在我们进入正题之前我想先和大家简单的回顾一下医疗影像这一块的发展历程
其实早在 15 到 17 年之间医学影像 AI 就经历过一波风口了当时市面上涌入了大量资金创业的热情也非常高很多互联网大厂或者非医疗领域的玩家都纷纷地涌入这个赛道然后当时创业者主要面临两个问题一个是很多懂技术懂算法的人他不太了解医疗领域和这个业务另一块是一些优秀的医学影像数据资源它是非常难获取的
那么今天借着这个机会,我们也想请郑工聊一聊 AI 在医学影像领域经过这些年的发展,它现在的现状是怎么样的呢?好的,总的来说我觉得 AI 技术在医疗领域它发挥了一个作用,在近些年来已经有了一个很大的提升,并且我觉得会在未来发挥越来越大的一个作用,而且它能够应用的面其实很广,
因为医疗领域本来就是一个很大的一个方向我举几个例子比如说在影像准断方面我们可以基于 AI 算法去自动化分析像 CTMRI 超声各种各样的一个扫描图像去进行一些像冰噪识别异常检测等等的一些任务其实我个人在也是在这方面做的一些研究会比较多然后我也切切实实能感受到就是利用 AI 技术是真的能够帮助到领防医生
我印象比较深的一个例子呢是之前和瑞金医院合作的一个课题当时呢做的是一个小肝癌的一个检测小肝癌嘛它的一个尺寸会比较小然后它的一个影像学的真相呢也不是很明显那医生呢在一定的一个月片时间里面呢其实很容易出现像漏诊这种情况那我们呢就是针对性的开发了一套自动化的一个检测算法那做出来呢发现敏感性非常高
然后我感觉他们当时他们医生还是其实很震惊的我觉得他们发出一种感叹 AI 真的很神奇对然后我就是觉得确实像这样是真正的能够协助协助他们在这块做得更好所以我印象很深那其他方面像做一些临床决策的一些支持然后个性化的治疗药物研发患者检测等等这些方面其实也有很多的一个应用
其实另外还包括他们更拓展的来说他们有的医院系统利用 AI 技术进行一些排班等等去实现更科学的一些人员调动资源分配这种所以我觉得它的面是非常广的它的应用程度也会越来越深这是我的一个现状的一个看法其实我想问一下比如说
除了您刚才说的这个漏诊的问题能不能再跟我们详细解释一下比如说相对于过往那种传统的技术来说那 AI 具体是在哪几个点去提高这种医生诊断的一个效率和准确度的相比于传统的算法呢我觉得 AI 更加依赖数据它进行一个自我学习在这边我以深度学习为代表
他会通过生成的一个网络呢自己去学习那些高阶的表达能力更好的那些语义特征那在数据集比较充分的情况下呢这些特征通常会比我们人为定义的那些特征更加有效从这个点上呢他可以提高像我们刚刚说的那种频道检测的一个性能然后呢当我们的这个数据集越收越多越来越前面那 AI 的这种能力我觉得会就会体现的更加强大吧
另外呢,其实我觉得这种学习能力在不同任务中是通用的,那像传统算法设计了一套规则,那往往它能对这个指定的任务有效嘛,那可能换一个任务我就得重新设计,但是 AI 这种就可以作为一种通用的工具去学习相应的表征,在不同的任务里它这种学习的机制其实是比较一致的。
我其实对一个点的技术挺好奇的比如说你刚才说的医学图像的一个检测它可能会涉及到一些 segmentation 或者是一些 classification 我就挺好奇比如说像这种模型算法在医学的一个发展的大致的历程是怎么样怎么一步一步提高它的准确度的
确实我觉得准确度其实在这些年是在不断的被刷新上界这也得益于多个方面首先我觉得可能我们肢体的数据已经越来越多 AI 本来它就是一种数据驱动的算法数据越多它的一个性能就会越强大其次像这种分割模型像这种框架其实也是越来越先进的越来越合理像我们可能最之前用的一些像 CNFCN 之后
RestNet 这种框架提出去解决网络深度的问题另外我们也会针对一些图像去提出一些针对性的框架像 UNet Bnet NNUnet 这种框架在后面我们可能进一步关注到了注意力机制把它加入到网络去进行一些针对性的学习近些年来比较火的一些框架像 TransformerFacial Transformer 提出在一些分割任务中又实现了这个突破
我觉得这种框架也是一直推陈出新发展的非常快这个方面其实我有两个小小的问题比如说第一个问题就是你刚才提到对某些器官来说现在分割做的相对来说比较成熟比如说我想作为医生来说我想检测比如说哪个地方长了
结石或者是癌变这样子它是比较针对于某个特定的器官是说只要我想检测的结石可能很多器官的结石我都一次性能检测到大多数的 AI 模型还是针对于某个特定的脏去进行一个病灶识别的因为首先不同器官它的病灶表现以及种类一般也会有比较大的一个差别即便是种类一样那它在不同器官中的表征可能也会有差距
当然您说到这种类似通用模型的方式我们很期待医生也很期待但我觉得我个人觉得对于结石这种表现比较稳定的把点还是在将来还是很有可能去实现一个跨器官的建模
其实我还是有还有个问题就是在于你刚才也说是不是现在这种艺术风格还是主要使用的是传统的这种比如说像最近比较火的这种大模型它有一个比较常见的功能叫做特效理解
对它可能也会帮助比如说像一些成像有很多大批量的成像然后它一次性给你用个语言做一个 representation 然后解释一下哪个部位长到了什么东西或者哪个部位有什么样的问题
大模型这块其实是怎么说非常活的一个点目前就是因为 AI 的本质它还是数据就是我们想让 AI 自己去学习数据里面的一些信息规律那你肯定要给它提供足够的一些包括就是很全面的一些数据它的性能才会更好更稳定图像理解这块其实我打个比方其实我们一般来说从头开始训练的模型相当于是从婴儿开始学习
那尽管我们比如说最终目标是一个并造的识别那他也要需要从这些边啊角啊这些基础的特征选取去学习那一步步去理解图像那其实这个基础的学习也是耗费数据量嘛那其实这部分我们就可以通过预训练的一个大模型
去获取也就是说我们去迁移了在很多数据上训练过的大模仪进行模型迁移后我直接是一个高中生或者说大学毕业生的姿态去学习后面这个并造识别的任务了也就是说这个模型在迁移后它其实已经具备了一定的一个图像理解能力那它对于它后续
去学习那种复杂的任务的成本就降低了很多那对于相应的任务的学习数据的需求量也会大幅度减少
嗯明白你刚才说了有一个点就是利用这种 AI 作为一个实际的一个工具比如说比如说我现在听到有很多人说想用那种知识的 AI 做一个医疗的 AI agent 就可以帮助比如说医生去记录一些病人的血压和日常体检的一个状况或者是查房子记录这样子
不知道你周围有没有人做过相关的事情有没有尝试过用这种 AI 作为一个辅助的 agent 我了解过一些比如说我记得有一些手环产品它能监测你自己的一个身体情况吧或者说是监护老年人的那种生活起居比如说你人摔倒了或者说是出现一个很危险的姿势它就会报警并且通知你的一个家属
另外呢,想检测到你的血压心率这种数值,然后就给你一些休息啊,饮食方面的健康建议。那另外呢,我可能我举一个另外一个问诊的例子吧,就是患者就医,初期他可能会去需要去咨询很多问题吧,那平时我们会去安排医生去解答,
也会很耗费医生的时间。这种情况下,很多基础性的问题,AI 是可以去做一个很好的解答的。所以现在也会有一些平台去设计 AI 机器人的问诊方式。再高端一点,其实现在像放射客拿到扫描影像,也有 AI 的一个机器人被设计,他用来去自动的写出中诊的报告。
其实你这种方面他就可能有一定的一个看头能力这些是都是作为一种目前可能存在的一些工具去正式的去帮助到医生啊患者这种情景
明白那可能就涉及到下一个我们想一起聊的话题就是说你刚才也说了就是 AI 的技术应用最好落脚点就是在这个医院那可能整个的 AI 医疗的发展也会面临着相关的一个挑战比如说第一个挑战就是这个
数据的这个问题 AI 医疗的数据到底是怎么去获取获取的时候要注意哪些问题数据其实我刚刚说了一部分数据其实是 AI 的一个本质核心那医疗数据其实比自然图像它更难收集
当然我们就是因为大家现在也注重到这个问题以前可能是单个研究院或者是单个医院用单干利用自己的数据我在自己的数据集上获得了一个很好的效果我也不管我应用到其他范围其他数据上有什么作用当时说实话就是刚起步的时候文章都比较好发所以可能针对一个数据集跑的东西我文章发出去好了这个东西就结束了
但是大家可能做的越来越多了就觉得这种模式是行不通的我可能只能去针对这个数据以及获得一个好的结果发一篇文章但是对于它的一个临床应用其实并没有多大用处因为其实真的装上去的时候我发现来了一批新的数据就是装到其他医院完全又不行了所以我们现在还是会国家医院去联合一个是解决这种数据的缺乏性
也是它的一个数据的多样性有一个提升我们现在的模型一般也会基于很多个外部中心数据去验证总的来说整体的研究质量会更好然后它对于使用也是更有帮助的像数据隐私这方面其实我们现在做的脱明还是挺好的一般来说我们在拿到数据之前
有两种方式吧一种是拿到数据之前我们肯定会对他的一个隐私信息都会去进行一个匿名化处理如果真的涉及比较大的一个隐私问题我们也会是大一些联邦学习的框架我说的联邦学习其实就是传统的可能来说我们都是拿到数据
拿到数据后一起训练一起验证这种联邦学习其实其他中心它的一个数据其实不用给我们就是我们可能分站点去进行一个模型的搭建比如说我在 A 医院去搭了一个他自己的一个 local 的一个本地模型 B 医院搭了一个本地的模型其实我们之间的数据传输不是真正的影像数据是我这些模型的一个权重通过这种方式其实对于隐私化这块其实
它的一个帮助是很大的所以我们不需要直接访问我们中心以外的一个数据那这样也会让这些中心会更放心所以对我们来说我们处理好这种问题之后我们一个数据集的问题就有一个很大的一个缓解
你刚才说的这个数据第一个就是提高这个泛化和多样性第二个就是它保护用户的数据隐私第三个我想问一下数据的这个标注的问题因为你训练模型毕竟需要标注嘛首先比如说你标注的话是不是需要这种医学类的专门的人才去进行一个标注像我我就可能标注不出来一个非常好的医学数据
是的 这块确实也是相当于自然图像大家都能看懂就是说把那个鸟把那个熊勾出来那其实医疗影像呢也分一些情况的比如说像一些简单的任务像我去勾画一个肝脏对人来说其实你还是要当然是要培训一下但是可能经过短时间的培训
一些就是没有相关背景的人可能也是能去更换但是像这种印造它的一个轮廓其实是不是很清晰的而且因为不同态不同类型的并到其实正常的感觉这种就需要一个专业知识的人去标注所以说这块还是工作量会比较大的它的一个标注成本相对于自然图像来说也是
成本会更大所以这其实也是 AI 面临数据限制的一个动作我还想聊聊这个挑战方向关于 AI 的精确度的这个方向因为医疗这个东西它毕竟涉及到一个人的生死的问题
对所以说这个 AI 相对来说需要一个非常准确的一个 AI 否则的话医生用它可能就是一个累赘就是我现在不是很清楚 AI 影像它所达到的准确率大约是多少比如说让你给打个分的话你大约比如说十分你可以打个几分
嗯,打分的话我觉得还是得分情况吧,首先是任务的一个难以程度,比如说像全脑全肝这种器官分割,我觉得现在分割模型完全可以达到 9 分甚至 9.5 分,那像一些复杂并造的一个检测,那可能挑战性就仍然很大,这些任务里还存在的一个问题就是说,嗯,
你可能在一个 P4 的数据里性能相对已经做得很好了我可能能打个七八分但换一个医院的数据或者说换一种扫描机器的数据这个模型的性能有时候会下降的非常明显那就这种情况下我可能只能达到五分或者六分所以说这里面的一个挑战还是非常多的
那像涉及到病情很关键的时候我们要去做一些抉择那这种这种情形下我们对 AI 错误的容忍度其实会很低 AI 在这些方面的表现其实还是需要期待有更更进一步的时候对嗯
明白那比如说不知道您可不可以举一个例子比如说对于哪个部位的一个检测它大致需要多少的一个学问数据可以达到一个相对不错的一个质量这个还是会看就是任务的难易程度我举个例子因为我做肝脏比较多所以我就举个肝脏方面的一个例子比如说我肝脏的一个器官分割其实它是比较稳定的
根据我们的一些研究经验可能几十个,甚至二三四个,三四十个这种数据体量我们就能对肝脏进行一个很好的分割但是像肝脏里面的病灶,因为它里面会有很多不同类型的病灶嘛,良性的恶性的,脑肿,血管瘤,感细胞癌等等这种那这种的体量就会需要很大的一个
它相比肝脏它的一个就是它的一个尺寸就很小我可学习的范围就很小然后它又是有很多种不同的 type 像肝脏就比较稳定肝脏就是长这样肾脏就长这样很容易取区分像这种病灶它可能是它的真相是很不稳定的所以这种情况下数据肯定是越多越好这个上限其实不好说就是我们可能在几百例的一个数据上进行的一个
发现它有大概比如说我分割我的一个代次系数可以达到 0.75 0.8 左右当然我们觉得它完全没有达到上限比如说上到一两千粒它性能肯定还是会上升的对于这种情况总而言之说我们现在能够数据到的数据量肯定都没有到它到达收敛那个高度所以我也不好评估到底到多少了这是真正的 goal 这个问题让大家回答一下
这里我问个问题就是在肝脏影像检测这一块目前有没有什么产品是已经拿到了三类症的就是如果是要拿到这个症的话它需要准确性大概达到什么程度这个我可能没有那么了解但是我了解的就是可能针对于器官的分割来说目前大家的一个接受度是很高的但是对于病灶这一块
肝脏我暂时没有看到有很成熟的产品真实的应用到一个临床医疗中其实像其他结构像肺结节检测我知道还有乳腺癌那边这两块其实很多已经拿到证应用到具体的一个临床诊断中但是肝脏那块我暂时没有听说过很成熟的一些产品
明白像你刚刚说这个肺结核检测我记得是 15 到 16 年的会儿提供了一些免费的样本库给大家训练使用所以说一堆公司去做这个事情导致他现在可能这个拿到比较多的三类症所以像咱们肝脏这一块主要没有实现这块商业化是不是还是因为数据级的问题对因为
我觉得这里面涉及到一个问题就是说 Fit 姐姐我可能用 CT 去做检测就能做得很好
肝脏这块可能会比较复杂我刚刚说的那些不同类型糖种血管流肝癌这种病灶其实单纯一个平层 CT 它是不能够实现诊断的我需要一般来说是基于雌宫症而且雌宫症需要去进行一个打药进行一个对比剂的增强成效才能去区分这些病灶所以说这个
就是数据的一个成本因为我打药我要做磁共振磁共的人数肯定就更少还有一个数据量就更少所以说目前开源的数据也不是很多我觉得确实会影响到这后面的一个产品化的一个过程
我这边还有一个问题就基于刚才你们讨论这个证书的问题我很好奇就是如果这个证书的标准就比如说在检测乳腺癌这个方向已经过了的话那医生对于这种 AI 的技术的应用他们的接受程度高吗就只要过了证我就是愿意用的还是说他们还是对 AI 保有一定的怀疑的一个态度接受程度的话我觉得是
越来越高吧可能一开始不是很了解不知道是啥那其实现在 AI 其实是越来越普及的所以他们的接受度也上升而且我觉得他们接不接受
其实还是要看你产品怎么样那费节节检测因为本来就是图像上会有很多节节嘛那你全部给它全部标出来可能会有些错但是确实能很好的去缩短他们的月片时间嘛那如果能达到这个要求他们就很愿意去用因为我早点写完可以早点下来所以他们接受都会比较好
当然有时候像那种会顾词失礼的一些例子也有就是没有很好的去融合这块就比如说我这个病灶我确实给你检查出来同时我生成了另外我检查检测出来两个真实的病灶我检测出来十个其实是假的病灶那我医生还得一个去把他们提掉那这种情况下他们更愿意不愿意去用更愿意就是自己去做这个
那这种情况可能就是所以我说就是可能还是要看产品就是够不够硬这样不知道朋友可能不能给我这个小白普及一下就是在拿这个证书需要过哪几关或者大致过哪几关的检测然后才能算是一个合格的一个检测产品
好的,拿到这个医疗 AI 的三类症呢,其实是一个挺复杂的过程了解这个过程其实有助于我们理解它为什么这么难简单的说人工智能软件的证书大概分为两类一个是三类症,一个是二类症
首先三类症呢它主要是针对那些在临床中起到辅助决策作用的 AI 软件比如说帮医生识别病灶啊判断病变性质啊提供用药指导或者说制定一些治疗计划
这类产品对病人的影响是非常大的所以要求也非常严格要拿到一个三类症需要经过六个步骤首先要对产品定型然后是检测然后是临床试验注册审批最后是技术审批和行政审批整个流程非常耗时需要花大量的时间精力钱和人力以及要确保这个产品在临床上是安全有效的
拿到三类症之后才能正式进入医院被医生使用所以说三类症其实是打通临床准入的入场券相对来说二类症它的要求就没那么高了它主要是适用于那些不直接影响临床决策的 AR 软件比如说数据处理测量或者是临床参考信息这些软件不会直接左右医生的判断所以在审批上会更简单一点
那么在 AI 医疗影像领域三类症是一个重要的行业壁垒在过去几年我们其实看到市场上对三类症的态度是有变化的比如从 17 年的创业风口到 19 年的资本寒冬再到 20 年大量的三类症有一个紧喷的状态我觉得对于这些出创公司来说拿到这个证还是比较困难唯一我的一些想法是
我觉得因为 AI 其实它的一个用处还是有的在自动化那块其实是比较有优势的但是在一些高风险上的疾病来说可能大家还是会有担心患者其实有些地方它准确力做得很好但是我觉得对于患者对于医生来说他有时候可能能够接受人犯错但是他不能接受机器犯错所以我觉得
AI 产品可以在疾病筛查方面可能会更受欢迎比如说健康人那些体检领域那这种我实现了自动化解放了很多人的一个工作压力但是这个领域本来风险就比较低所以接受度比较低
在患者诊断的领域其实我更倾向于目前的模式是 AI 家人这种模型其实 AI 产品的目标我觉得应该是定义成是去辅助医生帮助医生节省一些时间给医生提供一些建议最终的拍板权还是在医生手里不要去想着替换医生这样子
我也很同意我觉得在这种高危的行业或者比较私私利物的这种行业当中最好还是有人作为一个最后一轮的一个 backup 就是让 AI 提供一些基本的信息然后人还是需要去筛选一点的否则的话就像这种医疗事故还是可能会存在的而且关乎人类的生死对而且一出一辆事故可能
一个方面对病人来说就是很糟糕然后对于一些公司来说去处理这些方面的问题可能一下子也就滑了
对就聊到公司其实我跟朋友都比较好奇就是说在推进这个 AI 医疗影像的这种商业化这个方向因为我们也知道很多的医院毕竟它的资金比较有限然后如何去可能在资金分配方向就很难去花一个大钱去买这样的一个产品给他们做这种辅助诊断
商业化这块可能不是那么专业我可能只能站在一个科研研究人员的角度说一下看法一个看法其实我刚刚说了我觉得 AI 产品还是就是要么是 AI 加人种方式要么就应用在风险性率比较低的体检方面另一方面呢我觉得我不谈出这一块方面就是说产品在说产品这块方面我觉得我们做研究的时候要么不能闭门造车我们需要和临床
医院临床的一线人员保持一个积极的沟通去真正的了解他们的需求我觉得做出来的产品他们的接受度会更高比如说我们按照我们的想法做完才去和他们推销这种产品可能这种方式会比较细小基金那块我觉得公司这块可能会还是依靠有一些融资或者一些政策的福利我觉得医院那一块后面 AI 真的
真的发挥很大功效像其实现在语言模型现在图像模型它的一个影响力确实已经很大所以很多公司愿意去做这种产品它也会有很好的一个销路医疗领域的这块目前会有一些苗头就是说但是还没有到达就是影响力真正特别高的一个程度比如说 AI 领域没有像 ChatGPT 这种这么令人震撼的产品出来
所以这块可能还是需要大家保持一个耐心去期待更好的产品同时也是就是希望有一些政策去支持这个东西的一个进展
明白其实你刚才也提到过一个点就是比如说多个医院相互联合去收集这个数据所以根据这个商业我想问一下不知道你这边有没有相关的一些新闻会不会就是医院它自己或者是多家医院自己自己去成立一个专门的研究部门或者是筹集部分资金去投资医学相关的一些企业
然后去专门去做这件事情而且我自己本身觉得如果是医院自己去做这种研究的话它可能更符合它整个医院的一个医疗方向如果更有针对性而不是说让一个纯外部的企业去做相关的医学产品对 就是这块我觉得是很有必要的然后有一些领域其实领域内的大佬也会在牵头做这种事情像他们会成立一些
就是那种医院联盟或者是针对哪些疾病的联盟我最近可能在做一个也是肝脏相关的一个门脉高压那个我就知道有一个 Kaos 的联盟首先是有一个做这块门脉高压预测厉害的大佬他去牵头然后我就成立这个联盟
去联系各个医院加入这个联盟那以后有重病这种数据我们可能就会收集到一个公共的数据库中这个数据库可能我参与的人员他就都能访问那我们就能很好的去做这种更好的一个多重性的一个分析这块其实是对医疗 AI 的发展其实非常有帮助的就对于我们来说我们也希望这种联盟越来越多嘛
然后让自己搭的模型可以在更多的数据上进行验证我觉得对于各方面的提升来说都是很有帮助我其实最近看到上海这边蛮多这种
大模型在医疗上应用了有一些比如说医院自己牵头做的成立的一些项目部我记得瑞金医院就成立了这种单独的大模型的医疗项目部主要是推动医院的一些人工智能化的发展因为医院它很多模型很多数据它涉及到隐私它没办法上云所以它得部署在本地但是
但是部署在本地的话它这个成本太高了它没办法去 cover 这个其实跟人工比的话它这个成本其实不能 cover 住所以这一块其实大部分医院来说一方面议算的考虑另外一方面也是落地的考虑
但是在某些方面我看到还有些挺有意思的 case 比如说一些中医院他做了中医的大模型然后把中医大模型结合一些动物模态视觉比如说看你的舌苔看你的五官然后给你做一些中医的门诊给你抓一些中医的这种药或者是茶之类的推荐
呃告诉你怎么去保养啊这个就很多像年轻人呃还有一些年纪大的可能会在那边做一个免费的尝试通过这种免费的尝试然后去抓药这种转化一下就提高很多呃
我记得那天路过一个这种展会的时候就有一个这种大模型的机器放在那当时有很多人在排队看这个东西跟其他一些他人就多了很多所以我觉得主要还是大模型得结合一些真实的场景然后去做这种商业化的落地会更多的可能性对我觉得你刚才说的有点挺有意思就是
在这商业化也不一定是商业到这种具体医院上也可以商业到这种 2C 端它其实是可以做一些小的疾病的一个检测就像这种 2C 端的一个小 APP 然后给一个不关乎性命的这种小伤做一个基本的一个诊疗无论是给你搜一些就近的医院还是给你提供一些包扎的一些方式我认为这种小的 APP 还是蛮有实际的用处的你说真的要是涉及到这个
危机关头涉及到这个生死的时候我就还是打 120 或者觉得要比较靠谱一点没错没错而且现在大部分的这种大模型它如果是对医院的话它其实是一个整包销售的一个逻辑它不是这种单点收费那如果是能面向一些 2C 产品它其实可以做到按次收费这样它的一个单次成本其实也会降低非常多用户能接受的呃
医院也会强很多毕竟一个大模型整体销售给医院可能就是一个采购的项目你刚刚说的中医院门口排队里
他们会收费吗他们不收费他们采用的商业模式就是免费来尝试免费来体验然后你体验完了之后他会给你开一些建议比如说建议你去喝一些什么茶建议你去抓一些什么药方去补一补然后你要去开这个单子之后你就得在他们中医院这边下单了就得去花钱了所以就有一个转换的过程
就是相当于吸引用户来这边做一些免费的体检然后你就可以去转换了非常像那种老年人体检项目这个也是国内那种大健康领域一个非常赚钱的这种载道
所以我觉得大模型在这一块可能未来有一些非常能变现的方式就这种中医的你做做检测你就算检测错了开错药了你也不会对身体有特别多的影响啊所以它的这个安全性也不会有太大然后这种大模型一般都能拿到一些二类症所以不会也不会过神也不会特别难我其实还蛮好奇的就是像啊
我自己其实对 AI 医疗蛮感兴趣但是我只懂 AI 不懂医疗你们做相关的一些研究的话它对医疗方向的一个要求它是一个硬性要求还是相当于是比较软性的要求
其实医疗 AI 它肯定还是一个跨学科的一个任务所以理想的背景肯定是越多越好就是比如说我有一些临床知识的基础有一些医学影像的基础有一些计算机的基础还有一些数学的基础呢就更好这些点呢其实我说是可以让你更好的去了解自己做的研究然后方便你去添加一些亮点创新点然后
实现起来更加方便但可能一个人很难有那么多背景所以就是多方的一个合作沟通我觉得也是很有必要的毕竟书也有专攻嘛其中家伙常去这么做那另外一方面我觉得其实
现在做研究做数据处理其实对你的背景门槛的一个是越来越低的因为随着像大语言模型大知识体系框架这种发展 GPD 这种工具它其实可以很好的帮你去入门一些你不熟悉的领域那举个例子就是可能临床医生带我有一些课题的想法那之前他们完全不会编程或者代码完全就无法辅助实施嘛但其实现在依靠
像 GPG 之种你把需求告诉他们真的是能够很好的去帮你实现 toding 给你代码甚至可以帮你老师一步一步教你去学怎么做所以我觉得现在对于门槛要求来说还是更低了明白那比如说我们接下来可以聊一聊就是你对这个 AI 医学影像的未来趋势的一个看法
未来趋势其实最重要一点我们刚刚已经讨论很多了就是这个大模型其实后面就是真的大模型这一块我觉得是最重要的一个研究的一个点因为它确实像类似 GPD 这种大语言模型然后像自然图像这种大型的自然图像 BIT 等等这种真的是能够很好的就是就是通用的去帮助所有的下游任务
因为刚刚说 AI 的本质还是数据启动这种大规模的技术模型有了很大的数据之后对于下游各种隐居地下实验人物都会有帮助
医疗领域目前有一些研究最近也在兴起其实这两年发的那种 nature science 那种子刊很多都是针对于这种技术的模型的构建一开始可能门槛比较低我只是做这个研究出去少一点就稍微少一点没什么只要引出这个概念那后面可能也会越来越简单但是这个卷我觉得是
有价值的还有一些就是我觉得除了大模型就是其实也是依赖大模型吧就是一个多模态形式的一个融合做多模态也特别火那虽然像自然图像中可能有一些 clips 就是在图像加上文本一些框架也这个研究也很多在意地
医疗领域其实是有多模态信息的一个条件的比如说我有临床信息我医生的祖术然后我有生化学指标病理基因联合我的一个草莓影像等等这些其实都是一个多模态信息的一个联合利用这其实是一个很重要的一环
那最后其实我觉得还有一点包括 AI 模型的透明度或者说它的一个可解释性因为 AI 来说总体来说还是一个偏黑箱的一个模型对于自然图像来说我只要生成的一个结果好我生成出这段视频好看
好的
十分感谢今天分享了 AI 在医疗方向尤其是医学影像方向的一些现状然后技术还有未来趋势包括商业化的一个发展那我们今天就到这里好 谢谢感谢大家谢谢雷友谢谢斯坦
感谢您收听本期 AI Odyssey 的播客如果您喜欢今天的内容请分享给您的朋友同时也欢迎您在常用的播客平台上留下宝贵的意见和反馈我们将继续为您带来更多有趣的话题和嘉宾敬请期待再次感谢您的收听我们下期节目再见