数字孪生技术正在改变医学范式。如今,医生已经可以通过三维图像重建患者从心脏到大脑的各个器官,不久的将来,还有望构建出整个人体的虚拟孪生,从而让手术和诊疗变得更精确和可预测。
而随着人工智能大模型技术的发展,更强的计算能力将令未来三维模型的构建变得更快速便捷,整合AI影像信息后,医生也能对患者的健康作出更为全面的评估。
从虚拟心脏到虚拟大脑
6个月前,软件工程师史蒂文·莱文(Steven Levine)接受了一次长达12小时的脑部肿瘤切除手术。在他被诊断出脑部有一个高尔夫大小的良性肿瘤后,医生将他的大脑进行了建模,找到肿瘤的确切部位,并在3D影像的引导下实施了介入手术。6周后,莱文从手术中完全恢复。
“虽然肿瘤不会立即危及我的生命,但它已经侵蚀了我的部分头骨、鼻窦并压迫了视神经。”莱文告诉第一财经记者,“肿瘤还影响到了脑垂体功能,分泌了过量的生长激素,让我的脚和手慢慢变大。”
加州大学圣地亚哥分校神经外科医生托马斯·博蒙特(Thomas Beaumont)使用数字孪生技术重建了莱文的大脑,包括肿瘤。在手术中,通过手术室屏幕上的图像,博蒙特将摄像头伸入莱文的一个鼻孔,并将手术工具送入另一个鼻孔,逐块切除肿瘤并修复受损组织,以非侵入的方式实施了手术。
由于每个患者的骨骼结构都有所不同。颈动脉的弯曲方式也各不相同。所有这些都必须以三维方式可视化,才能确保手术成功。通过三维图像,医生不必在头脑中想象患者大脑的解剖结构,而是直接能看到它们,这让医生在手术中处于更确定的状态,也让手术更为精准。
莱文的手术非常成功,半年后,他已经像往常一样上班。事实上,博蒙特医生使用的数字孪生技术正是由莱文亲自开发的,他成为了自己开发技术的获益者。他的经历让他更加确信,这种技术未来能够帮到更多患者,并减轻医生的负担。
现在,莱文正在推动数字孪生技术从实验室走向临床,这些数字孪生将包括心脏、大脑、肝脏等各个人体器官。为此,莱文已努力了超过十年。
2014年,莱文于他所在的公司达索系统率先发起虚拟心脏(Living Heart)项目,这是首个获得美国FDA认可的数字化人体心脏建模工具,能帮助心脏介入医生在手术前或者术中更好地理解患者心脏的结构,从而找到最佳的手术方案。
莱文告诉第一财经记者,他发起虚拟心脏项目的灵感来源于他的女儿杰西。杰西出生时就患有罕见的严重心脏缺陷。医生在她的心脏内植入了一个起搏器。杰西今年35岁,她的心脏已经更换了5个起搏器。
医生在治疗杰西的心脏病时面临大量的不确定性,他们大多靠经验和猜测,这给莱文留下深刻印象。从那时起,莱文就希望开发一套能帮助医生更好地研究像杰西这样的先天性心脏病儿童心脏疾病发展的数字化系统。
“就像现在没有人会制造一架真的飞机或汽车,然后开着它去试驾。”莱文对第一财经记者说道,“在这些产品被真正组装前,软件程序和计算机系统使设计师能够首先在虚拟环境中制作和测试这些部件,那么为什么心脏手术和冠脉介入设备不能提前进行测试规划呢?”
工程师出身的莱文一直以物理的思维在思考这个问题,他认为,既然心脏是一个“泵”,那么理应受物理定律的约束。这一想法促成了他的虚拟心脏项目的雏形。
“如果构建的模型正确,最终的产品就是正确的。”他表示。而这一成功来源于系统的开源。莱文称,该项目的开源合作已经持续了十年。来自全球的数百名医生、工程师和行业标准制定者、政府官员参与该项目,贡献各自的专业技能,目标是在虚拟环境中构建首个三维全功能心脏。
莱文对第一财经记者表示,起初,许多人怀疑这个项目,毕竟每一次心脏手术都关系到生命,而目前心脏手术仍然依赖医生的技能和经验。但逐渐地,三维模型从常见的CT扫描和磁共振(MRI)影像中创建出来,软件逐步得到改进,项目也一步步地得到验证,在动物和最终的人体测试中都表现出色。
“驱动虚拟心脏项目的是一个不断发展的生态系统,我们联合顶尖的心血管研究人员、医疗器械开发商、监管机构和心脏病专家,目标是开发经过临床验证的、高度精确、可商业化的个性化数字人体心脏模型和新型数字疗法。”莱文表示。
先心病儿童有望最先受益
经历了数年努力后,莱文的团队已经成功构建了一颗功能齐全的虚拟心脏,并将它提供给波士顿儿童医院外科医生使用。在莱文看来,由于儿科心脏医生对于先天性心脏病的儿童疾病的发展缺乏预测手段,因此儿童心脏科有望成为数字孪生技术最先走向临床商业化的科室。
如今,每周两次,在波士顿儿童医院心脏科室,数十名专家聚集在一起,规划最复杂的心脏手术。他们分析投影在屏幕上的心脏三维数字图像,每一条受损的血管或畸形的心室都对儿童的生命健康都有可能构成威胁。
这些三维数字图像可以在计算机屏幕上旋转或逐块分解,让外科医生能够精确规划即将进行的手术。在生物医学工程师的帮助下,医生可以看到血液和氧气的流动、心脏的电信号以及瓣膜的压力如何影响心脏功能,医生甚至可以通过数字图像来预测他们规划使用的瓣膜对心脏修复的影响。
莱文表示,有朝一日,传感器或可穿戴设备将会被添加到这些数字技术中,为人类心脏创建一条将数据传输到患者虚拟心脏的途径。这个反馈回路将创建一个人体心脏的“数字孪生”,为医生提供新的方法,来确保他们的手术方案是最佳的。
波士顿儿童医院儿科心脏外科医生、计算机3D可视化项目主任大卫·霍根森(David Hoganson)是该项目的负责人。截至目前,他的团队使用数字心脏模型完成了约2000例手术。
在上海交通大学附属新华医院儿童心脏中心,心内科主任陈笋每天都要处理大量复杂先天性心脏病小儿患者,这些小儿有时刚出生就因心室发育不良等原因需要接受治疗,有些是在2、3岁的时候得了川崎病或者心肌病,而这些疾病的很多机制现在仍然不清楚。
陈笋告诉第一财经记者,他的团队也在进行数字孪生方面的院企科研合作,基于超声心动图和心脏大血管增强CT的多模态图像融合,研发相关的算法,构建儿童先心病3D和4D的模型,以更好地理解儿童先心病的发展。
陈笋坦言,国外数字化技术在临床上的应用之所以领先,主要是基于两方面的优势:一是他们有一套成熟的支付体系,产品可以更快实现商业化;二是国外的生态比较发达,基础医学、工程、临床等领域的交叉研究形成体系。
新华医院儿童心脏中心主治医生彭永宣博士对第一财经记者说道:“虚拟心脏已成为国内心血管领域的研究热点。数字孪生技术是助力医疗水平进一步发展的必然趋势,会给医疗领域带来革命性的变化。”
他表示,在国内儿童心脏疾病领域,虚拟心脏技术正处于前期通过AI算法研发优化、多模态图像融合等放大,不断提升数字孪生模型精度的研究阶段,未来将进一步探索在实际临床中的应用。
“数字孪生心脏作为一种新型技术和辅助工具,它的强大功能还需要系统的使用方法才能发挥出来,比如一些长期以来使用的二维参数(直径、面积)会被替换为三维参数(面积、体积),术前规划、手术模拟和病情演变预测等,都需要根据不同病种制定相应的方法学。”彭永宣称。
过去几年,“数字孪生”在医学领域日趋成熟,已发展成为肺、肝、脑、关节、眼、血管和其他身体部位的模型。构建整个人体的虚拟孪生也有望在不久的将来发生。目前,这种新技术已经被用于测试新的医疗器械产品,以及预测新的药物分子对器官和细胞的影响。未来,它有可能减少甚至取代动物实验。
这些模型将为心血管计算医学建立统一的基础,推动教育培训、医疗器械设计、临床试验、临床诊断的发展,并为尖端医疗器械创新转化提供更为有效的途径。目前,美国FDA已经将与达索系统虚拟心脏的合作研究协议延长至10年,以评估包括起搏器在内的心血管设备的植入、放置以及性能。
随着生成式AI的发展,达索的虚拟心脏项目正在将大型语言模型引入。莱文告诉第一财经记者,现在他的团队正在测试新一代的虚拟心脏模型,该模型可以针对个体患者或患者群体进行配置,而且由AI驱动的定制和自动化能力将有助于简化并加速医疗设备的开发。
“AI模型的一个好处是,我们未来可能不需要大量的患者数据,只需要少量的数据就可以让模型不断地学习,并产生大量的数据。这是AI发展对数字孪生技术的重要影响。”莱文表示。
此外,借助AI的能力,过去对每个个体化心脏“手动建模”的方式也将迎来改变。“手动建模往往需要很长的时间,现在可以通过一键自动化建模,把几天的周期缩短到几分钟,这对于整个流程而言将是变革性的。”他说道。
AI医学时代即将来临
在国内,临床医生也在探索虚拟孪生技术的应用前景。近日,在上海交通大学医学院附属仁济医院手术室内,开展了一场人机协同“精准战”。仁济医院功能神经组周洪语团队将患者CT、MRI影像数据导入一个名为Sino的手术机器人系统,通过AI算法系统能自动重建颅内三维模型,并精准勾勒出脓肿的立体轮廓。
借助三维数据影像,在无影灯下,仁济医院神经外科副主任医师郭烈美顺畅地操控着手术机器人的机械臂,并根据机器人规划的手术路径,以0.1毫米的重复定位精度,将引流管经预设通道缓缓送入脓腔中心。
周洪语向第一财经记者解释称,过去这类手术依赖医生的“手感”和经验,现在随着神经影像技术的发展,已经可以对CT和磁共振进行图像数据的后处理,构建出过去必须通过开颅手术才能观察到的大脑深部结构,并在三维系统的基础上规划手术路径,避开血管和重要功能区,通过机器人实现精准定位和手术导航,能突破人眼和人手的生理极限。
“系统实时显示穿刺深度、角度偏移量,还能巧妙避开血管和功能区,这是传统手术无法实现的视角。”他说道。
仁济医院神经外科主任冯军峰教授对第一财经记者表示:“神经外科已进入‘毫米时代’。机器学习持续积累手术数据,未来或可自主优化穿刺路径,成为医生的‘AI参谋’。”
类似的场景未来也有望在医院的心脏导管室上演。复旦大学附属中山医院心内科主任葛均波院士向第一财经记者描述了一个“元宇宙导管室”场景:该导管室由人工智能辅助决策系统、语音辅助控制系统、机器人辅助及触觉反馈系统、混合现实全息数字系统以及高速互联网组成。
“在这个导管室,患者在接受手术治疗前,所有的信息都已经被镜像映射到医生的一套软件系统,医生戴上Vision Pro这样的混合虚拟设备后,就能模拟手术与解剖,手术的过程已经提前被预演。”葛均波对第一财经记者表示。
他认为,“元宇宙”的表现形式和维度同样适用于心脏疾病的诊疗。从“元宇宙”到“心宇宙”,未来数字孪生可以借助AI技术,精准构建一个数字器官(数字人),勾画在现实情况下可能发生的状况(虚拟),使医生和病人能明白一个疾病因素所带来的后果等。
“这将有助于了解各种复杂血管疾病之间的关联,例如动脉粥样硬化疾病如何影响人体整个血管网络。”葛均波表示,“这对于泛血管疾病的诊疗管理极具意义。传统的知识已经无法预测疾病的全部后果,未来包括患者特征、临床表现、生物标志物组学、影像组学等信息的整合将会成为趋势。”
葛均波称,数字孪生技术叠加人工智能大模型,未来可以对泛血管疾病进行精准预测,还可以在瓣膜置换等手术领域发挥更大的作用,帮助医生对何时干预疾病作出预判和决策。
就在上周,中山医院心内科发布了国内首个心脏大模型观心(CardioMind)。该模型通过整合多模态诊疗数据与顶尖医生经验,实现从病史采集到辅助诊断的全流程智能化。更关键的是,系统突破单一文本数据分析,实现了心电图、超声影像、实验室检查等多模态数据的整合推理。
但这些数据的标准化仍面临挑战。“数字孪生就是根据各种医学三维图像及生理信号把器官描述出来。CT/MRI 3D影像是数字孪生的基础,由于每个人的器官结构存在差异,这些实时影像可用于调整AI模型,实现个性化应用。”一位医学影像专家对第一财经记者说道,“目前,器官数字孪生尚未形成统一标准,但可以根据具体需求进行简化,例如专门用于手术引导的场景。”
也有临床医生向第一财经记者指出,由于人体的生理数据主观变异度很大,这将会加大标准化的难度。“人体数据极其复杂,几亿个变量相互作用,精准模拟的难度很大。”中山医院心内科主任医师潘文志教授对第一财经记者表示,“医学上为了证明一个疗法是否可行,即便是很简单的假设,也通常需要纳入几千个病人做几年临床试验,耗费上亿元。因为病人是不能被重复试错的。”
他同时表示,AI大模型的应用对于客观数据最具有优势,例如影像数据、病理以及血液等数据,从这些数据局部切入,可以为医生提供特定的辅助功能。
莱文向第一财经记者坦言,目前虚拟心脏项目仍在等待监管部门的评估,大规模进入临床尚待时日。在谈及挑战时,他说道:“缺乏标准是最大的挑战,不仅每家公司都在做自己的产品,没有统一的标准,而且每个国家的标准也都不同。因此需要行业尽快制定数字孪生技术的标准,为监管审批提供参照,才能将该技术尽快推向临床。”