波士顿儿童医院著名神经外科医生本杰明·沃夫（Benjamin Warf）站在MIT.nano沉浸实验室里。在3000多英里之外，他的虚拟化身与巴西的马修斯·瓦斯孔塞洛斯（Matheus Vasconcelos）站在一起，后者正在对一个类似婴儿大脑的娃娃模型进行精细手术练习。
通过一副虚拟现实眼镜，瓦斯孔塞洛斯能够观看沃夫的虚拟化身演示脑部手术程序，然后自己复制这种技术，并向沃夫的数字化孪生兄弟提问。
“这是一种几乎超脱于身体的体验，”沃夫谈到观看自己的虚拟化身与医生们互动时说道。“也许这就是拥有一个同卵双胞胎的感觉？”
这正是目标所在：沃夫的数字化孪生兄弟弥合了距离，使他能够同时在两个地方发挥作用。“这是我第一次使用这个模型进行培训，它表现得非常出色，”巴西圣保罗圣卡萨医学院（Santa Casa de São Paulo School of Medical Sciences）的神经外科住院医生瓦斯孔塞洛斯说道。“作为一名住院医生，我现在在教授的指导下，对在真实患者身上应用这种技术感到更加自信和舒适。”
沃夫的虚拟化身是由医学模拟器和增强现实（AR）公司EDUCSIM推出的一个新项目带来的。该公司是MIT.nano的深科技加速器“START.nano”的2023年队列的一部分，该加速器为初创企业提供了折扣价格的MIT.nano实验室使用权。
2023年3月，EDUCSIM的科学总监、圣保罗圣卡萨医学院和Sabará儿童医院的儿科神经外科医生吉赛尔·科埃略（Giselle Coelho）开始与MIT.nano沉浸实验室的技术人员合作，创建沃夫的虚拟化身。到11月，该虚拟化身已经在培训像瓦斯孔塞洛斯这样的未来外科医生。
“我有这个想法，创建沃夫博士的虚拟化身作为概念验证，并问自己，‘世界上哪个地方正在研究这样的技术？’”科埃略说道。“然后我找到了MIT.nano。”
捕捉一位外科医生
作为一名神经外科住院医生，科埃略对于复杂手术的实际培训选择的缺乏感到非常沮丧，于是她自己建立了一个婴儿大脑模型。这个物理模型包含了大脑的所有结构，甚至可以出血，“模拟手术的所有步骤，从切口到皮肤缝合，”她说。
她很快发现，模拟器和虚拟现实（VR）演示可以减少她自己住院医生的学习曲线。科埃略于2017年创办了EDUCSIM，以扩大住院医生和专家学习新技术的多样性和范围。
这些技术包括一种治疗婴儿脑积水的手术方法，该方法是由波士顿儿童医院新生儿和先天性神经外科主任沃夫开创的。科埃略直接从沃夫那里学到了这种技术，并认为他的虚拟化身可能是那些无法前往波士顿受益于他的专业知识的外科医生的途径。
为了创建这个虚拟化身，科埃略与沉浸实验室的增强现实/虚拟现实/游戏/大数据IT技术专家塔利斯·雷克斯（Talis Reks）合作。
“对于初创企业来说，很多技术和硬件的成本非常昂贵，他们很难获得使用权，”雷克斯解释道。“START.nano是一种让他们能够利用和负担得起MIT.nano沉浸实验室的工具和技术的方式之一。”
科埃略和她的同事们需要高保真度和高分辨率的动作捕捉技术、体积视频捕捉以及一系列其他虚拟现实/增强现实技术，以捕捉沃夫灵巧的手指动作和面部表情。沃夫多次访问MIT.nano，进行数字“捕捉”，包括在穿戴带有传感器的特殊手套和服装的情况下对婴儿模型进行手术。
“这些技术主要用于娱乐、视觉效果或计算机生成图像（CGI），”雷克斯说道，“但这是一个独特的项目，因为我们现在将其应用于真实的医疗实践和真实的学习。”
雷克斯说，最大的挑战之一是帮助开发科埃略所称的“全息传送”技术，即通过互联网实时传输沃夫的三维体积视频捕捉，使他的虚拟化身能够出现在跨大陆的医学培训中。
沃夫的虚拟化身有同步和异步两种模式。瓦斯孔塞洛斯接受的培训是在异步模式下进行的，住院医生可以观察虚拟化身的演示并向其提问。答案以多种语言提供，来自AI算法，这些算法从以前的研究和沃夫提供的大量问题和答案中汲取。
科埃略说，在同步模式下，沃夫可以实时远程操作他的虚拟化身。“他可以在房间里走动，他可以和我交谈，他可以给我定位。这太神奇了。”
科埃略、沃夫、雷克斯和其他团队成员在去年12月底的第二次会议上展示了这些模式的组合。这次演示包括了沉浸实验室和巴西之间的体积实时视频捕捉，通过增强现实头戴设备实时可见。这次演示在之前的演示基础上有了显著扩展，之前的演示只通过二维显示单向流式传输体积数据。
强大的影响
沃夫长期以来一直在培训世界各地急需的儿科神经外科医生，最近通过他的非营利组织Neurokids进行培训。他说，自从疫情爆发以来，远程和模拟培训在培训中的比重越来越大，尽管他认为它永远无法完全取代个人的实践指导和合作。
“但是，如果有一天我们能够拥有像吉赛尔这样的虚拟化身，可以在远程地方向人们展示如何做事，并为他们解答问题，而不需要旅行成本、时间成本等等，我认为这将非常强大，”沃夫说道。
科埃略说，这个虚拟化身项目对于为亚马逊地区等偏远和服务不足的地区的外科医生服务尤为重要。“这是一种让他们获得与其他地方相同水平的教育，并与沃夫保持联系的方式。”
据科埃略介绍，最近在亚马逊地区的一家诊所接受脑积水手术的一名婴儿乘船旅行了30个小时。
她说，通过虚拟化身培训外科医生，“可以改变这个婴儿的现实，可以改变未来。”
