对于未受过训练的眼睛来说，医学图像如MRI或X光看起来像是一堆模糊的黑白斑点。很难分辨一个结构（如肿瘤）在哪里结束，另一个结构又从哪里开始。
当AI系统经过训练以理解生物结构的边界时，它们可以分割（或划定）医生和生物医学工作者希望监测的疾病和其他异常的感兴趣区域。与其在许多图像中手动追踪解剖结构，不如让人工助手为他们完成这项工作。
问题是？研究人员和临床医生必须标记无数图像，以训练他们的AI系统，使其能够准确分割。例如，您需要在大量MRI扫描中注释大脑皮层，以训练一个监督模型，使其理解大脑皮层的形状如何在不同的大脑中变化。
为了避免这种繁琐的数据收集，麻省理工学院计算机科学与人工智能实验室（CSAIL）、马萨诸塞州总医院（MGH）和哈佛医学院的研究人员开发了互动“ScribblePrompt”框架：一个灵活的工具，可以帮助快速分割任何医学图像，甚至是它之前未见过的类型。
该团队模拟了用户如何在超过50,000个扫描（包括MRI、超声波和照片）中标注眼睛、细胞、大脑、骨骼、皮肤等结构，而不是让人类手动标记每张图片。为了标记所有这些扫描，团队使用算法模拟人类如何在医学图像中涂鸦和点击不同区域。除了常见的标记区域外，团队还使用超像素算法，寻找具有相似值的图像部分，以识别医学研究人员可能感兴趣的新区域，并训练ScribblePrompt对其进行分割。这些合成数据使ScribblePrompt能够处理来自用户的现实世界分割请求。
“AI在分析图像和其他高维数据方面具有显著潜力，可以帮助人类更高效地完成工作，”麻省理工学院博士生Hallee Wong SM ’22说，她是关于ScribblePrompt的一篇新论文的第一作者，也是CSAIL的成员。“我们希望通过一个互动系统来增强，而不是取代医疗工作者的努力。ScribblePrompt是一个简单的模型，具有帮助医生专注于分析中更有趣部分的效率。与Meta的Segment Anything Model (SAM)框架相比，它更快、更准确，减少了28%的标注时间。”
ScribblePrompt的界面很简单：用户可以在他们希望分割的粗略区域上涂鸦或点击，工具将根据请求突出显示整个结构或背景。例如，您可以点击视网膜（眼睛）扫描中的单个静脉。ScribblePrompt还可以在给定边界框的情况下标记一个结构。
然后，该工具可以根据用户的反馈进行修正。如果您想在超声波中突出显示一个肾脏，您可以使用边界框，然后在ScribblePrompt遗漏的任何边缘上涂鸦额外的部分。如果您想编辑您的分割，您可以使用“负涂鸦”来排除某些区域。
这些自我修正的互动功能使ScribblePrompt在MGH的一项用户研究中成为神经影像研究人员的首选工具。93.8%的用户更喜欢麻省理工学院的方法，而不是SAM基线，以改善其对涂鸦修正的分割。至于基于点击的编辑，87.5%的医学研究人员更喜欢ScribblePrompt。
ScribblePrompt是在65个数据集中对54,000张图像的模拟涂鸦和点击上训练的，这些图像包括眼睛、胸部、脊柱、细胞、皮肤、腹部肌肉、颈部、大脑、骨骼、牙齿和病变的扫描。该模型熟悉16种类型的医学图像，包括显微镜图像、CT扫描、X光、MRI、超声波和照片。
“许多现有方法在用户在图像上涂鸦时反应不佳，因为在训练中很难模拟这种交互。对于ScribblePrompt，我们能够通过合成分割任务强迫我们的模型关注不同的输入，”Wong说。“我们希望在大量多样化的数据上训练一个本质上是基础模型，以便它能够推广到新的图像和任务。”
在接收了如此多的数据后，团队在12个新数据集上评估了ScribblePrompt。尽管它之前没有见过这些图像，但它在分割效率和对用户希望突出显示的确切区域的准确预测方面超越了四种现有方法。
“分割是最普遍的生物医学图像分析任务，在常规临床实践和研究中广泛进行——这使得它既非常多样化，又是一个关键且有影响力的步骤，”资深作者Adrian Dalca SM ’12，PhD ’16，CSAIL研究科学家及MGH和哈佛医学院助理教授说。“ScribblePrompt经过精心设计，旨在对临床医生和研究人员实用，因此可以大大加快这一步骤。”
“在图像分析和机器学习中开发的大多数分割算法在某种程度上都基于我们手动注释图像的能力，”哈佛医学院放射学教授和MGH神经科学家Bruce Fischl说，他没有参与这篇论文。“在医学成像中，这个问题更为严重，因为我们的‘图像’通常是3D体积，人类没有进化或现象学上的理由具备注释3D图像的能力。ScribblePrompt使手动注释能够更快、更准确地进行，通过训练一个网络，精确模拟人类在手动注释时与图像的典型交互。结果是一个直观的界面，使注释者能够以比以往更高的生产力自然地与成像数据进行交互。”
Wong和Dalca与另外两位CSAIL成员共同撰写了这篇论文：麻省理工学院电气工程与计算机科学的Dugald C. Jackson教授John Guttag，以及麻省理工学院博士生Marianne Rakic SM ’22。他们的工作部分得到了Quanta Computer Inc.、布罗德研究所的Eric和Wendy Schmidt中心、纬创资通公司以及美国国立卫生研究院的国家生物医学成像与生物工程研究所的支持，马萨诸塞州生命科学中心提供了硬件支持。
Wong和她的同事的工作将在2024年欧洲计算机视觉会议上展示，并在今年早些时候的计算机视觉与模式识别会议的DCAMI研讨会上作为口头报告进行展示。他们因ScribblePrompt的潜在临床影响而获得了该研讨会的“从实验室到临床”论文奖。
