一篇新论文发表在医学互联网研究杂志 描述了诸如 DALL-E 2 之类的生成模型（一种用于文本到图像生成的新型深度学习模型）如何代表一种有前途的未来工具，用于医疗保健中的图像生成、增强和操作。
生成模型是否具有足够的医学领域知识来提供准确有用的结果？ Lisa C Adams 博士及其同事在他们最新的题为“DALL-E 2 对放射学了解多少？”的观点中探讨了这个话题。
DALL-E 2 由 OpenAI 于 2022 年 4 月首次推出，是一种人工智能 (AI) 工具，因生成小说 基于文本输入的逼真图像或艺术品。 DALL-E 2 的生成能力非常强大，因为它已经接受了互联网上数十亿个现有文本图像对的训练。
为了了解这些功能是否可以转移到医疗领域以创建或增加数据，来自德国和美国的研究人员检查了 DALL-E 2 在创建和操作 X 射线、计算机断层扫描 (CT)、磁共振成像 ( MRI）和超声图像。
该研究的作者发现，DALL-E 2 已经学习了 X 射线图像的相关表示，并显示出文本到图像生成的巨大潜力。具体来说，DALL-E 2 能够根据简短的文本提示创建逼真的 X 射线图像，但在给出特定的 CT、MRI 或超声图像提示时，它的表现并不好。它还能够合理地重建放射图像中缺失的方面。
它可以做的更多——例如，仅使用一张膝盖图像作为起点，创建一张完整的全身 X 光片。然而，DALL-E 2 生成具有病理异常的图像的能力有限。
DALL-E 2 生成的合成数据可以大大加快新的放射学深度学习工具的开发，并解决与机构间数据共享相关的隐私问题。该研究的作者指出，生成的图像应由领域专家进行质量控制，以降低错误信息进入生成数据集的风险。
他们还强调需要进一步研究，以根据医学数据微调这些模型，并结合医学术语来创建强大的模型，用于放射学研究中的数据生成和扩充。尽管公众无法对 DALL-E 2 进行微调，但其他生成模型（如 Stable Diffusion）可以进行微调，可用于生成各种医学图像。
总体而言，JMIR Publications 发表的这一观点为放射学中 AI 图像生成的未来提供了一个充满希望的前景。这一领域的进一步研究和开发可能会为放射科医生和医疗专业人员带来令人兴奋的新工具。
虽然有一些限制需要解决，但在研究和医学培训和教育中使用 DALL-E 2 和 ChatGPT 等工具的潜在好处是巨大的。为此，JMIR医学教育 正如 Gunther Eysenbach 博士在最近的一篇社论中宣布的那样，现在正在邀请提交关于在医学教育中使用生成语言模型的新电子合集。
DALL-E 2 对放射学了解多少？
生成模型，如 DALL-E 2 (OpenAI)，可以代表未来有前途的工具，用于放射学人工智能研究的图像生成、增强和操作，前提是这些模型具有足够的医学领域知识。
在这里，我们表明 DALL-E 2 已经学习了 X 射线图像的相关表示，在新图像的零样本文本到图像生成、图像超出其原始边界的延续以及删除元素；然而，其生成具有病理异常（例如，肿瘤、骨折和炎症）或计算机断层扫描、磁共振成像或超声图像的图像的能力仍然有限。
因此，使用生成模型来增强和生成放射学数据似乎是可行的，即使首先需要对这些模型进行进一步的微调和适应以适应它们各自的领域。