に掲載された新しい論文ジャーナル オブ メディカル インターネット リサーチ テキストから画像への生成のための新しい深層学習モデルである DALL-E 2 などの生成モデルが、ヘルスケアにおける画像の生成、増強、および操作のための有望な将来のツールとなる可能性について説明しています。
生成モデルは、正確で有用な結果を提供するのに十分な医療分野の知識を持っていますか? Lisa C Adams 博士と同僚は、「DALL-E 2 が放射線について何を知っているのか?」というタイトルの最新の視点でこのトピックを探っています。
2022 年 4 月に OpenAI によって最初に導入された DALL-E 2 は、人工知能（AI）ツールであり、小説 テキスト入力に基づく写実的な画像またはアートワーク。 DALL-E 2 の生成機能は強力で、インターネット上の何十億もの既存のテキストと画像のペアでトレーニングされています。
これらの機能を医療分野に移してデータを作成または補強できるかどうかを理解するために、ドイツと米国の研究者は、X 線、コンピューター断層撮影 (CT)、磁気共鳴画像法 ( MRI)、および超音波画像。
この研究の著者は、DALL-E 2 が X 線画像の関連する表現を学習しており、テキストから画像への生成の有望な可能性を示していることを発見しました。具体的には、DALL-E 2 は短いテキスト プロンプトに基づいて現実的な X 線画像を作成できましたが、特定の CT、MRI、または超音波画像プロンプトが与えられた場合はあまりうまく機能しませんでした。また、放射線画像内の欠落している側面を合理的に再構築することもできました。
たとえば、開始点として膝の画像を 1 つだけ使用して、完全な全身 X 線写真を作成できます。ただし、DALL-E 2 は、病理学的異常を含む画像を生成する機能に制限がありました。
DALL-E 2 によって生成された合成データは、放射線学用の新しいディープ ラーニング ツールの開発を大幅に加速するだけでなく、機関間のデータ共有に関連するプライバシーの問題にも対処できます。研究の著者は、生成された画像は、生成されたデータセットに誤った情報が入るリスクを減らすために、ドメインの専門家による品質管理を受ける必要があると述べています。
彼らはまた、これらのモデルを医療データに合わせて微調整し、医学用語を組み込んで、放射線研究におけるデータ生成と拡張のための強力なモデルを作成するためのさらなる研究の必要性を強調しています。 DALL-E 2 を微調整するために一般公開することはできませんが、さまざまな医用画像を生成するために適合させることができる Stable Diffusion などの他の生成モデルがあります。
全体として、JMIR Publications によって公開されたこの視点は、放射線学における AI 画像生成の将来に有望な見通しを提供します。この分野でのさらなる研究開発は、放射線科医や医療専門家のためのエキサイティングな新しいツールにつながる可能性があります。
対処すべき制限はありますが、DALL-E 2 や ChatGPT などのツールを研究、医療トレーニング、教育に使用することの潜在的な利点は重要です。この目的を達成するために、JMIR医学教育 Gunther Eysenbach 博士による最近の社説で発表されたように、現在、医学教育における生成言語モデルの使用に関する新しい電子コレクションへの提出を募集しています。
DALL-E 2 は放射線について何を知っていますか?
DALL-E 2 (OpenAI) などの生成モデルは、これらのモデルが十分な医療分野の知識を持っている場合、放射線学における人工知能研究のための画像生成、拡張、および操作のための有望な将来のツールとなる可能性があります。
ここでは、DALL-E 2 が X 線画像の関連する表現を学習したことを示します。新しい画像のテキストから画像へのゼロショット生成、元の境界を超えた画像の継続、および要素の削除;ただし、病理学的異常 (腫瘍、骨折、炎症など) やコンピューター断層撮影法、磁気共鳴画像法、超音波画像を含む画像を生成する機能はまだ限られています。
したがって、生成モデルを使用して放射線データを増強および生成することは、これらのモデルをそれぞれのドメインに合わせてさらに微調整および適応させることが最初に必要になるとしても、実現可能と思われます。