Article
健康科学：精密腫瘍学のための視覚–言語基盤モデル
Nature 638, 8051 doi: 10.1038/s41586-024-08378-w
臨床の意思決定は、臨床記録や病理学的特徴などのマルチモーダルデータによって行われる。マルチモーダルデータを効果的に統合できる人工知能手法は、臨床ケアの進展に極めて有望である。しかし、臨床現場では適切に注釈付けされたマルチモーダルのデータセットが不足しているため、有用なモデルの開発が妨げられている。本研究で我々は、ラベル付けも対応付けもない画像とテキストの大規模データを利用するように設計された視覚–言語基盤モデル、MUSK（Multimodal transformer with Unified maSKed modeling）を開発した。MUSKは、統合的なマスクモデル化を用いて、1万1577人の患者に由来する5000万枚の病理画像と、10億の病理学関連テキストトークンにより事前訓練された。さらに、100万の病理画像–テキストのペアで事前訓練を重ね、視覚と言語の特徴を効率的にアラインするようにした。MUSKは、最小限の訓練あるいは追加訓練なしで、幅広い用途において検証され、23のパッチレベルとスライドレベルのベンチマークにわたって優れた成績を示した。これらのベンチマークには、画像からのテキスト生成、テキストからの画像生成、視覚的質問応答、画像分類、分子バイオマーカー予測が含まれる。加えて、MUSKは黒色腫の再発予測、汎がん予後予測、肺がんや胃食道がんの免疫療法応答予測などの転帰予測で優れた成績を示した。MUSKは、病理画像と臨床報告書の相補的な情報を効果的に組み合わせることから、がん治療の診断と精度を向上させる可能性がある。
