多モダリティトランスフォーマによる膝変形性関節症進行のエンドツーエンド予測

人工知能 情報科学 医用画像学 スポーツ医学 医学 整形外科
膝変形性関節症 磁気共鳴画像法 マルチモーダル融合 進行予測 ディープラーニング 医用画像 トランスフォーマモデル

多モーダルTransformerによる膝変形性関節症進行のエンドツーエンド予測

一、学術的背景紹介

膝変形性関節症（Knee Osteoarthritis, KOA）は、世界中で何百万人に影響を及ぼす慢性筋骨格疾患である。KOAは関節軟骨および骨の徐々な変性により、通常慢性的な痛み、関節の固さ、機能制限などの問題を引き起こす。残念ながら、現時点では有効な治療法はなく、早期介入および疾患修飾薬の開発は、KOA進行状況の正確な予測に大きく依存している。したがって、KOAの進行を予測することは、整形外科学および臨床医学分野の重要な未解決課題となっている。

KOAの進行は非常に多様で、患者間での症状や病態発現メカニズムに顕著な差異があり、精度の高い予測は非常に困難である。従来の臨床では主に放射線画像（X線）による評価、特にKellgren-Lawrenceグレード（KLグレード）がKOA重症度の判定に用いられてきた。しかし、X線は主に骨や関節間隙の変化しか捉えられず、軟骨・半月板・脂肪体などの軟組織の初期微細変化はほぼ認識できない。MRI（磁気共鳴画像法）の導入により、関節イメージングの精細度は大きく向上し、様々なシーケンスプロトコルにより、形態学的特性（structural MRI）や成分学的特性（compositional MRI、T2-mappingなど）が取得でき、疾患の初期病態変化の把握能力が著しく拡充された。

しかし、実際の研究ではMRI関連研究のサンプルサイズは限られ、生体マーカーは主に画像分割と従来型画像オミクス（radiomics）により抽出され、“ボトムアップ”設計思想により複雑なパターンの高次隠れた関係性の解明に限界がある。また、解析手法の限界により、多モーダル（X線と複数MRI）の融合効果や相互価値は体系的には検証されていない。

近年、ディープラーニング（Deep Learning, DL）の進化により、大規模医用画像データの解析が可能となり、とりわけ多モーダル・多シーケンス融合型の深層ニューラルネットワークやTransformerモデルは、生データからエンドツーエンドで最適な予測特徴を自動抽出でき、KOAの個別進行予測や表現型分類に新たな道を開いている。

二、論文出典と著者紹介

本稿は「End-to-end Prediction of Knee Osteoarthritis Progression with Multimodal Transformers」というタイトルで、IEEE Journal of Biomedical and Health Informatics（2025年9月、第29巻第9号）に掲載された。著者はEgor Panfilov、Simo Saarakkala、Miika T. Nieminen、Aleksei Tiulpinで、いずれもフィンランドのオウル大学医学部およびオウル大学病院診断放射線科に所属する。著者らは骨関節画像解析およびAI医療応用分野でリードする研究チームである。

この研究はOsteoarthritis Initiative（OAI）、フィンランド研究会議、オウル大学Infotech Instituteの支援を受け、すべてのデータとモデルコードが公開されており、後続研究の再現性に大きく貢献している。

三、研究全体フローと詳細な手法

1. 研究設計とデータ構築

本研究では多施設・前向き追跡型データベースであるOsteoarthritis Initiative（OAI）を基盤とし、5つの異なる時間窓（12、24、36、48、96ヶ月）の独立サブデータセットを構築した。各データセットはベースライン情報を起点とし、フォローアップ期間内にKLグレードの進行有無をラベル化している（進行・非進行ラベル）。最終的な各時系列のサンプル数は3967、3735、3585、3448、2421例で、フォローアップ期間が長期化するほど進行者の比率が高まり（最長96ヶ月で進行者27.7%）、テストセットは特定施設（Site D）のデータを独立抽出して、画像ドメインシフトへの耐性を高めている。トレーニングおよび検証用データは5分割交差検証でラベル分布の均一性を保持している。

2. 臨床および画像変数

臨床変数には、基本人口統計データ（年齢、性別、BMI）、膝関節の既往損傷／手術歴、症状・機能スコア（WOMAC評価）、ベースラインX線KLグレードが含まれる。画像データはX線と複数のMRIシーケンスから成り、三次元高解像度DESS（Dual-Echo Steady State）、冠状面中間加重TSE（Turbo Spin-Echo）、矢状面多エコーT2-mapping（組織の生化学的成分を反映）などが含まれる。DESSは主に軟骨および半月板形態評価、TSEは靭帯や骨挫傷、滑膜炎を中心とする構造損傷に敏感、T2-mapは軟骨の早期成分変化を捕捉する。

3. 実験方法とディープラーニングモデル設計

3.1 臨床データベースラインモデル

複数の臨床変数組み合わせを用いたロジスティック回帰（Logistic Regression, LR）モデルをベースラインとして構築し、WOMAC、膝既往歴、KLグレードを段階的に追加して分析した。すべて5分割交差検証を行い、評価指標はROC曲線下面積（AUC）と平均精度（AP）となる。

3.2 画像モデル構造

モダリティごとに下記のモデルを設計・実装した：

  • 単一X線画像モデル： ResNeXt-50_32x4d CNNモデルで生X線画像を直接解析。
  • 単一MRIシーケンスモデル： ResNet-50を特徴抽出器とし、各スライス特徴をTransformerモジュールで統合。事前学習重み利用とシーケンス間空間関連性の抽出が可能。
  • 多モーダル融合モデル： 2モダリティ（XR+MRI）は独立したCNN分岐を用い、特徴ベクトルを結合後Transformerでクロスモーダル融合。3〜4モダリティの場合は各MRI分岐に中間Transformer層で共通潜在空間へ埋め込み、他分岐と統合し再びTransformerで融合。臨床データを加味する場合は浅い全結合分岐を追加。全CNNはImageNet事前学習重み、Transformerなど他の層はランダム初期化。

学習はAdamオプティマイザを使い、クラス不均衡に対してfocal lossと少数派過サンプリングを導入。標準化学習率ウォームアップや減衰、ハードウェアはNVIDIA A100など高性能GPUを活用。モデルの学習時間は0.5〜6.5時間。

3.3 評価と統計解析

全モデルはテストセットと交差検証データでAUCとAP評価。ブートストラップ法で平均値・標準誤差算出、置換検定でモデル間差の有意性を検証。さらに多モーダル融合では、特徴消失法（feature ablation）で各モダリティの融合モデル予測性能への相対寄与率（RURs）を定量化。

4. サブグループ分析

様々な臨床集団におけるモデル性能を探るため、被験者を膝既往歴で“既往損傷・手術なし”、“損傷あり手術なし”、“既往手術あり”の三群に分け、さらにベースラインKLグレードと症状（WOMAC合計10を閾値）で層別化し、各サブグループでAUC・APを算出。多モーダル／単モーダルモデルの実人集団での有効性の異質性を検証した。

四、主な実験結果の詳細

1. 臨床ベースラインモデル結果

12ヶ月ウィンドウでは、WOMACと膝既往歴の追加によりAUC・APとも0.07向上。KLグレード導入でAPさらに+0.10、短期予測には画像情報が追加価値を持つ。24-48ヶ月域では臨床および画像因子増分は減少したが、最長96ヶ月ウィンドウでは非画像因子＋KLグレード追加で顕著な性能向上。長期予後は短期よりも識別が容易。多変量ロジスティック回帰モデル（C3）が最良基線として採用された。

2. 単一モーダル画像モデル結果

X線モデルは12/24ヶ月ではベースラインモデル未満、36ヶ月以降で優勢、48-96ヶ月APは有意に向上。MRI構造シーケンス（DESS・TSE）では12ヶ月AUCがベースライン・X線を超え、24ヶ月以降で両指標とも上昇、24・96ヶ月AUCが特に顕著。T2-map（成分MRI）はX線と類似。長期予後で全MRIモデルが臨床基線・X線超、早期検出価値を示した。

3. 多モーダル融合モデル結果

3.1 MRIプロトコル間融合

構造MRI（DESS＋TSE）の2シーケンス融合は12ヶ月AUCでわずか0.03向上（有意差なし）、成分プロトコル（T2-map）追加では一部36ヶ月目標APでのみ顕著に向上。多シーケンス融合でも断続的な増分に留まった。

3.2 放射線＋MRI融合

X線＋DESS融合は12ヶ月AUCで単体よりそれぞれ0.11と0.05向上、48/96ヶ月で一部APもわずかに上昇。三モーダル（XR+DESS+T2-map）が最良で、全体評価値AUCは0.70〜0.76、APは0.10〜0.55の範囲で比較的安定。臨床変数追加で全体性能は顕著な向上を示さず、12ヶ月APは逆に非画像基線未満となる場合も。つまり進行しやすい症例は臨床変数のみで十分識別でき、多モーダル画像の追加価値はより難治性・異質症例に発揮される。

4. サブグループと寄与率分析

“既往損傷・手術なし”集団では全モデルAUCは中位、MRI・融合モデルのヒット率が微増、特に基線KLグレード低かつ症状陽性者で顕著。既往損傷・手術ありでは全モデル性能が顕著に向上、MRI・融合モデルのAUC/APは臨床やX線モデルを大幅に上回り、組織損傷/炎症/変性の過程を高次画像特徴で敏感に検知可能。

RURs解析によれば、融合モデルではDESS MRIが常に絶対主導（平均>85%）、T2-mapは短期ウィンドウで顕著な補完効果（最高28%）も、期間延長で寄与減少。臨床指標とX線を多モーダル融合に組み込んだ場合、限界寄与は極めて低（%）。MRI（特に構造MRI）が情報量最多で、KLグレード進行予測において“情報の頂点”であることが示された。

五、総合結論・科学的および応用的意義

1. 主な科学的結論

本研究はエンドツーエンドの多モーダル深層学習予測フレームワークを提案し、多モーダル融合がKOA進行予測にもたらす実際の利得を体系的評価した。その結果、「モーダル数が多いほど良い」という直感は否定され、KOA進行の長期・短期予測において単独の構造MRIで多モーダル融合と同水準の性能が得られることが分かった。ごく少数の複雑集団（例えば既往膝損傷/手術症例）や疑難早期症例でだけ、多モーダル融合が顕著な有益性を持ちうる。

また、成分MRI（T2-map）は12ヶ月以内の早期変性症例同定に若干の価値があるが、フォローアップ期間延長で情報量が減少。これはKLグレードというゴールドスタンダードが形態学的変化に依拠していることとも関連。臨床変数は主に短期予測で情報価値を持ち、現実世界のスクリーニングでは既往膝疾患歴と機能スコアのみでもハイリスク群の選定が可能、MRI検査対象者を絞り込める可能性も示唆。

2. 応用と転化価値

応用面では、本研究成果は重要な実践的意義を持つ。安価なX線検査と基本臨床評価で大多数の人々のKOAリスクスクリーニングニーズは満たされ、MRI活用は複雑な既往歴・疑難症状・新規損傷・治験介入コホートに絞るのが合理的。スクリーニングニーズや臨床ニーズに応じ、画像シーケンス／多モーダル融合の階層的運用により医療効率が向上し、リソース最適化が可能となる。

ディープラーニング（CNN＋Transformer）ベースのエンドツーエンド予測は、従来型の領域分割や抽出式画像生体マーカーに比べて、複雑な画像オミクス（radiomics）および空間変動特徴を包括的に捉え、KOA進行の個別予測に新たな道を拓く。公開ソースコードと再現性ある設計は、関連AI手法のKOA・整形外科、さらには慢性疾患進行予測分野への普及・深化を促すだろう。

六、研究の注目ポイントと独自性

  1. ワークフローがエンドツーエンドで完結：X線・3種MRI・臨床データを用いた多モーダルエンドツーエンド融合予測を初めて実現し、標準化・オープンな分析フローを構築。
  2. 大規模サンプル・多時間枠検証：OAIデータベースを活用し、サンプル数とサブグループ分析粒度が大幅増。研究結果の普遍性・説得力が向上。
  3. 多モーダル融合の実価値に深く着目：RURsで各画像タイプの真のモデル推論寄与を定量化し、構造MRIの主導性を発見。業界の“多モーダル万能”発想に一石を投じた。
  4. サブグループおよび異質性識別：臨床背景（術後・損傷後・典型例）によるモデル性能差を詳細分析。KOA研究・モデリングで人群層別化の必要性を強調。
  5. 方法論的イノベーション：CNNとTransformerの構造を融合し、局所画像特徴とシーケンス／複数情報源のグローバル依存性を両立。今後の大規模医用画像融合研究に指針を示す。

七、その他注目すべき情報

  • 本論文のすべての関連コード、データ抽出・前処理・モデル開発・評価フローはGitHub（https://github.com/imedslab/oaprogressionmmf）で公開済み。
  • ディスカッションでは、疾患進行シーケンス予測、画像ドメイン適応、多施設データ汎化、AIモデルのスリム化等、将来の研究展望を提示。
  • KLグレードをエンドポイントとした限界性を指摘し、将来の予測体系にはMRI定量スコア（MOAKS等）や適応的表現型グルーピングの導入を提唱。
  • 今後の多モーダルDLモデル開発では、各モーダル分岐の学習重み均衡性の考慮、より臨床的説明力と実用性ある構造最適化・意思決定メカニズムの追求が必要と指摘。

八、まとめ

本研究は多モーダルディープラーニングアプローチにより、X線・各種MRIおよびその融合が膝変形性関節症進行予測に果たす実質的貢献を体系的に評価し、臨床・研究現場のニーズに対応した層別スクリーニング・意思決定提案をまとめた。大規模検証、精緻なサブグループ分析およびオープンソースフレームワークにより、変形性関節症および関連慢性疾患予測AI手法の探索と具体的適用に新たな基盤と方向性を提供した。