
2026/10/26 2:15
CNN が登場から10年で先端的なLLMの皮膚がん診断性能を超えた
RSS: https://news.ycombinator.com/rss
要約▶
日本語訳:
マグナス・リンチ氏率いる最近の研究は、現在の医療 AI に存在する重要な限界を明らかにしました。専門的かつ古いコンピュータビジョンモデルは、皮膚がんの診断において、最先端の汎用 Large Language Model (LLM) よりも高い性能を発揮できます。2025 年に公開された MILK10k データセットの画像を用いて、研究者たちはフロンティア級の LLM(GPT-6 Astra および Claude Fable 5.1)を、日常生活の照片で事前学習され、医療データへの適応にわずか 20 分で完了した Inception v3 CNN と比較しました。200 の生検証明病変からなるテストセットにおいて、CNN は全体的な精度が 62% で、両方の LLM(42%)を上回りました。特にメラノーマの同定では(13/30 の症例)、LLM が苦手とする分野で CNN は優れていました。一方、基底細胞がん(BCC)において CNN は正しく 96% を同定しましたが、GPT-6 Astra は BCC で 100% を達成したにもかかわらず、危険なバイアスに悩まされており、メラノーマを頻繁に BCC または日光角化症として誤分類していました。これらのバイアスは重大な臨床的な影響を持ちます:離院意思決定に使用した場合、LLM は CNN の閾値において著しく多くの患者の離院を推奨しました。特に、「患者」としてプロンプトを与えられて医師が必要かどうかを判断するよう促された場合、両方の LLM はほぼすべての良性症例(98–99/100)について専門医の受診を勧め、診断モードとの対照的な結果を示しました。CNN のコンパクトなサイズにより、データをアップロードせずに WebGPU を使用して携帯電話上のブラウザ全体で動作させることができます。これらの発見にもかかわらず、研究著者たちはサンプル数の少なさ(200 の病変)、LLM 訓練に使用された公開データ由来の潜在的な汚染(2025 年以降)、そして Inception v3 が現代のアンサンブルと比較して state-of-the-art でないことなどの限界について注意を喚起しています。したがって、臨床医は新しいモデルが本質的に優れていると仮定すべきではありません。皮膚科のような特定の視覚的タスクにおいては、今日でも特別に最適化されたアーキテクチャの方が高い精度と安全な成果を提供する可能性があります。
本文
最新の AI よりも性能が上だった:10 年前の CNN が皮膚がん診断で圧勝した検証結果
皮膚科医として、GPT-6 Astra と Claude Fable 5.1 という**最先端の大型言語モデル(LLM)**に対し、皮膚がんの診断能力を検証を行いました。その結果は驚くべきものであり、これらの最新 AI は評価に見合っていないことが判明しました。 対照的に、**精度の高さを示したのは実は 2015 年に公開された 10 年前の CNN(畳み込みニューラルネットワーク)**でした。
検証ケーススタディ:悪性黒色腫の誤診事例
症例の詳細
- 画像: 耳に発症した浸潤性悪性黒色腫。厚さは 0.8mm 未満。
- 提供元: MILK10k データセット(MILK 研究チーム)。
- 状況: 無害な病変と見分けがつかず、医師の判断を試す典型的なケースです。
AI モデルの診断結果比較
| モデル | 判定結果 | 結論 |
|---|---|---|
| GPT-6 Astra | 脂腺様化生角化症(セボーリスケラトシス) | 誤診。無害な増殖と判断し、患者を退院させるべきだと結論付けた。 |
| Claude Fable 5.1 | 脂腺様化生角化症(セボーリスケラトシス) | 誤診。同様に無害であると判定し、退院を推奨した。 |
| Inception v3 (CNN) | 悪性黒色腫 | 正解。がんとして正しく診断しました。 |
この事例のように、最新 LLM は臨床写真と皮膚鏡画像を見ても良性と誤認する傾向があり、対照的に旧式の CNN は正確に悪性を捉えています。
大規模なテストの詳細設定
データセット:MILK10k
国際皮膚画像協力(International Skin Imaging Collaboration)を通じて公開された公共データセットを使用しました。
- 構成: 通常の診察室写真(臨床写真)と、照明付き拡大レンズ写真(皮膚鏡画像)の計2 枚。
- 対象: 組織病理学検査で確定診断された 200 の病変例。
テストに使用したモデル
- GPT-6 Astra: 最新の LLM。
- Claude Fable 5.1: 最新の LLM。
- Inception v3 (CNN): Google が 2015 年に発表した旧モデル。
- 事前学習: 日常のウェブ画像で学習済み。
- ファインチューニング: ISIC Archive(皮膚鏡画像 68,011 枚+臨床写真)で再学習。単一の H100 GPU で実施。
- データリーク対策: トレーニングデータにテスト対象の病変を一切含まず、検証用にも使用していない。
テストタスク(医師向けプロンプト)
画像のみを提示し、臨床医として以下の回答を求めました:
- 主要診断: 最も可能性の高い病気(6 つの選択肢または「不明瞭」)。
- 確信度。
- 第 2 候補診断。
- 治療不要で退院させるべきか?
診断精度比較結果:CNN が圧勝
全体的な正解率
| モデル | 総正解数(200 件中) | 正解率 |
|---|---|---|
| Inception v3 (CNN) | 125 | 62% |
| GPT-6 Astra | 84 | 42% |
| Claude Fable 5.1 | 85 | 42% |
- 結論: 約 20 分のファインチューニングのみで調整された旧モデルが、最先端の LLM を皮膚がん認識能力において上回りました。
詳細なカテゴリ別成績
悪性黒色腫、基底細胞がんなど各カテゴリーごとの正解数(括弧内は割合)です。
| カテゴリ | GPT-6 Astra | Claude Fable 5.1 | Inception v3 (CNN) |
|---|---|---|---|
| 全 200 例 | 84 (42%) | 85 (42%) | 125 (62%) |
| 悪性黒色腫(30 件) | 8 (27%) | 11 (37%) | 13 (43%) |
| 基底細胞がん(25 件) | 25 (100%) | 18 (72%) | 24 (96%) |
| 扁平上皮がん(25 件) | 12 (48%) | 5 (20%) | 16 (64%) |
| 日光角化症(20 件) | 10 (50%) | 12 (60%) | 9 (45%) |
| 良性母斑(50 件) | 16 (32%) | 33 (66%) | 37 (74%) |
| 脂腺様化生角化症(50 件) | 13 (26%) | 6 (12%) | 26 (52%) |
追加選択肢(第 2 候補)を含む成績
初回回答または第 2 の選択肢で正解した場合の合計数です。
| モデル | 総合スコア |
|---|---|
| Inception v3 (CNN) | 173 |
| Claude Fable 5.1 | 138 |
| GPT-6 Astra | 134 |
致命的な失敗パターンの分析
1. LLM の「好みの答え」によるバイアス
LLM は特定の病気を選好する傾向がありました。
- GPT-6 Astra: 実際には 25 例しかなかった基底細胞がんと診断したものを、75 例にも見積もり出しました(悪性黒色腫の 14 件を含む)。
- Claude Fable 5.1: 実際には 20 例しかなかった日光角化症を、53 例も診断しました。
2. CNN のエラーパターン
CNN は逆のパターンで誤診を行いました。悪性黒色腫を見逃した 17 件中:
- 8 件を「良性母斑」と誤診。
- 6 件を「脂腺様化生角化症」と誤診。
3. 安全な病変での見落とし(重要)
「退院させても問題ない」と判断すべき良性病変を正しく認識できた数の比較です。
| カテゴリ | GPT-6 Astra | Claude Fable 5.1 | Inception v3 (CNN) |
|---|---|---|---|
| 良性母斑(安全な退院推奨) | 16 (32%) | 33 (66%) | 37 (74%) |
| 脂腺様化生角化症(安全な退院推奨) | 13 (26%) | 6 (12%) | 26 (52%) |
CNN は良性病変を見逃す割合が最も少なく、特に GPT-6 Astra に比べて大幅に優れていました。
臨床的リスク指標:退院判断の安全性
モデルが「安全で退院できる」と判定した場合の数値(閾値設定下での結果)です。 ※同等条件に調整した場合は、CNN は 98〜99 件の良性病変を正しく識別し、危険な病変の見落としは最小限に抑えられました。
| メトリック | GPT-6 Astra | Claude Fable 5.1 | Inception v3 (CNN) |
|---|---|---|---|
| 退院させないべき危険な病変(97/100 件) 正しく「治療必要」と判断した数 | 97 | 96 | 閾値設定では 77 (同等条件なら 98〜99) |
| 退院させても安全な病変(32/100 件) 正しく「無害」と判断した数 | 32 | 22 | 閾値設定では 76 (同等条件なら 98〜99) |
| 悪性黒色腫の誤放送回数(1/30 件) がんなのに「無害」と判断した回数 | 3 | 4 | 閾値設定では 18 (同等条件なら 1〜2) |
注: LLM は閾値を調整しても CNN に劣る性能は維持されており、特に危険な病変を見逃すリスクが高いことが示唆されます。
患者視点からのテスト結果
もし「医師の診断が必要か?」と質問した場合:
- LLM は無害な病変を含むほぼ全てのケースで、「医師に診てもらってください」と勧告しました(99/100 件および 98/100 件)。
- これは、LLM がリスク過剰反応をする傾向があることを示しています。
結論と限界(Caveats)
結論
古く、小型で専門的なネットワークであり、陳腐なアーキテクチャを使用しているにもかかわらず、Inception v3 は 2 つの最先端 LLM よりもはるかに優れた皮膚病変認識能力を有しています。
注意点
- サンプル数の少なさ: 200 件のデータでは統計的な誤差を含んでいる可能性があり、特に悪性黒色腫(30 件)が少ない点に留意が必要です。
- データ汚染の懸念: MILK10k は 2025 年から公開されています。LLM が訓練中にこれを見て学習してしまった可能性があります(CNN は見ていない)。もし見た場合は、LLM の有利な結果が人为的に助長されている可能性があります。
- モデルの限界: Inception v3 は基準的なモデルであり、現在はより高性能な画像トランスフォーマーのアンサンブルが主流です。
- 再現性: LLM は一度きりの回答しか行っておらず、再度実行すると結果が変わる可能性があります(確率論的性質)。
ご自身で試す方法
このモデルは非常に軽量であり、WebGPUを利用してスマートフォンブラウザ上ですべて動作します。データはサーバーにアップロードされません。
- 機能: ランダムサンプリングボタンを押すと、今回のテストで使用された 200 の病変の中からサンプルを抽出します。
- 入手方法: 症例データ、プロンプト、LLM の回答例、スコアリングコードは単一ファイルで提供されており、CNN モデルもダウンロード可能です。
監修とクレジット
- 臨床デザイン・判断: マグナス・リンチ(皮膚科医)が担当。
- 解析・執筆: Anthropic のコーディングツール「Claude Code」を使用。
- 画像データ: MILK10k データセット(CC BY-NC ライセンス)。