CNN が登場から10年で先端的なLLMの皮膚がん診断性能を超えた

2026/10/26 2:15

CNN が登場から10年で先端的なLLMの皮膚がん診断性能を超えた

RSS: https://news.ycombinator.com/rss

要約▶

日本語訳:

マグナス・リンチ氏率いる最近の研究は、現在の医療 AI に存在する重要な限界を明らかにしました。専門的かつ古いコンピュータビジョンモデルは、皮膚がんの診断において、最先端の汎用 Large Language Model (LLM) よりも高い性能を発揮できます。2025 年に公開された MILK10k データセットの画像を用いて、研究者たちはフロンティア級の LLM(GPT-6 Astra および Claude Fable 5.1)を、日常生活の照片で事前学習され、医療データへの適応にわずか 20 分で完了した Inception v3 CNN と比較しました。200 の生検証明病変からなるテストセットにおいて、CNN は全体的な精度が 62% で、両方の LLM(42%)を上回りました。特にメラノーマの同定では(13/30 の症例)、LLM が苦手とする分野で CNN は優れていました。一方、基底細胞がん(BCC)において CNN は正しく 96% を同定しましたが、GPT-6 Astra は BCC で 100% を達成したにもかかわらず、危険なバイアスに悩まされており、メラノーマを頻繁に BCC または日光角化症として誤分類していました。これらのバイアスは重大な臨床的な影響を持ちます:離院意思決定に使用した場合、LLM は CNN の閾値において著しく多くの患者の離院を推奨しました。特に、「患者」としてプロンプトを与えられて医師が必要かどうかを判断するよう促された場合、両方の LLM はほぼすべての良性症例(98–99/100)について専門医の受診を勧め、診断モードとの対照的な結果を示しました。CNN のコンパクトなサイズにより、データをアップロードせずに WebGPU を使用して携帯電話上のブラウザ全体で動作させることができます。これらの発見にもかかわらず、研究著者たちはサンプル数の少なさ(200 の病変)、LLM 訓練に使用された公開データ由来の潜在的な汚染(2025 年以降)、そして Inception v3 が現代のアンサンブルと比較して state-of-the-art でないことなどの限界について注意を喚起しています。したがって、臨床医は新しいモデルが本質的に優れていると仮定すべきではありません。皮膚科のような特定の視覚的タスクにおいては、今日でも特別に最適化されたアーキテクチャの方が高い精度と安全な成果を提供する可能性があります。

本文

最新の AI よりも性能が上だった:10 年前の CNN が皮膚がん診断で圧勝した検証結果

皮膚科医として、GPT-6 Astra と Claude Fable 5.1 という**最先端の大型言語モデル(LLM)**に対し、皮膚がんの診断能力を検証を行いました。その結果は驚くべきものであり、これらの最新 AI は評価に見合っていないことが判明しました。 対照的に、**精度の高さを示したのは実は 2015 年に公開された 10 年前の CNN(畳み込みニューラルネットワーク)**でした。


検証ケーススタディ:悪性黒色腫の誤診事例

症例の詳細

  • 画像: 耳に発症した浸潤性悪性黒色腫。厚さは 0.8mm 未満。
  • 提供元: MILK10k データセット(MILK 研究チーム)。
  • 状況: 無害な病変と見分けがつかず、医師の判断を試す典型的なケースです。

AI モデルの診断結果比較

モデル判定結果結論
GPT-6 Astra脂腺様化生角化症(セボーリスケラトシス)誤診。無害な増殖と判断し、患者を退院させるべきだと結論付けた。
Claude Fable 5.1脂腺様化生角化症(セボーリスケラトシス)誤診。同様に無害であると判定し、退院を推奨した。
Inception v3 (CNN)悪性黒色腫正解。がんとして正しく診断しました。

この事例のように、最新 LLM は臨床写真と皮膚鏡画像を見ても良性と誤認する傾向があり、対照的に旧式の CNN は正確に悪性を捉えています。


大規模なテストの詳細設定

データセット:MILK10k

国際皮膚画像協力(International Skin Imaging Collaboration)を通じて公開された公共データセットを使用しました。

  • 構成: 通常の診察室写真(臨床写真)と、照明付き拡大レンズ写真(皮膚鏡画像)の計2 枚。
  • 対象: 組織病理学検査で確定診断された 200 の病変例。

テストに使用したモデル

  1. GPT-6 Astra: 最新の LLM。
  2. Claude Fable 5.1: 最新の LLM。
  3. Inception v3 (CNN): Google が 2015 年に発表した旧モデル。
    • 事前学習: 日常のウェブ画像で学習済み。
    • ファインチューニング: ISIC Archive(皮膚鏡画像 68,011 枚+臨床写真)で再学習。単一の H100 GPU で実施。
    • データリーク対策: トレーニングデータにテスト対象の病変を一切含まず、検証用にも使用していない。

テストタスク(医師向けプロンプト)

画像のみを提示し、臨床医として以下の回答を求めました:

  1. 主要診断: 最も可能性の高い病気(6 つの選択肢または「不明瞭」)。
  2. 確信度。
  3. 第 2 候補診断。
  4. 治療不要で退院させるべきか?

診断精度比較結果:CNN が圧勝

全体的な正解率

モデル総正解数(200 件中)正解率
Inception v3 (CNN)12562%
GPT-6 Astra8442%
Claude Fable 5.18542%
  • 結論: 約 20 分のファインチューニングのみで調整された旧モデルが、最先端の LLM を皮膚がん認識能力において上回りました。

詳細なカテゴリ別成績

悪性黒色腫、基底細胞がんなど各カテゴリーごとの正解数(括弧内は割合)です。

カテゴリGPT-6 AstraClaude Fable 5.1Inception v3 (CNN)
全 200 例84 (42%)85 (42%)125 (62%)
悪性黒色腫(30 件)8 (27%)11 (37%)13 (43%)
基底細胞がん(25 件)25 (100%)18 (72%)24 (96%)
扁平上皮がん(25 件)12 (48%)5 (20%)16 (64%)
日光角化症(20 件)10 (50%)12 (60%)9 (45%)
良性母斑(50 件)16 (32%)33 (66%)37 (74%)
脂腺様化生角化症(50 件)13 (26%)6 (12%)26 (52%)

追加選択肢(第 2 候補)を含む成績

初回回答または第 2 の選択肢で正解した場合の合計数です。

モデル総合スコア
Inception v3 (CNN)173
Claude Fable 5.1138
GPT-6 Astra134

致命的な失敗パターンの分析

1. LLM の「好みの答え」によるバイアス

LLM は特定の病気を選好する傾向がありました。

  • GPT-6 Astra: 実際には 25 例しかなかった基底細胞がんと診断したものを、75 例にも見積もり出しました(悪性黒色腫の 14 件を含む)。
  • Claude Fable 5.1: 実際には 20 例しかなかった日光角化症を、53 例も診断しました。

2. CNN のエラーパターン

CNN は逆のパターンで誤診を行いました。悪性黒色腫を見逃した 17 件中:

  • 8 件を「良性母斑」と誤診。
  • 6 件を「脂腺様化生角化症」と誤診。

3. 安全な病変での見落とし(重要)

「退院させても問題ない」と判断すべき良性病変を正しく認識できた数の比較です。

カテゴリGPT-6 AstraClaude Fable 5.1Inception v3 (CNN)
良性母斑(安全な退院推奨)16 (32%)33 (66%)37 (74%)
脂腺様化生角化症(安全な退院推奨)13 (26%)6 (12%)26 (52%)

CNN は良性病変を見逃す割合が最も少なく、特に GPT-6 Astra に比べて大幅に優れていました。


臨床的リスク指標:退院判断の安全性

モデルが「安全で退院できる」と判定した場合の数値(閾値設定下での結果)です。 ※同等条件に調整した場合は、CNN は 98〜99 件の良性病変を正しく識別し、危険な病変の見落としは最小限に抑えられました。

メトリックGPT-6 AstraClaude Fable 5.1Inception v3 (CNN)
退院させないべき危険な病変(97/100 件)
正しく「治療必要」と判断した数
9796閾値設定では 77
(同等条件なら 98〜99)
退院させても安全な病変(32/100 件)
正しく「無害」と判断した数
3222閾値設定では 76
(同等条件なら 98〜99)
悪性黒色腫の誤放送回数(1/30 件)
がんなのに「無害」と判断した回数
34閾値設定では 18
(同等条件なら 1〜2)

注: LLM は閾値を調整しても CNN に劣る性能は維持されており、特に危険な病変を見逃すリスクが高いことが示唆されます。


患者視点からのテスト結果

もし「医師の診断が必要か?」と質問した場合:

  • LLM は無害な病変を含むほぼ全てのケースで、「医師に診てもらってください」と勧告しました(99/100 件および 98/100 件)。
  • これは、LLM がリスク過剰反応をする傾向があることを示しています。

結論と限界(Caveats)

結論

古く、小型で専門的なネットワークであり、陳腐なアーキテクチャを使用しているにもかかわらず、Inception v3 は 2 つの最先端 LLM よりもはるかに優れた皮膚病変認識能力を有しています。

注意点

  1. サンプル数の少なさ: 200 件のデータでは統計的な誤差を含んでいる可能性があり、特に悪性黒色腫(30 件)が少ない点に留意が必要です。
  2. データ汚染の懸念: MILK10k は 2025 年から公開されています。LLM が訓練中にこれを見て学習してしまった可能性があります(CNN は見ていない)。もし見た場合は、LLM の有利な結果が人为的に助長されている可能性があります。
  3. モデルの限界: Inception v3 は基準的なモデルであり、現在はより高性能な画像トランスフォーマーのアンサンブルが主流です。
  4. 再現性: LLM は一度きりの回答しか行っておらず、再度実行すると結果が変わる可能性があります(確率論的性質)。

ご自身で試す方法

このモデルは非常に軽量であり、WebGPUを利用してスマートフォンブラウザ上ですべて動作します。データはサーバーにアップロードされません。

  • 機能: ランダムサンプリングボタンを押すと、今回のテストで使用された 200 の病変の中からサンプルを抽出します。
  • 入手方法: 症例データ、プロンプト、LLM の回答例、スコアリングコードは単一ファイルで提供されており、CNN モデルもダウンロード可能です。

監修とクレジット

  • 臨床デザイン・判断: マグナス・リンチ(皮膚科医)が担当。
  • 解析・執筆: Anthropic のコーディングツール「Claude Code」を使用。
  • 画像データ: MILK10k データセット(CC BY-NC ライセンス)。

同じ日のほかのニュース

一覧に戻る →

2026/10/26 3:23

ドルリー・パルトンの想像力図書館

## Japanese Translation: Imagination Library は、出生から 5 歳までの子供たちに無料で本を直接郵送することで、読書の生涯にわたる愛を育むことを目的としたグローバル・イニシアチブです。歌手のドリー・パートン氏および 5 カ国の地域パートナーによる資金提供により、このプログラムは家族所得にかかわらず、すべての子供が高品質で年齢に適した物語への瞬時のアクセスを確保しています。金銭的障壁を取り除くことで、本モデルは家族からの支払いを必要とせず、特別に選ばれた書籍を家庭に直接届けます。1995 年、ドリー・パートン氏が父の無学識という個人的な経験に基づいて東テネシー州で開始以来、この地元のプロジェクトはコアミッションを維持しながらグローバルに拡大しました。このアプローチは、毎月の子供たちに読書への興奮と魔法をもたらす本を提供することで、幼少期の子供たちとその家族の間で読書の愛を育み、将来の専門家の人材育成の道筋を作り出すことを目指しています。プログラムは今後も国際的に拡大を続けつつ、一貫した月額配送モデルと高い書籍選定基準を厳しく維持し、世界中の若者の心に対して最大限の肯定的な影響を及ぼすよう努めています。

2026/10/26 5:27

アニメーション映画をつくるには何が必要か?

## Japanese Translation: ディズニーのアニメーションにおける成功は、物語性、芸術性、技術性が全ての制作段階にわたって独特に統合されていることに起因します。このアプローチの核心には、クリエイティブアーティストと技術チーム間の深いコラボレーションがあり、**キャスティング**といった特別役割が支えています。キャスティングは完璧な俳優を見つけ、キャラクターに命を吹き込む役割を果たし、**制作トレーニングおよび開発**は講義、ワークショップ、上映会を通じてスタッフを教育する役割です。この構造化されたワークフローには、ショット毎のキャラクター演技や髪、衣装、環境などの微細な詳細に注力しながらシーンが作られる**ショット制作**が含まれ、それは変化する物語のアイデアを結び付けていく**編集および音響チーム**によって導かれます。ワルト・ディズニー・アニメーション・リサーチ・ライブラリと呼ばれる膨大なアーカイブには、アニメーションの歴史に及ぶほぼ1世紀分の6500万件以上のアセットが保存されており、制作終了後、社全体が歴史的な美術をアクセスし再利用できるようになっています。これは遺産を持続可能な優位性へと変えるものです。技術職は共感に基づいたアプローチで作業環境を設計し、安全性や品質を損なわずにより高速な反復を可能にする不可欠なソフトウェアツールを開発しています。また、技術ディレクターはツールの構築とサポートを通じて問題を解決します。アートとテクノロジーの間でのこのパートナーシップにより、創造プロセスを最適化する画期的なツールが生まれます。制作管理部門は常に変化するスケジュールに素早く対応し効率性を確保し、**ポストプロダクション**は映像と音の最終デリバリーを通じて映画を形作ります。ディズニーはアーティストが高品質なビジュアライゼーションを実現できるために、複雑な映画製作プロセスを最適化しつつ拡張可能なフレームワークを確立しており、その結果としてこの包括的なサイクルを経て現在劇場公開中の『ズートピア2』などの現在のブロックスターが生まれています。

2026/10/26 4:11

私がプログラマーである理由

## Japanese Translation: 本テキストは、1990年代の非プログラマーだったグラント・スミスが、伝説的なコーディングチュートリアルの著者へと転身した感動的な物語を振り返っています。コンピュータが希少であり、しかも荒れた地域の標的としてさらされていた時代を経てスミスは、3.5 インチフロッピーディスクを通じて海賊版ソフトウェアを収集し、モデムを用いてBulletin Board Systems (BBS) を介してデジタルアンダーグラウンドにアクセスしました。彼の旅路は、ゲームのコピー保護をクラックすることから始まり、クラックトロ(現代的なデモの視覚的前駆者)に出会い、受動的な消費から能動的な創作への転換をもたらされました。BBS の一つを通じて偶然に見つけたデンソアの「ASPHYXIA VGA DEMO TRAINER SERIES」(スプライト、アニメーション、ワイヤーフレーム 3D、ソリッド 3D を網羅したパスクールソースコードとチュートリアルのコレクション)を用い、Epsom LQ-300 プリンターと Turbo Pascal 6.0 を使用して指示を綿密に追いかけることに成功しました。当初はプログラミングの知識がまったくないにもかかわらず、彼らは複雑な視覚効果に精通し、他人にとってそれは「体外体験」と感じられるものでした。この物語は、アクセス可能な技術文書がどのように愛好家をニッチなコミュニティ(例:デモシーン)内の創造者へと変えることができるかを示しており、現在オンライン上で再び注目されている物語です。

CNN が登場から10年で先端的なLLMの皮膚がん診断性能を超えた | そっか~ニュース