← 2026-07-18 の一覧へ戻るホーム
Kimi K3 とペリカンベンチマークから学べることはまだある

2026/07/17 23:21

Kimi K3 とペリカンベンチマークから学べることはまだある

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

Moonshot AI は、パラメータ数が 2.8 兆に達し、先行モデルの倍以上を誇る史上最高能力のモデル Kimi K3 を発表しました。2026 年 7 月 27 日のオープン・ウェイトリリースが予定されています。ベンチマーク結果では、Kimi K3 は Claude Opus 4.8 および GPT-5.5（high）を凌駕し、Claude Fable 5 や GPT-5.6 Sol といったトップクラスモデルには及ばないという位置付けです。長期的タスクにおける総合的な Elo 評価は 1547 で、先行モデル Kimi K2.6 よりも +732 ポイントの大幅な改善を記録しました。中国系ラボの中では最も高価格帯（0.94 ドル／タスク）に位置付けられており、オープン・ウェイトモデルよりも高い料金設定となっていますが、米国大手企業との比較ではタスク単価ベースでコスト競争力を維持しており、出力トークン数が先行モデルの 21% 減少することで大幅な効率化を達成しています。Kimi K3 はフロントエンドコード生成や認証済みビジョン機能といった専門分野において優位を示しており、SVG ペリカン画像の処理がわずか 0.6 セントで実現されています。「max」という単一の推論レベルにおいて、応答トークン（3,417）に対して約 4 倍に当たる推論トークン（13,241）を消費するという特徴があり、単純なベンチマーク（例えば「pelican」のようなタスク）と包括的なエージェント能力の関連性が低下する状況下においても、米国大手企業に対し、モデルの本質的価値はパフォーマンス指標よりも専門的実用性へのシフトにあることを示す戦略的な転換を象徴しています。

本文

中国の AI ラボ「Moonshot AI」、史上最高能力モデル「Kimi K3」を発表

2026 年 7 月 16 日、中国の人工知能（AI）ラボ**「Moonshot AI」は、同社史上最も強力なモデルである「Kimi K3（Kimi K3）」**を正式に発表しました。

キーファクト：Kimi K3 の基本情報

  • パラメータ数: 2.8 兆（業界初の「オープンな 3T クラスモデル」）
  • 現在のステータス: 公式サイトと API 経由で既に利用可能
  • オープンウェイト放出予定: 2026 年 7 月 27 日以降
  • ベンチマーク性能:
    • 総合評価では Claude Opus 4.8 Max と GPT-5.5 High を上回る結果を示した。
    • ただし、Claude Fable 5 や GPT-5.6 Sol よりはやや劣る。

詳細な性能分析レポート

人工知能分析社（Artificial Analysis）が公開したレポートによると、以下の成果が確認されています。

  • 長期知識作業評価:
    • Kimi K2.6 に比べ +732 ポイントもの大幅向上を達成。
    • 総合スコアは1547。ただし、トップクラスの Claude Fable 5 よりも低い水準。
  • コスト効率:
    • タスクあたりのコスト（0.94 ドル）は、GPT-5.6 Sol（1.04 ドル）と同程度です。
    • Opus 4.8（1.80 ドル）の約半分という低コストですが、オープンウェイト競合製品よりは高額な傾向にあります。
  • 効率性の向上:
    • トークン使用量が大幅削減され、出力トークンを21% 節約することができました。

アリーナでの成績と価格設定の変更

  • フロントエンドコードアリーナ: Kimi K3 はトップモデルとなり、Claude Fable 5 を下回りました。
  • 価格体系の見直し（注目点）:
    • 入力量: トークンあたり3 ドル。
    • 出力量: トークンあたり15 ドル。
    • これにより、Anthropic の Claude Sonnet シリーズと同価格帯となります。
    • 以前（K2.6 など）に比べて入力コストが約 3 倍、出力コストが約 4 倍と著しく高価になりました。

「ペリカンテスト」による実証実験

Moonshot の API キーを直接登録せず、OpenRouter を介して同モデルを試験運用しました。以下のコマンドを実行し、「自転車にまたがるペリカン」の SVG 画像生成を依頼しました。

llm -m openrouter/moonshotai/kimi-k3 'Generate an SVG of a pelican riding a bicycle'

実験結果：思考コストと出力品質

  • トークン使用量:
    • 入力トークン：95
    • 出力トークン：16,658（その内訳で思考トークンが13,241）
    • 総コスト：わずか 0.25 ドル（25 セント）。
  • ビジョン機能の評価:
    • 生成された SVG に ALT テキストプロンプトを添え、画像入力機能を再テストしました。
    • コストはさらに低下し0.6 セントで高品質な記述を得ました。
    • 評価内容例: 「白い運動線を描かれたオレンジ色の大きな嘴と水掻き足のペリカンが、赤いスカーフを巻いて自転車にまたがり、灰色の道路を進んでいる...」など非常に詳細かつ質の高い説明が可能でした。

ペリカンテストから得られる教訓

「自転車に乗るペリカンの SVG を生成する」というテストは開始から 21 ヶ月経過しており、モデルの実力と相関関係が見えてきました。

  • 現在の限界:
    • GPT-5.6 や Claude Fable 5 が示した成果とは異なり、GLM-5.2 に劣る結果となりました。
    • 重要: このテストは現代の AI モデルにおいて最も重視すべき**「エージェント的なツール呼び出し機能」や「長期対話における信頼性」**を検証できていません。
  • 結論: モデル比較のためだけにペリカンテストを行うことは推奨されません。

なぜ今でもベンチマークとして価値があるのか

公式 API を活用し、実際に試すという行為自体が持つ価値は以下の通りです。

  1. 強制機能（フォース・ファンクション）: 「ペリカンを出力した」＝「そのプロンプトを実際に実行した」という確実性をもたらします。
    • OpenRouter を介さず、公式 API やローカル環境（llama.cpp, LM Studio, Ollama など）でも検証可能です。
  2. モデル特性の可視化:
    • Kimi K3 の場合、思考努力モードが**「max」のみ**用意されていることが浮き彫りになりました。これにより高額な思考トークン消費（25 セント）が発生していることが明らかです。
    • トークナイザーの動作や、システムプロンプトの影響度（「hi」と入力すると 86 トークンになるなど）を確認できます。
  3. 具体的なメリット:
    • プロンプティング入門としての練習演習になります。
    • シンプルなタスクにおけるコストと思考コストの概算が得られます。
    • モデルが有効な SVG と幾何学的・空間認識を理解しているか確認できます（特に小規模モデルへの適合性判断に有用）。

この「実際に試した」コンテンツは、Hacker News などで共有する際の伝統的な価値も依然として保っています。

同じ日のほかのニュース

一覧に戻る →

2026/07/18 7:26

カイザー看護師が語る、AI や職場監視が看護業務とケアの質を悪化させていることへの懸念

## Japanese Translation: カイザーパーマネンテの看護師たちは、AI 駆動による職場の監視が患者の安全を危険にさらすと非難し、通話時間の短縮や同情に基づいたケアの抑制を強いるとしている。カイザーはこれらのツールをウェルビーイングの促進に資すると擁護するが、批評家たちは過度な監視が士気を損ない誤りのリスクを高めるとの見解を示している。調査により、現在のおよび元看護師 7 名が、通話が 15 分を超えた場合に批判を受けたりパフォーマンス評価が下されるなどしたと報告されたことが明らかになっている。ソフトウェアはトーン分析、非生産性の予測、共感度の評価、および月次スコアへの通話指標の統合を実行する。特筆すべきは、これらの短時間に関連する患者からの苦情は一切記録されていないことである。この controvers は抗議運動を刺激し、3 月に 1 日間のストライキや昨年の秋のパイケティングを引き起こした。これはカリフォルニア看護師協会による新契約（コールセンターの看護師を含む約 2.5 万人のスタッフに適用）の交渉と一致しており、その中で AI が中心的役割を果たすと予想されている。カイザーは、すべてのコンタクトセンターツールには人間の審査と監督が含まれているとし、セキュリティ上の理由から詳細は非公開としている。2024 年の公記録請求により、通話時間に関連する患者からの苦情は一切見つかっていないが、看護師たちは安全上のリスクが依然として現実であると主張している。批評家たちは、厳格な時間制限の実施がバーンアウトや士気の低下、高リスク環境におけるエラーを招く可能性を警告している。カリフォルニア州では、AI を規制し、自動化された推奨事項を上回る従業員に対する報復を防ぎ、感情的状態の AI 予測を禁止する法案（元々 SB 7 の後継である上院法案 947）などの検討が行われている。ゴブナーニュースームは以前に同様の措置（SB 7）を拒否した。カイザーパーマネンテは現在、カリフォルニア州で最大の民間雇用主であり、カリフォルニア人 900 万人以上とその他の地域に住む 300 万人以上の人のサービスを提供している。

2026/07/17 18:42

AWS：誤った見込見積もりデータの件、被害額 17 億ドル

## Japanese Translation: 7 月 16 日 Pacific Daylight Time 午後 7 時 38 分、AWS は重大なソフトウェアの誤作動により、請求見積もりが数十億ドル〜数兆ドルという異常値を表示し始めました。この問題の原因は、価格計算が「バイト」単位ではなく「ギガバイト」単位で行われていた単位の不一致によるものです。この影響を受けたアカウントには、支出ゼロのアカウントも含め、推計課金額として 4 億 3000 万ドルが表示された例もあります。当初これらの警告はフィッシング攻撃に見えましたが、AWS はそれが本物の表示誤りであることを確認しており、実際の顧客請求に変更はなく、即時対応が必要な事態でもないとしています。この問題は請求計算サブシステムの更新失敗後に発覚し、単純なロールバックでは不十分で、適切な単位価格を用いて履歴の計量データを再計算する必要があったためです。エンジニアたちは内部計算エラーを修正するため、数時間以内に完全に解決できると予想しています。過去の重大な AWS 障害（2011 年の「フィールド内のコンマ」バグなど）に類似したこの出来事は、より厳格なエンドツーエンドの統合テスト（実際のお金での課金検証や XTS などのテスト通貨を使用するテストを含む）の実施、ならびに将来のバグや誤設定による爆発的なコスト増を防ぐための堅牢な支出上限の設定への要請を再び喚起しています。

2026/07/18 1:57

HN を感謝し、人生の職に導いてくれた 15 年間のお陰様です。

## Japanese Translation: Recurse Center は明日、設立から 15 周年を迎えます。これは YC Summer 2010 の発案「OkCupid for jobs」から誕生したもので、当初は失敗しましたが、組織はその後、他の不十分なコンセプトを数年間検討した後、自己主導型のプログラミングリトリートとして開始されました。2 つの小規模なバッチを実施した後、Hacker News に掲載され、素晴らしい反応を受けました。口コミとともに HN は応募者の 2 つ目の最大sources（第二の主要な申請者獲得源）となり、個人ネットワークを越えて世界中のプログラマーと親交を持つことが可能になり、彼らは互いに親友となりました。現在までに、これらの無料のリトリートは 3,000 人以上の方々にポジティブな影響を与えています。数十億円規模のビジネスではありませんが、創設者たちは、このような福祉志向の組織を運営することは非常に報われることであると考えており、ポール・グラハム氏の「価値は直接的な利益を必要としない」という観察例を挙げています。このモデルは、サービスの提供を通じて全球的な友情とオープンソース協力を育むことが、スケールよりもコミュニティの成長を優先する起業家にとって依然として持続可能で鼓舞的な道であることを証明しています。

Kimi K3 とペリカンベンチマークから学べることはまだある | そっか～ニュース