**GLM‑4.7：コーディング機能の進化**

2025/12/23 4:15

**イラスト付きトランスフォーマー**

## Japanese Translation: 記事は「Attention is All You Need」で紹介されたTransformerアーキテクチャと、従来の再帰型や畳み込み型ニューラル機械翻訳モデルに比べてその注意力ベース設計がトレーニングを高速化する方法について説明しています。 Transformerはエンコーダスタック（通常6層）とデコーダスタック（同じく6層）で構成されます。各層には以下の要素があります： 1. **自己注意**では、トークン埋め込み（512次元ベクトル）がクエリ・キー・バリュー行列にそれぞれ64次元へ射影されます。ドット積スコアは \(\sqrt{64}\) で縮小し、softmax を適用して値を重み付けし、合計します。 2. **マルチヘッド注意**では、各層に8セットの Q/K/V 射影が使用されます。すべてのヘッドからの出力は連結され、最終的な重み行列 \(W_O\) を通じて射影されます。 3. フィードフォワードニューラルネットワーク（ReLU の間にある2つの線形層）。 すべてのサブレイヤは残差接続とその後のレイヤ正規化で包まれています。 位置エンコーディング（512次元の正弦/余弦ベクトル）は埋め込みに加算され、モデルがトークン順序を知り、訓練時より長いシーケンスを扱えるようにします。デコーダでは自己注意がマスクされ、将来位置は \(-\infty\) に設定されるため、オートレグレッシブ生成が保証されます。 最終的なデコーダ出力は線形射影されてロジットベクトル（次元はターゲット語彙サイズ ≈10 000 単語）となり、その後 softmax で単語確率を得ます。訓練では、これらの分布とワンホットエンコードされた目標トークン間のクロスエントロピー損失が最小化され、逆伝播により最適化されます。 デコーディングは貪欲法またはビームサーチで行うことができ、記事では将来的にデコーディング戦略と大規模語彙や長いシーケンスへの訓練を改善する予定だと述べています。本文は元論文、Tensor2Tensor コード、Jupyter ノートブック、および後続のTransformerバリアントを参照し、Twitter での訂正を歓迎しています。 産業界において、Transformers を採用すると NLP プロジェクトが加速し、翻訳品質が向上し、言語集約型サービスへの展開が拡大します。

2025/12/23 4:37

**超音波による癌治療：サウンドウェーブで腫瘍と戦う**

## Japanese Translation: ### Summary HistoSonics の Edison システムは、水で満たされた膜を通じて高強度超音波を届け、腫瘍内部で崩壊する空洞泡を生成し、周囲の健康な組織を保護しながらがん細胞を機械的に液化します。この技術は 2001 年にミシガン大学で Zhen Xu によって発見されました。彼女は 20 MPa を超える負圧のマイクロ秒バーストが過熱なしに泡を作り出せることを示し、後に 2009 年に HistoSonics を設立して商業化しました。 FDA は 2023 年に肝臓腫瘍用として Edison を承認しました。主要な腎臓癌研究は 2026 年に完了予定で、その後規制承認が期待されます。大規模な膵臓試験（5 年生存率 13 % を目標）が進行中で、初期結果では深部病変の成功した焼灼と良好な耐容性が示され、ヒストトリッピーを他治療法と組み合わせることで残存疾患に対処し免疫応答を誘発できる可能性が示唆されています。 HistoSonics は、その目的に特化したデバイスが物理学、生物学、および生体医学工学を統合し、ロボット制御・コンピュータガイドシステムで繊維組織（例：血管）を保護しつつ液化腫瘍残渣の自然除去を可能にすると主張しています。技術はまた、がんタンパク質を露出させることで免疫応答を刺激し、免疫療法と組み合わせた際に全身性抗腫瘍活性を高める可能性があります。 新しいガイダンス技術—超音波ではなく X 線画像—と治療エコーを解析するフィードバックシステムが開発され、組織破壊のリアルタイムモニタリングが改善されています。 2025 年 8 月にジェフ・ベゾスの所有グループが HistoSonics を 22.5 億米ドルで取得し、研究開発と市場拡大への新たな資源を提供しました。成功すればヒストトリッピーは肝臓・腎臓・膵臓以外の癌にも非侵襲的手術オプションを広げ、音波をがん治療における変革的モダリティとして位置付ける可能性があります。

2025/12/23 4:30

**「ガーベジ・コレクション・ハンドブック」**

## Japanese Translation: ## 改訂版の概要 新しい「The Garbage Collection Handbook」では、過去60年間にわたる研究を一冊の分かりやすいリファレンスへとまとめ、並列・増分・同時実行・リアルタイムなど主要なガベージコレクション技術を網羅しています。 本書は、1996年に発表されたリチャード・ジョーンズのクラシック版および2012年に出版された第2版（当時の分野の状態を捉えていた）を基盤とし、永続性とエネルギー意識型GCに関する90ページ以上の新章、更新された擬似コード、図解、および約3,400件の論文を網羅した包括的なオンラインデータベースを追加しています。 電子書籍には37,000以上のハイパーリンクが含まれており、章・節・アルゴリズム・図表・用語集項目・索引項目、およびオリジナル研究論文へと直接アクセスできます。データベースはほぼすべて電子的に入手可能なエントリーの要旨、URLまたはDOIを提供し、BibTeX、PostScript、PDFとして検索・ダウンロードが可能です。 初版の中国語訳および日本語訳は2016年に出版され、本書の国際的な影響力を示しています。 ハンドブックのデジタルプラットフォームは新しい研究成果とともに継続的に拡充され、GC の動作やベンチマークデータについて詳細な洞察を求める開発者・言語設計者・商用コレクター・研究者にとって不可欠なリソースとなっています。