
2026/11/07 18:46
すべての Mac に搭載されている(未公開の)ファミリーメンバー分類器
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
macOS 26.6.2(ビルド番号 25G83)から、Apple は「knowledgeconstructiond」デーモンを介してローカルなデータ処理機能を導入し、「intelligenceplatformd」と連携してデバイス上の汎用知識グラフを構築しています。解析はフルディスクアクセส権下で実行され、データは
~/Library/IntelligencePlatform に SQLite データベースとして保存されます。このうちトリプルストアデータベース(graph.db)には、主語、述語、対象によって定義された行が含まれます。システムは 51 つのプレーンテキスト SQLite データベースを維持しており、181 のエンティティクラスと 278 の述語という語彙を使用して関係を表しています。データ取り込みの対象は連絡先、写真(顔)、カレンダー、家族共有(メンバーの年齢を含む)、医療 ID の緊急連絡先、Siri 提案、アプリ インテント、インストールされたアプリです。追加のテーブルには、写真での共出状況、通信ログ(メタデータのみ:誰/いつ/どのアプリ/方向)、位置情報・移動、充電や周囲光などデバイスからのシグナルを追跡します。血縁推論には 144 の行動特性を XGBoost クラスファイヤーに供与する 2 つの CoreML モデル(EntityTagging_Family.mlmodelc、EntityTagging_FamilyAndFriends.mlmodelc)が使用され、これらはアイデンティティ、通信パターン(日付/時刻に依存)、写真を考慮して家族関係を決定します。信頼スコアは 0 から 1 の範囲です。削除されたコンテンツは expired_stable_graph テーブルへ移動され、行には約 48 時間程度、その信頼性とソースが保持されますその後、必要な場合に取り除かれる可能性があります。オープンソースのダッシュボードツール「iKnow」を用いれば、macOS 26.6.2、26.7.1、一部では 27.0.1 のローカルなこれらのグラフを検査できます(外部へのアップロードなし)。2026 年 9 月 14 日リリースの macOS 27.0.1 へのアップグレードにより、システムは連絡先やカレンダーなどのソースから大部分の行を撤回し、それを 1 日の間に再構築しました。全体として、このローカル推論機能は、トリプルストアグラフに保存された写真クラスタリングと連絡先メタデータに基づいて、世帯構成、子供の託児所への出席時間、パートナーのアイデンティティなど機密情報を推測することが可能です(180 を超えるエンティティクラスを持つ)。本文
Mac があなたの人生を「知識グラフ」として記録する現実とリスク
1. 背景:Mac に搭載された「デモン」
Apple は 2022 年以来のすべての Mac に、**2 つのデーモン(デモン)**を搭載している。これらは端末上のあらゆる情報を解析し、ユーザーとその周辺の人々に関する膨大なグラフを構築する使命を持つ。
- 収集される情報の範囲:
- 誰なのか(身元)
- 知恵を持っている人々
- 人間関係と関連性
- コミュニケーションの内容
- 移動経路と居場所
- 行動パターン
- 情報源:
- 連絡先、カレンダー、写真、メッセージ、メール
- 位置情報、画面時間、シグナル(Wi-Fi, Bluetooth など)
- LLM(大規模言語モデル)への蓄積場所として機能する
- 技術的な実態:
- 唯一の公的ドキュメントは
というマニュアルページのみである。man 8 knowledgeconstructiond - デーモン:
とknowledgeconstructiondintelligenceplatformd
- 唯一の公的ドキュメントは
公式ドキュメントの内容(抜粋)
NAME(名称) knowledgeconstructiond – デバイスのコンテンツを解析し、汎用的な知識グラフを構築するためのデモン。 DESCRIPTION(説明) knowledgeconstructiond はこのデバイスのコンテンツを解析し、デバイスとユーザーを表す知識グラフの構築に役立てます。
2. 研究の経緯と発見
Apple の公式発表に加え、独立した研究者による調査が相次いでいる。
- 過去の研究:
- Apple 自身も 2023 年にこの技術に関する論文を公表しているが、macOS への統合詳細は不明瞭。
- 収集情報の正確なリストや「血縁関係(kinship)」の推論メカニズムについては触れられていない。
- セキュリティ調査の発見:
- 2026 年 8 月: macOS 26 の Apple Intelligence パッケージに関する調査で遭遇。
- Nic Lydon 氏: 『I Built a Personal Knowledge Graph. Apple Had Already Built One on My Laptop』と題し、Apple がすでに個人知識グラフを構築していることを報告。
- 2026 年 9 月 (Alexis Brignoni 氏): iOS 上の同蓄積場所を読み取り、『Reading the iPhone Knowledge Graph and Checking Its Work』を公表。
- データの保存先:
- iOS:
/private/var/mobile/Library/IntelligencePlatform - Mac:
~/Library/IntelligencePlatform
- iOS:
3. 個人知識グラフ(PKG)の内部構造
このディレクトリには、SQLite データベースが格納されている。ただし、TCC(プライバシー保護機能)によるフルディスクアクセス権限が必要である。最も重要なデータベースは
であり、以下の特徴を持つ。graph.db
- 構成:
- トリプルストア形式(主体・述語・対象)。
- 181 のエンティティクラスと 278 の述語を使用。
- 信頼度(Confidence)、ソース、タイムスタンプを付与。
- データの意味:
- 主体 (Subject): エンティティ(人物、アプリなど)。
- 対象 (Object): 値(名前、日付)または他のエンティティ。
- 述語 (Predicate): システムが 2 つの項目の間にあると認識する関係の種類を示す。
保存形式の例
| subject | predicate | relationshipId | relationshipPredicate | object |
|---|---|---|---|---|
| 9100000000007919 | PS500 | 4412 | PS1 | CS165 |
| 9100000000007919 | PS500 | 4412 | PS45 | 9100000000013724 |
注記:
は「employer(雇用主)」を示す述語 ID であり、具体的な組織名そのものではない。信頼度の保持と撤回(リトライ)を可能にする仕組みとして機能する。PS500
流入する情報の種類
- 外部情報ソース:
- 連絡先、写真(Faces)、カレンダー
- 家族共有(メンバーの年齢まで含む)
- Health アプリの医療 ID 緊急連絡先
- Siri 提案で見つかるイベントと連絡先
- App Intents を通じてアプリが寄付した人物
- インストールされたアプリ、通信ログ(誰・いつ・どのアプリ・どの方向)、位置情報。
- 独自に保持される情報:
- 写真内で一緒に写っている人々。
- デバイスのシグナル(画面ロック、充電状態、周囲光量など)。
ストリーム:物理的に誰があなたの近くにあったかのログ。ContextualUnderstanding.PhysicalSocial
4. 推論と機械学習モデルの仕組み
システムは単なるコピーではなく、高度な推論を行う。
エンティティクラス(181 種類)
- 実装済みの分類: コアタイプ、人物、属性、場所、イベント、アクティビティブロック、関係タイプ(46 種)。
- アクティビティ記述(57 種類): 睡眠、運動、マインドフルネス、就寝など。語彙の約 1/3 を「何をしているか」に費やす。
述語と関係性の推論
- 完全リストは
に記載。predicate.json - 推論手法:
- XGBoost クラフライザー: 行動特性に基づいて家族かどうかを判定(144 の特徴量を使用)。
- 埋め込みモデル: 2 つのレコードが同じ人物か判断するために使用。
- Photos アナライザ: パートナー、親、子などをスコアリング。
- Apple オンデバイス LLM: メッセージ読み取りによる顔と関係性の命名(Apple Intelligence 有効時)。
コアML モデルとスコアリング
- 配送されたモデル:
EntityTagging_Family.mlmodelcEntityTagging_FamilyAndFriends.mlmodelc
- 特徴量(144 個)のグループ化:
- 人物 (20): Who are they?
- 通信 (40): When & How do they communicate?
- 写真 (84): What photos do they appear in together?
スコアカードと信頼度
- 推論結果は「スコアカード」に保存され、家族・同僚など 17 つの関係カラムを持つ。
- データベースではなく独自テーブル (
) に格納される。entityTagging.db - 信頼度の値: 0.125, 0.25, 0.5, 0.96 など、離散的な数値のみを使用している(発明的で寛容)。
5. データの消去と永続性
データはライブで記憶されるが、完全には消えない。
- 即時削除: 連絡先を削除しても再派生されないが、次の実行でテーブル全体が置換される。
- 永続化メカニズム:
という第 2 のテーブルが存在する。expired_stable_graph- 撤回された行はここに移動し、信頼度とソースを保持する。
- 保持期間: 約 48 時間後には削除されるが、より古い記録も読み取れる可能性がある。
- リスク: プライバシーの「単一故障点(Single Point of Failure)」として悪用される可能性が高い。
6. データの確認方法:iKnow
ダッシュボード
iKnowApple はこの情報を公開していないため、研究者らは
iKnow というオープンソースローカルダッシュボードを開発した。Python 標準ライブラリのみで構成され、npm や CDN は使用しない。
機能概要
- セキュリティ: ファイルシステム上のデータベースを直接読み取り(書き込み・ログなし)。127.0.0.1 にバインド。
- 互換性: macOS 26.x (26.6.2, 26.7.1) と一部 27.0.1 で動作。
ダッシュボード内のセクション
ランディングページ(あなたの Mac が知っていること)
- メイングラフ:Mac の所有者、ストアがリンクする人々、雇用主、グループチャット。
- 🟠 オレンジ色: スコアリングされた家族
- 🔵 青色: カットを越えた親近スコア(High Affinity)
- ⚫ 黒文字: ストアは知っていても位置付けていない人々
ソーシャルグラフ
- 共有された会議、グループチャット、親近スコアに基づくリンク。
- 各円をクリックするとメンバーと背後の証拠を表示。
結論:血縁スコアカード(Score Card)
- デモンによって推論された家族バインディングの簡易表示。
- 9 つの独立したチェックポイント:
- パートナーカラム
- 合成スコア
- 家内グループエンティティ
- Family Sharing トークン
- iCloud Family フラグ
- 過去 12 ヶ月の連絡先
- Photos の顔クラスター
- 連絡先レコード
- 到達可能なハンドル
注意: iKnow は各カラムを集約し、パートナーが「何もない」場合でも結合によって特定できることを示している。ただし、実際のスコアはモデルの推論に依存しており、完全な真実(Ground Truth)ではない。
フェイスインデックス
- 写真内のすべての顔をクラスター化。
- 入力: 1,643 枚の写真からの 8,904 のクラスタ化された顔。
- 制約: 所有者はハブとなり、他のノードとはフレームを共有しない(左:家族 / 右下:仕事)。
- 匿名性: ラベルは局所 ID の断片のみで表示されるため、名前付きではない。
推測または与えられたもの
- ユーザーが入力した情報と Mac が自ら導いた情報は同じテーブルに存在し、信頼度スコアだけが区別している。
記録したこと:一年の連絡先
- メッセージテキストは一切含まない(メタデータのみ)。
- 通話数と最後に見られた日付を記録。
- 睡眠ログ: 「平日対一日中の時刻」グラフで、誰がいつ寝ているかを示す(最も静かな 6 時間区画は浮き彫り)。
カレンダー
- 行方を知る唯一の層:時間、部屋、参加者、ダイヤルイン番号。
撤回したこと(削除されたデータ)
- 事実を撤回しても消えない。
に移行し、属性を保ったまま存在する。expired_stable_graph
マシン装置(システム情報)
- ストア: ファイル自体と、モデル化された全展開行。
- デバイスフィンガープリント: インストールアプリの SHA-256 トークン。
7. リスクと今後の展望
プライバシー上の懸念
この知識グラフはローカルに残るが、フルディスクアクセス権限を必要とするため、他のサービスとの連携や悪意のあるアクセスが現実的な脅威となる可能性がある。
- 悪用シナリオ: 家庭内にいる子供の数や年齢、保育園の情報、家族のスケジュールなどが容易に推測・漏洩する可能性。
- 現状の問題:
- ドキュメントなし、検証方法なし、誤った推論を修正する一般的な手段なし。
ツールの提供
ユーザーは以下のツールで自身のデータを監視・管理できる。
: ローカルダッシュボードによるグラフ閲覧と分析(自己ホストモデル用)。iKnow- リポジトリ内のマニュアル: エージェント向けの詳細な説明が含まれている。
macOS 27 に関する注記
- macOS 27 は 2026 年 9 月 14 日にリリースされた。
- アップグレード後、 Contacts, Calendar, Siri Suggestions などの行が撤回され、翌日に再構築される仕組みを導入した可能性が高い。
- ただし、すべての機能が完全に動作するとは限らないため注意が必要である。