ステラスマートグラスのコンパニオンアプリ「Stella」：端末に組み込まれた高度な顔認識システムの実態検証

ステラ（Stella）は、メタ社スマートグラスを制御するコンパニオンアプリケーションです。Android ビルド版（

com.facebook.stella

結論：何を意味し、何を意味しないか

この検証の核心は、以下の二者択一にあります。

• 事実: 端末上に、顔検出から生体特徴抽出、ベクトル検索、通知発行までを含む精密な処理機構が完全セットアップされています。
• 未確認: その起動スイッチ（管理権限）はメタ社にあり、通常の未登録ユーザーには UI もデータ送信経路も暴露されていません。

つまり、「あなたが眺める人物を現在も裏側で識別している」というよりは、「もし識別を始めるなら、そのための全ての機能が端末にあるが、ゲートは閉ざされている状態」と解釈されます。

1. デバイス上に搭載された 3 つの顔認識モデル

NMLML というメタ社独自の資産配信システム経由で、以下のような 3 つの ExecuTorch (

.pte

android_facerec_scrfd

SCRFD.pte

android_facerec_kps_aligner

KPSAligner.pte

android_facerec_sface

SFace.pte

• 参照技術: これらは Open Source アーキテクチャに基づいています。

  • SCRFD

    : Efficient Face Detection (ICLR 2022)

  • SFace

    : Sigmoid-Constrained Hypersphere Loss

  • KPSAligner

    : 標準的な Key Points 位置合わせ技術
• 注記: 単にモデルを配信しているだけでは顔認識が行われている証拠にはなりません（オートフォーカスなどでの利用も一般的）。ただし、メタ社の

  SFace

  バリエーションは参考実装よりも規模が大きく（96 MB）、出力次元数も 2048 に設定されています。

2. ユーザーローカルに整合するベクトルインデックスとデータベース

認識パイプラインが参照するローカルデータベースパス：

/data/user/0/com.facebook.stella/files/rldrive/person_profiles/objects.db

これはメタ社クロスデバイス同期フレームワーク「RLDrive」の下層にある

person_profiles

データベーススキーマ

CREATE TABLE person (
  nodeid  INTEGER PRIMARY KEY,
  name    TEXT,     
  uri     TEXT,     
  blob    BLOB,
  deleted INTEGER,
  version BLOB
);

CREATE TABLE face (
  nodeid    INTEGER PRIMARY KEY,
  mediaPath TEXT,    -- deep link で使用される face_id に相当
  personUri TEXT,    -- person.uri へのソフトレファレンス
  blob      BLOB,
  deleted   INTEGER,
  uri       TEXT,
  version   BLOB
);

CREATE VIRTUAL TABLE face_mediaPath_vec
  USING vec0(mediaPath float[2048] distance_metric=cosine);
  -- 各顔に対応する 2048 要素の浮動小数点生体指紋を保持。余弦距離による検索用。
  -- (sqlite-vec 拡張モジュールを使用)

システム構造の整合性

このスキーマは以下の事実を示しており、完全に統合されたシステムであることを裏付けています：

• Open Source 技術:

  vec0

  は Open Source の sqlite-vec 拡張モジュールで、SQLite をベクトル類似度エンジンに仕立てています。
• 形状の一致:

  float[2048]

  というサイズは、配送された

  SFace

  モデルの出力形状と完全に整合しています。
• 検索手法:

  cosine

  は顔埋め込み比較における標準的な余弦類似度手法です。

重要： 本検証アカウントでは、メタサーバーがこの

person_profiles

3. エンドツーエンドテストによる経路確認

データベースをスナップショット化し、以下のようなパイプライン動作を確認しました。

1. 非一致（空のインデックス）: 既知の顔が登録されていない状態
2. 一致（事前ロード）: インデックスに顔データがある状態

【非一致】の結果

• NameTagsPending/

  ディレクトリに、

  (uuid.jpg, uuid.emb)

  のペアが書込まれます。
• Android 通知は発火しません。

【一致】の結果

• プロダクションの

  nametags_recognition

  チャンネルを通じてAndroid 通知が発火。
• タイトル："Person recognized"
• 本文:"Recognized Michel Foucault"（ミシェル・フーコーが認識されました）
• ディスク上の痕跡は消去され、通知へ進みます。

未認識顔の一時保存経路 (

NameTagsPending

)

デバイスに存在しない顔を検知すると、以下のパスに書き込まれます。

/data/user/0/com.facebook.stella/files/NameTagsPending/

未認識顔ごとの作成ファイル：

• .jpg

  ファイル: SCRFD と KPSAligner による切り出し・位置合わせ済み画像。

• .emb

  ファイル: 2048 要素の SFace 指紋埋め込み値。

保存されたデータの検証:

ファイル: NameTagsPending/1566ab46-[...].emb
サイズ：8,192 バイト（2048 × float32、ビッグエンディアン形式）
L2 ノルム：0.999999（正規化済み）
最小値/最大値：-0.092110 / +0.098950
平均値：+0.000292

この構造は、余弦インデックスと完全に整合しており、完全な索引可能な生体記録となります。

4. 通知表面（Notification Surface）はワイヤードされている

ステラは専用 Android 通知チャンネルを定義しています。

NotificationChannel{
  id          = "nametags_recognition"
  name        = "NameTags recognition"
  description = "Recognized NameTags connections のための通知"
  importance  = IMPORTANCE_HIGH      // heads-up + サウンド + バッジ
  sound       = システム標準の通知音
}

通知テンプレートの実装

認識ハンドラ内でハードコーディングされています。

• タイトル: "Person recognized"（常時固定）
• 本文: "Recognized "＋

  person_profiles/objects.db

  から取得された名前

コード例：

NotificationCompat.Builder(ctx, "nametags_recognition")
  .setContentTitle("Person recognized")
  .setContentText("Recognized " + matched_name)
  .setAutoCancel(true)
  .setContentIntent(
    PendingIntent.getActivity(
      ctx,
      matched_name.hashCode(),
      Intent.ACTION_VIEW を使用し、
        Uri "fb-viewapp://name_tags?face_id=" + face_id,
      FLAG_IMMUTABLE | FLAG_UPDATE_CURRENT))
  .build()

NotificationManagerCompat.notify(matched_name.hashCode(), notification)

深リンクと画面問題

• 動作: タップすると

  fb-viewapp://name_tags?face_id=<face_id>

  という形式のメタ社製 URL スキームへ遷移。
• 制限: バージョン 273 では、この通知が指し示す「目的地画面」が見つかりませんでした（ナビゲーショングラフから欠落）。ステラはデフォルトタブへしか遷移しません。

5. ユーザー向けエントリーポイント："Connections"ウィジェット

APK 内には、「See your connections」というテキストを持つカードが表示されるウィジェットが埋め込まれています。

• 表示文言: "Remember the people you met and make new connections"
• ステータス: 未登録の標準アカウントではグラスタブ全体に表示されず、テスト時だけ表示されました。
• 意図: ユーザーがこのウィジェットを見ることは通常あり得ません（埋められておりアクセス困難）。

まとめ：事実と主張の境界線

確認された事実

• ステラバージョン 273 には、端末上で動作する顔認識スタック全体（検出→位置合わせ→埋め込み→ベクトルインデックス→ストレージ→通知）が完全セットアップされています。
• 認識パイプラインはエンドツーエンドで機能し、既知の顔を識別して通知を発火させ、未知の顔については一時保存（ステージング）を行います。
• インデックス構造とデータベーススキーマは破片化したデッドコードではなく、統合されたシステムです。
• 高度なエンジニアリング投資（2048 次元指紋化、ハードコーディングされた通知など）が行われており、これは意図的な設計の結果です。

私が主張しないこと（重要）

以下の事実は実証していないことに留意してください：

• メタ社が現在、ユーザーのために第三者を識別していること。
• 登録データがフロー化されていること。
• これらの機能が生産環境で有効になっていること。

「覆い隠しにくい点」 これほど精密な機構を端末に組み込み、完全にワイヤードするには多大なコストがかかります。偶然ではない意図的な設計であり、いつどの時点で生産環境へ投入されるかはメタ社の判断によるものです。