SearXNG スタイルのメタデータ検索エンジン（Rust）

Rust で記述された、SearXNG スタイルのメタデータ検索エンジンです。複数の検索エンジンにクエリを同時並列で送信し、HTML をスクレイピングして結果を返します。

仕組み

1. リクエスト受付:

   GET /search?q=<query>

   に検索リクエストが到達します。
2. 並列処理: クエリは

   reqwest

   を使用して、DuckDuckGo、Brave、Startpage、Yahoo へのクエリを同時並列で送信します。
3. HTML パース: Mozilla の

   html5ever

   を基盤とする CSS セレクトルの仕組み（

   scraper

   ライブラリ）を用いて HTML レスポンスを解析します。
4. 重複排除: URL 正規化（パラメータ追跡、ロケールプレフィックス除去、クエリパラメータソート）により結果を重複排除します。
5. スコアリング:
   • 重複した URL は統合され、**相互順位フュージョン（Reciprocal Rank Fusion, RRF）**でスコアリングされます。
   • スコア計算式：

     score = Σ 1/(60 + rank)

   • 複数のエンジンから返されたページほど、高いスコアを獲得します。
6. レスポンス: 上位の結果が JSON 形式で返却されます。

要件

• Rust 1.75 以降
• Cargo

インストール

ライブラリとして利用する場合

Cargo.toml

[dependencies]
metadata-search-engine-rs = "0.1"

または、

cargo add

cargo add metadata-search-engine-rs

サーバーとして利用する場合（ソースコードから）

git clone https://github.com/MikeLuu99/searxng-rust
cd metadata-search-engine-rs
cargo build --release

実行方法

環境変数を指定して実行します：

PORT=8080 MAX_RESULTS=20 cargo run --release

デバッグログを有効にするには、適切な環境変数または設定ファイルを指定してください。

使用例

単一のエンジンを実行する場合

Cargo.toml

[dependencies]
metadata-search-engine-rs = "0.1"
tokio = { version = "1", features = ["full"] }

コード例：

use std::sync::Arc;
use metadata_search_engine_rs::engines::{DuckDuckGoEngine, SearchEngine, build_http_client};

#[tokio::main]
async fn main() -> anyhow::Result<()> {
    let client = Arc::new(build_http_client()?);
    let engine = DuckDuckGoEngine::new(client);

    let results = engine.search("rust programming", 5).await?;
    for r in results {
        println!("{}\n  {}", r.title, r.url);
    }
    Ok(())
}

すべてのエンジンにクエリを広げ、RRF ランキングを取得する場合

複数のエンジン（DuckDuckGo、Brave、Startpage、Yahoo）を使用し、スコア付きの結果を統合します。

コード例：

use std::sync::Arc;
use metadata_search_engine_rs::{
    aggregator::{aggregate, query_all_engines},
    engines::{BraveEngine, DuckDuckGoEngine, SearchEngine, StartpageEngine, YahooEngine, build_http_client},
};

#[tokio::main]
async fn main() -> anyhow::Result<()> {
    let client = Arc::new(build_http_client()?);
    let engines: Vec<Arc<dyn SearchEngine>> = vec![
        Arc::new(DuckDuckGoEngine::new(Arc::clone(&client))),
        Arc::new(BraveEngine::new(Arc::clone(&client))),
        Arc::new(StartpageEngine::new(Arc::clone(&client))),
        Arc::new(YahooEngine::new(Arc::clone(&client))),
    ];

    let (successes, failures) = query_all_engines(&engines, "rust programming", 10).await;
    
    // エラー処理
    for (name, err) in &failures {
        eprintln!("engine {name} failed: {err}");
    }

    let results = aggregate(successes, 10);
    for r in &results {
        println!("[{:.3}] ({}) {}", r.score, r.engines.join(", "), r.title);
        println!("        {}", r.url);
    }
    Ok(())
}

特定のエンジンのみを使用する場合

指定したエンジン（例：DuckDuckGo と Brave）のみを使用し、スニペットを含む結果を出力します。

コード例：

use std::sync::Arc;
use metadata_search_engine_rs::{
    aggregator::{aggregate, query_all_engines},
    engines::{BraveEngine, DuckDuckGoEngine, SearchEngine, build_http_client},
};

#[tokio::main]
async fn main() -> anyhow::Result<()> {
    let client = Arc::new(build_http_client()?);
    let engines: Vec<Arc<dyn SearchEngine>> = vec![
        Arc::new(DuckDuckGoEngine::new(Arc::clone(&client))),
        Arc::new(BraveEngine::new(Arc::clone(&client))),
    ];

    let (successes, _) = query_all_engines(&engines, "tokio async rust", 5).await;
    
    for r in aggregate(successes, 5) {
        println!("{} — {}", r.title, r.url);
        if let Some(snippet) = r.snippet {
            println!("  {snippet}");
        }
    }
    Ok(())
}

API

• GET /health

  : サーバーの状態確認
  例：

  curl http://localhost:3000/health

• GET /search?q=<query>

  : 検索実行
  例：

  curl "http://localhost:3000/search?q=rust"

レスポンス例：

{
  "query": "rust",
  "results": [
    {
      "title": "Rust Programming Language",
      "url": "https://rust-lang.org/",
      "snippet": "A language empowering everyone to build reliable and efficient software.",
      "engines": ["duckduckgo", "brave", "startpage", "yahoo"],
      "score": 0.049
    }
  ],
  "engines_queried": ["duckduckgo", "brave", "startpage", "yahoo"],
  "engines_failed": []
}

エラーレスポンス

q

{"error": "query parameter 'q' is required"}

q

{"error": "query parameter 'q' cannot be empty"}

{"error": "all engines failed to respond"}

テスト

全単位テスト

cargo test

特定のモジュールのみをテストする場合

cargo test normalizer
cargo test aggregator
cargo test engines::duckduckgo
cargo test engines::brave
cargo test engines::startpage
cargo test engines::yahoo
cargo test server::handlers

リアル環境でのテスト（インターネット接続が必要）

cargo test -- --ignored test_live

※注意: リアル環境テストは

#[ignore]

ターミナルユーザーインターフェース（TUI）

ratatui

新しい検索エンジンの追加方法

1. src/engines/<name>.rs

   を作成します。

2. Arc<reqwest::Client>

   を保持する構造体を実装します。

3. SearchEngine

   トレイトを実装します：

   impl SearchEngine for MyEngine {
       fn name(&self) -> &'static str { "myengine" }
   
       fn search<'a>(
           &'a self,
           query: &'a str,
           max_results: usize,
       ) -> BoxFuture<'a, Result<Vec<SearchResult>, EngineError>> {
           Box::pin(async move {
               // HTML を取得し、scraper で解析して Vec<SearchResult> を返す
           })
       }
   }
   

4. engines/mod.rs

   に追加し、

   main.rs

   で連携します。

5. 構造体に

   timeout: Duration

   フィールドと、既存のエンジンと同様の

   new()/with_timeout()

   コンストラクタペアを追加し、タイムアウトをモジュール内の検索関数に渡すことを忘れないでください。