Marginalia検索エンジン：オンライン状態と所有権変更検出の改良
2025-06-19
Marginalia検索エンジンチームは、サーバーのオンライン状態と、所有権移転やドメインパーキングを含む重要なウェブサイトの変更を検出するための新しいシステム「ping-process」を実装しました。主にHTTP HEADリクエストとDNSクエリを使用して、証明書の詳細、セキュリティ体制、サーバーヘッダーを分析し、変更を特定します。データは「スナップショット」テーブルと「イベント」テーブルに保存され、前者は現在の情報を、後者は履歴イベントを保持します。このシステムは、スケジューリングと証明書検証の課題を克服し、パーキングされたドメインの特定において初期の成功を収めています。今後の計画には、所有権変更検出モデルの改良と、効率向上のためのクローラー戦略への統合が含まれます。