Marginalia: Verbesserte Erkennung von Änderungen und Online-Status

Das Team der Marginalia-Suchmaschine hat ein neues System namens 'ping-process' implementiert, um den Online-Status des Servers und signifikante Änderungen an der Website zu erkennen, einschließlich Eigentümerwechsel und Domain-Parking. Es verwendet hauptsächlich HTTP HEAD-Anfragen und DNS-Abfragen, um Zertifikatdetails, Sicherheitslage und Server-Header zu analysieren und Änderungen zu identifizieren. Die Daten werden in 'Snapshot'- und 'Ereignis'-Tabellen gespeichert, wobei die erste die aktuellen Informationen und die zweite die historischen Ereignisse enthält. Das System hat Herausforderungen bei der Planung und der Zertifikatvalidierung gemeistert und zeigt erste Erfolge bei der Identifizierung geparkter Domains. Zukünftige Pläne umfassen die Verfeinerung des Modells zur Erkennung von Eigentümerwechseln und die Integration in Crawler-Strategien für mehr Effizienz.