Marginalia : Amélioration de la détection des changements et de l'état en ligne
L'équipe du moteur de recherche Marginalia a mis en œuvre un nouveau système, 'ping-process', pour détecter l'état en ligne du serveur et les changements importants sur le site web, y compris les transferts de propriété et le parking de domaines. Utilisant principalement des requêtes HTTP HEAD et des requêtes DNS, le système analyse les détails du certificat, la posture de sécurité et les en-têtes du serveur pour identifier les changements. Les données sont stockées dans des tables 'instantané' et 'événement', la première contenant les informations actuelles et la seconde les événements historiques. Le système a surmonté les défis de planification et de validation des certificats, montrant un succès initial dans l'identification des domaines garés. Les plans futurs comprennent l'amélioration du modèle de détection des changements de propriété et son intégration dans les stratégies de crawl pour une meilleure efficacité.