Nepenthes : Un piège pour les robots d'exploration web

2025-01-16

Nepenthes est un outil conçu pour piéger les robots d'exploration web, en particulier ceux qui récupèrent des données pour les LLM. Il génère une séquence infinie de pages, chacune contenant des dizaines de liens menant de nouveau au piège. Les pages sont générées aléatoirement, mais de manière déterministe, ressemblant à des fichiers statiques immuables. Des délais intentionnels empêchent les robots d'exploration de surcharger votre serveur et de perdre leur temps. Il est possible d'ajouter un générateur de texte Markov en option, donnant aux robots des données pour accélérer le collapse du modèle. Avertissement : Cela consomme beaucoup de CPU, surtout avec le module Markov activé. Utilisez avec précaution.

Développement anti-robot