Nepenthes: Uma Armadilha para Web Crawlers
2025-01-16
Nepenthes é uma ferramenta projetada para capturar web crawlers, especialmente aqueles que coletam dados para LLMs. Ele gera uma sequência infinita de páginas, cada uma com dezenas de links que levam de volta à armadilha. As páginas são geradas aleatoriamente, mas de forma determinística, parecendo arquivos estáticos imutáveis. Delays intencionais impedem que os crawlers sobrecarreguem seu servidor e desperdiçam seu tempo. É possível adicionar um gerador de texto Markov opcional, dando aos crawlers dados para, esperançosamente, acelerar o colapso do modelo. Atenção: Isso consome muita CPU, especialmente com o módulo Markov habilitado. Use com cautela.
Desenvolvimento
segurança web