A Web que Desaparece e a Promessa dos LLMs

A internet está lentamente esquecendo: a cada ano, uma parte significativa das páginas da web desaparece para sempre. O Internet Archive (IA) é um guardião crucial dessa memória digital, mas sua sobrevivência enfrenta desafios crescentes. O autor argumenta que, embora preservar tudo seja economicamente inviável, as poderosas capacidades de compressão de informações dos Large Language Models (LLMs), apesar de imprecisões, são melhores do que a perda completa. Modelos como o DeepSeek V3 já oferecem uma visão comprimida da internet. Devemos apoiar instituições como a IA e garantir que os pesos de LLMs publicados publicamente não sejam perdidos e que a IA faça parte dos conjuntos de dados de pré-treinamento de LLMs.