Extraindo Dados de Treinamento de LLMs: Invertendo a Compressão de Conhecimento

Pesquisadores desenvolveram uma técnica para extrair conjuntos de dados estruturados de modelos de linguagem grandes (LLMs), invertendo efetivamente o processo pelo qual LLMs comprimem grandes quantidades de dados de treinamento em seus parâmetros. O método usa exploração hierárquica de tópicos para percorrer sistematicamente o espaço de conhecimento do modelo, gerando exemplos de treinamento que capturam conhecimento factual e padrões de raciocínio. Essa técnica foi aplicada com sucesso a modelos de código aberto como Qwen3-Coder, GPT-OSS e Llama 3, gerando dezenas de milhares de exemplos de treinamento estruturados. Esses conjuntos de dados têm aplicações em análise de modelos, transferência de conhecimento, aumento de dados de treinamento e depuração de modelos. Esta pesquisa abre novas vias para a interpretabilidade de modelos e transferência de conhecimento entre modelos.