Extracción de datos de entrenamiento de LLMs: Invertir la compresión del conocimiento

Los investigadores han desarrollado una técnica para extraer conjuntos de datos estructurados de modelos de lenguaje grandes (LLMs), invirtiendo efectivamente el proceso mediante el cual los LLMs comprimen grandes cantidades de datos de entrenamiento en sus parámetros. El método utiliza la exploración jerárquica de temas para recorrer sistemáticamente el espacio de conocimiento del modelo, generando ejemplos de entrenamiento que capturan tanto el conocimiento fáctico como los patrones de razonamiento. Esta técnica se ha aplicado con éxito a modelos de código abierto como Qwen3-Coder, GPT-OSS y Llama 3, generando decenas de miles de ejemplos de entrenamiento estructurados. Estos conjuntos de datos tienen aplicaciones en el análisis de modelos, la transferencia de conocimiento, el aumento de datos de entrenamiento y la depuración de modelos. Esta investigación abre nuevas vías para la interpretabilidad de los modelos y la transferencia de conocimiento entre modelos.