Extraktion von Trainingsdaten aus LLMs: Umkehrung der Wissenskompression

Forscher haben eine Technik entwickelt, um strukturierte Datensätze aus großen Sprachmodellen (LLMs) zu extrahieren. Dies kehrt den Prozess um, bei dem LLMs riesige Mengen an Trainingsdaten in ihre Parameter komprimieren. Die Methode verwendet eine hierarchische Themenexploration, um den Wissensraum des Modells systematisch zu durchlaufen und Trainingsbeispiele zu generieren, die sowohl Faktenwissen als auch Denkprozesse erfassen. Diese Technik wurde erfolgreich auf Open-Source-Modelle wie Qwen3-Coder, GPT-OSS und Llama 3 angewendet und hat Zehntausende strukturierter Trainingsbeispiele erzeugt. Diese Datensätze finden Anwendung in der Modellanalyse, dem Wissenstransfer, der Erweiterung von Trainingsdaten und dem Debugging von Modellen. Diese Forschung eröffnet neue Wege für die Interpretierbarkeit von Modellen und den Wissenstransfer zwischen Modellen.