Wissensdestillation: Wie kleine KI-Modelle die Giganten herausfordern
Der Anfang des Jahres veröffentlichte R1-Chatbot des chinesischen KI-Unternehmens DeepSeek sorgte für Aufsehen, da er die Leistung führender KI-Modelle großer Unternehmen erreichte, jedoch mit einem Bruchteil der Kosten und Rechenleistung. Dies führte zu Vorwürfen, DeepSeek habe die Wissensdestillation eingesetzt, eine Technik, die möglicherweise den nicht autorisierten Zugriff auf das o1-Modell von OpenAI beinhaltete. Wissensdestillation ist jedoch eine etablierte KI-Technik, die auf einen Google-Artikel aus dem Jahr 2015 zurückgeht. Sie beinhaltet den Wissenstransfer von einem größeren „Lehrer“-Modell auf ein kleineres „Schüler“-Modell, wodurch Kosten und Größe erheblich reduziert werden, bei minimalem Leistungsverlust. Diese Methode hat sich durchgesetzt und verbessert Modelle wie BERT und zeigt weiterhin enormes Potenzial in verschiedenen KI-Anwendungen. Die Kontroverse unterstreicht die Leistungsfähigkeit und den etablierten Charakter dieser Technik, nicht ihre Neuheit.