Der Aufstieg der kleinen Sprachmodelle: 30 Milliarden Parameter und immer noch "klein"

Im Jahr 2018 bedeutete ein "kleines Modell" ein paar Millionen Parameter, die auf einem Raspberry Pi liefen. Heute wird ein Modell mit 30 Milliarden Parametern als "klein" angesehen – es benötigt nur eine einzige GPU. Die Definition hat sich geändert. Jetzt betont "klein" die Bereitstellbarkeit gegenüber der reinen Größe. Diese Modelle lassen sich in zwei Kategorien einteilen: randoptimierte Modelle (wie Phi-3-mini, die auf mobilen Geräten laufen) und GPU-freundliche Modelle (wie Meta Llama 3 70B, die auf einer einzelnen GPU laufen). Kleine Modelle zeichnen sich durch spezialisierte Aufgaben aus, bieten höhere Effizienz und einfacheres Feintuning. Selbst Modelle mit 70 Milliarden Parametern laufen nach Optimierung reibungslos auf High-End-Consumer-GPUs. Dies markiert die Ankunft des Zeitalters der kleinen Modelle und eröffnet Möglichkeiten für Startups, Entwickler und Unternehmen.