Einbettungsdimensionen: Von 300 bis 4096 und darüber hinaus
Vor einigen Jahren waren Einbettungen mit 200 bis 300 Dimensionen üblich. Mit dem Aufkommen von Deep-Learning-Modellen wie BERT und GPT und Fortschritten im GPU-Computing ist die Dimensionalität von Einbettungen jedoch explodiert. Wir haben eine Entwicklung von 768 Dimensionen bei BERT über 1536 bei GPT-3 bis hin zu Modellen mit 4096 Dimensionen oder mehr erlebt. Dies wird durch Architekturänderungen (Transformer), größere Trainingsdatensätze, den Aufstieg von Plattformen wie Hugging Face und Fortschritte bei Vektor-Datenbanken vorangetrieben. Während die erhöhte Dimensionalität Leistungsgewinne bietet, bringt sie auch Herausforderungen bei der Speicherung und Inferenz mit sich. Jüngste Forschungsergebnisse untersuchen effizientere Einbettungsrepräsentationen wie Matryoshka-Lernen, um ein besseres Gleichgewicht zwischen Leistung und Effizienz zu erreichen.