Bamba d'IBM : Dépasser le goulot d'étranglement quadratique des Transformers
2025-04-29
L'architecture Transformer à la base des grands modèles de langage actuels, bien qu'efficace, souffre d'un goulot d'étranglement quadratique lors de conversations longues. Le modèle Bamba open source d'IBM s'attaque à ce problème en combinant intelligemment les modèles espace-état (SSM) avec les Transformers. Bamba réduit considérablement les besoins en mémoire, ce qui se traduit par une vitesse au moins deux fois supérieure à celle des Transformers comparables, tout en maintenant la précision. Entraîné sur des billions de jetons, Bamba est prêt à gérer des conversations avec des millions de jetons et pourrait fonctionner jusqu'à cinq fois plus vite grâce à des optimisations supplémentaires.