L'essor des petits modèles de langage : 30 milliards de paramètres et toujours « petits »
En 2018, un « petit modèle » signifiait quelques millions de paramètres fonctionnant sur un Raspberry Pi. Aujourd'hui, un modèle de 30 milliards de paramètres est considéré comme « petit » — ne nécessitant qu'une seule GPU. La définition a changé. Désormais, « petit » met l'accent sur la capacité de déploiement plutôt que sur la taille pure. Ces modèles se répartissent en deux catégories : les modèles optimisés pour les périphériques (comme Phi-3-mini, fonctionnant sur les appareils mobiles) et les modèles compatibles GPU (comme Meta Llama 3 70B, fonctionnant sur une seule GPU). Les petits modèles excellent dans les tâches spécialisées, offrant une efficacité accrue et un réglage fin plus facile. Même les modèles de 70 milliards de paramètres, une fois optimisés, fonctionnent sans problème sur les GPU grand public haut de gamme. Cela marque l'arrivée de l'ère des petits modèles, ouvrant des possibilités aux start-ups, aux développeurs et aux entreprises.
Lire plus