Un modèle d'IA à 6 $ bouleverse le paysage des LLM : Présentation de S1

Un nouvel article dévoile S1, un modèle d'IA entraîné pour seulement 6 $, atteignant des performances proches de l'état de l'art, tout en fonctionnant sur un ordinateur portable standard. Le secret réside dans sa méthode ingénieuse d'« échelonnage du temps d'inférence » : en insérant des commandes « Attendre » pendant le processus de pensée du LLM, il contrôle le temps de réflexion et optimise les performances. Cela fait écho à la technique Entropix, toutes deux manipulant les états internes du modèle pour l'améliorer. L'extrême frugalité des données de S1, n'utilisant que 1000 exemples soigneusement sélectionnés, produit des résultats étonnamment bons, ouvrant de nouvelles voies pour la recherche en IA et suscitant des débats sur la distillation des modèles et la propriété intellectuelle. Le faible coût et la haute efficacité de S1 signalent un rythme plus rapide du développement de l'IA.