Grok 3 de xAI : L'échelle l'emporte sur l'ingéniosité dans la course à l'IA
Le grand modèle linguistique Grok 3 de xAI a démontré des performances exceptionnelles lors de tests de référence, surpassant même les modèles de laboratoires établis comme OpenAI, Google DeepMind et Anthropic. Cela renforce la « Leçon amère » : l'échelle de formation surpasse l'optimisation algorithmique. L'article prend DeepSeek comme exemple, montrant que même avec des ressources informatiques limitées, l'optimisation peut produire de bons résultats, mais cela ne nie pas l'importance de l'échelle. Le succès de Grok 3 réside dans l'utilisation d'un cluster de calcul massif avec 100 000 GPU H100, soulignant le rôle crucial des ressources informatiques puissantes dans le domaine de l'IA. L'article conclut que la future compétition en IA sera plus féroce, les entreprises disposant de financements et de ressources informatiques importants ayant un avantage significatif.