Le pari de Fly.io sur les GPU : un bilan post-mortem

Fly.io a tenté d'intégrer des GPU dans son cloud public, dans le but de fournir aux utilisateurs des capacités d'inférence IA/ML. Cependant, le projet a finalement échoué. Plusieurs raisons clés sont mises en avant : la préférence écrasante des développeurs pour les API LLM plutôt que les GPU, les limitations du support des pilotes Nvidia qui nuisent à la rentabilité et à la flexibilité, et les importantes préoccupations en matière de sécurité et de coûts matériels. Malgré l'échec, Fly.io a tiré des leçons précieuses, soulignant l'importance de mener des études de marché approfondies avant de réaliser des investissements à grande échelle.