Construction de produits d'IA : Plongeon en profondeur dans l'architecture back-end

Cet article détaille le parcours d'une équipe d'IA dans la construction d'un assistant chef de cabinet basé sur l'IA pour les responsables de l'ingénierie. Initialement en utilisant des pipelines d'inférence simples, ils sont passés à un système multi-agents à mesure que l'application grandissait. L'auteur explique les principes de conception des agents, les différences par rapport aux microservices et l'implémentation orientée objet. La gestion de la mémoire, y compris CQRS et le suivi des événements, ainsi que la gestion des événements en langage naturel sont abordés. La mise à l'échelle à 10 000 utilisateurs a impliqué le partitionnement, la programmation asynchrone, l'optimisation des appels LLM et la migration vers Temporal.