Vaincre le Flash de Markdown Incomplet (FOIM) grâce à une machine à états astucieuse

L'équipe Streak a rencontré le problème du « Flash de Markdown Incomplet » (FOIM) lors de l'utilisation de l'API de streaming d'OpenAI pour générer du contenu Markdown avec des citations. Des liens incomplets et même des hallucinations de l'IA menant à des URL incorrectes ont affecté leur produit. Pour résoudre ce problème, ils ont mis en œuvre une machine à états sur le serveur pour mettre en mémoire tampon les liens Markdown jusqu'à ce qu'ils soient complets avant de les envoyer au client. Cela a non seulement éliminé le FOIM, mais a également réduit l'utilisation des jetons OpenAI, accéléré les temps de réponse et amélioré la confidentialité : une triple victoire.