Conquistando o Flash de Markdown Incompleto (FOIM) com uma Máquina de Estado Inteligente

A equipe Streak encontrou o problema de 'Flash de Markdown Incompleto' (FOIM) ao usar a API de streaming do OpenAI para gerar conteúdo Markdown com citações. Links incompletos e até mesmo alucinações de IA levando a URLs incorretas afligiram seu produto. Para resolver isso, eles implementaram uma máquina de estado no servidor para armazenar em buffer os links Markdown até que estejam completos antes de enviá-los ao cliente. Isso não apenas eliminou o FOIM, mas também reduziu o uso de tokens do OpenAI, acelerou os tempos de resposta e melhorou a privacidade — uma vitória tripla.