巧妙なステートマシンでFlash of Incomplete Markdown (FOIM)を克服

Streakチームは、引用を含むMarkdownコンテンツを生成するためにOpenAIのストリーミングAPIを使用している際に、「Flash of Incomplete Markdown (FOIM)」という問題に遭遇しました。不完全なリンクや、AIによる幻覚による不正なURLなどが製品に悪影響を与えていました。これを解決するために、サーバー側でステートマシンを実装し、Markdownリンクが完成するまでバッファリングしてからクライアントに送信するようになりました。これにより、FOIMが解消されただけでなく、OpenAIのトークン使用量も削減され、応答速度も向上し、プライバシーも向上しました。まさに三方よしです。