Google Gemini Diffusion：驚異的な速度の拡散型LLM

Google I/Oで発表されたGemini Diffusionは、トランスフォーマーではなく拡散モデル（ImagenやStable Diffusionなど）を使用するGoogle初のLLMです。従来の逐語的なテキスト生成モデルとは異なり、Gemini Diffusionはノイズを段階的に洗練することでテキストを生成し、驚異的な速度を実現しています。テストでは857トークン/秒の生成速度が示され、数秒でインタラクティブなHTML+JavaScriptページが生成されました。独立したベンチマークはまだありませんが、GoogleはGemini 2.0 Flash-Liteの5倍の速度であると主張しており、同等の性能であることを示唆しています。これは、市販されている拡散モデルにおける大きな進歩です。