Gemini Diffusion：テキスト生成のスピードモンスター？

Googleが最近リリースしたGemini Diffusionは、その驚異的な速度で注目を集めています。デモをゆっくり再生しないと何が起きているのかわからないほどです。この記事では、拡散モデルがなぜこれほど高速なのか、従来の自己回帰モデル（GPT-4、Claudeなど）と比較しながら詳しく解説します。拡散モデルは一度に全体の出力を生成し、トークン単位で生成するのではなく、正しい部分を並列で生成し、反復回数を減らすことで速度を向上させます。しかし、長いコンテキストの処理では効率が悪く、推論能力についても疑問が残ります。拡散モデルは内部的にトランスフォーマーを使用する場合がありますが、全体的なアーキテクチャにより、自己回帰モデルとは根本的に異なる動作をします。