小型言語モデルの台頭：300億パラメータでも「小型」

2018年当時、「小型モデル」といえば、数百万パラメータでラズベリーパイ上で動作するモデルのことでした。しかし現在、300億パラメータのモデルも「小型」と呼ばれ、単一のGPUで実行できるようになっています。定義は変化しました。「小型」は、パラメータ数ではなく、展開の容易さを重視するようになりました。これらのモデルは、エッジ最適化モデル（Phi-3-miniなど、モバイルデバイスで動作するモデル）とGPUフレンドリーモデル（Meta Llama 3 70Bなど、単一のGPUで動作するモデル）の2つのカテゴリーに分類されます。小型モデルは、特定のタスクに特化することで、効率性が高く、微調整も容易です。700億パラメータのモデルでさえ、最適化すれば、ハイエンドのコンシューマー向けGPUでスムーズに動作します。これは、小型モデル時代の到来を示しており、スタートアップ、開発者、企業に多くの可能性をもたらします。