AIスケーリング則：プリトレーニングを超えて、新たなパラダイムが登場
2024-12-12
この記事は、AIスケーリング則の進化を探求し、それがプリトレーニングを超えたものであると主張しています。OpenAIのo1モデルは、推論モデルの有用性と可能性を示し、スケーリングのための新たな、未開拓の次元を開拓しました。この記事では、合成データ、近接方策最適化（PPO）、強化学習などの手法がモデル性能の向上にどのように役立つかを詳しく説明しています。AnthropicのClaude 3.5 OpusとOpenAIのOrionは失敗ではなく、スケーリング戦略の変更であったことを明確にしています。著者らは、スケーリングはデータとパラメーターの増加だけにとどまらず、推論時間計算、より困難な評価、トレーニングと推論アーキテクチャの革新を含むことを強調しています。