知識蒸留：小さなAIモデルが巨大企業に挑戦

中国のAI企業DeepSeekが今年初めにリリースしたチャットボットR1は、大手AI企業のモデルに匹敵する性能を、コストと計算能力を大幅に削減して実現したことで大きな注目を集めました。これにより、DeepSeekがOpenAIのo1モデルへの無許可アクセスを伴う可能性のある知識蒸留を使用したという疑惑が生じました。しかし、知識蒸留は2015年のGoogleの論文に遡る確立されたAI技術です。これは、大規模な「教師」モデルから小規模な「生徒」モデルへの知識転送を伴い、パフォーマンスの損失を最小限に抑えながらコストとサイズを大幅に削減します。この手法はBERTなどのモデルの改善を推進し、様々なAIアプリケーションで大きな可能性を示し続けています。この論争は、この技術の新規性ではなく、その力と確立された性質を浮き彫りにしています。