Apertus：完全にオープンな多言語大規模言語モデル

Apertusは、700億と80億のパラメータを持つ、完全にオープンな多言語大規模言語モデルです。1000以上の言語と長いコンテキストをサポートしています。完全に準拠したオープンなトレーニングデータで15兆トークンをトレーニングし、クローズドソースモデルと同等の性能を達成しています。Apertusは、新しいxIELU活性化関数とAdEMAMixオプティマイザを使用し、教師あり微調整とQRPOアライメントを受けています。重み、データ、トレーニングの詳細は公開されており、データ所有者のオプトアウト同意を尊重し、トレーニングデータの丸暗記を回避しています。transformersライブラリに統合されており、さまざまなデプロイ方法をサポートしています。強力である一方で、出力における潜在的な不正確さとバイアスに注意する必要があります。