KI-Skalierungsgesetze: Über das Pretraining hinaus, ein neues Paradigma entsteht
Dieser Artikel untersucht die Entwicklung der KI-Skalierungsgesetze und argumentiert, dass diese über das Pretraining hinausgehen. OpenAIs o1-Modell demonstriert den Nutzen und das Potenzial von Reasonierungsmodellen und eröffnet eine neue, unerforschte Dimension für die Skalierung. Der Artikel geht auf Techniken wie synthetische Daten, proximale Politikoptimierung (PPO) und Reinforcement Learning ein, um die Modellleistung zu verbessern. Er stellt klar, dass Anthropics Claude 3.5 Opus und OpenAIs Orion keine Misserfolge waren, sondern Anpassungen der Skalierungsstrategien. Die Autoren betonen, dass Skalierung mehr umfasst als nur die Erhöhung von Daten und Parametern; sie beinhaltet Inferenzzeit-Rechenleistung, anspruchsvollere Evaluierungen und Innovationen in der Trainings- und Inferenzarchitektur.