Tieftauchen in den AMD Instinct MI350: GCN-basierter KI-Beschleuniger

In einem Interview hat Alan Smith, Chief Instinct Architect bei AMD, detailliert die neuen KI-Beschleuniger der MI350-Serie auf Basis der GFX9-Architektur erläutert. Obwohl der MI350 die GFX9-Architektur beibehält, werden signifikante Leistungssteigerungen durch die Erhöhung der LDS-Kapazität (160 KB) und der Bandbreite sowie durch die Einführung von Microscaling-Formaten erreicht, die FP8-, FP6- und FP4-Datentypen unterstützen. Bemerkenswert ist, dass FP6 und FP4 des MI350 den gleichen Durchsatz aufweisen, was das Vertrauen von AMD in das Potenzial von FP6 sowohl für Training als auch für Inferenz widerspiegelt. Darüber hinaus verzichtet der MI350 auf die TF32-Hardwarebeschleunigung zugunsten von optimiertem BF16 und bietet Softwareemulation für die TF32-Unterstützung. Der MI350 wurde mit N3P-Prozess-Recheneinheiten und N6-Prozess-E/A-Einheiten gebaut und optimiert das Design und reduziert die Anzahl der Recheneinheiten, um eine hohe Leistung bei gleichzeitig reduziertem Energieverbrauch zu erzielen.