Minimales probabilistisches Diffusionsmodell in PyTorch: Experimente mit 2D-Datensätzen
2025-06-15
Dieser Beitrag beschreibt eine minimale PyTorch-Implementierung eines probabilistischen Diffusionsmodells für 2D-Datensätze. Der Autor untersucht Hyperparameter wie Lernrate, Modellgröße, Länge des Diffusionsprozesses und Zeitkodierung durch verschiedene Experimente. Die Ergebnisse zeigen, dass eine geeignete Lernrate entscheidend ist, längere Diffusionsprozesse vollständigere Samples erzeugen und die Modellkapazität nicht der Hauptengpass ist. Die Verwendung von Sinus-Einbettungen für die Eingabekodierung hilft, hochfrequente Funktionen in niedrigdimensionalen Bereichen zu lernen.