Différentiation Automatique Sparse : Apprivoiser les Hessiennes de Haute Dimension

Le calcul de matrices hessiennes de haute dimension est un goulot d'étranglement majeur dans l'apprentissage automatique. Cet article présente la Différentiation Automatique Sparse (DAS), une technique qui exploite la sparsité des matrices pour accélérer les calculs des hessiennes et des jacobiennes. La DAS utilise la détection de motifs de sparsité et la coloration de matrices pour combiner plusieurs colonnes (ou lignes) structurellement orthogonales en un seul vecteur pour le calcul, réduisant ainsi le coût computationnel et les besoins en mémoire. L'article détaille le fonctionnement de la DAS, couvrant la différentiation automatique en mode direct et inverse, les représentations de matrices creuses, les algorithmes de coloration, et plus encore. Un exemple de code Julia illustre son application et ses avantages en termes de performance, concluant que la DAS offre des avantages significatifs dans les applications nécessitant des calculs de jacobiennes ou de hessiennes creuses, telles que la méthode de Newton et d'autres algorithmes d'optimisation.