Diferenciación Esparsa Automática: Domando Hessianas de Alta Dimensión
Calcular matrices hessianas de alta dimensión es un gran cuello de botella en el aprendizaje automático. Esta publicación presenta la Diferenciación Esparsa Automática (ASD), una técnica que aprovecha la escasez de la matriz para acelerar los cálculos de hessianas y jacobianas. La ASD utiliza la detección de patrones de escasez y la coloración de matrices para combinar varias columnas (o filas) ortogonalmente estructuradas en un solo vector para el cálculo, reduciendo así el costo computacional y los requisitos de memoria. El artículo detalla el funcionamiento de la ASD, cubriendo la diferenciación automática de modo directo e inverso, las representaciones de matrices dispersas, los algoritmos de coloración y mucho más. Un ejemplo de código Julia demuestra su aplicación y beneficios de rendimiento, concluyendo que la ASD ofrece ventajas significativas en aplicaciones que requieren cálculos de jacobianas o hessianas dispersas, como el método de Newton y otros algoritmos de optimización.