Softmax: ¿Para Siempre? Una Inmersión Profunda en las Funciones Log-Armónicas
2025-02-20
Hace diez años, mientras impartía un curso de PNL, el autor fue cuestionado por un alumno sobre alternativas al softmax. Un artículo reciente propone una función log-armónica como sustituto, lo que provocó una investigación más profunda. El autor analiza las derivadas parciales tanto del softmax como de la función log-armónica, revelando que el gradiente del softmax es bien comportado e interpretable, mientras que el gradiente de la función log-armónica presenta singularidad cerca del origen, lo que potencialmente causa dificultades de entrenamiento. Si bien los optimizadores poderosos podrían superar estos desafíos, el autor concluye que el enfoque log-armónico aún merece una exploración adicional y posibles mejoras.
Leer más