Softmax : Pour toujours ? Une plongée profonde dans les fonctions log-harmoniques

Il y a dix ans, lors d'un cours de PNL, l'auteur a été interrogé par un étudiant sur les alternatives au softmax. Un article récent propose une fonction log-harmonique en remplacement, ce qui a suscité une enquête plus approfondie. L'auteur analyse les dérivées partielles à la fois du softmax et de la fonction log-harmonique, révélant que le gradient du softmax est bien comporté et interprétable, tandis que le gradient de la fonction log-harmonique présente une singularité près de l'origine, ce qui pourrait causer des difficultés d'entraînement. Bien que des optimiseurs puissants puissent surmonter ces défis, l'auteur conclut que l'approche log-harmonique mérite encore une exploration supplémentaire et des améliorations possibles.