Softmax : la fonction et sa dérivée expliquées simplement
En bref
- La softmax transforme un vecteur de nombres réels en probabilités (valeurs entre 0 et 1 qui somment à 1).
- Elle s'interprète probabilistiquement : chaque sortie représente la probabilité qu'une entrée appartienne à une classe donnée.
- La dérivée de softmax prend deux formes selon que les indices d'entrée et sortie sont identiques ou non, exprimées simplement par rapport à la softmax elle-même.
Ce que dit la source
L'article expose la fonction softmax, outil fondamental du machine learning multiclasse : elle prend un vecteur de valeurs réelles arbitraires et en produit un où chaque composante est une probabilité (entre 0 et 1, somme égale à 1). L'auteur en détaille la formule, l'interprétation probabiliste et surtout la dérivée, cruciale pour l'entraînement par gradient descent. Cette dérivée se décline en deux cas selon que l'on considère la même composante de sortie que d'entrée ou deux composantes différentes.
- Softmax préserve l'ordre relatif des éléments du vecteur d'entrée : un élément plus grand reçoit une probabilité plus élevée, mais tous les éléments non maximaux conservent une part non négligeable
- L'exemple [1.0, 2.0, 3.0] → [0.09, 0.24, 0.67] illustre le comportement ; écarter les valeurs (passage à 5.0) renforce la domination du plus grand : [0.02, 0.05, 0.93]
- Softmax agit comme une version 'soft' de la fonction max : au lieu de sélectionner un seul maximum, elle distribue la probabilité totale avec un biais vers l'élément maximal
- La Jacobienne (matrice des dérivées partielles) s'exprime de façon compacte : D_j S_i = S_i(δ_ij − S_j), où δ_ij est le symbole de Kronecker
- La dérivée se décompose en deux cas simples : diagonale D_j S_j = S_j(1 − S_j), hors-diagonale D_j S_i = −S_j S_i pour i ≠ j
Dans les commentaires
Débat minimaliste : un commentaire salue la clarté pédagogique, un autre signale un problème d'accessibilité (formules mathématiques en images dans une iframe, non lisibles aux lecteurs d'écran).
- Un contributeur soulève un problème d'accessibilité légitime : la représentation des équations sous forme d'images imbriquées dans une iframe rend le contenu mathématique inaccessible aux technologies d'assistance (lecteurs d'écran), une pratique contre-productrice pour une démonstration pédagogique censément destinée à clarifier un concept.
Notre lecture
Article pédagogiquement utile pour qui a besoin de réviser ou de comprendre la softmax et sa dérivation mathématique. Le sujet est pointu (calcul vectoriel appliqué au ML), sans conséquence immédiate pour une DSI généraliste, mais pertinent pour les équipes ML ou data science construisant des modèles de classification. L'accessibilité des formules reste un problème mineur mais observable. À consulter pour soi-même plutôt que comme ressource à partager largement.