David E. Rumelhart
Premier auteur de l'article de reference sur l'entrainement multicouche.
1. Histoire et Importance
En 1986, Rumelhart, Hinton et Williams ont systematise BP pour les reseaux multicouches.
Geoffrey E. Hinton
Figure majeure de la relance des reseaux neuronaux modernes.
Ronald J. Williams
Co-auteur ayant contribue aux bases theoriques et experimentales.
2. Equations Principales
Mots-clés: regle de chaine + reutilisation dynamique. Complexite quasi lineaire en nombre de parametres.
3. Mini Labo de Regle de Chaine
Poser g(x)=a*x+b, y=g(x)^2 et observer l'evolution de dy/dx.
4. Visualisation du Chemin de Retropropagation
La phase forward active les noeuds; la phase backward propage les erreurs.
En attente d'action
5. Laboratoire de Stabilite des Gradients
Simulez des produits en chaine pour observer disparition/explosion du gradient.
6. Flux Algorithme
- Lancer le forward pour obtenir y_hat
- Calculer la perte L(y_hat, y)
- Calculer delta[L] en sortie
- Propager delta[l] dans les couches cachees
- Calculer dW, db puis mettre a jour
- Iterer jusqu'a convergence
7. Points d'Ingenierie
- Activations: ReLU/GELU pour reduire la disparition
- Initialisation: associer He/Xavier a l'activation
- Stabilisation: LayerNorm/BatchNorm + connexions residuelles
- Optimisation: AdamW + warmup + weight decay
- Securite: clipping, precision mixte, surveillance NaN
Retropropagation = regle de chaine + attribution du credit. Sans elle, pas de deep learning moderne a grande echelle.