David E. Rumelhart
Primer autor del articulo clasico, formalizando el entrenamiento por retropropagacion multicapa.
1. Historia y Relevancia
En 1986, Rumelhart, Hinton y Williams sistematizaron BP para redes multicapa y reactivaron el deep learning.
Geoffrey E. Hinton
Impulsor clave de los metodos de entrenamiento neuronal y del deep learning moderno.
Ronald J. Williams
Coautor con aportes teoricos y experimentales fundamentales.
2. Ecuaciones Clave
Palabras clave: regla de la cadena + reutilizacion dinamica. Complejidad casi lineal en parametros.
3. Mini Laboratorio de Regla de la Cadena
Define g(x)=a*x+b, y=g(x)^2 y observa como cambia dy/dx.
4. Visualizacion de Rutas de Backpropagation
La fase forward activa nodos; la fase backward propaga errores. La tasa de aprendizaje controla la intensidad.
Esperando acciones
5. Laboratorio de Estabilidad de Gradientes
Simula productos encadenados para observar gradientes que se desvanecen o explotan.
6. Flujo del Algoritmo
- Ejecutar forward para obtener y_hat
- Calcular perdida L(y_hat, y)
- Calcular delta[L] en salida
- Propagar delta[l] en capas ocultas con regla de la cadena
- Calcular dW, db y actualizar parametros
- Iterar hasta convergencia
7. Puntos de Ingenieria
- Activaciones: ReLU/GELU para reducir desvanecimiento
- Inicializacion: combinar He/Xavier con activacion
- Estabilidad: LayerNorm/BatchNorm + conexiones residuales
- Optimizacion: AdamW + warmup + weight decay
- Seguridad: clipping de gradiente, precision mixta, monitoreo NaN
Backpropagation = regla de la cadena + asignacion de credito. Sin ella no habria deep learning moderno a gran escala.