David E. Rumelhart
Первый автор ключевой работы по обучению многослойных сетей.
1. История и значение
В 1986 Rumelhart, Hinton и Williams систематизировали BP для многослойных сетей.
Geoffrey E. Hinton
Один из главных двигателей возрождения нейросетей.
Ronald J. Williams
Соавтор с важным теоретическим и экспериментальным вкладом.
2. Базовые формулы
Ключи: правило цепочки + динамическое переиспользование. Сложность почти линейна по числу параметров.
3. Мини-эксперимент по правилу цепочки
Пусть g(x)=a*x+b, y=g(x)^2. Наблюдайте изменение dy/dx.
4. Визуализация пути обратного распространения
Forward активирует узлы, backward передает ошибку назад. Скорость обучения влияет на интенсивность.
Ожидание действий
5. Лаборатория устойчивости градиента
Смоделируйте цепное произведение локальных производных для анализа исчезания/взрыва градиента.
6. Алгоритмический поток
- Выполнить forward и получить y_hat
- Вычислить функцию потерь L(y_hat, y)
- Вычислить delta[L] на выходе
- Рекурсивно вычислить delta[l] в скрытых слоях
- Посчитать dW, db и обновить параметры
- Повторять до сходимости
7. Инженерные акценты
- Активации: ReLU/GELU для снижения риска затухания
- Инициализация: He/Xavier в паре с активацией
- Стабилизация: LayerNorm/BatchNorm + residual
- Оптимизатор: AdamW + warmup + weight decay
- Защита: gradient clipping, mixed precision, NaN-мониторинг
Backpropagation = правило цепочки + распределение ответственности. Без него не было бы современного масштабного deep learning.