Лекция 3. Эффективное обучение нейронных сетей
- 00:16Введение
- 02:58Спиральный набор данных
- 04:47Оптимизаторы градиентного спуска
- 14:55Тонкая подстройка темпа обучения
- 18:52Оптимизация распространения сигнала в нейронной сети
- 24:03Эффективность прямого прохода
- 26:44Как поддерживать эффективное распространение сигнала?
- 33:58Обучение глубоких сетей
- 37:26Ключевые выводы
- 38:45Практика
- 43:58Функции активации и затухающие градиенты
- 47:19Цикл обучения
- 49:40Сравнение ReLU и сигмоиды
- 52:27Инициализация весов
- 56:03Масштаб входов и батч-нормализация
- 59:25Сравнение оптимизаторов
- 01:02:13Граница решения
- 01:03:04Задания