Занятие 12 (лекция). Рекуррентные нейронные сети
ДоленкоСергей Анатольевич
ШирокийВладимир Романович
ГаджиевИсмаил Маратович
ЕфиторовАлександр Олегович
ИсаевИгорь Викторович
- 00:15Рекуррентная нейронная сеть
- 17:13Распространение градиента в РНС
- 21:30Градиент сквозь время
- 26:26Усечённое распространение градиента
- 30:18Long short-term memory (LSTM)
- 46:15Механизм внимания
- 58:26Блок внимания в общем виде
- 01:02:11Self-Attention block
- 01:06:05Маскированный слой внимания
- 01:07:17Трансформер
- 01:14:51От рекуррентных сетей к трансформерам
- 01:17:11Зоопарк трансформеров
- 01:18:56Модели GPT-генерация текстов