Лекция 13. Seq2Seq и его ограничение
ПензарДмитрий Дмитриевич
ДианкинИгорь Дмитриевич
ЗинкевичАрсений Олегович
СигорскихАндрей Иванович
ЕфремовАлексей Александрович
- 00:00Seq2Seq
- 04:14Attention
- 13:33Словарь
- 17:28Key, query, value
- 22:09Attention Layer
- 28:29Self-Attention Layer
- 32:47Positional encoding
- 35:06Multihead Self-Attention Layer
- 42:42Примеры применений Transformer
- 45:10BERT
- 59:19GPT (Generative Pretrained Transformer )
- 01:06:01Self-supervised learning
- 01:13:35Другие подходы
- 01:22:16Ролик о сегментации