Лекция 11. Альтернативы классическому трансформеру (вниманию), SSM, Mamba, DeltaNet

  1. 00:16Проблема классического внимания
  2. 06:07Linformer
  3. 08:45Longformer
  4. 11:43DeepSeek: MLA (Multi-head Latent Attention)
  5. 12:56Linear Attention (Линейное внимание)
  6. 17:24RNN
  7. 19:51Истоки State Space Models (SSM)
  8. 31:48Селективная SSM (Mamba-1)
  9. 41:28State Space Duality (SSD)
  10. 45:32Mamba-2
  11. 51:19Delta Net - развитие линейного внимания
  12. 56:34Qwen 3.5 — гибридная модель
  13. 01:00:44Выводы