Лекция 8. Инференс, квантизация

  1. 00:16Представление чисел
  2. 01:22Квантизация
  3. 04:02Absmax
  4. 05:23Zero-point
  5. 07:37Выбросы
  6. 08:59LLM. int8
  7. 12:24NF4
  8. 14:21GGUF
  9. 17:37AWQ
  10. 21:32Феномен "супер весов"
  11. 27:20Инференс
  12. 31:55Характеристики
  13. 39:17Пример (HF + transformers: генерация)
  14. 47:08VLLM: генерация
  15. 54:27SGLang
  16. 58:22llamacpp
  17. 01:00:54ollama