Основы обучения больших языковых моделей

Аннотация к курсу

Спец. курс “Основы обучения больших языковых моделей” посвящен такому феномену современности как большие языковые модели (ChatGPT, DeepSeek …). Цель курса состоит в формировании у слушателей системного понимания принципов работы, архитектурных особенностей и методов обучения современных больших языковых моделей (LLM), а также выработка практических навыков их настройки и применения. 

Слушатели изучат современные подходы к эффективному дообучению (Parameter-Efficient Fine-Tuning, LoRA) и "выравниванию" моделей (Alignment), а также технические аспекты запуска моделей (квантизация, оптимизация инференса). Будут рассмотрены вопросы применения языковых моделей в реальных задачах, в частности, за счет комбинирования LLM с поисковыми технологиями (RAG). Заключительная часть курса посвящена передовым архитектурным решениям, включая Mixture of Experts (MoE), и анализу state-of-the-art моделей (DeepSeek, Qwen3 и др.).

Сопроводительные материалы jupyter notebooks

• Материалы к лекции 2: lecture_2_simple_llm_inference.ipynb
• Материалы к лекция 6: lecture_6_Instruction_tuning_example.ipynb
• Материалы к лекции 7: lecture_7_Instruction_tuning_example_lora_4bit.ipynb, lecture_7_Instruction_tuning_example_lora.ipynb