Курс «Нейронные сети и их применение в научных исследованиях» ориентирован на освоение инструментов работы с нейронными сетями и сопутствующих современных программных средств. Страница курса: https://msu.ai/.

Цель курса — дать практический навык использования методов классического машинного обучения и искусственных нейронных сетей молодым учёным (магистрам, аспирантам, молодым сотрудникам) разных факультетов МГУ имени М. В. Ломоносова, имеющих базовые знания программирования и математики, для применения в их научных исследованиях.

Курс будет полезен для начинающих учёных и технических, и гуманитарных факультетов: физиков и филологов, химиков и медиков, математиков и социологов.

Итогом учёбы будет подготовленный слушатель курса, который написал программу и получил качественный результат, успешно применённый в его диссертации, и подготовил научную публикацию об этом.

Ссылки на материалы к лекциям:

Лекция 1: https://colab.research.google....

Лекция 2: https://colab.research.google....

Лекция 3: https://colab.research.google....

Лекция 4: https://colab.research.google....

Лекция 5: https://colab.research.google....

Лекция 6: https://colab.research.google....

Лекция 7: https://colab.research.google....

Список всех тем лекций

Лекция 1. Введение в машинное обучение.
Введение Ml и Dl и Аl в Computer Science История развития Dl Сферы применения и технологии Базовые задачи в Ml Типы данных Оценка результата Пример работы с табличными данными Обучение Работа с изображениями Ответы на вопросы Оргвопросы

Лекция 2. Линейный классификатор.
Пример кода без использования циклов KNN для классификации Линейный классификатор Регрессия Функция потерь SVM Выбор шага обучения Переобучение Информационная энтропия Задание для самостоятельной работы

Лекция 3. Классическое машинное обучение.
Разбор домашнего задания Экспертная система Деревья решений Бутстрэп Метод случайных подпространств Случайный лес Блендинг и Стекинг

Лекция 4. Генерация и отбор признаков.
Разбор домашнего задания Генерация признаков Типы признаков Кодирование взаимодействия признаков Отбор признаков на основе моделей Задача понижения размерности

Лекция 5. Ограничения линейного классификатора.
Линейно неразделимые множества Метод обратного распространения ошибки Пример Backprop in py Torch Обратное распространение для векторов Функции активации Функция потерь Пример простой сети на датасете mnist

Лекция 6. Свёрточные сети.
Нарушение связей между соседними пикселями Свертка с фильтром Сверточный слой нейросети Рецептивные поля нейронов Другие виды сверток Визуализация

Лекция 7. Улучшение сходимости нейросетей и борьба с переобучением.
Нормализация входных данных Инициализация весов Инициализация весов в Pytorch Затухание градиента Советы по использованию BatchNormalization Другие Normalization Регуляризация Обзор популярных оптимизаторов Режимы обучения

Лекция 8. Рекуррентные нейронные сети.
Особенности рекуррентных нейронных сетей Базовый RNN блок Пример прогнозирования временного ряда Пример посимвольной генерации текста LSTM Машинный перевод Attention

Лекция 9. Архитектуры CNN.
Базовые компоненты сверточных сетей Обзор сетей Обучение VIT

Лекция 10. Интерпретация предсказания моделей.
Explainability Оценка важности признаков в простых случаях Библиотеки для реализации Explainability Пример абстрактного обобщения текста Borutа

Лекция 11. Обучение на реальных данных.
Проблемы при работе с реальной задачей машинного обучения Few/one-shot learning Оптимизация гиперпараметров Ответ на вопрос студента

Лекция 12. Генеративно-состязательные нейронные сети.
Введение в генеративно-состязательные нейронные сети Latent space Пример Генерация изображений Разжимающий слой Пример GAN с условием Разнообразие GАN Тонкости обучения

Лекция 13. Сегментация и детектирование.
Задачи компьютерного зрения Автокодировщик Loss функции для сегментации Детектирование Loss для детектора Оценка качества детекции Трансформеры для сегментации

Лекция 14. Автоэнкодеры.
Автоэнкодер (АЕ) Вариационные автоэнкодеры (VAE) Автоэнкодеры с условием (САЕ) Условные вариационные автоэнкодеры (CVAE) Состязательные автокодировщики

Лекция 15. Обучение с подкреплением.