МАТЕРИАЛЫ К КУРСУ: https://github.com/Xeanst/NN_in_compling?tab=readme-ov-file

Цель спецкурса – обеспечить системное представление о нейросетевых алгоритмах, используемых в компьютерной лингвистике, и сформировать практические навыки применения нейронных сетей в задачах автоматической обработки текстовых данных. Курс начинается с повторения «донейросетевых» алгоритмов, после чего осуществляется переход к искусственным нейронным сетям. Слушатели учатся работать с библиотекой PyTorch, получают представление об архитектуре рекуррентных нейронных сетей и учатся использовать их для автоматической обработки текстов. Также участники спецкурса осваивают принцип работы механизма внимания, знакомятся с архитектурой Трансформер и языковыми моделями на её основе.

Список всех тем лекций

Лекция 1. Классическое машинное обучение. Часть 1.
Программа курса Машинное обучение Типы задач в машинном обучении Библиотеки для анализа данных Методы векторизации текста Заключение

Лекция 2. Классическое машинное обучение. Часть 2.
Матрица ошибок Наивный байесовский классификатор Логистическая регрессия Градиентный спуск Обучение модели

Лекция 3. Введение в нейросетевые алгоритмы.
Искусственный интеллект, машинное обучение, нейронные сети Что такое нейронная сеть Функция активации Функция потерь Метод градиентного спуска

Лекция 4. Работа с тензорами и реализация персептрона. Часть 1.
Содержание лекции Создание тензора по параметрам Создание тензора из numpy матрицы Изменение размера тензора Конкатенация тензоров Поэлементные операции над тензорами Операции сравнения Операции, уменьшающие количество элементов Max/Argmax Вычисление градиентов

Лекция 5. Работа с тензорами и реализация персептрона. Часть 2.
Содержание лекции Загрузка данных Этапы обработки данных Dataset, Sampler, Dataloader Построение модели Обучение и валидация

Лекция 6. Методы векторного представления слов с помощью нейронных сетей. Часть 1.
Содержание лекции Теоретическая часть Практическая часть Negative sampling FastText

Лекция 7. Методы векторного представления слов с помощью нейронных сетей. Часть 2.
Содержание лекции Библиотека Censim Кластеризация Классификация

Лекция 8. Архитектура рекуррентной нейронной сети.
Содержание лекции Ячейка рекуррентной нейронной сети Гиперболический тангенс Слой рекуррентной нейронной сети Реализация слоя RNN Двунаправленные рекуррентные сети Алгоритм обратного распространения ошибки сквозь время Сети долгой краткосрочной памяти

Лекция 9. Языковое моделирование.
Содержание лекции Языковая модель Загрузка и подготовка данных Создание модели Генерация текста Тестирование модели Обучение модели

Лекция 10. Задача перевода одной последовательности в другую.
Модель Sequence-to-sequence Модель Sequence-to-sequence с механизмом внимания для перевода

Лекция 11. Архитектура Трансформер.
Недостатки рекуррентных нейронных сетей Общая архитектура Механизм внутреннего внимания Множественное внимание Кодирование позиции Остаточное соединение Трансформер

Лекция 12. Языковая модель BERT.
Архитектура Трансформер (повторение) ELMo Токенизация Библиотека Transformers

Лекция 13. Использование модели BERT.

Лекция 14. Модели на основе декодера трансформера.