Курс «Математика для анализа данных» является составляющей частью серию кусов по ИИ в МГУ. 

Программа курса:  

1. Число, вектор, матрица и операции с ними. Напоминание об оценке сложности вычислений. Нормы векторные и матричные и их свойства. 

2. Унитарные матрицы, ранг матрицы, концепция малоранговой аппроксимация, SVD. Приложения: аппроксимация функции многих переменных, сжатие изображений, рекомендательные системы. 

3. Системы линейных уравнений. Метод Гаусса, LU разложение и их свойства. Обратная матрица, число обусловленности.  

4. Разреженные матрицы, способы их хранения. Графы, их свойства и типичные задачи. Приложения: потоки, разрезы, клики.  

5. Введение в итерационные методы решения линейных систем большой размерности. Примеры методов (Ричардсон, Чебышев и CG) и идеи их получения. 

6. Разложение по собственным векторам. QR разложение и QR алгоритм. Степенной метод. Задача кластеризации и  кластеризация вершин графа. 

7. Тензоры и их свойства. Классические тензорные разложения: разложение Таккера, каноническое разложение, TT-разложение. Приложения: сжатие данных, ускорение вычислений.

Список всех тем лекций

Лекция 1. Арифметика чисел с плавающей точкой. Векторы и операции над ними. Векторные нормы.
План лекции Арифметика чисел с фиксированной и плавающей точкой Векторы, матрицы и что с ними можно делать Функции и их суперпозиции

Семинар 1. Числа с плавающей точкой. Векторы и их свойства. Нормы.
Пример сложения чисел в формате плавающей точки Суммирование ряда

Лекция 2. Матрицы и операции с ними. Матричные нормы. Ранг матрицы, малоранговая аппроксимация, SVD.
Повторение Матрицы и их свойства Матричные нормы Ранг матрицы и его свойства Сингулярное разложение (SVD) Некоторые приложения сингулярного разложения

Семинар 2. Вычисление произведения матриц.
Произведение матриц Приложение: рекомендательные системы

Лекция 3. Линейные системы.
Линейные системы Обратная матрица Метод Гаусса Симметричные положительно определённые матрицы

Семинар 3. Решение линейных систем.
Задача кластеризации Матричные разложения Моделирование миграции населения Томография сетей

Лекция 4. Число обусловленности. QR разложение и линейная задача наименьших квадратов.
План лекции Устойчивость решения линейных систем Число обусловленности QR разложение Производная и градиент: напоминание Линейная задача наименьших квадратов и способы её решения

Семинар 4. Решение линейных систем, обратная матрица.
Основные факты (напоминание) Задача 1 Доказательство формулы Шермана-Моррисона-Вудбери Определение координат по дополнительным измерениям Постановка линейной задачи наименьших квадратов Закон Мура

Лекция 5. Разреженные матрицы и решение больших разреженных систем.
План лекции Плотные неструктурированные матрицы и распределённое хранение Разряженные матрицы и форматы их представления Быстрая реализация умножения разряженной матрицы на вектор Метод Гаусса для разряженных матриц: упорядоченность

Семинар 5. Разреженные матрицы и решение больших разреженных систем.
Графы и задачи для них Вычисление градиента

Лекция 6. Собственные векторы, собственные значения. Разложение Шура и QR- алгоритм.
План лекции Собственные векторы и значения Круги Гершгорина Степенной метод изучения собственных векторов и значений Нормальные матрицы QR- алгоритм

Семинар 6. Собственные векторы, собственные значения. Разложение Шура и QR- алгоритм.
Связь сингулярного разложения и разложения по собственным векторам Сходимость степенного метода Несимметричная матрица

Лекция 7. Введение в итерационные методы.
План на лекцию Итерационные методы Метод Ричардсона и его сходимость Выбор оптимального параметра Вывод о влиянии числа обусловленности на сходимость Примеры Возможные улучшения метода простой итерации Метод сопряжённых градиентов Выводы

Семинар 7. Введение в итерационные методы.
Как собрать двумерный лапласиан из одномерного (ответ на вопрос студента) Примеры итерационных методов Рандомизированный метод вычисления SVD Теорема сходимости Повышение точности в рандомизированном методе вычисления SVD Лапласиан графа

Лекция 8. Введение в методы оптимизации для анализа данных.
План лекции Постановки задач оптимизации и ключевые определения Примеры задач оптимизации в анализе данных Самый простой метод поиска решений задач оптимизации Квадратичная функция

Семинар 8. Введение в методы оптимизации для анализа данных.
Методы оптимизации для анализа данных Градиентный спуск

Лекция 9. Градиентный спуск и его модификации для решения задачи оптимизации.
Градиентный спуск: напоминание Скорость сходимости Как может сходиться градиентный спуск? Метод тяжёлого шарика Ответы на вопросы студентов

Семинар 9. Градиентный спуск и его модификации для решения задачи оптимизации.
Пример (границы, в которых лежит постоянный допустимый шаг, в контексте липшиевости градиента функции) Пример (зависимость от обусловленности матрицы) Задача

Лекция 10. Стохастические градиентные методы.
План лекции Стохастический градиент Стохастический градиентный спуск Плюсы неточного вычисления градиента Применение к обучению нейросетей Недостатки

Семинар 10. Стохастические градиентные методы.
Задача (градиентный спуск) Стохастические градиентные методы Приложения

Семинар 1. (продолжение). Стохастические градиентные методы.

Лекция 11. Квазиньютоновские методы.
План лекции Метод Ньютона и градиентный спуск Идея квазиньютоновских методов Метод LBFGS Сходимость

Семинар 11. Квазиньютоновские методы.
Квазиньютоновские методы Задача 1 Задача 2 Итоги