Список всех тем лекций
Лекция 1. Понятие о компьютерном зрении. Цветовые модели.
Понятие о компьютерном зрении
Марра
Алгоритм поиска лиц Viola-Jones
Глубинное обучение
Цифровое изображение
Камера обскура
Перспективные искажения
Современная камера
Свет и цвет
Восприятие цвета
Модели цвета
Закон аддитивности Грассмана
Модель CIE RGB
Нелинейность яркости
Модель sRGB
Модель HSV
Первые цветные фотографии
Особенности человеческого зрения
Тональная и цветовая коррекция изображения
Оценка параметров цветокоррекции
Лекция 2. Сопоставление изображений.
Совмещение изображений
Построение панорамы
Перспективная проекция
3D преобразование изображений
Гомография
Цилиндрические и сферические координаты
Прямое выравнивание и метрики
Пирамида изображений
Особенности объекта
Детектор Харриса
Инвариантность Детектора Харриса
Поиск пятен (блобов)
Многомасштабный детектор блобов
Дескрипторы
Оценка ориентации градиента
RANSAC
Функции качества M-SAC
Алгоритм сопоставления изображений
Лекция 3. Классификация и поиск похожих изображений.
Классификация изображений и атрибуты объектов
Создание коллекций
Кластеризация
"Мешок слов"
Локальные бинарные шаблоны
Метод "визуальных слов"
Поиск похожих изображений
Лекция 4. Введение в сверточные нейросети.
Модель Маккалока-Питтса
Градиентный метод обучения
Задание нейросети
Линейный персептрон
Обучение персептрона
Проблемы обучения нейросетей
Нейросети для обработки изображений
Сверточные сети
Переобучение
Лекция 5. Развитие нейросетевых методов.
Визуализация работы нейросети
UMAP - визуализация
Нейросетевые признаки
Дообучение
AlexNet
Spatial Pyramid Pooling
VGG архитектура
Архитектура Inception
Проблема глубины нейросети
Residual net
DenseNet
Нейросетевые признаки для поиска похожих изображений
Полносвязные и сверточные дескрипторы
Triplet-loss
Лекция 6. Выделение объектов или детектор объектов.
Локализация
Оценка качества детектора
Протокол разметки
Метод скользящего окна
Hard-negative mining
Каскад
Уточнение (регрессия) ограничивающего прямоугольника bbox
Резюме метода R-CNN
ROI-pooling
ROI-Align
Fast R-CNN
Region proposal network
Faster R-CNN
Детектор YOLO
Single Shot Detectdor
Feature Pyramid Network
RetinaNet
Focal Loss
Перспективы развития
Лекция 7. Задача сегментации.
Сегментация без учителя
Семантическая сегментация
Сегментация экземпляров
Паноптическая сегментация
Оценка точности сегментации
Интерактивная сегментация
Формализация задачи и графическая модель
Теорема Хаммерсли-Клиффорда
Факторы в модели изображения
Бинарная сегментация
Минимальный разрез сети
Итеративные разрезы графов
Суперпиксели
Пресегментация через кластеризацию
Алгоритм SLIC
Семантическая сегментация CRF
Билатеральная фильтрация
Нейросетевые модели для сегментации
Транспонированная свертка
Полносверточные сети
U-Net
Hourglass
Light RefineNet
Deep GrabCut
Mask R-CNN
Задача нахождения ключевых точек
Лекция 8. Модификация изображений.
Модификация изображений
Визуализация вектор-признаков
Реконструкция
Методы переноса стиля
Описание и реконструкция стиля
Интерполяция глубоких признаков
Стилизация с perception loss
8.Universal Style Transfer
Генерация текстур и постобработка
Синтез изображений
Векторная арифметика
Wasserstein GAN
Conditional GAN
PIX2PIX
Patch GAN
Cycle GAN
Style GAN
SPADE
Резюме лекции
Лекция 9. Основы анализа видеоданных.
Виды видео
Сценарии съемки
Оценка оптического потока (движения)
Middleburry optical flow dataset
KITTI датасет
MPI Sintel
Классический подход к оценке оптического потока
FlowNet
PWC-Net (Pyramid, Cost volume)
Отслеживание объектов в видео
VOT Challenge
Стандартная схема итеративного трекинга
GOTURN
Multiple Object Tracking (MOT)
Duke MTMC
Detection by tracking
Ограничение трекеров
Online VS offline tracking
Компоненты функции сходства (affinity)
Ассоциация прямо по IoU
Simple Online and Realtime Tracking (SORT)
SORT + DA
Распознавание событий
Коллекции для распознания действий и событий
Распознавание действий
Dense trajectories
Two-stream CNN model
Dense trajectories + deep features
Текущие тенденции
Лекция 10. Разреженная трехмерная реконструкция.
3D реконструкция
Разреженная трехмерная реконструкция
Модель формирования изображения
Перспективная проекция
Матрица однородной проекции
Уравнение перспективной проекции
Внутренняя калибровка
Радиальная дисторсия
Разреженная 3D реконструкция
Структура из движения
Целевая функция
Эпиполярная геометрия
Эпиполярные ограничения
Калиброванный случай
Некалиброванный случай
Гомография как вырожденный случай
Подзадачи структуры и движения
DLT- метод
Gold standart
Калибровочный шаблон
8-и точечный алгоритм
Оценка структуры сцены - задача триангуляции
Подход к задаче структуры движения
Метод связок Bundle adjusment
Неоднозначность решения
Фотограмметрия
Граф связности изображений
Выбор опорной пары
Система глобального позиционирования
Визуальная хронология
Резюме
Лекция 11. Плотная трехмерная реконструкция.
Стереопсис
Бинокулярное зрение и ректификация
Радиальная развертка (Polar rectification)
Триангуляция
Диспаритет, карты диспаритета
Основные трудности поиска диспаритета
WTA
Наивный алгоритм
Обучение с помощью CNN
Проблема сохранения границ
Минимизация энергии
Алгоритм Scanline optimization
Алгоритм на основе MST
Алгоритм Semi-global matching
Алгоритм Simple tree
Базовый алгоритм
Резюме бинокулярного стерео
Задача многовидовой реконструкции
ETH3D
Принцип фото-согласования
Схема объединения карт глубины
Деформируемые поверхности
Методы на основе фрагментов PMVS
Фотосогласованность
Алгоритм на основе фрагментов
Масштабирование конструкции
Визуальный тест Тьюринга
COLMAP
Реконструкция лица человека, моментальное 3D
Резюме