3. Мультимодальные LLMs в робототехнике. Семинар

  1. 00:16Введение. Доступ к серверам
  2. 03:44Создание Conda-окружения
  3. 06:13Введение в VLA-модели. Почему SmallVLA
  4. 09:00Симулятор LIBERO: зачем симуляции, критерии успеха, параллельные эпизоды
  5. 11:32Структура Observation
  6. 15:39Action Space vs Joint Space
  7. 24:36Подготовка входных данных
  8. 26:41Цикл evaluation
  9. 28:21Демонстрация работы: робот успешно кладёт банку в корзину за 140 шагов
  10. 33:33Как считать Success Rate
  11. 38:34Тест на Out-Of-Distribution
  12. 43:05Данные для обучения. Bridge Dataset, Open X-Embodiment, Sim-to-Real
  13. 48:46Почему Generalist-политики слабее fine-tuned, и как собирать свои траектории
  14. 51:22Почему роботы не планируют наперёд?