Семинар разделен на две части, каждая по 45 минут доклад и по 15 минут - обсуждение. В начале семинара прозвучит приветственное слово руководителя робототехнического центра Фонда «Сколково» Альберта Ефимова (5 минут). Обсуждение будет акцентировано на вопросах практической реализации и синергетического использования разработок в области систем технического зрения (СТЗ) для мобильных объектов в трех средах в рамках реализации дорожных карт направлений АэроНэт, АвтоНэт и МариНэт. Будут приглашены к сотрудничеству участники направления НейроНэт, занимающиеся проблемами исследования и реализации в областях, связанным со зрением и обработкой визуальной информации.

Докладчик - Соколов Сергей Михайлович - д.ф.-м.н., проф., зав сектором "механика и управление движением робототехнических систем" Ордена Ленина Института прикладной математики им. М.В. Келдыша РАН; член экспертного совета по интеллектуальным транспортным системам при Международной академии транспорта; эксперт РИНКЦЭ, РФФИ, и РНФ; руководитель магистерской программой «управление данными и знаниями в компьютерных сетях» в Институте информационных наук и технологий безопасности РГГУ; преподаватель нескольких ВУЗов; член международного института информатики и системики (systemics) IIIS (http://www.iiis.org/). Сергей Михайлович руководил группой по СТЗ при Совете по роботам Президиума АН СССР, а потом РАН, эта группа объединяла и координировала работу разработчиков и исследователей по всему Союзу. При непосредственном участии профессора Соколова разработаны более 30 СТЗ реального времени, в том числе первое отечественное промышленное устройство ввода ТВ-сигнала в ЭВМ (ОТ-10МВ). О наиболее интересных разработках будет рассказано на семинаре.

Информационным партнером семинара является Робототехнический центр Сколково.

https://leader-id.ru/upload/file/get/3083/" style="width: 98px; height: 73px;" />

Примерный перечень выносимых на семинар вопросов

ЧАСТЬ 1. Задачи систем технического зрения

a. В области навигации

i. Определение собственного вектора состояния – положение, углы + производные по времени от них.

1. Визуальная одометрия. Определение движения камеры относительно неподвижной местности;

2. Комплексирование данных от разных типов навигационных систем, Калмановская фильтрация (Kalman filtering);

3. Использование знаний о 3D модели местности для автономного определения вектора состояния.

ii. Определение обстановки. Статические препятствия и движущиеся объекты;

1. Определение расстояния до препятствия;

2. Анализ сцены «фон»/«наложенный объект»;

3. Определение 3D траектории движения смежных объектов (чисто оптическое решение и комплексирование с радиолокационными данными);

iii. Координация (коллективное управление). Принципы организации движение за лидером колонной, клином, «стаей». Стыковка. Координация группового движения при помощи CV.

b. В области мониторинга местности:

i. Ортонормирование, фотограмметрия;

ii. Создание 3D модели местности (ЦМР+) по набору изображений;

iii. Привязка изображений к существующей модели пространственных данных;

iv. Анализ изображений для сельского хозяйства;

v. Задачи поиска, обнаружения, распознавания и сопровождения;

vi. Задачи поиска, обнаружения, распознавания и сопровождения для мониторинга транспортных потоков;

Часть 2. Методы систем технического зрения

a. Алгоритмы

i. Калибровка камеры (определение и компенсация оптических искажений);

ii. Фильтрация шумов, цветовые преобразования и контрастирование, выделение контуров. Оператор Кэнни (Canny edge detector);

iii. Распознавание элементов изображения. Преобразование Хафа (Hough transform) (что еще?);

iv. Классификация объектов. Вейвлеты, преобразование и признаки Хаара (Haar wavelet), метод Виолы-Джонса (Viola–Jones object detection framework), нейросети (artificial neural networks);

v. Алгоритмы восстановления оптического потока. Алгоритм Алгоритм Лукаса — Канаде (Lucas–Kanade method);

vi. Восстановление 3D описания местности: распознавание характерных (реперных) точек, совмещение точек на группах снимков;

vii. Библиотеки CV с открытым исходным кодом;

viii. Методы тестирования и анализа эффективности CV алгоритмов.

b. Аппаратные средства

i. Проблемы «классической» архитектуры (универсальный CPU);

ii. GPU архитектура (на примере процессоров NVIDIA® TEGRA K1 и TEGRA X1, платформы DJI Manifold / NVIDIA Jetson TK1);

iii. DSP архитектура (сигнальные процессоры);

iv. Программируемая архитектура. CAE/EDA методология проектирования цифровых электронных схем. Языки описания аппаратуры, библиотеки описаний с открытым кодом, методы и проблемы отладки. Архитектура SoC, наборы для быстрого старта (на примере Terrasic DE0-Nano-SoC Kit/Atlas-SoC Kit);

v. «Покупная» специализированная архитектура (ASIC) для CV (на примере Mobileye EyeQ2);

vi. Недостатки и преимущества различных типов реализации аппаратуры (i-v).

Просьба участникам семинара ответить на опрос о семинаре

https://leader-id.ru/upload/file/get/3150/" style="width: 640px; height: 480px;" />

https://leader-id.ru/upload/file/get/3148/" style="width: 640px; height: 480px;" />

https://leader-id.ru/upload/file/get/3149/" style="width: 640px; height: 480px;" />