Определение положения деталей местности по видео Дмитрий Маракасов OpenStreetMap Микроконференция Мапперов в Москве

Машинное зрение Используется всё шире

Машинное зрение Используется всё шире Но не в OSM Нужно специальное оборудование Сложность/невозможность глобального использования Отсутствие end-user приложений

Видеомаппинг Доступен всем

Видеомаппинг Доступен всем Но всё ещё не слишком эффективен Видео требует больше времени на обработку, чем на получение Копится и занимает много места Практическое отсутствие OSM- ориентированного ПО для обработки

Машинное зрение видеомаппинг Автоматическое выделение наиболее интересных моментов видео Вывески, таблички, дорожные знаки Автоматическое преобразование информации в более удобный для картографирования вид Набор геопривязанных фото Подложка для JOSM Вычленение информации, которую нельзя увидеть глазами Например, качество покрытия по тряске камеры

Машинное зрение Это непросто алгоритмы построение трёхмерной сцены по видео (structure from motion) алгоритмы распознавания объектов нейронные сети... Но реально OpenCV PCL...

План 1.Научиться анализировать видео и определять положение объектов на нём относительно камеры Для начала, самое простое видео 2.Написать GUI оболочку для работы с видео Для начала, просто просмотр видео и привязка к треку 3.Совместить 1 и 2 и получить что-то вроде подложки для JOSM с контурами объектов, найденными по видео 4.Использовать то что получилось как платформу для дальнейших экспериментов

Анализ видео Выбран самый простой ракурс съёмка вбок из автомобиля Меньше степеней свободы Меньше тряска Проще привязка к треку Видно больше подробностей Объекты находятся в кадре большее время

Анализ видео Съёмка

Анализ видео Съёмка Оптический поток

Анализ видео Съёмка Оптический поток Коррекция искажений камеры Вычисление глубины по скорости точек Фильтрация «плохих» точек

Результаты В проекции даже без должной обработки видны заборы и стены домов, значит это можно использовать для реального маппинга Можно маппить объекты, к которым нет (за заборами) или затруднён физический доступ Не требует дополнительных усилий от пользователя Для достижения максимальной отдачи нужна более сложная обработка Данные можно использовать другими способами например, для сопоставления точки на видео и на карте

Планы Низкоуровневые оптимизации Улучшенная фильтрация точек Автоматическая калибровка камеры Доделка GUI приложения для видеомаппинга Генерация подложки для JOSM...

(Тут запланирована демонстрация программы)

Спасибо.