Обнаружение препятствий перед наземным мобильным объектом в бортовой системе технического стерео зрения реального времени Выголов О.В., Желтов С.Ю., Визильтер Ю.В. Федеральное государственное унитарное предприятие Государственный научно-исследовательский институт Авиационных Систем (ФГУП ГосНИИАС) Москва, Россия, 2010 г.

Актуальность проблемы Обнаружение препятствий – одна из ключевых задач автономного управления наземными мобильными объектами

Информация о препятствиях Анализ окружающего пространства Самопозиционирование Планирование маршрута движения

Подход к решению задачи Анализ стереоскопических видео изображений Преимущество – возможность отличать 3D-объекты от объектов, принадлежащих поверхности: блики, тени, спец. рисунок

Дифференциальное ортофото Правое изображение стереопары Фрагмент левого и правого ортофото Разность левого и правого ортофото Проекция стереоизображений на 3D-поверхность Пиксел ортофото (i,j)(X,Y,Z): X=i*Sx, Y=j*Sy, Z=Z(X,Y) (1) Яркость пиксела ортофото – проектирование (X,Y,Z) на исходное изображение

Радиальное ортофото Полярная система координат (,R): где R – расстояние от фокальной плоскости камеры до 3D точки, X, Y – координаты точки во внешней системе координат, - угол между проекциями на горизонтальную плоскость оптической оси камеры и линии, соединяющей оптический центр с 3D точкой, Xs, Ys – координаты оптического центра камеры во внешней системе координат. Пиксел ортофото ( i,R i ) (X i,Y i,Z i ): X i =R i *cos( i )+ Xs, Y i =R i *sin( i )+ Ys, Z i =Z(X i, Y i ) (2)

Преимущества радиального ортофото: Равномерное распределение яркости по дальности Границы объекта не искажаются как на прямоугольном ортофото Характерный признак объекта - структура простой формы: совокупность вертикальных границ контрастности Левое изображение Правое изображение Левое радиальное ортофото Правое радиальное ортофото

Обнаружение вертикальных границ контрастности (контуров) объекта Получение краевых точек - свертка радиального ортофото с оператором вертикального края Атрибуты контуров - величина и знак частной производной функции яркости в горизонтальном направлении Ортофото изображение левого снимка стереопары Признаковое изображение Формирование признакового изображения

Вычисление вертикальной проекции яркости признакового изображения : Контура - области характерной формы на проекции (3) Мера близости формы проекции к искомой модели: Поиск концевых точек контуров V(x) – вертикальная проекция яркости, I(x,y) – яркость пиксела в точке (x,y), DX, DY – ширина и высота изображения. (3) (4) Th Y X X V(x) Х KVKV H V1 H V2 H0H0 x2x2 x1x1

Вычисление горизонтальной проекций яркости признакового изображения в области контура : Мера близости формы проекции к искомой модели: (5) (6) Y V(y) Y KHKH Th H0H0 Y X X V(x) x2x2 x1x1 H h1 H h2

Глобальное стереоотождествление контуров Цель – снижение вероятности ложного срабатывания Решение - максимизация суммарной меры сходства контуров левого и правого изображений Оценка меры сходства интервалов левой и правой вертикальной проекции яркости Поиск на графе стереосоответствия глобального оптимального пути – метод динамического программирования Стоимостная функция - корреляция интервалов проекций яркости На каждом шаге решение принимается исходя из критерия: – стоимость пути от начальной вершины до вершины n i (7) Отождествление интервалов вертикальных проекций яркости признакового изображения Левая проекция яркости Правая проекция яркости – стоимость вершины m,

Проблема: частичное загораживание объектов Решение: каждый контур отождествляется отдельно Информация между контурами также учитывается Преимущества метода стереоотождествления: Левое изображение Правое изображение Вертикальная проекция яркости Формирование признаковых изображений Вертикальная проекция яркости Путь, задающий стереосоответствие Объект 1 Объект 2

Проблема: ложное стерео отождествление в случае областей периодической структуры Решение: В периодических структурах учитывается число контуров Дополнительно: Возможность отождествления слабоконтрастных границ

Cистема обнаружения препятствий (СОП) на пути движения транспортного средства по скоростным автомагистралям

Технические параметры Объект-цель: Высота – не менее 10 см. над уровнем дороги Ширина – от 20 см. до 1.5. м. Дальность – от 5 до 100 м. Скорость – от 0 до 100 км./ч. Обнаружение в собственной полосе движения ТС CCD Камеры 1.13m

Общая структура программно- алгоритмического обеспечения СОП

Глава 7 Алгоритм обнаружения линий дорожной разметки

Модифицированное преобразование Hough - Парное голосование горизонтальных отрезков - Параметризация (xTop,xBottom) - Пучку параллельных прямых в 3D-пространстве, лежащих в одной плоскости и на изображении сходящихся в одной точке, соответствует множество точек, лежащих на одной прямой.

Выделение линий разметки. Этап стерео прослеживания Показаны зоны итеративного поиска линии разметки на этапе прослеживания.

Структура алгоритма обнаружения препятствий

Алгоритм построения радиального ортофото (x 1,y 1 ) (x 3,y 3 ) (x 2,y 2 ) (x 4,y 4 ) (u 1,v 1 ) (u 2,v 1 ) (u 1,v 2 ) (u 2,v 2 ) Исходное изображение Радиальное ортофото 3D модель подстилающей поверхности Z(X,Y) = a 0 + a 1 X + a 2 Y + a 3 Y 2 Кусочно-билинейная трансформация исходных изображений x=x(u,v), y=y(u,v), x=B*u+C*u*v+E*v+F, y=H*u+K*u*v+M*v+N. (9) (11) (10)

Алгоритм стереоотождествления контуров Предложен оригинальный алгоритм формирования области поиска оптимального пути исходя из условия расположения препятствия в собственной полосе движения ТС. Достоинства: Существенное повышение быстродействия Удаление контуров, лежащих вне зоны интереса

Динамическая фильтрация контуров объекта Сопровождение отдельных признаков (контуров), а не объектов в целом Фильтрация измерений – фильтры Калмановской структуры Анализ оценок для проверки реальности сопровождаемых объектов: - Удаление источников маломощных и неустойчивых измерений. - Формирование признаков маневрирования объекта. Идентификация измерений. Распределение измерений между сопровождаемыми на текущем такте объектами. В результирующей сборке гипотез участвуют контуры: информация о которых подтверждена последовательностью кадров динамические атрибуты укладываются в рамки реально возможных перемещений исследуемых объектов

Характеристики алгоритма обнаружения препятствий Вероятность обнаружения – 0.97 Вероятность ложного срабатывания – 0.02 Быстродействие – 27 fps Конфигурация - Pentium III 500 MHz, 128 MB RAM Кадр стереопары - 640х480 пикс. Размер ортофото - 256х128 пикс.

Примеры работы системы