Структурное сопоставление трехмерных изображений и сезонно-суточная инвариантность презентация

Пономарев Святослав Владимирович

Государственный оптический институт им. С.И. Вавилова

сопоставлении изображений реальных сцен
Механизм двумерного структурного сопоставления, разработанный нами ранее
Усовершенствование механизма структурного сопоставления для обработки изображений трехмерных сцен
Результаты трехмерного структурного сопоставления и выводы

автоматизации производства
здравоохранении
системах обеспечения безопасности и криминалистике
дистанционном зондировании Земли

Особенно сложно автоматическое сопоставление изображений реального естественного окружения, поэтому остается актуальной разработка новых робастных решений для:
распознавания целей
аэрокосмического мониторинга Земли
навигации беспилотных летательных аппаратов
навигации автономных наземных роботов

Наше исследование как раз посвящено алгоритмам сопоставления изображений реального естественного окружения.

разнообразия анализируемых изображений

Кросскорреляционная функция снимков, сделанных в разные сезоны или с разных ракурсов деградирует

Снимки одной и той же местности, сделанные с интервалом в несколько месяцев

выраженной текстурой и повторяющимися деталями

Для преодоления этой трудности необходим более эффективный анализ взаимного положения элементов изображения!

двумерных видеоданных

Исходное изображение

Контуры, относящиеся к большим градиентам яркости

Структурное описание контуров

учетом следующих существенных ограничений, следующих из свойств наблюдаемого мира и зрительных систем

Большинство систем машинного зрения проецируют изображение через линзу, что является источником проективных или аффинных преобразований.
Объекты наблюдаемого мира обычно локально жесткие. Взаимное положение их частей не изменяется мгновенно. Нежесткость объектов приводит к отклонениям преобразования их изображений от аффинного.
Объекты наблюдаемого мира, обычно не прозрачны, а их поверхности не зеркальны. Наблюдение прозрачных и зеркально отраженных объектов часто связано со зрительными иллюзиями.
Наблюдаемый мир состоит из поверхностей объектов, что в совокупности с непрозрачностью обусловливает правила загораживания объектов.
Свойства поверхностей варьируют при изменении условий наблюдения. Наблюдаемые границы объектов наиболее устойчивы к таким изменениям.
Наблюдаемый мир структурирован и организован иерархически: видимая сцена делится на объекты и подобъекты. При увеличении пространственного разрешения текселы также становятся объектами, имеющими свою форму.

и функции информативности

Стимулом к этому исследованию были результаты применения обобщенных эталонных функций для структурной декомпозиции изображений, опубликованные И.Б. Мучником и Н.В. Завалишиным

локальным объектам

E2-1: ∂z/∂x=2k1x => E2-1 ┴ E2-2, E2-1 ┴ E1-1 , E2-1 ┴ E1-2 , E2-1 ┴ E1-3
E2-2: ∂z/∂y=2k2y => E2-2 ┴ E2-1, E2-2 ┴ E1 -1 , E2-2 ┴ E1-2 , E2-2 ┴ E1-3

Структурные элементы второго типа, соответствующие границам объектов

Имеет близкую к нулю ширину пространственного спектра по абсциссе и ординате

Имеют близкую к нулю ширину пространственного спектра по одной декартовой координате и нулевую ширину спектра по другой координате

Имеют близкую к нулю ширину пространственного спектра по одной декартовой координате и нулевую ширину спектра по другой координате

Е1-2 ┴ Е1-3

Использованный алфавит структурных элементов
ортогонален => не избыточен;
имеет узкую спектральную полосу => объектно-независим, робастен;
инвариантен к аффинным и проективным преобразованиям.

Разработанный объектно-независимый алфавит ортогональных структурных элементов

объектов

Нулевой уровень

Первый уровень

Второй уровень

* Имеет аналогии в нейрофизиологии зрения

*

*

*

*

Структурные элементы первого и второго типов применены на всех иерархических уровнях анализа

структурного сопоставления снимков, сделанных в разные сезоны с разных ракурсов

Майский снимок той же местности

сопоставления и мозаичной регистрации снимков

структурного анализа пригоден для сопоставления аэрокосмических снимков с векторными картами местности

контурного наброска с изображением

Контуры, выделенные в растровом изображении

Механизм двумерного структурного анализа пригоден для сопоставления реальных снимков с контурными скетчами

механизме двумерного структурного контурного сопоставления

Алгоритм SIFT не способен к таким зрительным ассоциациям!

количества таких похожих простых контурных элементов !

Исходное полутоновое изображение

Контуры, относящиеся к большим градиентам яркости

Контурное структурное описание

«неперспективных» ветвей дерева поиска сокращает время решения

Структурные элементы первого изображения

Структурные элементы второго изображения

d1

l1

d2

l2

Δ3

Δ2

Δ1

d1 ≈ d2 ?

Преобразо-вание системы координат

l1 ≈ l2 ?

Собственные параметры сопоставляемых элементов

Попарные отношения структурных элементов

Интегральная мера сходства двух множеств структурных элементов должна быть высока

Σ Δi < Порога ?

i

Нет

Нет

иерархический уровень (сопоставление элементов каждой группы с элементами каждой группы другого изображения)

Нулевой иерархический уровень (построение контурных структурных описаний)

Коррекция формы структурных элементов

a

b

G1

G2

Gn

g1

g2

gm

Группы элементов 1го изображения

Группы элементов 2го изображения

...

...

No 1

No 3

No 2

Иерархическое структурное сопоставление

принципа адаптивного резонанса

Существенно различающиеся контурные структурные описания пары изображений

Контурные структурные описания, хорошо соответствующие друг другу в результате выполнения структурного сопоставления

использованием адаптивного резонанса

Радиолокационный снимок

Снимок, сделанный в оптическом диапазоне

Результат сопоставления и мозаичной регистрации снимков

ценой достигнута робастность сопоставления?

Структурные элементы 1го изображения

d1

l1

d2

l2

Δ3

Δ2

Δ1

Двумерное структурное сопоставление

Структурные элементы 2го изображения

Отличная робастность сопоставления достигается ценой применения глобальной модели аффинного преобразования, жестко ограничивающей взаимные положения структурных элементов!

трехмерной сцены (камера находится внутри сцены)

Преобразование изображения должно быть описано отдельной моделью для каждой наблюдаемой поверхности

описание

d`1≥ d1

Переход от двумерных к трехмерным структурным описаниям

В современных условиях стали доступны достаточно точные и недорогие датчики трехмерных видеоданных !

контурными линиями в трехмерном пространстве

:

Величины δ углов, образованных не скрещивающимися контурными линиями, вычисляются следующим образом:

Для не скрещивающихся сегментов прямых линий:

сопоставления изображений

Вектор преобразованных координат

Параметры преобразования

Вектор преобразуемых координат

сопоставления изображений

Вектор преобразованных координат

Вектор преобразуемых координат

Параметры преобразования

трехмерной сцены

Смоделированная карта глубины

глубины

Двумерные изображения

Контуры, выделенные в двумерных изображениях

трехмерного сопоставления

Двумерное структурное сопоставление (на заднем плане наблюдается существенное пространственное рассогласование)

Трехмерное структурное сопоставление (удовлетворительная точность регистрации на переднем и заднем плане)

прямыми

Лучшие результаты сопоставления и регистрации получены когда все контурные углы построены из не скрещивающихся прямых

Худшие результаты сопоставления и регистрации получены когда некоторые контурные углы построены из скрещивающихся прямых

сцен

Вектор преобразованных координат

Вектор преобразуемых координат

Параметры преобразования

модели преобразования

Проективная модель преобразования

Аффинная модель преобразования

открытом воздухе !

Отличные возможности обобщения, полученные ранее для нашего механизма двумерного сопоставления, должны сохраниться в случае трехмерного сопоставления

?

механизмов человеческого зрительного восприятия сделало сопоставление изображений реального окружения инвариантным к естественным изменениям условий наблюдения
Результаты работы алгоритма трехмерного структурного сопоставления заметно лучше результатов двумерного сопоставления. Это подтверждает корректность используемых математических моделей.
Использование модели трехмерного проективного преобразования вместо модель трехмерного аффинного преобразования увеличило точность структурного сопоставления.
Наконец, необходимо перейти к анализу трехмерных видеоданных, реально полученных на открытом воздухе.