Распознавание двух- и трехмерных жестов ладони на основе анализа скелетного представления ее силуэта презентация

Содержание

План презентации Понятие скелета Анализ формы руки посредством скелета Выделение пальцев Распознавание жестов Анализ формы в 3д Восстановление 3д модели трубчатых объектов Трекинг 3д положения руки

Слайд 1Распознавание двух- и трехмерных жестов ладони на основе анализа скелетного представления

ее силуэта

Куракин Алексей Владимирович
Московский Физико-Технический Институт
alekseyvk@yandex.ru

Местецкий Леонид Моисеевич
Московский Государственный Университет им. Ломоносова
ll.l.mestl.mest@l.mest@rul.mest@ru.l.mest@ru.net

Техническое зрение в системах управления, 2011

Слайд 2План презентации
Понятие скелета
Анализ формы руки посредством скелета
Выделение пальцев
Распознавание жестов
Анализ формы в

3д
Восстановление 3д модели трубчатых объектов
Трекинг 3д положения руки

Слайд 3План презентации
Понятие скелета
Анализ формы руки посредством скелета
Выделение пальцев
Распознавание жестов
Анализ формы в

3д
Восстановление трубчатых объектов
Трекинг 3д положения руки

Слайд 4Скелет фигуры
Скелет (или серединные оси) фигуры – множество центров и радиусов

вписанных в фигуру кругов.

Слайд 5Скелет фигуры
Скелет = центры и радиусы максимальных вписанных кругов

Слайд 6Скелет фигуры
Рассматриваем только скелеты многоугольников
Эффективный алгоритм имеет вычислительную сложностью O(N log

N), где N – число вершин

Слайд 7План презентации
Понятие скелета
Анализ формы руки посредством скелета
Выделение пальцев
Распознавание жестов
Анализ формы в

3д
Восстановление трубчатых объектов
Трекинг 3д положения руки

Слайд 8Анализ формы руки



Бинаризация исходной картинки
Построение скелета
Анализ скелета и выделение пальцев

Слайд 9Анализ скелета

Цель: выделить пальцы и центр руки

Слайд 10Ветвь скелета
Ветвь скелета – часть скелета составляющая непрерывную кривую
Ветвь AB ->

палец

Ветвь CD -> не палец

Слайд 11Функция радиуса вдоль ветви
Функция радиуса вдоль ветви – зависимость радиуса вписанного

круга от расстояния до конца ветви

RAB(|BX|) = r - значение функции радиуса вдоль AB в точке X

Слайд 12Функция радиуса вдоль ветви
Функция радиуса для ветви-пальца

Слайд 13Функция радиуса вдоль ветви
Функция радиуса для ветви не пальца

Слайд 14Анализа формы на основе скелета
Инструменты анализа формы:

Структура и топология скелета

Значение функции радиуса

Слайд 15Анализ формы руки
Для каждой терминальной ветви скелета:

Поиск наиболее вероятной точки

C – соединения пальца и пясти
Проверка условий на геометрические параметры ветви

Слайд 16Пример результата анализа
Найдены все 3 пальца

Слайд 17План презентации
Понятие скелета
Анализ формы руки посредством скелета
Выделение пальцев
Распознавание жестов
Анализ формы в

3д
Восстановление трубчатых объектов
Трекинг 3д положения руки

Слайд 182Д жесты руки
С помощью скелета легко определить:
Количество видимых пальцев
Положения

кончиков пальцев
Наличие кольца

Слайд 19Экспериментальная установка
Веб-камера над однородной темной поверхностью

Однородная поверхность для упрощения

бинарзации

Алгоритм обработки:
Бинаризация картинки
Анализ формы ладони
Распознавание жестов

Слайд 20План презентации
Понятие скелета
Анализ формы руки посредством скелета
Выделение пальцев
Распознавание жестов
Анализ формы в

3д
Восстановление трубчатых объектов
Трекинг 3д положения руки

Слайд 21Трубчатый (локально симметричный) объект







































Пространственный граф
Круговое сечение
Жирные кривые

Слайд 22Проекции трубчатого объекта
Камера 2













































































































































































































































































Камера 1


Пространствен- ные оси
Скелеты силуэтов

Слайд 23Восстановление проволочной модели
Получение стереопары силуэтов
Построение скелетов для каждого силуэта
Сопоставление ветвей скелетов
Стерео

триангуляция и восстановление 3д модели



Слайд 24Восстановление проволочной модели
Получение стереопары силуэтов
Построение скелетов для каждого силуэта
Сопоставление ветвей скелетов
Стереотриангуляция

и восстановление 3д модели



Слайд 25Восстановление проволочной модели
Получение стереопары силуэтов
Построение скелетов для каждого силуэта
Сопоставление ветвей скелетов
Стереотриангуляция

и восстановление 3д модели



Слайд 26Восстановление проволочной модели
Получение стереопары силуэтов
Построение скелетов для каждого силуэта
Сопоставление ветвей скелетов
Стереотриангуляция

и восстановление 3д модели



OA <-> O’A’

Слайд 27Восстановление проволочной модели
Получение стереопары силуэтов
Построение скелетов для каждого силуэта
Сопоставление ветвей скелетов
Стереотриангуляция

и восстановление 3д модели



Слайд 28Пример реконструкции

Слайд 29Восстановление проволочной модели
Не требуется построение карты глубины
Скелет позволяет образовывать стереопары из

невидимых точек
Применимо для картинок низкого качества, где невозможно точное сопоставление по текстуре



Слайд 30План презентации
Понятие скелета
Анализ формы руки посредством скелета
Выделение пальцев
Распознавание жестов
Анализ формы в

3д
Восстановление трубчатых объектов
Трекинг 3д положения руки

Слайд 31Экспериментальная установка
2 откалиброванных веб-камеры над однородной темной поверхностью

Однородная поверхность

для упрощения бинарзации

Алгоритм обработки:
Бинаризация картинки
Анализ формы ладони
Стерео сопоставление
Распознавание жестов

Слайд 32Слежение за рукой в 3Д




Стереопара изображений
Бинаризация, построение и анализ скелета
Определение 3д

координат

Слайд 33Заключение
Скелет – богатый дескриптор формы
Легкий анализ 2Д формы руки
Распознавание жестов руки
Анализ

скелета на стереопаре
Восстановление 3д проволочной модели объекта, даже в тех случая когда обычное стерео сопоставление затруднительно
Распознавание 3д жестов
Все алгоритмы работают в реальном времени

Слайд 34Спасибо за внимание!
Вопросы?

Похожие презентации

Объемы многогранников 415
Нефтяная промышленность 573
Глобальные киберугрозы 251
ПРОЕКТ CONGRESS SERVES MANAGEMENT 171
Презентация к уроку 177
CiSeries. Введение 204

Обратная связь

Если не удалось найти и скачать презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:

Email: Нажмите что бы посмотреть 

Что такое ThePresentation.ru?

Это сайт презентаций, докладов, проектов, шаблонов в формате PowerPoint. Мы помогаем школьникам, студентам, учителям, преподавателям хранить и обмениваться учебными материалами с другими пользователями.

Для правообладателей

Яндекс.Метрика