Модуль отслеживания 2D/3D объектов: основные возможности, программирование отслеживания 2D/3D объектов. Распознавание образов. Дополненная реальность. презентация

образов. Дополненная реальность.

Лекция 6

Intel Perceptual Computing SDK
5. Пример приложения

определенную группу объектов по некоторому признаку. Образы обладают характерным свойством, проявляющимся в том, что ознакомление с конечным числом явлений из одного и того же множества дает возможность узнавать сколь угодно большое число его представителей.
Распознавание образов (объектов, сигналов, ситуаций, явлений или процессов) – это задача идентификации объекта или определения каких-либо его свойств по его изображению (оптическое распознавание) или аудиозаписи (акустическое распознавание) и другим характеристикам.

объектов представлены всевозможные модификации отображения. )
Глубокий анализ характеристик образа. В случае оптического распознавания это может быть определение различных геометрических характеристик. Звуковой образец в этом случае подвергается частотному, амплитудному анализу и т. д.
Использование искусственных нейронных сетей.

к одному из заданных классов;
Задача автоматической классификации - разбиение множества объектов, ситуаций, явлений по их описаниям на систему непересекающихся классов (таксономия, кластерный анализ, самообучение);
Задача выбора информативного набора признаков при распознавании;
Задача прогнозирования.

с комбинированием объектов реального мира и информации, сгенерированной с помощью компьютера.

обстановку реального мира, создавая дополненную среду.

дополненной реальности:
1) комбинирование объектов реального мира с виртуальными элементами, которые
2) взаимодействуют в реальном времени, и которые
3) отображены на каком-либо дисплее с учетом положения в пространстве (координаты и угол наклона).

открыл «Лабораторию искусственной реальности».

1980 год. Стив Манн разработал носимый компьютер.

данных, биометрии, и биометрических технологий ввел термин «виртуальная реальность».
1990 год. Термин «дополненная реальность» был предложен Томом Коделом, предположительно работавшим исследователем на корпорацию Boeing.
1992 год. Л. Розенберг разработал первую функционирующую систему дополненной реальности «Virtual fixtures».

Фанш разработали «Пространственную дополненную реальность», которая использует проекторы для отображения графической информации на физических объектов.

информацию, 3D анимацию и отображает их на экране поверх/вместо карточек с маркером. Цифровая информация перемещается одновременно с маркером, когда пользователь двигает его.

службы батарей;
Эффективное программное обеспечение;

ПО, основанного на запатентованной инновационной технологии, разработанной для получения "естественной" информации, предоставляемой различными реальными объектами, распознанными в изображении или видео потоке. Собрав данные, объект может быть идентифицирован и отслежен через последовательные изображения из видео потока в режиме реального времени.

из видео файлов;
Калибровка камеры;
Отслеживание естественных 2D/3D объектов;
Отслеживания нескольких объектов в одном видеопотоке (Multiple tracking);
Классификация объектов в видеопотоке (Object recognition);
Обнаружение простого взаимодействия между пользователем и реальным отслеживаемым объекта (Pointing Detection);
Обнаружение жестов, выделение объектов переднего и заднего плана или распознавание лиц.
Отправка информации о положении и ориентации объекта через сеть или с помощью SDK.
Создания сценариев отслеживания объекта с помощью графического интерфейса пользователя за считанные минуты.

сперва создать настроить свой сценарий, используя D’Fusion Studio CV (C:\Program Files (x86)\Intel\PCSDK\contrib\Total Immersion\StudioCV) В большинстве случаев сценарий предполагает создание следующих элементов:
XML файл конфигурации, содержащий настройки сценария (обычно “tracker.xml”);
XML файл конфигурации, содержащий результаты калибровки камеры (обычно “cameraCalib.xml”);
XML файл конфигурации, содержащий настройки захвата изображения (обычно “cameraConfig.xml”);
Изображения, соответствующие отслеживаемому объекту;
Двоичные файлы, которые могут быть использованы для хранения объектов статистических структур (для поддержания процесса распознавания).

(распознавание, инициализация, отслеживание):
Распознавание. Данный шаг позволяет определить, какой объект присутствует на текущем изображении.
Автоматическая инициализация. Данный шаг позволяет пользователю приступить к полностью автоматическому отслеживанию без ссылки на конкретный объект.
Автоматическая инициализация отслеживания лица. На данном шаге D'Fusion Computer Vision может распознавать лица автоматически.
Инициализация. Во время процесса инициализации в видео потоке требуемый объект обнаруживается на основе одного или набора ключевых кадров.
Отслеживание. Объект отслеживается в видеопотоке на основании ключевого кадра и информации о предыдущей позиции объекта.

безмаркерных объектов. Данное понятие включает следующие компоненты:

6 степеней свободы;
изображение, содержащее информацию об объекте;
соответствующие настройки калибровки камеры;

“Camera Calibration”: функции калибровки камеры;

4. “Video Processing”: настройки видео потока;

5. “Scenario Manager”: определение настроек отслеживаемого объекта;

6. “Tracking Manager”: просмотр результата отслеживания

захвата.
“Type”: задать тип захвата (directShow, Video UEye, Video for Windows).
“Video File”: задать видео файл в качестве потока.
“Device List”: выбрать камеру.
“Width, Height”: установить разрешение видео потока.
“Pixel Format”: доступны следующие форматы: RGB24, BGR24, RGB32, UYVY422, GRAY8, RGB565, ARGB32 (формат должен соответствовать возможностям камеры).
“Rate”: задать количество кадров в секунду.
И другие параметры

Кнопка “Import”: загрузить ранее созданный “.xml” файл с настройками камеры.
Кнопка “Close”: Прекратить захват.
Кнопка “Open”: Подтвердить текущую конфигурацию и начать захват.

расстояние, оптический центр и т.д.

(геометрию и статические параметры).

объектов.
“Import”: загрузить существующую конфигурацию объекта.
“Remove”: удалить выбранный объект.
“Max Simultaneous Targets”: задать количество одновременно отслеживаемых объектов.
Параметры объекта
“Object Type”: Определить тип отслеживаемого объекта. (“Plane”, “Face AutoInit”, “Object 3D”, “Plane Black Box”.
“Load model”: загрузить 3D модель (“.obj” или “.pts”) отслеживаемого объекта. Доступно в “Face AutoInit” или “Object 3D” режиме.
“Plane Size”: Задать плоский объект.
Ключевой кадр
Цель создания ключевого кадра заключается в обнаружении сходства между заданной моделью отслеживаемого объекта и объекта реального мира. Создать ключевой кадр можно вручную или загрузив .bmp или .jpg файл.

изменения параметров с целью повышения качества отслеживания.

отслеживаемых объектах сгруппирована в один класс с именем dcvTracker.
DcvTracker получает на входе XML-файл, определяющий сценарий отслеживания. В результате будут получены: статус отслеживания, распознанный объект, положение объекта, ориентация объекта.
Поддерживается управление несколькими сценариями одновременно.

к информации конфигурации.
width – ширина рамки
height – высота рамки
inputs – конфигурация или видео поток

не начато
STATUS_RECOGNITION - Отслеживание запущено
STATUS_TRACKING – Распознавание запущено

Цель не определена
TARGET_PLANE – Плоский объект
TARGET_OBJECT3D - 3D объект
TARGET_FACE – Отслеживание лица

распознавания для одной цели.
 
Синтаксис:
TargetData
{
TrackingStatus status;
pxcI32 trackedTarget;
pxcF64 position[3];
pxcF64 orientation[4];
};
 

status – статус отслеживания/распознавания;
trackedTarget – распознанный ключевой кадр;
position – текущая позиция отслеживаемого объекта;
orientation – ориентация объекта (выражается в виде кватерниона);

SDK - C++ API reference
Total Immersion