Обзор применения технологии естественноинтуитивного взаимодействия с компьютером в сферах жизни (Лекция 1) презентация

в сферах жизни, основываясь на исследовании пользовательского опыта

техникой
Естественно-интуитивное управление мультимедиа
Дополненная реальность
Виртуальные музыкальные инструменты
Естественно-интуитивное управление в играх
Заключение

зеницы,
Как у испуганной орлицы.

Моих ушей коснулся он, —
И их наполнил шум и звон:
И внял я неба содроганье,




И горний ангелов полет,
И гад морских подводный ход,
И дольней лозы прозябанье.
...
И бога глас ко мне воззвал:
«Восстань, пророк, и виждь, и внемли,
Исполнись волею моей,
И, обходя моря и земли,
Глаголом жги сердца людей»

А.С. Пушкин «Пророк»

интерфейсам (GUI), в данный момент мы находимся на пороге открытия следующего этапа более естественных интерфейсов, которые основаны на традиционных парадигмах человеческого взаимодействия, таких как осязание, зрение, речь и, самое главное, творчество.

позволяют хирургу получать доступ к изображениям с помощью простых жестов. Находясь рядом с операционным столом, хирург использует простой набор команд-жестов, который позволяет им выполнять все, что и при работе с обычной мышью.

превращает процесс реабилитации жертв инсульта в интересный и менее болезненный процесс. Система отображает последовательность действий и жестов, которые должен совершить пациент, отслеживает и анализирует их, повышая тем самым выносливость пациента и его мобильность.

аутизмом (штат Вашингтон, США) используется интерактивные камеры для лечения нарушения моторики двигательного аппарата, выработки специальных навыков и повышения социальной активности детей.

конкурса Intel Perceptual Challenge, отслеживает положение человека за компьютером и сигнализирует о неправильной осанке и близости нахождения к монитору. Ссылка на видео: http://youtu.be/WbBASANEYDg

анимированных аватаров. Анимация дистанционного обучения, совместной работы над проектами и общение между классами с помощью аватаров превращает обычные видео-звонки в полностью виртуальную среду.
С другой стороны, применив данную возможность в классе, ученик теряет страх выступления перед аудиторией, ведь вместо него может выступать его аватар, а это еще один интересный способ вовлечь ученика в активное обучение. Ссылка на видео: http://youtu.be/-U-pPJsQiMA

за счет камеры глубины. Подобная функция также нашла свое место в дистанционном образовании и онлайн общении. Программный продукт Nuvixa StagePresence помещает изображение лектора поверх любого презентуемого материала. Такой подход к созданию электронных учебных материалов позволит студентам видеть лектора в процессе дистанционного обучения. Ссылка на видео: http://youtu.be/BmGtKRve7I8

Reality Magic Mirror for Medical Data Visualization. Система создает иллюзию рентгеновского снимка части тела в реальном времени. Такая система, например, может бы использована для обучения анатомии. Ссылка на видео: http://youtu.be/Oske0c1sOVE

с помощью датчиков, камер уже стало привычным. Происходит обнаружение присутствия человека в той или иной части комнаты, участка улицы и в зависимости от этого включаются или отключаются соответствующие осветительные приборы. Проект Kilight - ссылка на видео: http://youtu.be/zlChtCHcKJw.

Interaction позволяет управлять работой телевизора без нажатия кнопок на пульте управления. Используя голосовые команды и жесты, становится возможным включать или выключать телевизор, переключать каналы, открывать и закрывать приложения, работать в Интернете. Интегрированная камера с функцией распознавания лиц запомнит лицо пользователя и даст возможность зайти на портал Smart Hub (сервис дополнительных функций) без ввода логина и пароля. Ссылка на видео: http://youtu.be/M3k7gdsavek

рамках финального этапа конкурса Intel Perceptual Challenge, позволяет водителю управлять аудио системой автомобиля без каких-либо нажатий, только с помощью жестовых команд. Система состоит из камеры Creative gesture camera и Intel NUC. Жестовый модуль Intel Perceptual Computing SDK обнаруживает движения рук водителя и управляет аудио системой автомобиля. Ссылка на видео: http://youtu.be/oPxn_71SSG0

превращению любую плоской поверхности в сенсор, реагирующий на множественные касания. Рабочая поверхность сенсора касания определяется вручную. Самая близкая к поверхности точка в пределах заданного порогового значения считается касанием и может являться курсором. Ссылка на видео: http://youtu.be/4zXtV66cFDY.

и электронной инженерии Университета Эссекса разработали модель инвалидного кресла, управляемого движением головы. Программы управляет электрическим мотором по заранее заданным жестам. Ссылка на видео: http://youtu.be/sD-bKbDUvik.

было разработано приложение для управления роботом. Управление может работать в нескольких режимах: голосовое управление – робот реагирует на простые голосовые команды, может следовать за человеком, распознавая его присутствие в видеопотоке, объезжать препятствия, реагировать на жесты и отвечать на несложные вопросы. Для реализации проекта использовалась Creative Interactive Gesture Camera и Intel Perceptual Computing SDK. Ссылка на видео: http://youtu.be/f83ZZ0kfU-Y.

в ОС Windows. С помощью стандартных жестов из Intel Perceptual Computing SDK, пользователь может перемещать открытые окна, менять их размер, сворачивать и восстанавливать окна. Также в приложение реагирует на простые голосовые команды. Ссылка на видео: http://youtu.be/_vzkS_t75fc в рамках проекта Intel Perceptual Challenge.

приложение Perceptual Helper, которое позволяет назначать жестовые команды для выполнения действий по управлению мультимедиа в операционной системе. Разработчики заявляют, что в следующей версии функционал приложения будет расширен голосовыми и мимическими командами. Ссылка на видео: http://youtu.be/YWnQppEZSiE
.

Perceptual Gallery для навигации в фотоальбоме при помощи жестов. С помощью жестовых команд пользователь может перемещаться между папками с фото, переключать фотографии, вращать фото и запускать слайд шоу. Ссылка на видео: http://youtu.be/5bdSKaP0AnM
приложение Google Earth Controller для виртуальных путешествий в любую точку мира, с помощью него можно просматривать фотоснимки городов и зданий при помощи жестового управления. Ссылка на видео: http://youtu.be/QhjbTqc253o
.

видеопотоке и проектор для создания ощущения взаимодействия виртуального объекта с реальным миром. В демонстрации видео (Ссылка на видео: http://youtu.be/L9yccRm3Zu8), главный научный сотрудник Энди Уилсон показывает, как виртуальная машинка на пульте дистанционного управления сталкивается с реальными препятствиями. Расстояние до проектора компенсируется и, заехав на некоторое возвышение, размеры машинки остаются неизменными.

входит в состав Intel Perceptual Computing SDK, работает как виртуальная примерочная, позволяя онлайн-покупателям просмотреть весь ассортимент оправ и в реальном времени подобрать себе подходящую (http://www.trylive.com/).

в области музыкальной индустрии.
Джонатан Хаммонд из Великобритании работает над диджейской станцией, где все управление музыкой и звуковыми эффектами происходит при помощи жестов. В его проекте в качестве технического обеспечения взята технология захвата движения Leap Motion. Следующее видео демонстрирует невероятные возможности человеко-машинного взаимодействия (http://vimeo.com/76066715).

Digital Piano. Нажатие клавиш виртуальных музыкальных инструментов происходит за счет отслеживания кончиков пальцев, а смена музыкального инструмента производиться голосом. Ссылка на видео: http://youtu.be/yuMeKyhRpio

Примерно 30% времени, проведенного за компьютером, современный человек проводит в играх. Очевидны возможности применения идей естественно-интуитивного взаимодействия в компьютерных играх. Напрашивается реализация жестового или голосового управления действующими игровыми персонажами, а также возможность манипуляции игровыми объектами с помощью жестов или голосовых команд.

управляющего ею с помощью воображаемого руля. Существуют решения, позволяющие управлять движущимися на экране объектами с помощью жестов.
Управление автомобилем:
https://www.youtube.com/watch?v=4ODA2uWe7yQ. Управление самолетом:
https://www.youtube.com/watch?v=KPE332rX5Yc.

и взаимодействие с виртуальным домашним животным, когда-то все начиналось с тамагочи. Пример приложения, реализующего уход за виртуальным животным с использованием идей естественно-интуитивного взаимодействия: https://www.youtube.com/watch?v=71WHObUzRaQ.
Жестовое управление марионеткой:
https://www.youtube.com/watch?v=LCWPv67uhxE.

является будущим индустрии компьютерных игр.
Ссылка на видео:
https://www.youtube.com/watch?v=1edFLuMvyOs

не создавать копию реальности;
Буквально, а не абстрактно отображать объекты реального мира;
Создавать приложения интуитивно понятными;
Создавать надежные приложения;
Расширять функционал интерактивных приложений.

компьютером выходит на новый этап. В последние годы человеко-компьютерное взаимодействие было расширено и конечной целью является то, что связь между людьми и машинами должна стать похожа на коммуникацию человека с человеком.