Облачные вычисления второго поколения: композитные приложения, интерактивные системы и семантические технологии презентация

Ковальчук, А.В. Бухановский
НИИ Наукоемких компьютерных технологий, СПб НИУ ИТМО, Санкт-Петербург

Всероссийская конференция «Инфокоммуникационные технологии в научных исследованиях»

Таруса – 2012

сред распределенных вычислений (от «Ломоносова» – до ГридННС).
Уникальность и разнообразие прикладных сервисов для науки и образования (диверсификация по предметным областям).
Архитектурная привязка прикладных сервисов к вычислительной инфраструктуре (оптимизация под инфраструктуру разработчика).
Участие пользователей в создании и развитии новых сервисов и композитных приложений на их основе (самоорганизация состава облака).
Виртуальное профессиональное сообщество (устойчивая обратная связь).
Поддержка интерактивных сервисов в «реальном» времени (сервисы доступа к оборудованию, визуализации и пр.).

Инфокоммуникационные технологии в научных исследованиях

Облачные технологии для высокопроизводительных вычислений в научных исследованиях

управляемым средам

Cloud Computing Maturity Model – CСMM

Консолидация ресурсов

Абстракция ресурсов

Автоматизация использования ресурсов

Развитие поддержки облачных сервисов

Распространение сервисов в облаках разного уровня

Технологии I поколения:
Унифицированный доступ к вычислительным и программным ресурсам требуемой конфигурации
Удаленное исполнение типовых приложений
Коллективное хранение и использование сверхбольших объемов данных
Виртуализация (кросс-платформенность и кросс-технологичность)

Технологии II поколения:
Создание композитных приложений
Интеллектуальная поддержка поиска и применения сервисов
Динамическое управление производительностью сервисов
Гибкая интеграция с системами реального времени

облаке → требуются технологии семантического аннотирования, поиска, применения сервисов.
Декларативная запись композитных приложений, не допускающая алгоритмической интерпретации → требуются технологии эффективного управления их исполнением в распределенной среде.
Разнообразие уровней подготовки и требований, предъявляемых пользователями → требуются диверсификация интерфейсов, предоставляемых облачными системами.
Использование коммуникационных сетей общего назначения со случайными вариациями загрузки → целесообразно планирование исполнения, квотирование и тарификация на вероятностной основе.
Необходимость разработки систем реального времени и систем, использующих динамические источники данных → требуется разработка технологий интерактивного применения облачных сервисов

Инфокоммуникационные технологии в научных исследованиях

- платформа облачных вычислений второго поколения

Environment)

Абстрактное описание сервисов и приложений в терминах предметной области, и трансляция в исполнимую форму с использованием отчуждаемых знаний

программа, предоставляющая интерфейс для вызова и исполнения определенной предметной функциональности.

В рамках распределенной среды пакет можно формально представить:

Предлагается перейти к простой модели пакета, основанной на параметрах, за счет использования механизма абстрактных описаний ( ):
«пакет преобразует входные параметры в выходные».

запуски программных модулей;
Зависимости двух типов: по данным и по управлению;
Использование описания пакетов в качестве основы для проектирования.

Пример Workflow

Особенности представления КП

Модель Workflow – DAG

Ruby, для унифицированного описания пакетов в декларативном виде для обеспечения доступа к ним распределенной среде.

EasyFlow – предметно-ориентированный язык для унифицированного описания композитных приложений

Основан на модели DAG;
Декларативный (с императивной частью);
Компактное представление;
Использование базовых типов данных.

Узлы — запуски пакетов;
Зависимости;
Указание значений параметров;
Варьирование параметров;
Пост-обработка.

Особенности языка:

Элементы языка:

Общая информация о пакете и параметрах;
Предметные параметры: вход и выход;
Способ запуска, режимы распараллеливания, модель производительности в виде параметров исполнения;
Связи между параметрами, определяющие порядок интерпретации;
Возможности управления динамическим определением набора параметров;
Процедуры проверки корректности поставленной задачи.

В описании представлены:

(AWF)

Исполненный Workflow (CWF)

Использование предметно- ориентированного языка позволяет унифицировать описание и автоматизировать запуск композитных приложений

поддержка механизмов управления извне поведением исполняющихся заданий и их жизненным циклом;
поддержка коммуникации между узлами WF во время исполнения.
возможность изменения WF во время исполнения за счет сценария WF, а также за счет внешнего управления.

Принципы интерактивных КП:

Схема модельного интерактивного КП

Модель интерактивных КП

Системы реального времени;
Системы взаимодействия с пользователем;
Системы поддержки принятия решений;
Системы визуализации;
Управление приложением во время исполнения (computational steering);
Получение данных из внешних источников (датчиков).

Области применения и задачи

времени работы приложений с учетом а) структуры приложения; б) набора входных данных; в) состояния вычислительной инфраструктуры
Модели производительности для вычислительных сервисов, учитывающие
Модели оценки времени для композитных приложений

Оценка времени для пакетов:
1 – Gamess,
2 – Orca,
3 - Molpro

элементов WF
актуальное состояние вычислительной среды
знания о накладных расходах на проведение различных инфраструктурных операций

Выходные данные:
результаты имитационного моделирования поведения композитного приложения при выборе различных эвристик

Использование:
выбор эвристики в соответствии с заданным критерием на основе результатов моделирования

знаниях
Интеллектуальные технологии предполагают наличие
Базы знаний
Механизма логического вывода (рассуждений на знаниях)
Механизма адаптации (формализации, приобретения и оценки новых знаний)

Базовый способ хранения знаний: онтологическая структура
Иерархия уровней абстракции: метаописание → абстрактное описание → предметная реализация → системная реализация
Вложенная структура онтологий: каркасное описание классов → описание реализации → пользовательское расширение
Динамическая расширяемость а) на основе правил; б) на основе подключаемых компонентов

В нашем случае: знания – закономерности использования предметно-ориентированных программных компонентов

моделирования
Оценка качества допустимых решений (точность, скорость, надежность)
Реализация в виде интерактивного дерева решений

некоторого объекта реального мира, снабженная графическим интерфейсом для пользовательской настройки процесса моделирования

Инфокоммуникационные технологии в научных исследованиях

технологии в научных исследованиях

Проблемно-ориентированный интерфейс – решение типовых задач с поддержкой ввода параметров

Система управления workflow – решение исследовательских задач с и построение композитных приложений

Интеллектуальный инструктор – поддержка сравнения и выбора типовых решений

Виртуальные моделирующие объекты – системный подход к композиции приложений

в нанотехнологиях»

http://hpc-nasis.ifmo.ru

Санкт-Петербурге

Ограничение на время принятия решений
Использование динамической распределенной архитектуры
Автоматизация управления вычислительными ресурсами
Сессионность и приоритеты

Система поддержки принятия решения – технология экстренных вычислений

время моделирования

Результат работы — статическое определение зон с критическим значением плотности агентов

Генерация комплексной сети;
Удаление случайных узлов;
Моделирование распространения информации по полученным сетям;
Агрегация и подсчет статистических характеристик;
Моделирование эвакуации и визуализация в интерактивном режиме;

Этапы работы приложения:

Исследования критических ситуаций, связанных с террористическими действиями в условиях несанкционированных флешмоб-акций, организованных с использованием социальных сетей

реальности

- Семантическая интеграция объектов трехмерной сцены и виртуальных моделирующих объектов
- Использование интерактивных технологий для «погружения» в виртуальную реальность
- Применение нейрокомпьютерных интерфейсов для оценки трехмерной сцены

облачной инфраструктуры, при этом обеспечивая:
Работу в рамках формализма workflow с использованием предметно-ориентированных языков
Возможность создания интерактивных композитных приложений
Динамическое планирование и управление выполнением композитных приложений
Высокоуровневую поддержку с использованием семантических технологий
Возможности создания и распространения проблемно-ориентированных коллекций сервисов
Доступ с использованием пользовательских интерфейсов различных классов (уровней)
Расширенную поддержку систем виртуальной реальности с использованием современных технических решений

Инфокоммуникационные технологии в научных исследованиях