Облачные вычисления второго поколения: композитные приложения, интерактивные системы и семантические технологии С.В. Ковальчук, А.В. Бухановский НИИ Наукоемких компьютерных технологий, СПб НИУ ИТМО, Санкт-Петербург Всероссийская конференция «Инфокоммуникационные технологии в научных исследованиях» Таруса – 2012

Специфика проблемы 1. Гетерогенность вычислительных ресурсов в составе облака и использование ранее созданных сред распределенных вычислений (от «Ломоносова» – до ГридННС). 2. Уникальность и разнообразие прикладных сервисов для науки и образования (диверсификация по предметным областям). 3. Архитектурная привязка прикладных сервисов к вычислительной инфраструктуре (оптимизация под инфраструктуру разработчика). 4. Участие пользователей в создании и развитии новых сервисов и композитных приложений на их основе (самоорганизация состава облака). 5. Виртуальное профессиональное сообщество (устойчивая обратная связь). 6. Поддержка интерактивных сервисов в «реальном» времени (сервисы доступа к оборудованию, визуализации и пр.). Инфокоммуникационные технологии в научных исследованиях2 Облачные технологии для высокопроизводительных вычислений в научных исследованиях

Эволюция облачных технологий Инфокоммуникационные технологии в научных исследованиях3 от виртуализации – к глобальным управляемым средам Cloud Computing Maturity Model – CСMM Консолидация ресурсов Абстракция ресурсов Автоматизация использования ресурсов Развитие поддержки облачных сервисов Распространение сервисов в облаках разного уровня Технологии I поколения: Унифицированный доступ к вычислительным и программным ресурсам требуемой конфигурации Удаленное исполнение типовых приложений Коллективное хранение и использование сверхбольших объемов данных Виртуализация (кросс-платформенность и кросс-технологичность) Технологии II поколения: Создание композитных приложений Интеллектуальная поддержка поиска и применения сервисов Динамическое управление производительностью сервисов Гибкая интеграция с системами реального времени

Проблемы становления облачных вычислений для научных исследований Разнообразие предметно-ориентированных сервисов в неструктурированном облаке требуются технологии семантического аннотирования, поиска, применения сервисов. Декларативная запись композитных приложений, не допускающая алгоритмической интерпретации требуются технологии эффективного управления их исполнением в распределенной среде. Разнообразие уровней подготовки и требований, предъявляемых пользователями требуются диверсификация интерфейсов, предоставляемых облачными системами. Использование коммуникационных сетей общего назначения со случайными вариациями загрузки целесообразно планирование исполнения, квотирование и тарификация на вероятностной основе. Необходимость разработки систем реального времени и систем, использующих динамические источники данных требуется разработка технологий интерактивного применения облачных сервисов Инфокоммуникационные технологии в научных исследованиях4

Многофункциональная инструментально- технологическая платформа CLAVIRE Инфокоммуникационные технологии в научных исследованиях5 Cloud Applications VIRtual Environment - платформа облачных вычислений второго поколения

Архитектура CLAVIRE Инфокоммуникационные технологии в научных исследованиях6 Реализация концепции iPSE (Intelligent Problem Solving Environment) Абстрактное описание сервисов и приложений в терминах предметной области, и трансляция в исполнимую форму с использованием отчуждаемых знаний

Формализм описания пакета Инфокоммуникационные технологии в научных исследованиях7 Программный модуль – это прикладная программа, предоставляющая интерфейс для вызова и исполнения определенной предметной функциональности. В рамках распределенной среды пакет можно формально представить: Предлагается перейти к простой модели пакета, основанной на параметрах, за счет использования механизма абстрактных описаний ( ): «пакет преобразует входные параметры в выходные».

Композитное приложение в виде WF Инфокоммуникационные технологии в научных исследованиях8 Элементарные блоки – запуски программных модулей; Зависимости двух типов: по данным и по управлению; Использование описания пакетов в качестве основы для проектирования. Пример Workflow Особенности представления КП Модель Workflow – DAG

Предметно-ориентированные языки Инфокоммуникационные технологии в научных исследованиях9 EasyPackage – предметно- ориентированный язык, основанный на Ruby, для унифицированного описания пакетов в декларативном виде для обеспечения доступа к ним распределенной среде. EasyFlow – предметно-ориентированный язык для унифицированного описания композитных приложений Основан на модели DAG; Декларативный (с императивной частью); Компактное представление; Использование базовых типов данных. Узлы запуски пакетов; Зависимости; Указание значений параметров; Варьирование параметров; Пост-обработка. Особенности языка: Элементы языка: Общая информация о пакете и параметрах; Предметные параметры: вход и выход; Способ запуска, режимы распараллеливания, модель производительности в виде параметров исполнения; Связи между параметрами, определяющие порядок интерпретации; Возможности управления динамическим определением набора параметров; Процедуры проверки корректности поставленной задачи. В описании представлены:

Создание и интерпретация композитного приложения Инфокоммуникационные технологии в научных исследованиях10 Абстрактное описание Workflow (AWF)Исполненный Workflow (CWF) Использование предметно- ориентированного языка позволяет унифицировать описание и автоматизировать запуск композитных приложений

Интерактивные композитные приложения Инфокоммуникационные технологии в научных исследованиях11 поддержка WF, исполняющихся долгое время. поддержка механизмов управления извне поведением исполняющихся заданий и их жизненным циклом; поддержка коммуникации между узлами WF во время исполнения. возможность изменения WF во время исполнения за счет сценария WF, а также за счет внешнего управления. Принципы интерактивных КП: Схема модельного интерактивного КП Модель интерактивных КП Системы реального времени; Системы взаимодействия с пользователем; Системы поддержки принятия решений; Системы визуализации; Управление приложением во время исполнения (computational steering); Получение данных из внешних источников (датчиков). Области применения и задачи

Моделирование производительности Инфокоммуникационные технологии в научных исследованиях12 Аналитические и имитационные модели для оценки времени работы приложений с учетом а) структуры приложения; б) набора входных данных; в) состояния вычислительной инфраструктуры Модели производительности для вычислительных сервисов, учитывающие Модели оценки времени для композитных приложений Оценка времени для пакетов: 1 – Gamess, 2 – Orca, 3 - Molpro

Процедура планирования Инфокоммуникационные технологии в научных исследованиях13 Входные данные: знания о времени выполнения отдельных элементов WF актуальное состояние вычислительной среды знания о накладных расходах на проведение различных инфраструктурных операций Выходные данные: результаты имитационного моделирования поведения композитного приложения при выборе различных эвристик Использование: выбор эвристики в соответствии с заданным критерием на основе результатов моделирования

Интеллектуальная поддержка Инфокоммуникационные технологии в научных исследованиях14 Интеллектуальные технологии – технологии, построенные на знаниях Интеллектуальные технологии предполагают наличие Базы знаний Механизма логического вывода (рассуждений на знаниях) Механизма адаптации (формализации, приобретения и оценки новых знаний) Базовый способ хранения знаний: онтологическая структура 1)Иерархия уровней абстракции: метаописание абстрактное описание предметная реализация системная реализация 2)Вложенная структура онтологий: каркасное описание классов описание реализации пользовательское расширение 3)Динамическая расширяемость а) на основе правил; б) на основе подключаемых компонентов В нашем случае: знания – закономерности использования предметно-ориентированных программных компонентов

Онтология – инструмент интеграции Инфокоммуникационные технологии в научных исследованиях15

Поиск и ранжирование решений Инфокоммуникационные технологии в научных исследованиях16 Онтологическое концептуальной иерархии компьютерного моделирования Оценка качества допустимых решений (точность, скорость, надежность) Реализация в виде интерактивного дерева решений

Концепция виртуальных моделирующих объектов Виртуальный объект – структурированная композиция моделей, для исследования некоторого объекта реального мира, снабженная графическим интерфейсом для пользовательской настройки процесса моделирования Инфокоммуникационные технологии в научных исследованиях17

Композиция виртуальных объектов Инфокоммуникационные технологии в научных исследованиях18

Классы интерфейсов пользователя Интерфейс консольного / программного доступа – решение для интеграции Инфокоммуникационные технологии в научных исследованиях19 Проблемно-ориентированный интерфейс – решение типовых задач с поддержкой ввода параметров Система управления workflow – решение исследовательских задач с и построение композитных приложений Интеллектуальный инструктор – поддержка сравнения и выбора типовых решений Виртуальные моделирующие объекты – системный подход к композиции приложений

Системы виртуальной реальности Инфокоммуникационные технологии в научных исследованиях20

Применение платформы CLAVIRE (1/4) Инфокоммуникационные технологии в научных исследованиях21 Облачный УНК «Компьютерное моделирование в нанотехнологиях»

Применение платформы CLAVIRE (2/4) Инфокоммуникационные технологии в научных исследованиях22 Система предотвращения наводнений в Санкт-Петербурге - Ограничение на время принятия решений - Использование динамической распределенной архитектуры - Автоматизация управления вычислительными ресурсами - Сессионность и приоритеты Система поддержки принятия решения – технология экстренных вычислений

Применение платформы CLAVIRE (3/4) Инфокоммуникационные технологии в научных исследованиях23 Задача моделирования флэшмоб-акций. Визуализация во время моделирования Результат работы статическое определение зон с критическим значением плотности агентов 1. Генерация комплексной сети; 2. Удаление случайных узлов; 3. Моделирование распространения информации по полученным сетям; 4. Агрегация и подсчет статистических характеристик; 5. Моделирование эвакуации и визуализация в интерактивном режиме; Этапы работы приложения: Исследования критических ситуаций, связанных с террористическими действиями в условиях несанкционированных флешмоб-акций, организованных с использованием социальных сетей

Применение платформы CLAVIRE (4/4) Инфокоммуникационные технологии в научных исследованиях24 Сопряжение с системами виртуальной реальности - Семантическая интеграция объектов трехмерной сцены и виртуальных моделирующих объектов - Использование интерактивных технологий для «погружения» в виртуальную реальность - Применение нейрокомпьютерных интерфейсов для оценки трехмерной сцены

Заключение Разработанная платформа CLAVIRE обеспечивает унифицированный доступ к разнородным ресурсам в рамках облачной инфраструктуры, при этом обеспечивая: Работу в рамках формализма workflow с использованием предметно-ориентированных языков Возможность создания интерактивных композитных приложений Динамическое планирование и управление выполнением композитных приложений Высокоуровневую поддержку с использованием семантических технологий Возможности создания и распространения проблемно- ориентированных коллекций сервисов Доступ с использованием пользовательских интерфейсов различных классов (уровней) Расширенную поддержку систем виртуальной реальности с использованием современных технических решений Инфокоммуникационные технологии в научных исследованиях25