Разработка и исследование технологий организации распределенных и суперкомпьютерных вычислений в океанографической информационно- аналитической системе ДВО РАН Исполнитель: студент 155 группы ИФИТ ДВГУ Антушев С.Г. Научный руководитель: зав. отделом Информационных Технологий ТОИ ДВО РАН, к.т.н. Фищенко В.К.

2 Постановка задачи Актуальная задача – Обеспечить возможность использования совокупных вычислительных ресурсов ДВО РАН: многочисленных персональных компьютеров и суперкомпьютеров Океанографическая информационно аналитическая система ДВО РАН Данные Визуализация Анализ Пользователь ОИАС Выгоды от стандартизации: ОИАС трансформируется в региональный океанографический GRID-проект, который сможет использовать информационные и вычислительные ресурсы других российских и общемировых научных GRID-проектов. Важный момент : необходимо обеспечить совместимость со стандартами разработки GRID-приложений OGSA (Open GRID Service Architecture) Интерфейс пользователя ОИАС

3 Цель работы : Разработка и исследование технологий организации распределенных и суперкомпьютерных вычислений в ОИАС ДВО РАН на основе программных средств, совместимых со стандартами OGSA Задачи : 1.Изучить по литературе современные подходы к реализации GRID- проектов и организации высокопроизводительных вычислений 2. Изучить практические потребности ОИАС в высокопроизводительных вычислениях и имеющиеся в сети ДВО РАН телекоммуникационные и вычислительные ресурсы 3. Выбрать необходимые инструментальные средства, разработать и реализовать принципиальную схему технологии поддержки распределенных и суперкомпьютерных вычислений в составе ОИАС 4. Исследовать эффективность реализованной технологии поддержки высокопроизводительных вычислений при решении ряда практически важных для ОИАС задач

4 Задача 1 Были проанализированы источники в Интернете, касающиеся общих вопросов проектирования GRID-систем, опыта создания реальных Grid- проектов, вопросов организации распределенных и суперкомпьютерных высокопроизводительных вычислений (всего около 30 документов). Задача 2 Выделены три группы потребностей: Необходимость обработки интенсивного потока не очень сложных задач, обусловленного запросами пользователей и необходимостью решения ряда служебных задач ОИАС. Необходимость проведения пользователями аналитической обработки повышенной трудоемкости (например, обработки спутниковых изображений с высоким разрешением), которые могут несложно разбиваться на сравнительно независимые подзадачи. Необходимость решения задач особо высокой вычислительной сложности (задачи обработки трехмерных данных, моделирования сложных гидродинамических процессов и т.д.) Были проанализированы практические потребности в использовании распределенных и суперкомпьютерных ресурсов при работе с ОИАС.

5 Телекоммуникационно-вычислительные ресурсы сети ДВО РАН Телекоммуникационные ресурсы Базовый сегмент компьютерной сети ДВО РАН соединяет оптоволоконными каналами (скорость 1 Гб/сек) локальные сети 6 институтов (ИАПУ, ТОИ, ИБМ, ТИГ, ИПМТ, БПИ). Локальные сети институтов как правило используют соединения Fast Ethernet (100 Мб/сек). В ближайшие годы планируется расширение базового сегмента. Суперкомпьютерные ресурсы сети ДВО РАН В ИАПУ ДВО РАН имеются 3 суперкомпьютерных комплекса с параллельной архитектурой 1.МВС-1000/17 (17 процессоров P Мгц, 1 Гб ). 2.МВС-1000/16 (16 процессоров P3-800, 0,5 Гб ) 3.Aleph Cluster (5 процессоров P4-3000, 1 Гб ) Потенциально имеется доступ к другим суперкомпьютерам в сети RBNET Задача 2 Ресурсы для проведения распределенных вычислений Это персональные компьютеры пользователей, которые не всегда загружены вычислительными задачами. Общее число компьютеров ~ 1000 единиц (только в ТОИ – 320 компьютеров)

6 Задача 3 Критерии для выбора : 1 - стоимость, 2 - эффективность, 3 - простота встраивания в ОИАС, 4 - совместимость со стандартами OGSA Выбор средств реализации технологии поддержки РСВ Решение : комбинация 2 средств - Condor и Globus Toolkit Condor - по многим оценкам, это лучшее решение для организации распределенных вычислений на базе корпоративной сети учреждения Архитектура Condor-системы Три типа машин : 1- запускающие 2- выполняющие 3- менеджер Достоинства: - простота установки - поддержка различных ОС

7 Globus toolkit Это основное средство разработки GRID приложений, удовлетворяющих стандартам OGSA (Open GRID Service Architecture) Разработка Globus Toolkit поддерживается компаниями: IBM, HP, Intel, Sun Задача 3 Структурная схема пакета Globus Toolkit 4.0

8 Принципиальная схема организации распределенных и суперкомпьютерных вычислений в ОИАС ДВО РАН на базе средств Condor и Globus Toolkit Задача 3

9 Исследование эффективности разработанной технологии поддержки РСВ В ОИАС время от времени возникает задача обработки большого числа файлов с данными о яркостной температуре поверхности океана Задача 4.1 Время обработки одного файла на одном компьютере – 5-10 минут. Количество файлов – около I. Задача предобработки спутниковых данных (Распределение потока независимых задач между свободными компьютерами корпоративной сети) Обработка одного файла включает этапы: 1 - распаковку архивированного файла, 2 - вырезку данных по по северо-западной части Тихого океана, 3 - интерполяцию данных в регулярную сетку с применением алгоритмов объективного анализ, 4 – внесение данных в БД ОИАС Решение проблемы снижения нагрузки на сервер ОИАС: Распределение потока задач между компьютерами отдела Информационных технологий ТОИ с помощью системы CONDOR

10 Работоспособность этой схемы распределенных вычислений подтверждена тем, что она 2 раза уже использовалась в ОИАС Задача 4.1 Для исследования вычислительной эффективности системы были проведены численные эксперименты на ограниченном множестве задач (50 задач) с использованием различных конфигураций Condor Результаты подтверждают вычислительную эффективность реализованной в ОИАС технологии распределения потока задач. Таблица. Время выполнения обработки Кол-во компью -теров Время (мин.) Конфиг у-рация P P P P P

11 Пусть X - исходное оцифрованное изображение : {X i,j }, i = 1..N; j = 1..M Выходное изображение Y получается после фильтрующего преобразования вида: 1. Линейный фильтр: 2. Медианный фильтр: 3. Фильтр Уоллиса: 4. Удаление тренда: Задача 4.2 II. Задача пространственной фильтрации изображений (Решение вычислительно сложных задач с помощью схемы распределенных вычислений)

12 Общая схема решения задачи фильтрации: 1.Выбор пользователем исходного изображения и алгоритма фильтрации 2.Уточнение пользователем параметров фильтра 3.Разбиение изображения на N - полос – подзадач 4.Параллельная фильтрация полос на нескольких CONDOR- машинах 5.Объединение полос 6.Предоставление результата пользователю Задача 4.2 Схема распараллеливания задачи фильтрации:

13 Результат применения фильтра «Удаление трендов» Исследование вычислительной эффективности при различных конфигурациях Condor. Размер изображения 2456 х 2812 Фильтр – удаление тренда Размер окна фильтра 129х129 Задача 4.2

14 III. Моделирование трёхмерных случайных полей с заданной спектральной плотностью (Решение вычислительно сложных задач с помощью суперкомпьютеров) Задача 4.3 Области применения в океанологии: 1. Имитация распределения гидрофизических полей в толще океана 2. Имитация временной динамики двумерных полей, например полей волнения на поверхности океана Идея процедуры моделирования Известно, что реальные и мнимые части отсчетов ДПФ выборочной реализации случайного поля распределены по нормальному закону с нулевым средним и дисперсией, равной спектральной плотности Поэтому можно реализовать двухшаговый алгоритм моделирования выборочных реализаций случайного поля Шаг 1. Моделирование спектра Фурье { F lmn } выборочной реализации поля со спектр. плотностью S(w x,w y,w z ) с помощью датчика случайных чисел Шаг 2. Восстановление выборочной реализации { q ijk } поля с применением процедуры трехмерного обратного ДПФ к выборочному спектру { Flmn }

15 Программой поддерживаются четыре базовые модели спектральной плотности, которые часто используются при описании свойств среды Задача Модель Гаусса 2. Фрактальная модель 3. Турбулентная модель 4. Обобщённая модель Была реализована суперкомпьютерная поддержка данной процедуры моделирования на базе вычислительного кластера МВС-1000/17

16 Модель трехмерного случайного поля с Гауссовой спектральной плотностью Параметры модели α =0.1 a x = 1, a y = 2, a z =3 Nx=Ny=Nz=512 XY XZ YZ Задача 4.3

17 Параметры модели A = 1, B = 0.02, a = 0, α = 0.1, β = 1.66 a x = 1, a y = 2, a z =3 Nx=Ny=Nz=512 Модель трехмерного случайного поля стурбулентной спектральной плотностью Задача 4.3 XYXZYZ

18 Результаты измерений времени выполнения основных этапов программы моделирования в сетке [512x512x512] отсчетов на различных конфигурациях вычислительного кластера МВС -1000/17 в ИАПУ Количество процессоров Моделирование спектра, с OДПФ, с Полное время, с Задача 4.3

19 Основные выводы: 1. На основании изучения потребностей специалистов-океанографов в высокопроизводительных вычислениях и анализа существующих в сети ДВО РАН вычислительных ресурсов была спроектирована и реализована технология, позволяющая научным специалистам непосредственно на своих рабочих местах решать вычислительно сложные научные задачи с использовать распределенных и cуперкомпьютерных ресурсов сети. 2. На примере трех практически важных задач была подтверждена работоспособность и эффективность созданной технологии для трех базовых схем реализации высокопроизводительных вычислений. 3. Использование в ходе реализации проекта программных средств, поддерживающих стандарты OGSA, позволяет рассматривать модифицированную ОИАС как прототип регионального океанографического GRID-проекта, который в перспективе может быть интегрирован в национальные и мировые океанографические GRID-проекты