Разработка и первичная апробация технологии предоставления доступа к суперкомпьютерным ресурсам сети ДВО РАН на основе Web и GRID-технологий Антушев С. Г., Голик А. В., Тарасов Г. В. 2006

Предпосылки к работе GRID – новая ИТ-технология для поддержки научных исследований (интегрирует СУБД, ГИС, Интернет, суперкомпьютерные вычисления) Grid (Грид) – географически распределенная инфраструктура, объединяющая множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения Примеры: 1.Проект - поиск сигналов внеземных цивилизаций. 272 тысячи компьютеров 179 ТeraFLOP/sec 2.Проект EU DataGrid Европейского центра ядерных исследований (CERN) объединяет информационные и вычислительные ресурсы нескольких десятков научных центров. 3.…

II. Для ДВО РАН актуальна задача создания регионального океанографического GRID-проекта, которая может быть решена на базе океанографической информационно-аналитической системы ДВО РАН Работа пользователя в ОИАС В ТОИ ДВО РАН разработана и используется в исследованиях океанографическая информационно-аналитическая система по Северо-западной части Тихого океана (ОИАС) Основная задача ОИАС – предоставление специалистам ДВО РАН посредством стандартного Web-интерфейса доступа : а) к необходимым океанографическим данным; б) к средствам картографической визуализации данных; в) к программным средствам анализа данных. Поддерживается работа с 30 видами океанографических данных общим объемом около 200 Гигабайт. ОИАС уже обладает некоторыми важными признаками GRID-системы, в частности в ней реализованы механизмы коллективного использования распределенных информационных ресурсов. Поэтому при некоторой доработке ОИАС могла бы стать прототипом регионального океанографического GRID-проекта. Для этого в первую очередь необходимо: 1.Обеспечить средствами ОИАС поддержку распределенных и суперкомпьютерных вычислений для решения задач аналитической обработки повышенной сложности 2.При реализации технологий поддержки высокопроизводительных вычислений должны обязательно использоваться программные средства, совместимые с открытым GRID- стандартом OGSA (Open Grid Service Architecture).

Globus Toolkit Ian Foster Globus Alliance (Argonne National Laboratory, University of Chicago, University of Edinburgh, NCSA, Univa Corporation, University of Southern California, …) Среда, инфраструктура для разработки Grid- приложений OGSA-совместимые web-сервисы Grid API для Java, C/C++, Python Набор основных Grid-сервисов Отправка и управление заданиями (GRAM) Передача файлов (GridFTP, RFT) Доступ к базам данных (OGSA-DAI) Управление данными: репликация, метаданные (RLS, DRS, OGSA-DAI) Мониторинг, индексирование (MDS)

Globus Toolkit

GRAM (Grid Resource Allocation and Management) Универсальный интерфейс для удалённой отправки заданий и управления процессом выполнения Поддержка диспетчеров: Unix, Condor, LSF, PBS, SGE, … Перемещение входных/выходных данных Мониторинг выполняющихся заданий

GridFTP Безопасный, высокопроизводительный и надёжный протокол для передачи данных FTP с расширениями Поддержка параллельной (striped) передачи данных по нескольким каналам Передача частей файлов

RLS (Replica Location Service) Распределённый реестр, в котором хранятся сведения о расположении копий данных Связывает логические идентификаторы и соответствующие физические объекты RLI LRC LRC (Local Replica Catalog) – содержит непротиворечивую информацию о расположении реплик RLI (Replica Location Index) – объединяет информацию от нескольких LRC

MDS (Monitoring and Discovery System Накапливает и предоставляет информацию о различного рода GRID-ресурсах: Службы и их текущее состояние Состояние вычислительных узлов GRID (загрузка, дисковое пространство, и т. д.)

GSI (Grid Security Infrastructure) Защищённая передача сообщений «Мост» между различными механизмами аутентификации Прокси-сертификаты для представления пользователей и служб Делегирование полномочий Пользовательские прокси: концепция единого входа («single sign-on») Прокси для служб: наследуемый доступ для служб Стандартные протоколы – SSL/TLS, X.509

Принципиальная схема организации распределенных и суперкомпьютерных вычислений в ОИАС ДВО РАН на базе средств Condor и Globus Toolkit

Моделирование трёхмерных случайных полей

Реализованные модели: 1. Модель Гаусса 2. Фрактальная модель 3. Турбулентная модель 4. Обобщённая модель

Работа с системой 1. Выбор модели

Работа с системой 2. Задание параметров модели

Работа с системой 3. Предварительный просмотр сечений функции спектральной плотности

Работа с системой 4. Выполнение вычислений

Работа с системой 5. Получение результатов моделирования (многостраничный TIFF-файл)

Численные результаты Размер области х 512 х 512

Пример 1

Пример 2

Заключение С помощью системы Condor и пакета Globus: организован доступ к удалённым суперкомпьютерным ресурсам решена представляющая практический интерес задача - моделирование трёхмерных случайных полей. Спасибо за внимание!