ТЕХНОЛОГИЯ ЗАПУСКА ПАРАЛЛЕЛЬНЫХ ЗАДАЧ В РАЗЛИЧНЫХ РАСПРЕДЕЛЕННЫХ СРЕДАХ Институт проблем химической физики РАН, г. Черноголовка Пивушков Александр Викторович, - презентация

1 ТЕХНОЛОГИЯ ЗАПУСКА ПАРАЛЛЕЛЬНЫХ ЗАДАЧ В РАЗЛИЧНЫХ РАСПРЕДЕЛЕННЫХ СРЕДАХ Институт проблем химической физики РАН, г. Черноголовка Пивушков Александр Викторович, к.ф.-м.н., с.н.с. Волохов В.М., Варламов Д.А., Волохов А.В., Сурков Н.Ф. Отдел вычислительных и информационных ресурсов ИПХФ РАН Сектор вычислительной химии

2 RDIG – Национальная нанотехнологическая сеть (ГридННС) ИСПОЛЬЗУЕМЫЕ ВЫЧИСЛИТЕЛЬНЫЕ ПОЛИГОНЫ

3 Ряд проблем распределенных вычислений гетерогенность доступных распределенных вычислительных ресурсов; необходимость предустановки прикладных сложносконфигурированных пакетов; необходимость создания системы из конфигурационных настроек, служб, хранилищ данных и прочих компонентов; конфликты приложений

4 Конечный GRID пользователь Брокер Ресурсов GRID среды Разнородные Linux и Windows Кластеры Суперкомпьютеры Разнообразие ресурсов и вычислительных сред

5 Создание виртуального контейнера приложения MPICH2 is a high-performance and widely portable implementation of the Message Passing Interface (MPI) standard MPICH2

6 Виртуальный контейнер приложения Пакет GAMESS The General Atomic and Molecular Electronic Structure System (GAMESS) is a general ab initio quantum chemistry package MPICH2

7 Виртуальный контейнер приложения Пакет GAMESS Заранее подготовленный пользователем файл данных для пакета GAMESS MPICH2 Файл данных

8 Виртуальный контейнер приложения Пакет GAMESS Скрипт запуска виртуального контейнера или бинарный вариант MPICH2 Файл данных 10 МБ Скрипт запуска

9 Окончательные результаты Формирование и запуск вычислительного «контейнера» Клиентский узел (в том числе WWW портал) Пакет GAMESS Конфигурационные файлы Параллельные библиотеки Данные ГРИД среды (gLite, Unicore, Globus) Произвольный Linux кластер MPICH-2 «кольцо» GECP портал Виртуальный вычислительный «контейнер»

10 Окончательные результаты Формирование и запуск виртуального вычислительного «контейнера» User Interface (в том числе в составе WWW портала) Пакет GAMESS Конфигурационные файлы Параллельные библиотеки Данные ГРИД среды Произвольный Linux кластер MPICH-2 «кольцо» GECP портал Виртуальный вычислительный «контейнер» Скрипты настройки и запуска Бинарные файлы GAMESS, скомпилированные с поддержкой MPI-2 Конфигурационные файлы GAMESS Исполняемые файлы и бинарные библиотеки пакета Mpich-2 Скрипты распаковки контейнера, развертывания MPI и GAMESS, настроек удаленного узла Пользовательские данные 114 групп, более 500 параметров Упаковка «контейнера», подготовка задачи распределенной среды Передача задачи на брокер ресурсов распределенной среды Передача задачи на ресурсный сайт распределенной среды Запуск задачи распределенной среды на ресурсном сайте 1.сбор начальной информации о текущем ресурсном узле 2.распаковка модуля в рабочей директории и перемещение библиотек в /tmp на текущем локальном узле (ТЛУ); 3.подготовка файла mpd.conf на ТЛУ для запуска MPI сервера mpd; 4.переопределение на ТЛУ ряда переменных среды окружения для GRID пользователя; 5.запуск сервера mpd (с правами пользователя) на стартовом узле и проведение его runtime тестирования; 6.сбор информации о доступных узлах и их текущем состоянии в файл mpd.hosts Распределение по ssh необходимых библиотек по списку свободных узлов запуск «кольца» серверов mpd и проведение runtime тестирования запуск параллельного GAMESS и работа как распределенного задания удаление всех библиотек и созданных временных файлов со всех узлов Передача результатов расчета на пользовательский интерфейс

11 Частично преодолена гетерогенность доступных распределенных вычислительных ресурсов; Отсутствует необходимость создания целой системы из конфигурационных настроек, дополнительных служб, хранилищ данных и прочих компонентов информационно-вычислительной инфраструктуры (например, поддержка различных параллельных протоколов); Устранена возможность конфликтов приложений (как между разными программами, так и несколькими экземплярами одного приложения); Результаты