Высокопроизводительные вычисления в исследованиях наноструктур. Институт проблем химической физики РАН г. Черноголовка Д.ф.-м.н. Волохов В.М., зав. отделом вычислительных и информационных ресурсов, Варламов Д.А., к.ф.-м.н. Пивушков А.В.,Покатович Г.А., Сурков Н.Ф., Волохов А.В.

Направления работ ИПХФ РАН ИПХФ РАН представляет собой крупнейший в России академический институт, проводящий исследования в следующих областях: теория элементарных химических процессов строение молекул и структура твердых тел, создание материалов с заранее заданными свойствами, кинетика и механизмы сложных химических реакций, нанотехнологии, создание биологически активных веществ и лекарственных препаратов, биотехнологии и многое другое….

Программы Президиума Российской Академии Наук 1. «Разработка фундаментальных основ создания научной распределенной информационно-вычислительной среды на основе технологий GRID» гг. 2. «Основы фундаментальных исследований нанотехнологий и наноматериалов» RDIG Программа Союзного Государства РФ и РБ

Вычислительные ресурсы ИПХФ РАН 60 Gfкластер на базе Intel Xeon (6х2 процессоров P4-Xeon 2.4 ГГц, 24 Gb RAM, 540 Gb HDD, 2xGigabit Ethernet), ОС ScientificLinux CERN 3 + GRID сервера (5 х P-IV 3.0 ГГц, 1 Гб RAM) –работает в среде GRID (middleware LCG-2 и gLite-3.1) 4.5 Tfкластер на базе PowerPC 970 (504 процессора IBM PowerPC 970 2,2 ГГц, 4 Gb RAM, 40 Gb HDD, Myrinet M3S- PCIXD-2-I. (запуск в апрель 2008 г.) 1,2 Tfкластер на базе Intel Xeon (10х2 процессоров 3.6 ГГц, + 3x2 Xeon 3.8 GHz+ 8 Xeon 3.0 GHz Woodcrest +12x8 Xeon 2.33 GHz – все по технологии EM64T, ОС – CERN ScientificLinux 4.2 (2xGigabit Ethernet) всего 130 CPU (210 GB-RAM, 20 TB HDD) 100 Gfкластер 4х4 SMP Itanium 2 (64 bit) (16 процессоров Itanium 2 1,5 ГГц с кэшем 4 Мб, 80 Gb RAM, 1.8 Тб HDD, Gigabit Ethernet), ОС – RedHat Enterprize 4 Общая интегрированная вычислительная мощность до 5.7 TFLOPS (пиковая), – 155 Мбит/с (внешний канал)

–шлюз (Gateway); –серверный контейнер (Unicore/X); –интерфейс к целевой системе (TSI); –авторизационный сервис-пользовательская база данных – XUUDB; –PBS/Torque –User Interface - Commandline client ОС – Linux (32-bit) Счетные узлы(WN-s): –Кол-во процессоров Intel(R) Xeon(TM) CPU 3.60GHz -18, ядер – 36 (64 разряда). Основные компоненты ресурсного узла ИПХФ в составе СКИФ-полигона (платформа Unicore)

На базе ресурсного сайта ИПХФ категории «А» СКИФ-Полигона изучены особенности и проблемы запуска вычислительных задач в рамках распределенных и параллельных сред «СКИФ-Полигон» (Unicore); Адаптированы к запуску в среде Unicore квантово-химические пакеты Gamess-US, Gaussian, Dalton-2; Для пакетов GAMESS-US, Gaussian и Dalton-2 создан и протестирован комплекс скриптов по запуску, мониторингу выполнения и сбору результатов на ресурсных сайтах Unicore с предустановленным и настроенным пакетом. Через инфраструктуру СКИФ-Полигона решен ряд задач на сайте ИПХФ, используемом как удаленный ресурсный узел; Начата модификация для Unicore методов создания «виртуального контейнера» для прикладного ПО, показана возможность применения данных методов для запуска в рамках СКИФ-Полигона сложно сконфигурированного ПО без предустановки и настройки ресурсных узлов; Ресурсный узел ИПХФ в составе СКИФ-полигона

Проблемы Не устойчивая работа ПО Unicore приводящая к внезапным аварийным прекращением работы обслуживающих сервисов; Отсутствие инфраструктуры автоматического поддержания СКИФ- полигона в актуальном состоянии (добавления пользователей, их сертификатов, сервис мониторинга, сервис информирования о служебных событиях, и т.д.); Недостаточное количество Ресурсных Центров подключенных к полигону (три РЦ)

Цель инициативы ГридННС - обеспечение географически распределенных научных и инженерных коллективов - участников национальной нанотехнологической сети (ННС) возможностью эффективного удаленного использования создаваемой информационной, коммуникационной и вычислительной инфраструктуры. 1.Проведена установка и настройка ППО 2. IPCP зарегистрирован в полигоне ГридННС как ресурсный центр и имеет все необходимые сертификаты 3. Зарегистрирована ВО nanochem, имеющая доступ к 4 РЦ для запуска задач. 4. Проведены тестовые запуски задач.

–Программная платформа ГридННС Globus Toolkit 4 (GT 4.2.1) –ОС – CentOS 5.4 (32 bit) –Сервисы: MDS GRAM GridFTP RFT User Interface PBS/Torque –Счетные узлы(WN-s): Кол-во процессоров Intel(R) Xeon(TM) CPU 3.60GHz -18, ядер – 36 (64 разряда). Компоненты ресурсного центра ИПХФ в структуре ГридННС

Проблемы 1. Отсутствие развитой инфраструктуры по управлению и мониторингу запущенного задания. Например нет команды (в интерфейсе командной строки) получения результатов работы задания. 2. Отсутствие развитой инфраструктуры по мониторингу полигона. Например нет команды (в интерфейсе командной строки) загруженности полигона, списка ресурсных центров. 3. Гетерогенность полигона как по ОС так и по ПО локального менеджера управления ресурсами.

Исследование каталитического распада Н 2 на наноструктурах Pt на поверхности кристалла SnO 2 (VASP) U(H 2) U(H+H) r H-H HH СКИФ-МГУ: 200 CPU, 15 часов, 10 шагов оптимизации, а требуется шагов. 1 точка 1месяй 64 CPU

Структура кластера Pt19, нанесенного на поверхность SnO2,расстояния даны в Å, стабильность к отрыву кластера от поверхности приведена в эВ Использован комплекс VASP, предназначенный для проведения расчетов с учетом трансляционной симметрии. Для каждой точки расчета необходимо более, чем сутки работы на 100 процессорах. на ВЦ МГУ. Необходимое количество точек – более сотни.

Динамика миграции протона по кластеру платины

Четыре типа поверхности, полученные при различных сколах. Стрелкой показано направление адсорбции молекулы водорода. Использован комплекс VASP, предназначенный для проведения расчетов с учетом трансляционной симметрии. Для каждой точки расчета необходимо более, чем сутки работы на 100 процессорах. на ВЦ МГУ. Необходимое количество точек – более сотни.

Историческая последовательность использования GRID технологий в ИПХФ РАН г. Condor г. Globus 3/ г. LCG-2 – gLite г. Unicore Прикладные программы адаптированные к использованию в GRID средам: Gaussian 03 (параллельная)(с учетом лицензионных ограничений) GAMESS US (параллельная) CPMD (параллельная) Dalton (параллельная) Авторская программа исследования туннельных свойств наногетероструктур (нестационарное ур. Шредингера)

Запуск пучков заданий Реализованы 2 методики : ПО Condor и Condor/G ПО gLite - Запуск скрипта из командной строки - Оригинальное ПО, разработанное в ИПХФ РАН для портала GECP (Web-интерфейсы) Задание формируется динамически на основе БД Пучок заданий - это множество независимых заданий, которое запускается одной командой (скриптом)

Требования к ресурсным вычислительным узлам GRID для квантовой химии Суммарная производительность не менее 1 Tflops RAM на процессор не менее 4 Gb HDD на процессор не менее 500 Gb Пропускная способность магистральных сетей не менее 155 Mbit/s

Виртуальный контейнер приложения MPICH2 is a high- performance and widely portable implementation of the Message Passing Interface (MPI) standard MPICH2 Структура Состав виртуального контейнера 1. Компилирование MPICH2 компилятором gcc

Виртуальный контейнер приложения The General Atomic and Molecular Electronic Structure System (GAMESS) is a general ab initio quantum chemistry package MPICH2 Структура Состав виртуального контейнера 2. Компилирование GAMESS с помощью библиотек MPICH2 GAMESS

Виртуальный контейнер приложения Заранее подготовленный пользователем файл данных для пакета GAMESS MPICH2 Структура Состав виртуального контейнера 3. Добавление в контейнер файла данных GAMESS Файл данных

Виртуальный контейнер приложения Написанный на bash-е управляющий скрипт MPICH2 Структура Состав виртуального контейнера 4. Добавление в контейнер управляющего скрипта GAMESS Файл данных Скрипт Итого 10 МБ

Этапы движения виртуального контейнера в GRID среде GRID средаGRID среда GRID пользователь 1. Передача виртуального контейнера в GRID среду Средствами GRID среды

GRID средаGRID среда GRID пользователь 2. Запуск контейнера на произвольном грид узле. Эксперимент проводился на ресурсах VO rgstest и СКИФ полигона. Средствами GRID среды Произвольный GRID узел. Этапы движения виртуального контейнера в GRID среде

Этапы работы виртуального контейнера 1. Сбор информации о ресурсном узле GRID 2. Распаковка контейнера 3. Подготовка файла mpd.conf для запуска сервера mpd Начало работы скрипта запуска контейнера Произвольный GRID узел.

Этапы работы виртуального контейнера 1. Распределение необходимых библиотек по списку свободных узлов 2. Запуск «кольца» серверов mpd на ресурсном узле GRID и проведение его тестирования 3. Запуск параллельного приложения 4. Удаление всех библиотек и созданных временных файлов со всех узлов после окончания счета Запуск кольца серверов mpd на GRID узле Произвольный GRID узел. MPICH2 «кольцо»

Этапы движения виртуального контейнера в GRID среде GRID средаGRID среда GRID пользователь 1. Возврат результатов пользователю Средствами GRID среды

Окончательные результаты Формирование и запуск вычислительного «контейнера» Клиентский узел (в том числе WWW портал) Пакет GAMESS Конфигурационные файлы Параллельные библиотеки Данные ГРИД среды Произвольный Linux кластер MPICH-2 «кольцо» GECP портал Виртуальный вычислительный «контейнер»

Спасибо за внимание!