ВЫЧИСЛИТЕЛЬНАЯ ХИМИЯ В ГРИД СРЕДАХ Институт проблем химической физики РАН г. Черноголовка Д.ф.-м.н. Волохов Вадим Маркович, зав. отделом вычислительных и информационных ресурсов Варламов Д.А., Волохов А.В., Пивушков А.В.,Покатович Г.А., Сурков Н.Ф. Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Направления работ ИПХФ РАН ИПХФ РАН представляет собой крупнейший в России академический институт, проводящий исследования в следующих областях: теория элементарных химических процессов строение молекул и структура твердых тел, создание материалов с заранее заданными свойствами, кинетика и механизмы сложных химических реакций, нанотехнологии, создание биологически активных веществ и лекарственных препаратов, биотехнологии и многое другое…. Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Вычислительные задачи в области квантовой химии и нанотехнологий Прикладное программное обеспечение: параллельные и распределенные варианты Gaussian, Gamess, Dalton, CPMD, Abinitio (более 100 пакетов), Авторские программы Стационарные квантово-химические задачи и задачи на нахождение собственных функций и значений уравнения Шредингера Нестационарные задачи, исследующие временное поведение молекулярных систем или связанные с использованием траекторных методов Задачи, распадающиеся на совокупность независимых заданий до 10 7 Задачи в виде единого процесса, требующие значительных объемов RAM и HDD памяти Суперкомпьютеры Кластеры Одиночные параллельные (SMP,MPI) узлы КластерыСуперкомпьютеры ПК и сети на их основе, включая виртуальные Распределенное middleware: gLite, Unicore, Cloud computing Удаленный доступ через SSH, порталы, ГРИД! Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Исследование каталитического распада Н 2 на наноструктурах Pt на поверхности кристалла SnO 2 HH СКИФ-МГУ («Чебышёв»: VASP, 200 CPU, 15 часов, 10 шагов оптимизации, потребность шагов. U(H 2) U(H+H) r H-H ПРИМЕР ОДНОЙ ИЗ РЕСУРСОЕМКИХ ЗАДАЧ КВАНТОВОЙ ХИМИИ Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Структура кластера Pt 19, нанесенного на поверхность SnO 2,расстояния даны в Å, стабильность к отрыву кластера от поверхности приведена в эВ Использован комплекс VASP, предназначенный для проведения расчетов с учетом трансляционной симметрии. Для каждой точки расчета необходимо более, чем сутки работы на 100 процессорах. на ВЦ МГУ. Необходимое количество точек – более сотни. Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Динамика миграции протона по кластеру платины Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Четыре типа поверхности, полученные при различных сколах. Стрелкой показано направление адсорбции молекулы водорода. Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

ПРИМЕР РЕСУРСОЕМКОЙ ЗАДАЧИ ДРУГОГО ТИПА Траекторные расчеты сечений химических реакций H 2 +O 2 Σ=S n /N H+H+O+O H 2 +O+O H 2 O+O H 2 O 2 H+H+O 2 H+HO 2 HO+HO HO+O+H Начальные условия: 4 угла взаимной ориентации прицельный параметр 2 квантовых колебательных числа 2 квантовых вращательных числа энергия столкновения (в системе ц.м.) Всего 1-10 миллионов независимых траекторий Химические реакции моделируются движением атомов по потенциальным поверхностям в рамках классической динамики. Область сильного взаимодействия как правило квантовая. Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Историческая последовательность использования GRID технологий в ИПХФ РАН г. Condor г. Globus 3/ г. LCG-2 – gLite г. Unicore …. Globus Toolkit 4 (гридННС) Прикладные программы, адаптированные к использованию в GRID средам: Gaussian 03 (параллельная, с учетом лицензионных ограничений) GAMESS US (параллельная – сокетный и MPI версии) CPMD (параллельная) Dalton (параллельная) NAMD Авторские программы – например, исследования туннельных свойств наногетероструктур (нестационарное ур. Шредингера) Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Программы Президиума Российской Академии Наук 1.«Разработка фундаментальных основ создания научной распределенной информационно-вычислительной среды на основе технологий GRID» гг. 2.«Основы фундаментальных исследований нанотехнологий и наноматериалов» гг. RDIG Программа Союзного Государства РФ и РБ, гг. УЧАСТИЕ В ПРОЕКТАХ И ВЫЧИСЛИТЕЛЬНЫХ ПОЛИГОНАХ Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Цель инициативы ГридННС – обеспечение географически распределенных научных и инженерных коллективов – участников национальной нанотехнологической сети (ННС) возможностью эффективного удаленного использования создаваемой информационной, коммуникационной и вычислительной инфраструктуры Создан ресурсный сайт сети ГридННС ОС – CentOS 5.4, ГридННС Globus Toolkit 4 (GT 4.2.1) Сервисы: MDS, GRAM, GridFTP, RFT, User Interface PBS/Torque Счетные узлы Xeon(TM) CPU 3.60GHz – 16 ядер, пиковая производительность – 115 Гф с последующим расширением) IPCP зарегистрирован в полигоне ГридННС как ресурсный центр и имеет все необходимые сертификаты Зарегистрирована ВО nanochem, имеющая доступ к 4 РЦ для запуска задач. Проведены тестовые запуски квантово-химических задач Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Ресурсный сайт ИПХФ в составе СКИФ-полигона (сайт категории «А») ОС – Linux Ubuntu, платформа Unicore 6.2 –Gateway ( –серверный контейнер (Unicore/X); –интерфейс к целевой системе (TSI); –UAS (Unicore Atomic Services); –авторизационная сервис-пользовательская база данных – XUUDB; –PBS/Torque; –User Interface – Command-line client Обеспечен доступ через распределенную среду к основным суперкомпьютерным ресурсам СКИФ-Полигона (например, СКИФ-МГУ, сайты СевКавГУ, ИПС, ЮУрГУ, ИПХФ) Адаптированы к запуску в среде Unicore квантово-химические пакеты Gamess-US, Gaussian, NAMD, авторские многопараметрические задачи Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Запуск пучков заданий Пучок заданий - это множество независимых заданий, до 10 7 – 10 9, которое запускается одной командой (скриптом). Метод разработан для решения задач, распадающихся на громадную совокупность независимых заданий, число которых зависит от количества параметров задачи или от «сетки» разбиения искомой области данных, когда результат в каждой решаемой точке не зависит от «соседей».. Пример – многопараметрические задачи вычислительной химии и химической физики, требующие последовательного перебора большого количества входных параметров или на больших областях исходных данных НОВЫЕ ВЫЧИСЛИТЕЛЬНЫЕ МЕТОДЫ И ТЕХНОЛОГИИ Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Cхема работы при формировании «пучка» заданий (среды gLite, Unicore, гридННС) GRIDMIDDLEWAREGRIDMIDDLEWARE User Сертификат Данные Программа Результаты gLite/Unicore/Globus User Interface Ресурсные сайты Конечный авторизованный пользователь Обработка входящих данных Формирование «пучка» задач Запуск «пучка» или отдельной задачи Мониторинг заданий Сбор результатов Выдача результатов Скрипты+БД Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Использование технологий виртуализации 1.Виртуальные ресурсы: создание на едином физическом пространстве серий изолированных виртуальных машин – позволяет совмещать несколько ресурсных сайтов 2.Виртуальные приложения: Создание переносимых виртуальных сред, т.е «виртуальных контейнеров» приложений Некоторые проблемы распределенных вычислений 1.Гетерогенность вычислительных ресурсов (архитектур процессоров, операционных систем 2.Необходимость создания целой среды окружения (конфигурационные настройки, службы, хранилища данных, …) 3.Конфликты приложений Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Окончательные результаты Формирование и запуск вычислительного «контейнера» Клиентский узел (в том числе WWW портал) Пакет GAMESS Конфигурационные файлы Параллельные библиотеки Данные ГРИД среды Произвольный Linux кластер MPICH-2 «кольцо» GECP портал Виртуальный вычислительный «контейнер» Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Проделаны многочисленные вычислительные эксперименты на различных распределенных средах (Condor, X-Com, Globus, gLite, Unicore). Cоздан ресурсный центр ИПХФ РАН: a.ресурсный узел на платформе gLite, включающий ряд User Interfaces к полигону EGEE-RDIG; b.на базе Unicore – ресурсный сайт категории «А» полигона СКИФ-GRID и интерфейсы пользователя разных уровней; c.на базе Globus – ресурсный узел сети ГридННС Создан ряд низкоуровневых интерфейсов для запуска параллельных вариантов пакетов стандартного и авторского квантово-химического ПО в среде ГРИД. Основные результаты (часть 1) Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Создан web-портал (GECP – Grid Enabled Chemical Physics), объединяющий несколько «дружелюбных» пользовательских интерфейсов для запуска ряда задач (GAMESS, многопараметрические задачи) в инфраструктуре GRID Разработана технология запуска «пучков» параллельно- независимых задач (до 10 7 заданий) в распределенных средах. Разработаны способы виртуализации ресурсов и приложений вычислительной химии применительно к распределенным средам Основные результаты (часть 2) Dubna-2010, Distributed Computing and Grid-technologies in Science and Education

Спасибо за внимание! Dubna-2010, Distributed Computing and Grid-technologies in Science and Education