Enabling Grids for E-sciencE Работа в ГРИД с использованием портала GILDA Олешко Сергей Петербургский институт ядерной физики РАН

Enabling Grids for E-sciencE 2 Взгляд на ГРИД

Enabling Grids for E-sciencE ГРИД службы клиент Иногда интегрирован в некоторый дополнительный сервис ППО ГРИД – это множество программных ГРИД служб ГРИД службы более-менее стандартизованы, т.е. имеют стандартизованные интерфейсы и используют стандартные технологии Они могут быть доступны множеству клиентов

Enabling Grids for E-sciencE 4 Типичные ГРИД службы (gLite)

Enabling Grids for E-sciencE 5 Проблемы для пользователя ГРИД службы используют шифрование: – Вы должны получить сертификат от центра сертификации – Вы должны быть зарегистрированы в Виртуальной Организации (ГРИД службы доступны только для членов ВО.) – Вы должны сгенерировать временный сертификат ГРИД клиенты – это достаточно низкоуровневые программные средства – Интерфейс командной строки – Платформозависимость (как правило Linux) – Много параметров

Enabling Grids for E-sciencE 6 Выход – ГРИД портал Диски, процессора, … Операционная система Компоненты ППО и сетевые протоколы, … ГРИД службы Клиенты ГРИД служб Приложения ГРИД портал

Enabling Grids for E-sciencE 7 ГРИД портал – почему и как Он может быть доступен отовсюду и при помощи чего угодно (ПК, ноутбук, КПК, мобильный телефон). Он может использовать один и тот же пользовательский интерфейс для доступа к различным службам. Он должен обеспечивать избыточную безопасность на всех уровнях: 1) безопасность передачи данных по web, 2) безопасность пользовательских параметров доступа, 3) безопасность пользовательской аутентификации, 4) безопасность на уровне виртуальной организации. ГРИД службы должны быть доступны по одному нажатию на кнопку мышки. Пользовательский интерфейс должен быть понятен и дружественен к пользователю.

Enabling Grids for E-sciencE 8 ГРИД портал GENIUS GENIUS – полная версия: Grid Demonstrator – открытая для всех 24/7 версия: demo.ct.infn.it/ Grid Tutor – версия, адаптированая для обучения и тренинга: Существует несколько версий портала: Grid Enabled web eNvironment for site Independent User job Submission

Enabling Grids for E-sciencE 9 GENIUS: как он работает 3-звенная модель Portal Development Kit Web сервер Портал User interface Браузер ГРИД службы M/W + GSI https + java/xml

Enabling Grids for E-sciencE 10 Проблемы безопасности Проблема: Web сервер, а значит и весь портал запускается с наинизшим уровнем привилегий. Каким же образом он сможет запускать задания для пользователя? Наилучший выход – расширение системы делегирования GSI (Grid Security Infrastructure) таким образом, чтобы пользователь мог делегировать права на запуск заданий порталу. Сервис MyProxy обеспечивает такое расширение следующим образом: – временно сохраняет пользовательские имя/пароль. – запускает прокси от имени пользователя. – поддерживает отдельный пароль для портала.

Enabling Grids for E-sciencE 11 Проект GILDA (

Enabling Grids for E-sciencE 12 Компоненты GILDA GILDA Testbed - набор сайтов с установленным ППО LCG/gLite. Grid Demonstrator - веб-интерфейс GENIUS, позволяющий работать с определенным набором приложений. GILDA CA - центр сертификации, выдающий 14- дневные сертификаты для работы с GILDA. GILDA VO - виртуальная организация, объединяющая всех пользователей GILDA. Grid Tutor - веб-интерфейс GENIUS, используемый для демонстрации возможностей технологии Грид. Monitoring System - система мониторинга для GILDA Testbed.

Enabling Grids for E-sciencE 13 GILDA Test-bed ( 20 сайтов на 3 континентах !

Enabling Grids for E-sciencE 14 GILDA Grid Demonstrator (

Enabling Grids for E-sciencE 15 Подключение к GILDA

Enabling Grids for E-sciencE 16 Инструкции

Enabling Grids for E-sciencE 17 Важные советы пользоваться рекомендуется браузером Mozilla или Netscape при запрашивании ввода пароля или ключевых фраз (и т.п.) рекомендуется вводить одинаковые значения во избежание недоразумений работать с GILDA рекомендуется со статического IP

Enabling Grids for E-sciencE 18 Центр сертификации GILDA

Enabling Grids for E-sciencE 19 Загрузка GILDA CA сертификата

Enabling Grids for E-sciencE 20 Получение персонального сертификата (1/4)

Enabling Grids for E-sciencE 21 Получение персонального сертификата (2/4)

Enabling Grids for E-sciencE 22 Получение персонального сертификата (3/4) Dear User, you can download your GILDA Personal Certificate going, *with the same browser you used to submit the request*, to the URL: Your certificate is valid for $CERTIFICATE_DAYS_VALUE days. After that you can go to: and register to the GILDA VOMS (usually, registration takes a working day). Then, you can go to the GILDA Grid Demonstrator at the URL: or, if you are participating to a tutorial or an induction course, to the GILDA Grid Tutor at the URL: (for LCG) or (for gLite) Remember that: 1) whenever you are prompted for the Operating System, use the username and the password you have chosen when you requested the GILDA Personal Certificate as username and as password; 2) whenever you are prompted for the GRID username and password and the passphrase of your GILDA Personal Certificate as password. Best Regards The GILDA CA Manager GILDA Certification Authority Tel: Fax: Via S. Sofia, 64 I Catania ITALY Просто нажать на ссылку для получения сертификата From: GILDA-CA To: Subject: GILDA Personal Certificate for

Enabling Grids for E-sciencE 23 Получение персонального сертификата (4/4) После загрузки сертификата в браузер появится web страница с сообщением, что новый сертификат доступен в списке сертификатов браузера. Все действия должны производиться в одном и том же браузере!! Срок действия персонального сертификата 14 дней! После этого сертификат можно экспортировать и сохранить в безопасном месте. Процедура экспорта зависит от типа используемого браузера. Тип файла экспортированного сертификата зависит от браузера (*.p12 для Mozilla/Netscape/FireFox и *.pfx для Internet Explorer). Экспортированный сертификат в дальнейшем должен будет преобразован в *.pem формат, распознаваемый системой безопасности gLite.

Enabling Grids for E-sciencE 24 Регистрация в VOMS (1/5) Dear User, you can download your GILDA Personal Certificate going, *with the same browser you used to submit the request*, to the URL: Your certificate is valid for 365 days. After that you can go to: and register to the GILDA VO (usually, registration takes a working day). Then, you can go to the GILDA Grid Demonstrator at the URL: or, if you are participating to a tutorial or an induction course, to the GILDA Grid Tutor at the URL: or Remember that: 1) whenever you are prompted for the Operating System, use the username and the password you have chosen when you requested the GILDA Personal Certificate as username and as password; 2) whenever you are prompted for the GRID username and password and the passphrase of your GILDA Personal Certificate as password. Best Regards The GILDA CA Manager … Вторая ссылка в полученном . Просто нажать на ссылку для того чтобы зарегистрироваться в VOMS

Enabling Grids for E-sciencE 25 Регистрация в VOMS (2/5) Для доступа к этой странице сертификат уже должен быть загружен в браузер!!

Enabling Grids for E-sciencE 26 Регистрация в VOMS (3/5) Нажать ссылку для подтверждения

Enabling Grids for E-sciencE 27 Регистрация в VOMS (4/5)

Enabling Grids for E-sciencE 28 Регистрация в VOMS (5/5) Вы включены в члены ВО GILDA!!

Enabling Grids for E-sciencE 29 Подготовка UI (1/2) Сохранить персональный сертификат из браузера в файл *.p12 Написать письмо -> с просьбой открыть FireWall для вашего IP (указать его). Иначе вы не сможете зайти на их Зайти с помощью SSH на свой UI, машина с адресом: glite-tutor.ct.infn.it. Логин и пароль - те, которые вы указывали при регистрации. Скопировать туда (в свою корневую директорию) свой сертификат *.p12 Создать на UI директорию (mkdir.globus) и экспортировать туда сертификат командой (openssl pkcs12 -nocerts -in mysert.p12 –out.globus/userkey.pem) Выполнить команды: openssl pkcs12 -clcerts -nokeys -in mysert.p12 -out.globus/usersert.pem cd.globus/ chmod 400 userkey.pem chmod 644 usersert.pem

Enabling Grids for E-sciencE 30 Подготовка UI (2/2) Активизировать proxy: voms-proxy-init --voms gilda myproxy-init --voms gilda * - срок действия активизированных полномочий 24 часа! При этом необходимо ввести пароль, который будет необходим для работы через браузер. Теперь можно работать в полнофункциональной Grid инфраструктуре GILDA, как через браузер: так и через SSH, host: glite-tutor.ct.infn.it.

Enabling Grids for E-sciencE 31 GILDA Grid Tutor

Enabling Grids for E-sciencE 32 Доступ к GILDA Host: glite-tutor.ct.infn.it Username: gatchinaXX (XX=01…07) Password: GridGATXX (XX=01…07) PassPhrase: GATCHINA GENIUS:

Enabling Grids for E-sciencE 33 Основные сервисы GILDA Работа с файлами Запуск задач Мониторинг Работа с данными

Enabling Grids for E-sciencE 34 Работа с файлами Имя и пароль, введённые при заполнении формы для получения сертификата GILDA Для работы в ГРИД используется и вводится пароль для MyProxy

Enabling Grids for E-sciencE 35 Работа с файлами Удалённая работа с файлами на UI машине

Enabling Grids for E-sciencE 36 Работа с файлами

Enabling Grids for E-sciencE 37 Работа с файлами

Enabling Grids for E-sciencE 38 Работа с файлами (View/Edit) Несколько действий в одном сервисе

Enabling Grids for E-sciencE 39 Работа с файлами (View/Edit)

Enabling Grids for E-sciencE 40 Работа с файлами (Copy/Rename)

Enabling Grids for E-sciencE 41 Работа с файлами (Delete)

Enabling Grids for E-sciencE 42 Работа с файлами (Create a Dir )

Enabling Grids for E-sciencE 43 Работа с файлами (Upload a Tar ball)

Enabling Grids for E-sciencE 44 Работа с файлами (Upload a File)

Enabling Grids for E-sciencE 45 Работа с файлами Изменение прав доступа к файлу

Enabling Grids for E-sciencE 46 Работа с файлами (Show env)

Enabling Grids for E-sciencE 47 Основные сервисы GILDA Работа с файлами Запуск задач Мониторинг Работа с данными

Enabling Grids for E-sciencE 48 Аутентификация через Myproxy myproxy-get-delegation

Enabling Grids for E-sciencE 49 Аутентификация через Myproxy UI Local WS MyProxy Server GENIUS Server (UI) myproxy-init any grid service myproxy-get-delegation output the Grid execution WEB Browser Для запуска задач в ГРИД необходимо указывать VOMS Extensions ( --voms )

Enabling Grids for E-sciencE 50 Безопасность Прозрачная поддержка VOMS

Enabling Grids for E-sciencE 51 Параметры настройки Грид

Enabling Grids for E-sciencE 52 Запуск заданий (выбор.jdl файла) Параметры показаны на горизонтальной панели, которая появляется после успешного входа

Enabling Grids for E-sciencE 53 Запуск заданий (файл выбран)

Enabling Grids for E-sciencE 54 Запуск заданий (выбор CE)

Enabling Grids for E-sciencE 55 Запуск заданий (log запуска)

Enabling Grids for E-sciencE 56 Просмотр очереди заданий

Enabling Grids for E-sciencE 57 Получение результатов Дополнительное подтверждение!

Enabling Grids for E-sciencE 58 Получение результатов После операции get-output выходные файлы временно сохраняются в области спулинга, готовые к передаче пользователю

Enabling Grids for E-sciencE 59 Получение результатов Передача файлов может происходить в различных формах!

Enabling Grids for E-sciencE 60 Просмотр результатов

Enabling Grids for E-sciencE 61 Доступные ресурсы (1/2)

Enabling Grids for E-sciencE 62 Доступные ресурсы (2/2)

Enabling Grids for E-sciencE 63 Основные сервисы GILDA Работа с файлами Запуск задач Мониторинг Работа с данными

Enabling Grids for E-sciencE 64 Мониторинг

Enabling Grids for E-sciencE 65 Основные сервисы GILDA Работа с файлами Запуск задач Мониторинг Работа с данными

Enabling Grids for E-sciencE 66 Создание директории

Enabling Grids for E-sciencE 67 Создание директории Добавить свой account

Enabling Grids for E-sciencE 68 Создание директории

Enabling Grids for E-sciencE 69 Копирование файла на SE (1/2)

Enabling Grids for E-sciencE 70 Копирование файла на SE (2/2)

Enabling Grids for E-sciencE 71 Навигация в Каталоге

Enabling Grids for E-sciencE 72 Примеры других ГРИД порталов OGCE - Open Grid Computing Environments Collaboratory PACI HotPage Grid Computing Portal Sakai project CCT HPC Portal TeraGrid User Portal GridSphere Project P-GRADE Portal