EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Информационная система в gLite Новодворский Е.Г. Олешко С.Б. Петербургский институт. - презентация

1 EGEE-II INFSO-RI Enabling Grids for E-sciencE Информационная система в gLite Новодворский Е.Г. Олешко С.Б. Петербургский институт ядерной физики г. Гатчина

2 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Службы gLite(реализовано) Каталог Метаданных Управление данными Storage Element Перемещение данных Каталог файлов и реплик Авторизация Службы Безопасности Аутентификация Службы управления заданиями Computing Element Управление загрузкой Информация и Мониторинг Службы информации и мониторинга Службы Обнаружения API Доступ CLI

3 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Информационная Система (ИС) gLite доступных В распределенной среде важна возможность получать информацию о доступных в данный момент ресурсах. сайты (CE) сайты (SE), сайты (SE), предоставляющие возможности для хранения данных, включая данные мониторирования данные мониторирования процесса выполнения задания Эта информация может включать: какие сайты способны выполнить данное задание, как загружены сайты, какое ПО установлено на них. их статус, максимальный размер число файлов, которые могут быть сохранены.

4 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Получать информацию о Грид-ресурсах и их статусе Получать информацию о статусе вашего задания Использование ИС Разработчик может Пользователь может Менеджер сайта или сервиса Workload Management System: Сопоставлять запросы задания и доступные Грид-ресурсы Monitoring Services: Получает информацию о Грид-ресурсах и их доступности Генерирует информацию относительно вашего сайта или сервиса

5 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, ИС в gLite 3.0 В gLite используются 2 основных ИС: Monitoring and Discovery Service (MDS) для Relational Grid Monitoring Architecture (R-GMA) для –публикации информации пользовательского уровня. –мониторирования –сбора –публикации их статуса. Эта ИС пришла из Globus Toolkit и используется вместе с Berkley Database Information Indexes (BDII) –сохранения информации о ресурсах

6 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, MDS MDS MDS использует представление данных в соответствии с GLUE ( Grid Laboratory for a Uniform Environment ) Schema В LDAP используется иерархическая модель данных, представляющая элементы(entries), такие как, человек, компьютер, сервер и т.п., и их атрибуты Специальный атрибут – objectclass может быть определён для каждого элемента. Он определяет набор обязательных и необязательных атрибутов для этого элемента. (очень кратко) GLUE GLUE решает вопросы интероперабельности Основные программные компоненты разработанны так, чтобы быть частью базового middleware ГРИД каждого проекта. GLUE не требует сборки полной системы middleware, а выбирает компоненты так, чтобы решить конкретные вопросы интероперабельности. LDAP построена на основе LDAP ( Light-weight Directory Access Protocol ), специализированной базы данных, оптимизированной для чтения, поиска и получения информации. Доступ к ней открытый (insecure).

7 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, id = pml id=gv id=fd ou = IT ou = EP c= US c=Switzerland c=Spain Структура данных LDAP Lightweight Directory Access Protocol: древовидная структура данных o = grid (корень DIT) st = Geneva or = CERN objectClass:person cn: Patricia M. L. phone: office: 28-r019 DIT (Directory Information Tree) Путь от узла к корню DIT определяет встроенное уникальное имя ( DN): id=pml,ou=IT,or=CERN,st=Geneva,\ c=Switzerland,o=grid

8 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Архитектура MDS сервиса -- Иерархическая модель предоставления данных в информационной системе: (GIIS в настоящее время заменяется на BDII) CE, SE GRIS GIIS BDII -- Ресурсы описываются при помощи GLUE Schema.

9 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Примеры GLUE Schema(I) Атрибуты для CE ¤ Базовый Класс для CE ( objectclass: GlueCETop ) : нет атрибутов ¤ CE ( objectclass: GlueCE ) GlueCEUniqueID : уникальный идентификатор CE GlueCEName: удобочитаемое имя сервиса ¤ CE Status ( objectclass: GlueCEState ) GlueCEStateRunningJobs: количество запущенных заданий GlueCEStateWaitingJobs: количество ждущих заданий GlueCEStateTotalJobs: общее количество заданий (running + waiting) GlueCEStateStatus: состояние очередей: в очереди работают закрыты ….. GlueCEStateWorstResponseTime: наихудшее возможное время между представлением задания и началом его выполнения

10 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Примеры GLUE Schema (II) Атрибуты для SE ¤ Базовый класс ( objectclass: GlueSETop ) : нет атрибутов ¤ Aрхитектура ( objectclass: GlueSLArchitecture ) – GlueSLArchitectureType: тип оборудования (диск, ленты, ….) ¤ Протокол доступа ( objectclass: GlueSEAccessProtocol ) – GlueSEAccessProtocolType: тип протокола доступа или передачи файлов – GlueSEAccessProtocolPort: номер порта – GlueSEAccessProtocolVersion: версия протокола – GlueSEAccessProtocolAccessTime: время доступа к файлу по этому протоколуl

11 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Примеры GLUE Schema (III) Смешанные атрибуты ¤ Связь между CE и одним или более SE ( objectclass: GlueCESEBindGroup ) – GlueCESEBindGroupCEUniqueID: уникальный ID для CE – GlueCESEBindGroupSEUniqueID : уникальный ID для SE

12 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, LDAP Поддерживается специальный язык запросов, который может быть использован для получения информации из ИС (ldapsearch) LDAP может использоваться, как протокол доступа для большого числа баз данных Запрос определяет способ передачи и формат сообщений, используемых клиентом для доступа

13 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Модели данных Иерархическая – структура типа дерево; потомок имеет только одного родителя. легко разделяется (partitions); легко отображается на физические устройства. BDII, LDAP Реляционная – набор таблиц; Язык запросов (SQL) эффективный, широко распостраненный R-GMA

14 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Недостатки LDAP LDAP LDAP не поддерживает агрегатные запросы на различные объекты относительно статичное описание данных для публикации - схема запрос основывается только на атрибутах объекта. MDS не позволяет приложениям добавлять свои собственные данные

15 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, R-GMA R-GMA: Relation Grid Monitoring Architecture Поддерживает различные типы запросов: Динамические данные о заданиях Использует реляционную модель данных, которая очень гибкая и позволяет строить сложные запросы R-GMA обеспечивает средства для любого, кто хочет опубликовать свою информацию о Грид. В принципе он может выполнять функции MDS. –Данные представляются в виде таблиц. –Структура данных определяется по колонкам. –Каждая запись есть строка (tuple). –Язык запросов - Structured Query Language (SQL). –streams –archives –latest-value

16 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Мониторинг Грид

17 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Системы мониторинга Cистема учета использования ресурсов для LCG-сайтов РДИГ. средним значениям использованной физической памяти Доступна статистика по: выполненным на сайтах задачам от различных виртуальных организаций затраченному процессорному времени времени нахождения задач в очереди.

18 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Мониторинг РДИГ

19 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Мониторинг Грид Информационное состояние системы EGEE, отслеживаемое Грид операционным центром в Тайбее. Частота обновления информации – 5 минут

20 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Грид операционный центр

21 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Грид операционный центр (ПИЯФ)

22 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Мониторинг Грид Java апплет, отображающий real-time прохождение задач в LCG

23 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Real-time мониторинг

24 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Мониторинг Грид support.ac.uk/googlemaps/lcg.html Результаты прохождения ежедневных SFT тестов из Операционного Центра в ЦЕРН.

25 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Результаты SFT тестов

26 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Мониторинг Грид Мониторинг загрузки кластера ПИЯФ

27 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial,

28 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Спасибо за внимание