EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Информационная система в gLite Олешко С.Б. Петербургский институт ядерной физики г.Гатчина. - презентация

1 EGEE-II INFSO-RI Enabling Grids for E-sciencE Информационная система в gLite Олешко С.Б. Петербургский институт ядерной физики г.Гатчина

2 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Сервисы gLite API Access Workload Mgmt Services Computing Element Workload Management Metadata Catalog Data Management Storage Element Data Movement File & Replica Catalog Authorization Security Services Authentication Information & Monitoring Information & Monitoring Services Application Monitoring Connectivity Accounting Auditing Job Provenance Package Manager CLI Available gLite Implementation Service Discovery

3 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Информационная Система (ИС) gLite В распределенной среде важна возможность получать информацию о доступных в данный момент ресурсах. Эта информация может включать: - сайты (CE), способные выполнить данное задание, их загрузка, ПО, установленное на них. - сайты (SE), предоставляющие возможности для хранения данных, включая их статус, максимальный размер и число файлов, которые могут быть сохранены. - данные мониторирования процесса выполнения задания

4 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Использование ИС Если вы разработчик Workload Management System: Сопоставлять запросы задания и доступные Грид-ресурсы Monitoring Services: Получает информацию о Грид-ресурсах и их доступности Если вы пользователь Получать информацию о Грид-ресурсах и их статусе Получать информацию о статусе вашего задания Если вы менеджер сайта или сервиса Вы генерируете информацию относительно вашего сайта или сервиса

5 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, ИС в gLite 3.0 В gLite используются 2 основных ИС: –Monitoring and Discovery Service (MDS) – для сохранения информации о ресурсах и публикации их статуса. Эта ИС пришла из Globus Toolkit и используется вместе с Berkley Database Information Indexes (BDII) –Relational Grid Monitoring Architecture (R-GMA) – для сбора, мониторирования и публикации информации пользовательского уровня.

6 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, MDS MDS использует представление данных в соответствии с GLUE( Grid Laboratory for a Uniform Environment ) Schema и построена на основе LDAP (Light-weight Directory Access Protocol), специализированной базы данных, оптимизированной для чтения, поиска и получения информации. Доступ к ней открытый (insecure). В LDAP используется иерархическая модель данных, представляющая элементы(entries), такие объекты, как человек, компьютер, сервер и т.п., и их атрибуты Специальный атрибут – objectclass может быть определён для каждого элемента. Он определяет набор обязательных и необязательных атрибутов для этого элемента.

7 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Структура данных LDAP Lightweight Directory Access Protocol: древовидная структура данных DIT (Directory Information Tree) Путь от узла к корню DIT определяет встроенное уникальное имя ( DN): id=pml,ou=IT,or=CERN,st=Geneva, \ c=Switzerland,o=grid o = grid (корень DIT) c= US c=Switzerland c=Spain st = Geneva or = CERN ou = IT ou = EP id = pml id=gv id=fd objectClass:person cn: Patricia M. L. phone: office: 28-r019

8 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Архитектура MDS сервиса -- Иерархическая модель предоставления данных в информационной системе: CE, SE GRIS GIIS BDII (GIIS в настоящее время заменяется на BDII) -- Ресурсы описываются при помощи GLUE Schema.

9 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Примеры GLUE Schema(I) Attributes for the CE ¤ Base Class for the CE information (objectclass: GlueCETop ) : No attributes ¤ CE ( objectclass: GlueCE ) GlueCEUniqueID : unique identifier for the CE GlueCEName: human-readable name of the service ¤ CE Status ( objectclass: GlueCEState ) GlueCEStateRunningJobs: number of running jobs GlueCEStateWaitingJobs: number of jobs not running GlueCEStateTotalJobs: total number of jobs (running + waiting) GlueCEStateStatus: queue status: queueing (jobs accepted but not running), production (jobs accepted and run), closed (neither accepted nor run), draining (jobs not accepted but those already queued are running) GlueCEStateWorstResponseTime: worst possible time between the submission of the job and the start of its execution

10 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Примеры GLUE Schema (II) Attributes for the SE ¤ Base Class ( objectclass: GlueSETop ) : No attributes ¤ Architecture ( objectclass: GlueSLArchitecture ) – GlueSLArchitectureType : type of storage hardware (disk, tape, etc) ¤ Storage Service Access Protocol ( objectclass: GlueSEAccessProtocol ) – GlueSEAccessProtocolType: protocol type to access or transfer files – GlueSEAccessProtocolPort: port number for the protocol – GlueSEAccessProtocolVersion: protocol version – GlueSEAccessProtocolAccessTime: time to access a file using this protocol Mixed Attributes ¤ Association between one CE and one or more SEs ( objectclass: GlueCESEBindGroup ) – GlueCESEBindGroupCEUniqueID : unique ID for the CE – GlueCESEBindGroupSEUniqueID : unique ID for the SE

11 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, LDAP Поддерживается специальный язык запросов, который может быть использован для получения информации из ИС (ldapsearch) Запрос определяет способ передачи и формат сообщений, используемых клиентом для доступа LDAP может использоваться, как протокол доступа для большого числа баз данных

12 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Модели данных Иерархическая – структура типа дерево; потомок имеет только одного родителя. легко разделяется (partitions); легко отображается на физические устройства. BDII, LDAP Реляционная – набор таблиц; Язык запросов (SQL) эффективный, широко распостраненный R-GMA

13 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Недостатки LDAP LDAP не поддерживает агрегатные запросы на различные объекты запрос основывается только на атрибутах объекта. MDS не позволяет приложениям добавлять свои собственные данные относительно статичное описание данных для публикации - схема

14 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, R-GMA R-GMA: Relation Grid Monitoring Architecture Динамические данные о заданиях Использует реляционную модель данных, которая очень гибкая и позволяет строить сложные запросы –Данные представляются в виде таблиц. –Структура данных определяется по колонкам. –Каждая запись есть строка (tuple). –Язык запросов - Structured Query Language (SQL). Поддерживает различные типы запросов: –streams –archives –latest-value R-GMA обеспечивает средства для любого, кто хочет опубликовать свою информацию о Грид. В принципе он может выполнять функции MDS.

15 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Мониторинг Грид

16 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Системы мониторинга Cистема учета использования ресурсов для LCG-сайтов РДИГ. Доступна статистика по выполненным на сайтах задачам от различных виртуальных организаций, затраченного процессорного времени, средние значения использованной физической памяти и времени нахождения задач в очереди.

17 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Мониторинг РДИГ

18 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Мониторинг Грид Информационное состояние системы EGEE, отслеживаемое Грид операционным центром в Тайбее. Частота обновления информации – 5 минут

19 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Грид операционный центр

20 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Грид операционный центр (ПИЯФ)

21 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Мониторинг Грид Java апплет, отображающий real-time прохождение задач в LCG

22 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Real-time мониторинг

23 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Мониторинг Грид support.ac.uk/googlemaps/lcg.html Результаты прохождения ежедневных SFT тестов из Операционного Центра в ЦЕРН.

24 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Результаты SFT тестов