Требования к грид-инфраструктуре Аутентификация(пользователя/хоста/сервиса) Авторизация & политики доступа Поддержка виртуальных организаций Обнаружение ресурсов Выбор ресурсов по характеристикам Резервирование ресурсов Запуск и контроль заданий Распределенные алгоритмы Удаленный доступ к данным Высокоскоростная передача данных Производительность Монитогринг Аккаунтинг

Основные структурные компоненты грид-системы ресурсные центры, включающие –вычислительные ресурсы; –ресурсы хранения данных; набор базовых грид-сервисов, в том числе –брокер распределения заданий; –информационная система; –система управления данными; –система безопасности и контроля прав доступа пользовательский интерфейс

Обобщенная схема структуры грида Picture from: Введение в грид-технологии, Препринт НИИЯФ МГУ

User Interface, UI Предназначен для обеспечения доступа пользователя к ресурсам грида осуществляет запуск заданий на выполнение; пересылает данные с одного ресурса хранения данных на другой; контролирует процесс выполнения задания; получает результат выполнения задания Типичные реализации: CLI, WebUI

Resource Сentre Может включать два типа ресурсов: Вычислительный ресурс, на котором выполняется обработка данных (ComputingElement,СE и WorkerNodes,WN); Ресурс хранения данных (Storage Element, SE), который обеспечивает хранение и транспортировку данных между аналогичными ресурсами и/или данным ресурсом и пользователем.

Базовые грид-службы (services) Oбеспечивают работу всей грид-системы в целом. подсистема управления загрузкой (Workload Management System, WMS), –служба распределения заданий (Resource Broker, RB); подсистема управления данными (Data Management System, DM) –базовые службы: служба файлового каталога, служба каталога метаданных; подсистема информационного обслуживания и мониторинга (Information System, IS) –служба регистрации и учета ресурсов грида, подсистема безопасности и контроля прав доступа (Grid Security Infrastructure, GSI) –служба выдачи и поддержки сертификатов (Certificate Authority, CA), –служба регистрации виртуальных организаций и пользователей, –служба управления виртуальными организациями и выдачи proxy-сертификатов (Virtual Organization Membership Service, VOMS), –служба продления действия прокси-сертификата (MyProxy Service, MP); подсистема протоколирования (Logging and Bookkeeping, LB) –служба отслеживания статуса выполняемых заданий, подсистема учета (Accounting Subsystem, AS) –служба учета использования грид-ресурсов.

Middleware structure Applications have access both to Higher- level Grid Services and to Foundation Grid Middleware Higher-Level Grid Services are supposed to help the users building their computing infrastructure but should not be mandatory Foundation Grid Middleware will be deployed on the infrastructure –Must be complete and robust –Should allow interoperation with other major grid infrastructures –Should not assume the use of Higher-Level Grid Services Foundation Grid Middleware Security model and infrastructure Computing (CE) and Storage Elements (SE) Accounting Information and Monitoring Higher-Level Grid Services Workload Management Replica Management Visualization Workflow Grid Economies... Applications Overview paper

Grid Middleware Technologies Globus – Argonne National Lab and ISI Gridbus – University of Melbourne Unicore – European Project (Germany…) Legion – University of Virginia

Workload ManagementData Management Security Information & Monitoring Access Grid Middleware Services (gLite) API Computing Element Workload Management Metadata Catalog Storage Element Data Movement File & Replica Catalog Authorization Authentication Information & Monitoring Application Monitoring Auditing Job Provenance Package Manager CLI Accounting Site Proxy Overview paper

Middleware: Globus ToolKit. Является базисом для построения грид и приложений Включает средства разработки служб в соответствии с группой стандартов WS, среду их функционирования, а также базовый набор служб: управления заданиями(Execution Management), управления распределенными данными (Data Management), информационного обслуживания (Information Services), безопасности (Grid Security Infrastructure (GSI). Globus Toolkit: v последний full-WSRF релиз v текущий релиз (Pre-WS)

Globus Toolkit Services (GT2) Security (GSI – Grid Security Infrastructure ) –PKI-based Security (Authentication) Service Job submission and management (GRAM – Grid Resource Allocation and Management protocol ) –Uniform Job Submission Information services (MDS – Meta Directory Service ) –LDAP-based Information Service Remote file management (GASS – Grid Access Data Services ) –Remote Storage Access Service Remote Data Catalogue and Management Tools (+-)

Globus Toolkit (GT2)

Working Globus Toolkit Globus Security Infrastructure Job Manager GRAM client API calls to request resource allocation and process creation. MDS client API calls to locate resources Query current status of resource Create RSL Library Parse Request Allocate & create processes Process Monitor & control Site boundary ClientMDS: Grid Index Info Server Gatekeeper MDS: Grid Resource Info Server Local Resource Manager MDS client API calls to get resource info GRAM client API state change callbacks

Example:Secure Remote Startup in Globus key cert gatekeeperclient 1. Exchange certificates, authenticate, delegate 2. Check gridmap file 3. Lookup service 4. Run service program (e.g. jobmanager) jobmanager key cert map 4. services 3.

GRAM LSFCondorNQE Application RSL Simple ground RSL Information Service Local resource managers RSL specialization Broker Ground RSL Co-allocator Queries & Info Resource Management Architecture RSL – Resource Specification Language

A Model Architecture for Data Grids Metadata Catalog Replica Catalog Tape Library Disk Cache Attribute Specification Logical Collection and Logical File Name Disk ArrayDisk Cache Application Replica Selection Multiple Locations NWS Selected Replica GridFTP Control Channel Performance Information & Predictions Replica Location 1Replica Location 2Replica Location 3 MDS GridFTP Data Channel

Non-WS Components Pre-WS Authentication Authorization GridFTP C Common Libraries Globus Toolkit version 2 (GT2) Grid Resource Alloc. Mgmt (GRAM) Monitoring & Discovery (MDS) Web Services Components Data Mgmt Security Common Runtime Execution Mgmt Info Services

Web Services Components Non-WS Components Pre-WS Authentication Authorization GridFTP C Common Libraries WS Authentication Authorization Reliable File Transfer Data Access & Integration Grid Resource Alloc. Mgmt (WS GRAM) MDS3 Java WS Core Community Authorization Replica Location eXtensible IO (XIO) Globus Toolkit version 3 (GT3) Grid Resource Alloc. Mgmt (GRAM) Monitoring & Discovery (MDS) Data Mgmt Security Common Runtime Execution Mgmt Info Services

Web Services Components Non-WS Components Pre-WS Authentication Authorization GridFTP Pre-WS Grid Resource Alloc. & Mgmt Pre-WS Monitoring & Discovery C Common Libraries Authentication Authorization Reliable File Transfer Data Access & Integration Grid Resource Allocation & Management Index Java WS Core Community Authorization Replica Location eXtensible IO (XIO) Credential Mgmt Community Scheduling Framework Delegation Globus Toolkit version 4 (GT4) Data Replication Trigger C WS Core Python WS Core WebMDS Workspace Management Grid Telecontrol Protocol Contrib/ Preview Core Depre- cated Data Mgmt Security Common Runtime Execution Mgmt Info Services

Globus Toolkit 4

Grid and Web Services: Convergence Grid Web Определение WSRF (Web Services Resource Framework) означает сближение и развитие Grid и Web-технологий на общих базовых принципах WSRF Started far apart in apps & tech OGSI GT2 GT1 HTTP WSDL, WS-* WSDL 2 Have been converging

Key Concepts for GT4 Open Grid Services Architecture (OGSA) Web Services Resource Framework: –WSRF is the core of GT4 Web Services: –OGSA, WSRF, and GT4 are based on standard Web Services technologies such as SOAP and WSDL. –Ned to be familiar with the Web Services architecture and languages. The GT4 Architecture: –Based on WS-Resources and Web Services, and grid computing Java & XML: –to use GT4, you need to be able to program in Java, and to understand basic XML. Globus OGSA Web Services

Common features of computational Grid systems GFD.30The Open Grid Services Architecture, Version 1.0

Web-сервисы Используют спецификации: XML - язык разметки для того, чтобы обмениваться структурированными данными; SOAP (Simple Object Access Protocol)– основанный на XML протокол для спецификации содержания сообщений,служебной информации («конверт сообщения») и информации необходимой для правильной обработки сообщений; WSDL (Web Services Description Language) –основанный на XML, используемый для описания атрибутов, интерфейсов и других свойств веб-сервиса. Документ WSDL используется потенциальным клиентом, чтобы узнать о сервисе и способах обращения к нему. Веб-сервисы (или веб-службы) – это распределенные программные компоненты, идентифицируемые своим сетевым адресом, интерфейс которых описан на WSDL (язык описания веб-сервисов)

WS Components/Arch HTTP Server - Apache HTTP Server Application Server - Tomcat SOAP Engine - Apache AXIS Web Service - Any (you write this) Software stack used by GT4 WSRF Implementation Application rpcrouter SOAP HTTP TCP/IP Infrastructure (Data link) Application (servlet) Web server SOAP HTTP TCP/IP Infrastructure (Data link)

Open Grid Services Architecture (OGSA) Standard interfaces & behaviors for distributed system management Service orientation: Grid Services, in analogy to Web Services –Web services: persistent –Grid services: transient (issues: e.g., how are they discovered?) –Extending WSDL to GSDL (work with W3C) Standard service specifications –Resource management –Data management –Workflow –Security –etc. Gives interoperability and true modularity of Grid structures

OGSA: definition of Grid Serviсe OGSA определяет грид-сервис как веб-сервис, который предоставляет набор интерфейсов, определенных на языке WSDL, и следует специфическим конвенциям для их создания и композиции сложных распределенных систем. Интерфейсы определяют способы обнаружения, динамического создания службы, управления жизненным циклом, уведомления, управление Конвенции определяют способ именования и возможность модернизации грид-служб Грид-сервис это (возможно, временная) служба на базе грид-протоколов, описанная посредством WSDL

Grid Infrastructure:Open Standards Web services (WSDL, SOAP, WS-Security, WS-ReliableMessaging, …) WS-Resource Framework & WS-Notification (Resource identity, lifetime, inspection, subscription, …) WS-Agreement (Agreement negotiation) WS Distributed Management (Lifecycle, monitoring, …) Applications of the framework (Compute, network, storage provisioning, job reservation & submission, data management, application service QoS, …)

Grid-протоколы (GSI, GRAM, …) позволяют совместное использование ресурсов в рамках виртуальной организации; ToolKit обеспечивает стандартную реализацию базовых сервисов ( = Globus Toolkit services) User Gatekeeper (factory) Reliable remote invocation GRAM (Grid Resource Allocation & Management) Reporter (registry + discovery) User process #2 Proxy #2 Create process Register Working Globus Toolkit l Protocols (and APIs) enable other tools and services for membership, discovery, data mgmt, workflow, … Other service (e.g. GridFTP) Other GSI- authenticated remote service requests GIIS: Grid Information Index Server (discovery) MDS-2 (Monitor./Discov. Svc.) Soft state registration; enquiry User process #1 Proxy Authenticate & create proxy credential GSI (Grid Security Infrastruc-ture) Picture from I.Foster,C.Kesselman THE ANATOMY OF THE GRID, 2001