ФИАН, Enabling Grids for E-sciencE Grid – вычисления через Интернет В.А. Ильин (НИИЯФ МГУ) Марковские чтения, ФИАН, 12 мая Что есть Grid? 2.Немного о networking 3.Grid сейчас – EGEE … 4.LHC Computing Grid (LCG) где и как Россия?

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 2 Некоторые стартовые замечания … Grid – не программирование/алгоритмы…, а организация ресурсов, пользователей и ПО (middleware) Grid – инфраструктура ДЛЯ приложений (одна для всех и разных) Grid – сейчас это большая политика в ИТ, к счастью, не только …

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 3 Было и есть Уже есть и будет - ГРИД Службы

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 4 Базовые службы Грид поиска сервисов Discovery Services регистрации сервисов Registry Services управления именами Name Space Management Services аутентификации Authentication Services авторизации Authorization Servcies ресурсов Resource Services резервирования Reservation Services брокера запросов Brokering Services планирования заданий Scheduling services балансировки загрузки Load Balancing services отказоустойчивости Fault Tolerance Services событий и оповещений Event and Notification Services протоколирования Loggin Services мониторинга Instrumental and Monitoring биллинга Accounting Services кеширования и репликаций Data Caches and Data Replication Services поиска метаданных Metadata Search Services транзакций Transaction Services администрирования Administration Services

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 5 Вопросы безопасности (OGSA Security Architecture)

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 6 Безопасность Грид Обеспечение конфиденциальности передаваемой информации Обеспечение целостности передаваемой информации (зашита от модификации и искажения) Обеспечение подтверждения подлинности объекта доступа к ресурсам Обеспечение аутентификации субъектов доступа к ресурсам Система опирается на использовании цифровых сертификатов (цифровых удостоверений)

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 7 Некоторые оргвопросы

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 8 Экскурсия в будущее …

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 9 Экспоненциальный рост Быстродействие сетей и компьютеров –Скорость компьютеров удваивается каждые 18 месяцев –Скорости сети удваиваются каждые 9 месяцев –Разница = порядок величины за 5 лет 1986 до 2000 –Компьютеры: x 500 –Сети: x 340, до 2010 –Компьютеры: x 60 –Сети: x 4000

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 10 Bandwidth Growth of Intl HENP Networks (US-CERN Example) Rate of Progress >> Moores Law. (US-CERN Example) 9.6 kbps Analog (1985) kbps Digital ( ) [X 7 – 27] 1.5 Mbps Shared (1990-3; IBM) [X 160] 2 -4 Mbps ( ) [X ] Mbps ( ) [X 1.2k-2k] Mbps (2001-2) [X 16k – 32k] 622 Mbps (2002-3) [X 65k] 2.5 Gbps (2003-4) [X 250k] 10 Gbps (2005) [X 1M] A factor of ~1M over a period of (a factor of ~5k during ) HENP has become a leading applications driver, and also a co-developer of global networks;

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 11 HENP Major Links Roadmap: Bandwidth in Gbps Continuing the Trend: ~1000X Bandwidth Growth Per Decade

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 12 Note 10 Gbps Connections to Poland, Czech Republic, Hungary Pan-European Multi-Gigabit Backbone (33 Countries) January 2004 Planning Underway for GEANT2 (GN2), Multi-Lambda Backbone, started in 2005

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 13 GLORIAD: Global Optical Ring (US-Ru-Cn) Little Gloriad (OC3) Launched January 2005 Also Important for Intra-Russia Connectivity

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 14 SCIC Monitoring WG - Throughput Improvements Bandwidth of TCP < MSS/(RTT*Sqrt(Loss)) (1) 60% annual improvement Factor ~100/10 yr Progress: but Digital Divide is Mostly Maintained Some Regions ~5-10 Years Behind SE Europe and Parts of Asia May be Catching Up (Slowly); India Ever- Farther Behind

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 15 Networks, Grids and HENP Network backbones and major links used by HENP experiments are advancing rapidly To the G range in < 2 years; much faster than Moores Law HENP is learning to use long distance 10 Gbps networks effectively 2003 Developments: to 5.6+ Gbps flows over 11,000 km Transition to a community-owned or leased fibers for R&E has begun in some areas [us, ca, nl, pl, cz, sk] or is considered [de, ro; IEEAF] End-to-end Capability is Needed, to Reach the Physics Groups: r Removing Regional, Last Mile, Local Bottlenecks and Compromises in Network Quality are now On the critical path, in all world regions Digital Divide: Network improvements are especially needed in SE Europe, Latin America, China, Russia, Much of Asia, Africa Work in Concert with Internet2, Terena, APAN, AMPATH; DataTAG, the Grid projects and the Global Grid Forum ICFA recomendations:

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 16 Connectivity with CERN International links for Russian science today: 155 Mbps Moscow-Stockholm (GEANT) operated by RBNet 2.5 Gbps Moscow-Perersburg-Stockholm operated by RUNNet/RBNet - 1 Gbps to NORDUNet - (GLORIAD) 622 Mbps to Amsterdam (NETHERLight), then to Chicago (STARLight), to CERN (via SURFNet links), commodity (AMS-IX), … In April the GEANT2 PoP in Moscow will be opened (FP6). For specific needs for LHC community in Russia the link 622 Mbps Moscow (M9-IX) – Amsterdam (SURFNet) – CERN will be available, e.g. for the October LCG Service Challenge.

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 17 Moscow 1 Gbps (ITEP, KI, SINP, …), sometimes last mile problem appears IHEP 100 Mbps fiber-optic ( good plans for 1Gbps ) JINR 45 Mbps ( 1 Gbps in Q ) BINP dedicated 45 Mbps GLORIAD (going to Gbpss) INR RAS 2 Mbps+2x4Mbps(m/w) PNPI 2 Mbps ( new o/f link to St-Peterburg is under developing) REGIONAL CONNECTIVITY Региональные линии связи

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 18 Site Запуск заданий в грид UI RB CE SE WN BDII RLS FS CE SE WN FS UI – Интерфейс пользователя RB – Брокер ресурсов BDII – Информационная база данных по ресурсам RLS – Сервер реплик файлов CE – Компьютерный элемент SE – Элемент хранения данных WN – рабочая нода FS – файловый сервер MyProxy – сервер продление действия сертификата пользователя

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 19 Site UI RB CE SE WN BDII RLS FS Site CE SE WN FS UI – Интерфейс пользователя RB – Брокер ресурсов BDII – Информационная база данных по ресурсам RLS – Сервер реплик файлов CE – Компьютерный элемент SE – Элемент хранения данных WN – рабочая нода FS – файловый сервер Запуск заданий в грид

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 20 Site UI RB CE SE WN BDII RLS FS Site CE SE WN FS UI – Интерфейс пользователя RB – Брокер ресурсов BDII – Информационная база данных по ресурсам RLS – Сервер реплик файлов CE – Компьютерный элемент SE – Элемент хранения данных WN – рабочая нода FS – файловый сервер Запуск заданий в грид

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 21 Site UI RB CE SE WN BDII RLS FS Site CE SE WN FS UI – Интерфейс пользователя RB – Брокер ресурсов BDII – Информационная база данных по ресурсам RLS – Сервер реплик файлов CE – Компьютерный элемент SE – Элемент хранения данных WN – рабочая нода FS – файловый сервер Запуск заданий в грид

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 22 Site UI RB CE SE WN BDII RLS FS Site CE SE WN FS UI – Интерфейс пользователя RB – Брокер ресурсов BDII – Информационная база данных по ресурсам RLS – Сервер реплик файлов CE – Компьютерный элемент SE – Элемент хранения данных WN – рабочая нода FS – файловый сервер Запуск заданий в грид

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 23 Site UI RB CE SE WN BDII RLS FS Site CE SE WN FS UI – Интерфейс пользователя RB – Брокер ресурсов BDII – Информационная база данных по ресурсам RLS – Сервер реплик файлов CE – Компьютерный элемент SE – Элемент хранения данных WN – рабочая нода FS – файловый сервер Запуск заданий в грид

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 24 О проекте EGEE EGEE – Enabling Grids for E-sciencE создание глобальной инфраструктуры типа грид для распределенных вычислений и интенсивных операций с данными в научных исследованиях EGEE – проект EC FP6, апрель 2004 – апрель 2006 ( 2009), 70 команд из 30 стран (Европа, США, Россия), более 30 ассоциированных партнеров EGEE сейчас – более 1000 членов коллаборации, более 100 сайтов, ~10 прикладных областей, в инфраструктуре более CPU и более 5 Pbyte данных EGEE – создание грид инфраструктуры (SA1), Grid vs Networking (SA2), разработка/развитие MW (JRA): Globus2+Condor+EDG+…, поддержка грид-приложений (NA4), обучение (NA3), dissemination (NA2) 50% 25%

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 25 РДИГ РДИГ – Российский грид для интенсивных операций с данными 8 институтов-участников инфраструктурного проекта EGEE: ИФВЭ, ИТЭФ, РНЦ КИ, ИПМ РАН, ИМПБ РАН, ПИЯФ РАН, НИИЯФ МГУ, ОИЯИ РДИГ – национальная федерация в проекте EGEE (всего 12 федераций) РДИГ – создание российского сегмента глобальной инфраструктуры EGEE: участие в SA1 (все 8 институтов), SA2 (РНЦ КИ), NA2-NA4 РДИГ - полнофункциональная грид инфраструктура – российский грид для науки, также и как полигон для российских разработок в этой области. РДИГ сейчас – более 100 членов коллаборации, (~) 10 сайтов, 3 (+3) прикладных областей, в инфраструктуре более 300 CPU и ~ 50 Tbyte данных

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 26 LHC Computing Grid (LCG) – start in Sept 2003

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 27 Мониторинг EGEE (March 2005)

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 28 Operations (SA1, SA2) Management

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 29 Структурные элементы CIC – Core Infrastructure Center – Обеспечение функционирования базовых грид сервисов 24х7 НИИЯФ МГУ – Мониторинг и реагирование на черезвычайные ситуации ОИЯИ – Ведение учета ресурсов и выполненных работ (accounting) НИИЯФ МГУ, ОИЯИ – Управление и поддержка виртуальных организаций НИИЯФ МГУ – Поддержка безопасности инфраструктуры, CA РНЦ КИ – Сертификация (валидация) грид ПО ИПМ РАН ROC – Regional Operations Center –ИФВЭ, ИТЭФ (user support), ИПМБ РАН, ПИЯФ RC – Resource Center (8++) VO – Virtual Organization –физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb; PHOTON, … –биомед (ИМПБ РАН ++ EGEE) –российские VOs: e-Earth (геофизика - ИФЗ и ГЦ РАН), fusion (РНЦ КИ ++), химфизика (Черноголовка, МГУ ++), МГУгрид (НИВЦ, НИИЯФ, ин-т Белозерского, ++), ++

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 30 РДИГ инфраструктура ЦБГС (CIC) РОЦ (ROC) Регистрация ВО Регистрация пользователей Мониторинг Группа дежурных по EGEE Базовые сервисы RB BDII MyP RLS... CA Поддержка пользователей Поддержка РЦ Регистрация новых РЦ Ресурсные центры IHEP ITEP JINR SINP...

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 31 CIC-on-duty

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 32 Country providing resources Country anticipating joining In LCG-2: 113 sites, 30 countries >10,000 cpu ~5 PB storage Includes non-EGEE sites: 9 countries 18 sites Computing Resources: Feb 2005

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 33 The deployment process Key point – a certification process is essential –However, it is expensive (people, resources, time) –But, this is the only way to deliver production quality services –LCG-2 was built from a wide variety of research quality code Lots of good ideas, but little attention to the mundane needs of production … –Building a reliable distributed system is hard – Must plan for failure, must provide fail-over of services, etc –Integrating components from different projects is also difficult Lack of common standards for logging, error recovery, etc

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 34 Main Differences to LCG-2 Workload Management System works in push and pull mode Computing Element moving towards a VO based scheduler guarding the jobs of the VO (reduces load on GRAM) Distributed and re-factored file & replica catalogs Secure catalogs (based on user DN; VOMS certificates being integrated) Scheduled data transfers SRM based storage Information Services: R-GMA with improved API and registry replication Prototypes of additional services –Grid Access Service (GAS) –Package manager –DGAS based accounting system –Job provenance service Move towards Web Services

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 35 New MW: JINR, KIAM RAS, SINP MSU OGSA/Globus evaluation for data intensive applications Based on the experience with OGSA/GT3 evaluation in (T. Chen et al. OGSA Globus Tolkit Evaluation Activity at CERN, in Proc. of ACAT03, NIMA 534 (2004) 80) Release of the Globus Toolkit 4 is currently scheduled for April 29, 2005 www-unix.globus.org/toolkit/docs/development/4.0-drafts/GT4Facts Therefore: testing/evaluation of other OGSA/WS systems potentially interesting for LCG/EGEE CERN-INTAS meeting, 14 March 2005, CERN

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 36 Testing the OMII basic functionality (KIAM RAS+JINR): Applications must be pre-installed on the (Job Service) server; an execution of programs prepared on client side is impossible. No such core services like RB, IS, RC Management of (grid) accounts is not well scalable, not well suitable for management of large dynamic VOs Clients must be installed for each user separately (e.g., not under root) Failed to deploy a new custom service into the OMII container Report was submitted to JRA1 and OMII Support The OMII Job service was found to be robust in a test with 20 concurrent clients The maximal job submission rate ~ 6 jobs/min no bulk batch mode for job submission --> problem for submitting large number of jobs The Data Service was found to work stable with up to 5 concurrent clients and a file size of up to 10MB (no tests beyond this limits yet). CERN-INTAS meeting, 14 March 2005, CERN

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 37 (первая новая) VO в РДИГ RGStest – для тестирования РДИГ eEarth – задачи геофизики и космических исследований, –в частности, интерактивная картография и визуализация научных данных в Интернет = задачи хранения геофизической информации на параллельном кластере баз данных, интерактивного поиска событий в окружающей среде, и совместной интерактивной визуализации карт (есть более подробное описание задачи – кто будет анализировать?) –В рамках международных проектов Space Physics Interactive Data Resource (SPIDR) и Integrated Distributed Environmental Archive System (IDEAS), входящих в программу Президиума РАН «Электронная Земля» на базе Геофизического центра и Института физики Земли РАН –Руководитель VO eEarth - зав. лаб. ИФЗ и ГЦ РАН М.Н. Жижин. –Численность VO в течение ближайшего года ~ 10

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 38 Fusion Grid: Automatic data processing testbed Processing of data acquired on nuclear fusion facilities in RRC KI and other clusters. Experiments are cyclic: results of a discharge are immediately needed for next discharges planning but very peakly To be developed: Gate between DASSQL data storage and file clients (on cluster in this example) Grid-aware dispatcher

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 39 EGEE – инфраструктура общего назначения РДИГ (+EGEE) – грид инфраструктура для научных исследований приглашаем новые прикладные области (VO) РДИГ (+EGEE) – технологический полигон для – изучения существующего MW – тестирования/развития нового MW – новых архитектурных и инфраструктурных разработок приглашаем российских разработчиков MW

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 40 LHCb DCs in Russia K events, 1% contribution only one centre (ITEP) M events, 3% contribution (IHEP, ITEP, JINR, SINP MSU) M events, 5% contribution started to use LCG 2005…PNPI and INR RAS are joining… 2004 DC Phase I

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 41 Forward Proxy Rootd Proofd Grid/Root Authentication Grid Access Control Service TGrid UI/Queue UI Proofd StartupPROOFClient PROOFMaster Slave Registration/ Booking- DB Site PROOF SLAVE SERVERS Site A PROOF SLAVE SERVERS Site B LCGPROOFSteer Master Setup New Elements Grid Service Interfaces Grid File/Metadata Catalogue Client retrieves list of logical file (LFN + MSN) Booking Request with logical file names Standard Proof Session Slave ports mirrored on Master host Optional Site Gateway Master Client Grid-Middleware independend PROOF Setup Only outgoing connectivity ALICE: distributed event processing + analysis

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 42 LCG - Russian Tier2-Cluster Conception: Cluster of institutional computing centers with Tier2 functionality and summary resource between canonical Tier2-Tier1 figures for each experiment (ALICE, ATLAS, CMS, LHCb) Basic functions: analysis; simulations; users data support Host Tier1 in LCG infrastructure: CERN Participating institutes: Moscow ITEP, SINP MSU, RRC KI, LPI, MEPhI… Moscow region JINR, IHEP, INR RAS St.Petersburg PNPI RAS, St-PSU Novosibirsk BINP SB RAS

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 43 Russian Institutes to participate in the analysis of ALICE data NIstitutesTasks 1IHEP Direct, 0, jet & HBT correlations in pp, pA, AA 2INR RAS Multiplicity in forward detectors, background suppression in the vector meson production 3ITEP TOF particle identification, charm and beauty production 4JINR Direct, 0, jet & HBT correlations in pp, pA, AA. Resonance production, heavy quarqonia in pA. 5PNPI Vector meson in the ultra peripheral nuclear collisions 6RRC KI Direct, 0, jet & HBT correlations in pp, pA, AA. Deconfinement, disoriented chiral condensates 7SPbSU Collective properties of hot and dense matter in pp, pA and AA collisions (quark-gluon fusion, long range correlations, strange particles)

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 44 Computing model for ALICE in Russia Consortium of Russian sites: Tier2 RRC KI SINP MSU PNPI SPbSU IHEP JINR INR RAS ITEP associative

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 45 Heavy ions Quarkonia and Jet suppression (SINP MSU, LPI, HEPI Tbilisi) Global Observables (JINR, SINP MSU, HEPI Tbilisi) Coherent hard diffractive scattering of nuclei (ErPhI) Higgs qq qqH qqWW (ITEP, SINP MSU) qqH qqZZ (KIPT) (H ) + jets (SINP MSU) CP-violation at Higgs sector (SINP MSU) Diffractive Higgs production (IHEP, PNPI) Standard Model Single top production (IHEP, SINP MSU) Electroweak physics (JINR, GSTU, PHEP Minsk) B-physics (JINR) QCD (JINR, LPI, PNPI) High multiplexity events (LPI) Studies of Proton Diffractive Function (ErPhI) SUSY and beyond SM High p T muon pairs (JINR) High p T electrons (INR, IHEP) Search for SUSY particles (sleptons) (INR, IHEP) Search for heavy neutrino (INR) RDMS in Physics analysis

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 46 Итого: Концентрация ресурсов Концентрация усилий Распределение нагрузок Организация совместной работы коллективов НО…

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 47 Несите Ваши деньги в наш банк! Пока Вы спите, Ваш ресурс работает … Мы приумножим и сохраним Ваш ресурс … Вы отдали свой ресурс и думаете, что он все еще Ваш?

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 48 Технологическое обеспечение организации процессов управления ресурсами Мониторинг использования ресурсов Учет использования ресурсов Система взаимных расчетов (учета вкладов) Безопасность: o Идентификация o Разграничение доступа o Защита от неправомерных действий o Контроль за соблюдением регламентов … и еще кое-что … Вот тогда -

Enabling Grids for E-sciencE ФИАН, В.А. Ильин 49 Концентрация ресурсов Концентрация усилий Распределение нагрузок Организация совместной работы коллективов НО… Светлое будущее и всеобщее благоденствие!