EGEE is a project funded by the European Union under contract IST-2003-508833 Introduction to the EGEE project Yu.Ryabov (PNPI, Gatchina, PCB member) www.eu-egee.org. - презентация

1 EGEE is a project funded by the European Union under contract IST Introduction to the EGEE project Yu.Ryabov (PNPI, Gatchina, PCB member) NA3 Induction Courses in PNPI, Gatchina September 10, 2004 В лекции частично использованы материалы курсов в CERN (17 мая) и Дубне (28июня)

2 План лекции Основные цели и задачи проекта Функциональность проекта EGEE Организационная структура проекта Основные направления работ в проекте EGEE партнеры Роль CERN в EGEE LCG : LHC computing GRID Россия в проекте EGEE О консорциуме RDIG-EGEE

3 Основные цели и задачи проекта EGEE Сохранить научно-технические результаты предыдущих GRID- проектов Не отстать от US и Japan во внедрении GRID технологии в Европе Сохранить технические и кадровые ресурсы от предыдущей EU программы (FP5) Обеспечить развитие от R&D GRID ПО и тестовых структур к индустриальному ПО и созданию высокопроизводительной продукционной GRID инфраструктуры Гармонизировать национальные и интернациональные активности в развитии GRID технологии в рамках этого проекта Привлекать пользователей из различных сфер деятельности и обеспечить им высокий уровень обучения и поддержки

4 Основные цели Основная цель проекта EGEE - объединить национальные, региональные и тематические грид-разработки в единую цельную грид-инфраструктуру для поддержки научных исследований. Предоставить исследователям круглосуточный доступ к вычислительным ресурсам независимо от их географического положения. Пользоваться инфраструктурой смогут сообщества исследователей, которые готовы объединить свои собственные вычислительные мощности и согласны с принципами общего доступа. Проект поддерживают финансирующие учреждения ЕС, но предназначен он для работы во всем мире. Значительные средства поступают от США, России и других участников проекта, не входящих в ЕС.

5 Функциональность проекта EGEE Упрощенный доступ. EGEE уменьшит издержки, связанные с разнообразием не связанных между собой систем учета пользователей. Пользователи смогут объединяться в виртуальные организации с доступом к grid – инфраструктуре, содержащей нужные каждому пользователю рабочие ресурсы. Выполнение вычислений по требованию. Эффективно распределяя ресурсы, grid-технологии значительно сокращает время ожидания доступа к ним. Географически распределенный доступ. Инфраструктура будет доступна отовсюду, где обеспечена хороший доступ к сети. Ресурсы становятся широко доступными. Исключительно большой объем ресурсов. Благодаря согласованности ресурсов и пользовательских групп, в прикладной работе в рамках EGEE будут доступны ресурсы таких объёмов, какие не может предоставить ни один компьютерный центр. Совместное использование программного обеспечения и данных. Благодаря единой структуре вычислительных средств, в EGEE пользователям будет легко совместно использовать программное обеспечение и базы данных и разрабатывать программное обеспечение. Высокий уровень поддержки приложений. Компетентность всех участников EGEE обеспечит тщательную, всестороннюю поддержку всех основных приложений.

6 EGEE Timeline EU budget of 32M over 2 years April 2004: start project

7 Management structure assists advises reports to CBCollaboration Board EACExternal Advisory Committee EUEuropean Union PDProject Director PEBProject Executive Board PMBProject management Board POProject Office AFM Administrative Federation Meeting PMB PD PEB EU PO EAC CB recommends to interacts with Activities (NA1-5, SA1-2, JRA1-4) report to AFM assists

8 EGEE Project Structure JRA1: Middleware Engineering and Integration JRA2: Quality Assurance JRA3: Security JRA4: Network Services Development SA1: Grid Operations, Support and Management SA2: Network Resource Provision NA1: Management NA2: Dissemination and Outreach NA3: User Training and Education NA4: Application Identification and Support NA5: Policy and International Cooperation 24% Joint Research28% Networking 48% Services Emphasis in EGEE is on operating a production grid and supporting the end- users 32 Million Euros EU funding over 2 years starting 1 st April 2004

9 Активности в EGEE NA2 - Dissemination and Outreach Operate the dissemination Web site, support mail lists and Web base collaborative tools, organize presentations, visits, 2 project conferences and showcases per year, publication of dissemination material. NA3 – User Training and Induction Produce training and course material. Deliver on-site courses and support distributed courses in the project. NA4 – Application Identification and support Support HEP and Bio pilot applications. Identify early users. Introduction of new user communities. Definition of common application interfaces and tools. Creation of an Industry Forum. SA1 – European Grid Support, Operation and Management Core infrastructure services. Grid monitoring and control. Middleware deployment and resource induction. Resource and user support. Grid management. SA2 – Network Resource Provision Definition in collaboration with RN Geant,...

10 EGEE Partner Federations 11 Federations, 27 Countries, 70 Organizations

11 Роль ЦЕРНа в проекте EGEE Эксперименты на LHC предполагают беспрецедентное использование компьютеров LHC Computing GRID (LCG проект) и GRID технологии являются ответственностью CERN По этим принципам CERN является головным партнером в EGEE проекте

12 LHC Computing Grid Project (LCG) Основной задачей проекта LCG является создание глобальной инфраструктуры региональных центров для обработки, хранения и анализа данных физических экспериментов LHC. Новейшие технологии GRID являются основой построения этой инфраструктуры. Проект LCG осуществляется в две фазы. 1 фаза ( гг.) - создание прототипа и разработка проекта системы (LCG TDR). 2 фаза ( гг.) - создание инфраструктуры LCG, готовой к обработке, хранению и анализу данных на момент начала работы ускорителя в 2007 году.

13 EGEE и другие GRID - проекты Какое отношение имеет EGEE к существующим гридам и исследовательским сетям? Инфраструктура EGEE будет построена на исследовательской сети Европейского союза (ЕС) GEANT и в ней будет использован опыт, накопленный в таких проектах, как DataGrid, Datatag, Crossgrid, поддержанных ЕС, в национальных проектах, например, e-Science (Британия), INFN Grid, Nordugrid и американском Trillium. Она обеспечит возможность совместной работы с другими системами во всём мире, включая США и Азию, что будет способствовать установлению всемирной GRID-инфраструктуры.

14 Использование результатов Масштаб применения р-тов EGEE:академические(открыто для индустриальных и социоэкономических Главный критерий успеха проекта - кол-во пользователей и кол-во областей применения: 5000 пользователей (3000 после 2-ух лет), мин. 5 областей применения Две области выбраны для пилотного использования результатов проекта: ФИЗИКА БИОИНФОРМАТИКА

15 Участие России в проекте EGEE В целях обеспечения полномасштабного участия России в этом проекте был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности. Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации Россия (Russia).

16 Russian Data Intensive GRID (RDIG) Consortium EGEE Federation ИФВЭ (Институт физики высоких энергий, Протвино) – Петухов В.А. ИМПБ (Институт математических проблем биологии, Пущино) – Лахно В.Д. ИТЭФ (Институт теоретической и экспериментальной физики) – Гаврилов В.Б. ОИЯИ (Объединенный институт ядерных исследований, Дубна) – Кореньков В.В. ИПМ (Институт прикладной математики) – Корягин Д.А. ПИЯФ (Петербургский институт ядерной физики, Гатчина) – Рябов Ю.Ф. ИАЭ (Институт атомной энергии) – Солдатов А.А. НИИЯФ МГУ (Научно-исследовательский институт ядерной физики МГУ) – Ильин В.А.

17 Russian Contribution to EGEE RDIG as an operational and functional part of EGEE infrastructure (CIC, ROC, RC). Activities: SA1 - European Grid Operations, Support and Management (A.Kryukov, Y.Lazin) SA2 – Network Resource Provision (V.Dobrecov) NA2 – Dissemination and Outreach (T.Strizh) NA3 – User Training and Induction (E.Slabospitskaya) NA4 - Application Identification and Support (E.Tikhonenko)

18 Российский региональный центр : the DataGrid cloud PNPI IHEP RRC KI ITEP JINR SINP MSU RRC-LHC LCG Tier1/Tier2 cloud CERN … Gbits/s FZK Regional connectivity: cloud backbone – Gbits/s to labs – 100–1000 Mbit/s Collaborative centers Tier2 cluster GRID access

19 Useful References: GLOBAL GRID FORUM: // European GRID FORUM: // PPDG: // IVDGL: // EU DATAGRID: // DATATAG: // GLOBUS: // GriPhyn: // CrossGRID: // Condor: // TERAGRID: // EGEE: // LCG: //lcg.web.cern.ch/LCG/ EGEE-RDIG: // - представлены материалы (слайды этих и других курсов)

20 Портал Для информационной поддержки данного проекта разрабатывается портал Данная система представляет собой комплекс web сайтов и баз данных для создания и поддержки единого информационного пространства в рамках проекта EGEE RDIG. Портал предоставляет возможность разграничения информации по уровню доступа (информационная часть) и систему управления материалами и ролями. В информационной часть предоставляет данные структурированные по следующим разделам: – мероприятия (встречи, семинары), календарь событий, репозитарий документов, конференции, разделы с описаниями задач организаций, в которых принимает участие Россия Система управления материалами и ролями предоставляет возможность управления пользователями, новостями, документами, календарем событий и листами рассылки. Пользовательский интерфейс информационной системы представляет собой набор динамических и статических гипертекстовых документов. Часть системы поддерживается авторизованными персонами через специальные интерфейсы. Проект реализуется на web сервере Apache 2 с использованием СУБД Oracle и php – Personal Home Page.