GRID для ФИЗИКИ ВЫСОКИХ ЭНЕРГИЙ Ю.Ф.Рябов Петербургский институт ядерной физики им.Б.П.Константинова РАН (ПИЯФ РАН).

12 декабря 2006 г. Содержание Oб экспериментах физики высоких энергий О ЦЕРНе(CERN) и ускорителе БАК(LHC) Эксперименты на БАК и объемы данных в них Модель обработки экспериментальных данных с БАК Проект БАК ГРИД (LCG) Проект построения всемирной научной ГРИД- инфраструктуры (проект EGEE/LCG) Российский ГРИД для интенсивных вычислений (RDIG) Академический ГРИД в Санкт-Петербурге

12 декабря 2006 г. Об экспериментах в ФВЭ Индустриальный подход к созданию установок Уникальность экспериментальной базы Масштабность экспериментов Дороговизна создания установок и проведения экспериментов Международный характер исследований Длительность работы экспериментальных установок Огромный объем экспериментальных данных Фундаментальность научных целей

12 декабря 2006 г. Научные цели экспериментов на Большом Андронном Коллайдере (БАК) Космологические цели Что такое масса? Что такое темная материя? Куда исчезла антиматерия? Какие открытия ожидают от экспериментов? Суперпартнеры (открытие суперсимметрии) - вероятность 50% (S.Hawking) Черные дыры (mini) - вероятность 5% (S.Hawking) Higgs Boson (новая частица в рамках стандартной модели)

12 декабря 2006 г. О ЦЕРНе ( CERN) Крупнейший в мире исследовательский центр по ФВЭ Работают представители ~500 университетов и институтов (штат~2500чел.,6500 визитеров из ~40 стран) Сделано много открытий и разработано много новых технологии, включая WWW. Расположен на границе Щвейцарии-Франции

12 декабря 2006 г. CERN Collaborators Europe: 267 institutes 4603 users Elsewhere: 208 institutes 1632 users LHC Computing uniting the computing resources of particle physicists in the world! CERN has over 6,000 users from ~500 institutes from around the world

12 декабря 2006 г. Большой адронный коллайдер (БАК)

12 декабря 2006 г. The ATLAS Experiment View of CERN ATLAS ATLAS A ToroidaL ApparatuS for LHC

12 декабря 2006 г. Диаметр25 м Длина 46 м Вес 7000 тонн Участники создания: 150 институтов и университетов из 34 стран Детектор ATLAS

12 декабря 2006 г. online system multi-level trigger filter out background reduce data volume level 1 - special hardware 40 MHz (40 TB/sec) level 2 - embedded processors level 3 - PCs 75 KHz (75 GB/sec) 5 KHz (5 GB/sec) 100 Hz (100 MB/sec) data recording & offline analysis

12 декабря 2006 г. Данные БАК столкновений в секунду После фильтрации, остаётся только 100 событий в секунду Объём оцифрованных данных для одного события ~ 1Мб За год необходимо записать событий = 10 Петабайт данных в год 1 Мегабайт (1MB) Цифровая фотография 1 Гигабайт (1GB) = 1000MB DVD фильм 1 Терабайт (1TB) = 1000GB Объём всех книг, изданных за год в мире 1 Петабайт (1PB) = 1000TB Производит за год один эксперимент БАК 1 Экзобайт (1EB) = 1000 PB Объём информации, которую производит за год всё человечество CMSLHCbATLASALICE

12 декабря 2006 г. Необходимость ГРИД для БАК Объём получаемых данных LHC соответствует 20 миллионам записанных CD дисков в год. Где их хранить? Анализ данных LHC потребует вычислительных мощностей, эквивалентных мощности самых современных процессоров. Где их взять? Ресурсы ЦЕРН уже сейчас составляют более х процессорных ПК и 1 Пб памяти на дисках и на лентах. Но этого мало!!! Выход – объединение вычислительных ресурсов физиков всего мира Конкорд (15 Км) Воздушный шар (30 Км) Стопка CD дисков с данными БАК за 1 год (~ 20 Км) Монблан (4.8 Км)

12 декабря 2006 г. Специфика работы с данными в ФВЭ Независимость событий,что позволяет легко обрабатывать данные параллельно (без MPI между программами обработки событий); Результаты необходимо объединять только на финальной стадии обработки Идеально подходят для обработки слабо связанные параллельные вычислительные структуры.

12 декабря 2006 г. Event Processing Data Flow Raw Data Objects (RDO) Detector Reconstruction Event Summary Data (ESD) Combined Reconstruction Analysis Object Data (AOD) Detector Output. Simulation Output - Tracks, Segments - ….. - …. Analysis Objects: - Electron, Photon, - Muon,…., - …. User Analysis Size/event 100 KBytes 500 Kbytes (target for stable data taking) ~3 MBytes

12 декабря 2006 г. interactive physics analysis batch physics analysis batch physics analysis detector event summary data raw data event processing event processing event simulation event simulation analysis objects (extracted by physics topic) event filter (selection,..) event filter (selection,..) processed data Обработка и анализ данных

12 декабря 2006 г. Online system Tier 0 Tier 1 Tier 2 Tier 3 Offline farm Церн вычисл.центр. Tier2 Center InstituteB InstituteA... workstation Regional Center Regional Center Regional Center recorded data Модель обработки данных

12 декабря 2006 г. RAL IN2P3 BNL FZK CNAF PIC ICEPP FNAL LHC Computing Model (simplified!!) Tier-0 – the accelerator centre Filter raw data Reconstruction summary data (ESD) Record raw data and ESD Distribute raw and ESD to Tier-1 Tier-1 – Permanent storage and management of raw, ESD, calibration data and databases grid-enabled data service Data-heavy analysis Re-processing raw ESD managed mass storage Tier-2 – Well-managed disk storage –grid- enabled Simulation End-user analysis – batch and interactive High performance parallel analysis ) USC NIKHEF Krakow CIEMAT Rome Taipei TRIUMF CSCS Legnaro UB IFCA IC MSU Prague Budapest Cambridge Tier-1 small centres Tier-2 desktops portables

12 декабря 2006 г. LHC Computing Grid Project (LCG) Основной задачей проекта LCG является создание глобальной инфраструктуры региональных центров для обработки, хранения и анализа данных физических экспериментов LHC. Новейшие технологии GRID являются основой построения этой инфраструктуры. Проект LCG осуществляется в две фазы. 1 фаза ( гг.) - создание прототипа и разработка проекта системы (LCG TDR). 2 фаза ( гг.) - создание инфраструктуры LCG, готовой к обработке, хранению и анализу данных на момент начала работы ускорителя в 2007 году.

12 декабря 2006 г. Топология сети для обработки данных с БАК

12 декабря 2006 г. Основные цели проекта EGEE (Enable Grid for E-sciencE) -Основная цель проекта EGEE - объединить национальные, региональные и тематические Grid-разработки в единую цельную Grid-инфраструктуру для поддержки научных исследований (в первую очередь ФВЭ и Биоинформатика) -Предоставить исследователям круглосуточный доступ к вычислительным ресурсам независимо от их географического положения. Пользоваться инфраструктурой смогут сообщества исследователей, которые готовы объединить свои собственные вычислительные мощности и согласны с принципами общего доступа. -Проект поддерживают финансирующие учреждения ЕС, но предназначен он для работы во всем мире. Значительные средства поступают от США, России и других участников проекта, не входящих в ЕС.

12 декабря 2006 г. Активности в EGEE NA2 –распространение информации WEB сайты, e-почта, презентации, визиты, конференции, публикации,... NA3 – Обучение Подготовка обучающих материалов. Проведение курсов NA4 – применение и поддержка Grig-структуры в приложениях Поддержка ФВЭ и Биологии в пилотном использовании. Привлечение пользователей. Определение общих интерфейсов и инструментария.. SA1 – Поддержка функционирования Grid инфраструктуры Мониторинг и управление Grid структурой. Распространение Grid ПО и включение новых выч. ресурсов. Поддержка пользователей. SA2 – Обеспечение сетевыми ресурсами

12 декабря 2006 г. EGEE-II: Expertise & Resources More than 90 partners 32 countries 12 federations Major and national Grid projects in Europe, USA, Asia + 27 countries through related projects: BalticGrid SEE-GRID EUMedGrid EUChinaGrid EELA

12 декабря 2006 г. Проект EGEE (Enable Grid for E-sciencE) EGEE/LCG-2 грид: 160 центров, 36 стран >15,000 процессоров, ~5 PB памяти Другие национальные и региональные гриды: ~60 центров, ~6,000 процессоров Страны - поставщики ресурсов Страны, готовые вступить

12 декабря 2006 г. Распределение CPU time в EGEE/LCG по VO

12 декабря 2006 г. Управление ГРИД EGEE/LCG Операционный центр управления (OMС) -ЦЕРН - о бщая координация Центры базовой инфраструктуры (CIC) - 5 центров (Великобритания, Франция, ЦЕРН, Италия, Россия) -обеспечение постоянной (24x7) работы базовых грид-служб, мониторинг системы; -реализация и контроль за выполнением правил, выработанных OMS -обеспечение поддержки узлов 2-го уровня Региональные операционные центры (ROC) ~ 11 центров -поддержка пользователей и администраторов ресурсов -координация региональных ресурсов

12 декабря 2006 г. Ресурсные центры CIC RC ROC RC ROC RC ROC RC ROC OMC RC = Resource Centre

12 декабря 2006 г. Уровни программных средств EGEE/LCG - Прикладное программное обеспечение для ВО АTLAS, CMS, ALICE, LHC-b и др. ВО - Программное обеспечение промежуточного уровня (middleware - LCG-2, gLite) - Базовое программное обеспечение Scientific Linux

12 декабря 2006 г. Состав программных подсистем EGEE/LCG (промежуточный уровень) Управление заданиями : - выделение ресурсов, исходя из требований пользователей; - расписание выполнения задания; - трэк статуса задания,…. Управление данными : - чтение/запись файлов, репликация на SE, ведение каталогов, GridFTP,…. Информационная система: - Грид ресурсы и их статус, динамика использования,…

12 декабря 2006 г. Состав программных подсистем EGEE/LCG(промежуточный уровень) Мониторинг: тестирование состояния ресурсов; визуализация и хранение статуса ресурсов Учет (accounting): логи по использованию ресурсов; трассы прохождения заданий пользователей,..

12 декабря 2006 г. Мониторинг узлов EGEE/LCG

12 декабря 2006 г. Участие России в проекте EGEE В целях обеспечения полномасштабного участия России в этом проекте был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности. Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации Россия (Russia). Главной задачей РДИГ является участие в обработке данных с Большого Андронного Коллайдера(БАК)

12 декабря 2006 г. Russian Data Intensive GRID (RDIG) Consortium - EGEE Federation ИФВЭ (Институт физики высоких энергий, Протвино) ИМПБ РАН (Институт математических проблем биологии, Пущино) ИТЭФ (Институт теоретической и экспериментальной физики) ОИЯИ (Объединенный институт ядерных исследований, Дубна) ИПМ РАН (Институт прикладной математики) ПИЯФ РАН (Петербургский институт ядерной физики, Гатчина) РНЦ КИ (Российский научный центр «Курчатовский институт») НИИЯФ МГУ (Научно-исследовательский институт ядерной физики МГУ) СПбГУ (Санкт-Петербургский государственный университет) НГУ (Новгородский государственный университет)

12 декабря 2006 г. Российский региональный центр: the DataGrid cloud PNPI ITEP IHEP RRC KI SPbSU JINR SINP MSU RRC-LHC LCG Tier1/Tier2 cloud CERN … Gbits/s FZK Regional connectivity: cloud backbone – Gbits/s to labs – 100–1000 Mbit/s Collaborative centers Tier2 cluster GRID access

12 декабря 2006 г. Распределение CPU time по регионам

12 декабря 2006 г. Активность RDIG в EGEE/LCG за 2006г.

12 декабря 2006 г. Активность RDIG в EGEE/LCG за 2006г.

12 декабря 2006 г. Направление работ по проекту EGEE/LCG в ПИЯФ РАН Обеспечение работы кластера в Грид-структуре EGEE/LCG (в настоящее время 60 процессоров, в конце декабря пр.) Тестирование g-Lite (stress- tests) Поддержка прикладного ПО всех (4-х) БАК экспериментов Обеспечение работы в ВО nw_ru для обучения (работа в Грид) и счета вне коллабораций

12 декабря 2006 г. Карта сети РОКСОН

12 декабря 2006 г. СПИИРАН Узел Академический ПИЯФ РАН Узел Центральный 1 (АО Ленэнерго) Внешние каналы Узел Центральный 2 (Боровая, д 57) SPB-IX ФТИ Транспортная среда для организации распределённых вычислений WDM VPN

12 декабря 2006 г. Спасибо за внимание