"EGEE/WLCG Infrastructure: the Experience of Usage by ATLAS " N. GROMOVA, DUBNA 02.07.2008. - презентация

1 "EGEE/WLCG Infrastructure: the Experience of Usage by ATLAS " N. GROMOVA, DUBNA

2 TIER1 Normalised Total CPU time [K.SI2K.Hours] by VO ATLAS=32,007,621 44,27% ATLAS=32,007,621 44,27% ALICE=13,898,151 19,22% ALICE=13,898,151 19,22% CMS=22,767,399 31,49% CMS=22,767,399 31,49% LHCB=3,620, % LHCB=3,620, %

3 COUNTRY_T2 Normalised CPU time by COUNTRY_T2 and VO EGEE View -> Tier2 LHC VOs. July June 2008 Total 145,930,594(1K.SI2K.Hours) ALICE=21,039,699 ALICE=21,039, % 14.42% ATLAS=66,746,448 ATLAS=66,746, % CMS=54,314,709 CMS=54,314, % Lhcb =3,829,738 Lhcb =3,829, % Russian Fed. 8,938,242 Russian Fed. 8,938, %

4 RDIG sites RDIG sites

5 Russian Fed. (Tier2) Normalised CPU time by TIER2 and VO. RU-RDIG Site and VO. (Prodaction) LHC VOs. June June 2008 Total = 10,335,942 K.SI2K.Hours ITEP 22.77% JINR-LCG % RRC-KI 3.64% ru-Moscow-SINP-LCG2 3.78% RU-Protvino-IHEP 7.07% LHC VOs. January June ALICE 46.24% ATLAS 28.45% CMS 20.47% Lhcb 4.84%

6 ОИЯИ в ATLAS Grid ОИЯИ – участник ОИЯИ – участник Российского консорциума EGEE/RDIG Российского консорциума EGEE/RDIG В эксперименте ATLAS В эксперименте ATLAS RDIG играет роль Tier2 RDIG играет роль Tier2 центра моделирования центра моделирования

7 Database statistics JINR= 22% ATLAS= 28% Database statistics JINR= 22% ATLAS= 28%

8 JINR-LCG2 Normalised CPU time by VO. EGEE View -> Tier2-> JINR-LCG2 LHC VOs. January June 2008 Total 1,285,740 1K.SI2K.Hours Prodaction ALICE 617, % ALICE 617, % ATLAS 275, % ATLAS 275, % CMS 371, CMS 371, Lhcb 20, % Lhcb 20, %

9 Atlas disk usage Available disc space for ATLAS Available disc space for ATLAS Farm Last value Min Avg Max FIAN TB TB TB 1.62 TB FIAN TB TB TB 1.62 TB IHEP GB 0 B GB GB IHEP GB 0 B GB GB ITEP TB 0 B TB TB ITEP TB 0 B TB TB JINR TB 0 B TB TB JINR TB 0 B TB TB KIAM TB 1 KB TB TB KIAM TB 1 KB TB TB MEPhI GB 1 KB GB GB MEPhI GB 1 KB GB GB PNPI TB 1 KB TB TB PNPI TB 1 KB TB TB RRC-KI 51.3 TB 0 B TB TB RRC-KI 51.3 TB 0 B TB TB SPbSU TB 1 KB TB TB SPbSU TB 1 KB TB TB SINP TB 1 KB TB TB SINP TB 1 KB TB TB SINP GB 0 B TB 7.75 TB SINP GB 0 B TB 7.75 TB SINP TB 1 KB TB TB SINP TB 1 KB TB TB

10 Atlas disk usage Farm Last value Min Avg Max FIAN GB GB GB GB FIAN GB GB GB GB IHEP TB 0 B TB TB IHEP TB 0 B TB TB ITEP TB 0 B TB TB ITEP TB 0 B TB TB JINR TB 0 B 6.79 TB TB JINR TB 0 B 6.79 TB TB KIAM 45 KB 0 B GB GB KIAM 45 KB 0 B GB GB MEPhI GB 1 KB GB GB MEPhI GB 1 KB GB GB PNPI TB 1 KB 1.7 TB TB PNPI TB 1 KB 1.7 TB TB RRC-KI GB 0 B GB GB RRC-KI GB 0 B GB GB SPbSU 0 B 0 B KB 41 KB SPbSU 0 B 0 B KB 41 KB SINP GB 0 B TB 7.75 TB SINP GB 0 B TB 7.75 TB

11 ATLAS в ОИЯИ ОИЯИ участвует в создании 5 подсистем детектора (Tile, Lar, Muon, TRT, Tdaq) ОИЯИ участвует в создании 5 подсистем детектора (Tile, Lar, Muon, TRT, Tdaq) ~ 160 участников ~ 160 участников ~ 50 авторов ~ 50 авторов ОИЯИ в составе RDIG играет роль ATLAS Tier2 ОИЯИ в составе RDIG играет роль ATLAS Tier2

12 Программное обеспечение ATLAS Реконструкция/моделирование/анализ Реконструкция/моделирование/анализ данных программная среда Athena данных программная среда Athena Анализ данных в Грид программы Ganga и Анализ данных в Грид программы Ganga и PANDA PANDA Распределение данных ATLAS - Распределение данных ATLAS - программный комплекс DDM/DQ2 программный комплекс DDM/DQ2 Управление кодом - CVS, CMT Управление кодом - CVS, CMT Computing Operations (ProdSys/DDM ), Computing Operations (ProdSys/DDM ), Database, TagCollector Database, TagCollector

13 Программное обеспечение ATLAS в ОИЯИ Установлены ATLAS software : , VO-atlas-offline , , , VO-atlas-production , , , , , , , , , , , , , , , , , , , , , , , , , , , , , AFS:10.0.4, , , , GANGA 4.3.9, 4.4.1, DQ , (2.3.1)

14 GANGA и PANDA GANGA и pathena/PANDA GANGA и pathena/PANDA сходные по функциональности программы сходные по функциональности программы упрощающие анализ данных в Grid : упрощающие анализ данных в Grid : GANGA - LCG, NorduGrid (Europe) pathena/PANDA - OSG (USA) Ведется адаптация GANGA для работы в OSG, Ведется адаптация GANGA для работы в OSG, а PANDA – для работы в LCG. а PANDA – для работы в LCG.

15 Запуск задачи анализа без применения программы-интерфейса Найти, где находятся анализируемые данные Найти, где находятся анализируемые данные Проверить, установлено ли в этом ВЦ требуемое программное Проверить, установлено ли в этом ВЦ требуемое программное обеспечение соответствующей версии обеспечение соответствующей версии Написать сценарий на языке JDL, который будет управлять удаленным запуском конкретной задачи Написать сценарий на языке JDL, который будет управлять удаленным запуском конкретной задачи Запустить задачу на выполнение командами LCG (gLite) Запустить задачу на выполнение командами LCG (gLite) Проверить, что задача выполнена Проверить, что задача выполнена Скопировать выходные файлы на локальный компьютер или SE Грид Скопировать выходные файлы на локальный компьютер или SE Грид При необходимости создать новый набор данных (dataset), зарегистрировать в нем свои файлы При необходимости создать новый набор данных (dataset), зарегистрировать в нем свои файлы Повторить все действия для каждого набора анализируемых данных процедуры анализa Повторить все действия для каждого набора анализируемых данных процедуры анализa

16 Задача с точки зрения GANGA Приложение (Athena) - Какую программу запустить Приложение (Athena) - Какую программу запустить Вычислительная платформа - Грид, локальная ферма... Вычислительная платформа - Грид, локальная ферма... Входной набор данных - Исходные данные Входной набор данных - Исходные данные Выходной набор данных - Результаты вычислений Выходной набор данных - Результаты вычислений

17 Ganga формирует сценарий запуска задачи в GRID и его выполняет: – находит исходные данные – посылает задачу на вычисление в соответствующий ВЦ – возвращает результат. Одновременно обеспечивается мониторинг. Ganga ориентирована на тех физиков, которые хотят использовать Грид для вычислений, но не хотят разбираться в деталях его устройства.

18 Способы работы с GANGA Командная строка ganga athena –inDS\ trig1_misal1_csc PythiaZmumu.recon.AOD.v _tid0099 \ outputdataAnalysisSkeleton.aan.root lcgsiteJINR maxevt100 \.. /run/AnalysisSkeleton_topOptions.py Интерактивная оболочка (IPython) Интерактивная оболочка (IPython)gangaCtrl+d Графическая оболочка Графическая оболочка ganga gui меню Job/Quit

19