22 декабря 2006 г. 1Рабочее совещание ATLAS Проведение анализа данных ATLAS с применением программы GANGA Шиякова Мария Маринова НЭОВП - ATLAS. - презентация

1 22 декабря 2006 г. 1Рабочее совещание ATLAS Проведение анализа данных ATLAS с применением программы GANGA Шиякова Мария Маринова НЭОВП - ATLAS

2 22 декабря 2006 г. 2Рабочее совещание ATLAS Данные ATLAS будут храниться в разных вычислительных центрах (ВЦ) (~50). Доступ к данным будет осуществляться только средствами Грид Задачи анализа будут запускаться в тех же ВЦ, где находятся данные, и для это нужно подходящее программное обеспечение.

3 22 декабря 2006 г. 3Рабочее совещание ATLAS Запуск задачи анализа без применения программы-интерфейса 1. Найти, где находятся анализируемые данные 2. Проверить, установлено ли в этом ВЦ требуемое программное обеспечение соответствующей версии 3. Написать сценарий на языке JDL, который будет управлять удаленным запуском конкретной задачи 4. Запустить задачу на выполнение командами LCG 5. Проверить, что задача выполнена 6. Скопировать выходные файлы на локальный компьютер или SE Грид 7. При необходимости создать новый набор данных (dataset), и зарегистрировать в нем свои файлы 8. Повторить все действия для каждого набора анализируемых данных и процедуры анализа

4 22 декабря 2006 г. 4Рабочее совещание ATLAS Prodsys – ориентирована на массовые вычисления (моделирование Монте-Карло). Мало пригодна для запуска задач анализа – создана американскими учеными и ориентирована на американские ВЦ и Грид (OSG) Panda – создана американскими учеными и ориентирована на американские ВЦ и Грид (OSG) GANGA – создана в ЦЕРНе для работы в LCG. Пригодна для запуска как задач анализа, так и задач пользовательского моделирования GANGA – создана в ЦЕРНе для работы в LCG. Пригодна для запуска как задач анализа, так и задач пользовательского моделирования Для упрощения раcпределенного анализа данных ATLAS существуют программы:

5 22 декабря 2006 г. 5Рабочее совещание ATLAS Задача с точки зрения GANGA Приложение (Athena) Вычислительная платформа Входной набор данных Выходной набор данных Исходные данные Результаты вычислений Грид, локальная ферма... Какую программу запустить задача

6 22 декабря 2006 г. 6Рабочее совещание ATLAS Ganga формирует сценарий запуска задачи в гриде и его выполняет : Ganga формирует сценарий запуска задачи в гриде и его выполняет : находит исходные данные находит исходные данные посылает задачу на вычисление в соответствующий ВЦ посылает задачу на вычисление в соответствующий ВЦ и возвращает результат. и возвращает результат. Одновременно обеспечивается мониторинг. Ganga ориентирована на тех физиков, которые хотят использовать Грид для вычислений, но не хотят разбираться в деталях его устройства. Ganga ориентирована на тех физиков, которые хотят использовать Грид для вычислений, но не хотят разбираться в деталях его устройства.

7 22 декабря 2006 г. 7Рабочее совещание ATLAS Способы работы с GANGA Командная строка Командная строка ganga ganga Ctrl+d Ctrl+d Графическая оболочка Графическая оболочка ganga --gui ganga --gui меню Job/Quit меню Job/Quit

8 22 декабря 2006 г. Рабочее совещание ATLAS 8 Задача в командной строке j = Job() j.name='athena_lcg_dq2, LYON, DQ2_LOCAL, 5300' j.application=Athena()j.application.prepare() j.application.option_file='/afs/cern.ch/user/s/shiykov/athena/testarea/11.0.5/InstallAra/ jobOptions/UserAnalysis/AnalysisSkeleton_jobOptions.py' j.inputdata=DQ2Dataset()j.inputdata.type='DQ2_LOCAL'j.inputdata.dataset="user.MariyaShiyakova.DrellYan.v001"j.outputdata=DQ2OutputDataset()j.outputdata.outputdata=['AnalysisSkeleton.root']j.backend=LCG()#j.backend.CE='cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short'j.submit()

9 22 декабря 2006 г. Рабочее совещание ATLAS 9 Все команды с предыдущего слайда можно объединить в исполняемой файл primer.py и запустить в командной строке Ganga: In[1]: execfile('/afs/cern.ch/user/s/shiykov/primer.py') j.submit() другие команды: jobs print jobs[25] j26=j25.copy()jobs[25].kill()jobs[25].remove()

10 22 декабря 2006 г. 10Рабочее совещание ATLAS При запуске задачи Athena можно дополнительно указать параметры: - Версия Athena - Число событий - Файл с дополнительными опциями - Название файла с выходными данными - Вычислительный центр (CE) - Системные требования (время CPU, …) - Версия программного обеспечения Грид

11 22 декабря 2006 г. 11Рабочее совещание ATLAS Графическая среда GUI

12 22 декабря 2006 г. 12Рабочее совещание ATLAS

13 22 декабря 2006 г. 13Рабочее совещание ATLAS

14 22 декабря 2006 г. 14Рабочее совещание ATLAS

15 22 декабря 2006 г. 15Рабочее совещание ATLAS

16 22 декабря 2006 г. Рабочее совещание ATLAS 16 Где искать выходные данные? GANGA может скопировать выходные файлы на компьютер, с которого запускалась задача. В этом случае по завершении задачи результат можно найти в директории ~/.gangadir/workspace/output/ GANGA может скопировать выходные файлы на компьютер, с которого запускалась задача. В этом случае по завершении задачи результат можно найти в директории ~/.gangadir/workspace/output/ Либо может оставить файлы на хранение в удаленном ВЦ, зарегистрировав их в каталоге Грид и создав новый набор данных ( dataset ) в DQ2: Либо может оставить файлы на хранение в удаленном ВЦ, зарегистрировав их в каталоге Грид и создав новый набор данных ( dataset ) в DQ2: user.username.ganga.jobid user.username.ganga.jobid Удобно при больших объемах выходных данных Удобно при больших объемах выходных данных Доступ к данным средствами DQ2 ( dq2_ls, dq2_get …) Доступ к данным средствами DQ2 ( dq2_ls, dq2_get …)

17 22 декабря 2006 г. 17Рабочее совещание ATLAS Что нужно, чтобы запустить GANGA прямо сейчас Действительный сертификат пользователя Грид Действительный сертификат пользователя Грид Доступ к установленному программному обеспечению (Athena, DQ2, LCG, Ganga) Доступ к установленному программному обеспечению (Athena, DQ2, LCG, Ganga) установлено на lxplus.cern.ch, lxpub.jinr.ru … установлено на lxplus.cern.ch, lxpub.jinr.ru … Иметь свою программу анализа и знать какие данные анализировать Иметь свою программу анализа и знать какие данные анализировать Для работы в командной строке нужно иметь представление о языке Python Для работы в командной строке нужно иметь представление о языке Python

18 22 декабря 2006 г. 18Рабочее совещание ATLAS Заключение В ОИЯИ накоплен опыт использования программы GANGA для запуска задач анализа данных ATLAS В ОИЯИ накоплен опыт использования программы GANGA для запуска задач анализа данных ATLAS Желающие использовать эту программу в своей работе могут обращаться с вопросами ко мне т.63996, 4 корпус ЛЯП, комната 330) Желающие использовать эту программу в своей работе могут обращаться с вопросами ко мне т.63996, 4 корпус ЛЯП, комната 330)... или на форум или на форум Можно организовать практическое учебное занятие Можно организовать практическое учебное занятие