EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Информационная система в gLite (практическая часть) Новодворский Е.Г. Олешко С.Б. - презентация

1 EGEE-II INFSO-RI Enabling Grids for E-sciencE Информационная система в gLite (практическая часть) Новодворский Е.Г. Олешко С.Б. Петербургский институт ядерной физики г.Гатчина

2 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Доступ к данным ИС Есть две утилиты для доступа к данным ИС. lcg-infositeslcg-info В большинстве случаев их достаточно для пользователя, что позволяет избежать использования сложных LDAP запросов.

3 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, lcg-infosites Получение информации о Грид ресурсах. --vo название Виртуальной Организации --is сервер BDII, если используется сервер, отличный от сервера, определённого в LCG_GFAL_INFOSYS -v уровень детализации вывода lcg-infosites --vo options -v --is

4 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Опции lcg-infosites число процессоров, количество выполняемых заданий, количество заданий в очередях, имена CE. Все данные группируются по ВО. ce имена SE, тип Storage System, объём используемой и доступной памяти se имена CE, где поддерживается данная ВО, ближайшие SE closeSE Имя lfc каталога для пользователей ВО lfc Названия меток для установленного ПО, имя соответствующего CE tag Объединение опций ce и se all

5 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Упражнение 1 Получить информацию о CE

6 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, lcg-infosites --vo atlas ce valor del bdii: gt5.pnpi.nw.ru:2170 #CPU Free Total Jobs Running Waiting ComputingElement cluster.pnpi.nw.ru:2119/jobmanager-pbs-atlas lcg-infosites --vo nw_ru ce valor del bdii: gt5.pnpi.nw.ru:2170 #CPU Free Total Jobs Running Waiting ComputingElement cluster.pnpi.nw.ru:2119/jobmanager-pbs-nw_ru grid.scc.ioffe.ru:2119/jobmanager-pbs-nw_ru

7 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Упражнение 2 Получить информацию о SE

8 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, lcg-infosites --vo nw_ru se Avail Space(Kb) Used Space(Kb) Type SEs n.a cluster.pnpi.nw.ru n.a grid.scc.ioffe.ru

9 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Упражнение 3 Список ближайших SE

10 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, lcg-infosites --vo nw_ru closeSE valor del bdii: gt5.pnpi.nw.ru:2170 Name of the CE: cluster.pnpi.nw.ru:2119/jobmanager-pbs-nw_ru cluster.pnpi.nw.ru Name of the CE: grid.scc.ioffe.ru:2119/jobmanager-pbs-nw_ru grid.scc.ioffe.ru

11 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Упражнение 4 Список установленного ПО

12 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, lcg-infosites --vo nw_ru tag lcg-infosites --vo atlas tag valor del bdii: gt5.pnpi.nw.ru:2170 Name of the CE: cluster.pnpi.nw.ru Name of the CE: grid.scc.ioffe.ru valor del bdii: gt5.pnpi.nw.ru:2170 Name of the CE: cluster.pnpi.nw.ru VO-atlas-cloud-NL VO-atlas-offline VO-atlas-offline VO-atlas-offline VO-atlas-production VO-atlas-production VO-atlas-production VO-atlas-release VO-atlas-release VO-atlas-tier-T3 и т.д.

13 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, lcg-info Эта команда используется для получения характеристик CE или SE, которые удовлетворяют некоторым условиям и выводят значения заданного множества атрибутов. Информация берётся с BDII, определённого переменной окружения LCG_GFAL_INFOSYS где attrN имя атрибута op = и несколько условий могут быть объединены через И. Разделитель – запятая, пробелы не допускаются. Синтаксис определения условия : attr1 op1 valueN,... attrN opN valueN

14 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Формат команд lcg-info lcg-info --list-ce [--bdii ] [--vo ] [--sed] [--query ] [--attrs ] lcg-info --list-se [--bdii ] [--vo ] [--sed] [--query ] [--attrs ] lcg-info --list-attrs lcg-info --help

15 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Опции lcg-info --list-attrs Список всех атрибутов, которые могут быть в запросе и в списке для вывода --list-сe Список всех СE, удовлетворяющих условию или все СE, если условие не определено --list-se Список всех SE, удовлетворяющих условию или все SE, если условие не определено --queryУсловие, которому должны удовлетворять CE (SE) --bdii Использовать сервер BDII, отличный от указанного в LCG_GFAL_INFOSYS --attrs Список атрибутов, которые будут выводиться для выбранных CE (SE) --sedВывод в sed-ориентированном формате --vo Ограничить вывод теми CE (SE), где поддерживаются соответствующая ВО. Обязателен, если в условии определены ВО-зависимые атрибуты

16 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Упражнение 5 Список поддерживаемых атрибутов

17 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, >lcg-info --list-attrs Attribute name Glue object class Glue attribute name EstRespTimeGlueCE GlueCEStateEstimatedResponseTime WorstRespTime GlueCE GlueCEStateWorstResponseTime TotalJobs GlueCE GlueCEStateTotalJobs TotalCPUs GlueCE GlueCEInfoTotalCPUs MaxRunningJobs GlueCE GlueCEPolicyMaxRunningJobs CE GlueCE GlueCEUniqueID WaitingJobs GlueCE GlueCEStateWaitingJobs MaxCPUTime GlueCE GlueCEPolicyMaxCPUTime MaxTotalJobs GlueCE GlueCEPolicyMaxTotalJobs CEStatus GlueCE GlueCEStateStatus CEVOs GlueCE GlueCEAccessControlBaseRule FreeCPUs GlueCE GlueCEStateFreeCPUs RunningJobs GlueCE GlueCEStateRunningJobs MaxWCTime GlueCE GlueCEPolicyMaxWallClockTime Accesspoint GlueCESEBind GlueCESEBindCEAccesspoint CloseCE GlueCESEBindGroup GlueCESEBindGroupCEUniqueID CloseSE GlueCESEBindGroup GlueCESEBindGroupSEUniqueID … и т.д.

18 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Упражнение 6 Список всех CE, удовлетворяющих условию

19 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Список всех CE, у которых общее количество процессоров =8. Дополнительно вывести количество выполняемых заданий и количество свободных процессоров lcg-info --list-ce --query 'TotalCPUs=8' --attrs 'RunningJobs,FreeCPUs' - CE: alice01.spbu.ru:2119/jobmanager-lcgpbs-alice - RunningJobs 0 - FreeCPUs 8 - CE: alice01.spbu.ru:2119/jobmanager-lcgpbs-dteam - RunningJobs 0 - FreeCPUs 8 - CE: alice01.spbu.ru:2119/jobmanager-lcgpbs-ops - RunningJobs 0 - FreeCPUs 8

20 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Упражнение 7 Список всех CE, удовлетворяющих условию

21 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Список всех CE, у которых количество свободных процессоров =0. Дополнительно вывести количество свободных процессоров lcg-info --list-ce --query 'FreeCPUs=0' --attrs 'FreeCPUs' - CE: cluster.pnpi.nw.ru:2119/jobmanager-pbs-alice - FreeCPUs 0 - CE: cluster.pnpi.nw.ru:2119/jobmanager-pbs-atlas - FreeCPUs 0 - CE: cluster.pnpi.nw.ru:2119/jobmanager-pbs-biomed - FreeCPUs 0 - CE: cluster.pnpi.nw.ru:2119/jobmanager-pbs-cms - FreeCPUs 0 - CE: cluster.pnpi.nw.ru:2119/jobmanager-pbs-dteam - FreeCPUs 0 - CE: cluster.pnpi.nw.ru:2119/jobmanager-pbs-fusion - FreeCPUs 0 - CE: cluster.pnpi.nw.ru:2119/jobmanager-pbs-lhcb - FreeCPUs 0 - CE: cluster.pnpi.nw.ru:2119/jobmanager-pbs-nw_ru - FreeCPUs 0 - CE: cluster.pnpi.nw.ru:2119/jobmanager-pbs-ops - FreeCPUs 0

22 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Упражнение 8 Список всех меток для ПО установленного на определённом CE

23 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Список всех Tags ПО для всех CE на cluster.pnpi.nw.ru lcg-info --list-ce --query 'CE=*cluster.pnpi.nw.ru:2119* --attrs Tag - CE: cluster.pnpi.nw.ru:2119/jobmanager-pbs-lhcb - Tag LCG-2 LCG-2_1_0 R-GMA MPICH VO-atlas-cloud-NL VO-biomed-autodock_IAN-3-0 VO-cms-CMSSW_0_8_1 VO-dteam-GLITE-3_0_0 VO-lhcb-Gauss-v25r8 VO-ops-GLITE-3_0_0 …

24 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Упражнение 9 Список всех CE с определённым ПО

25 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Список всех CE для ВО nw_ru, где установлен пакет MPI. Дополнительно вывести количество процессоров. lcg-info –vo nw_ru --list-ce --query Tag=*MPICH* --attrs TotalCPUs - CE: cluster.pnpi.nw.ru:2119/jobmanager-pbs-nw_ru - TotalCPUs 84

26 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Упражнение 10 Список всех SE, удовлетворяющих условию

27 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Список всех SE для ВО nw_ru, где поддерживается протокол доступа rfio. Дополнительно вывести ближайший SE и объем доступной памяти. lcg-info –vo nw_ru --list-se --query Protocol=rfio --attrs CloseCE,AvailableSpace - SE: cluster.pnpi.nw.ru - CloseCE cluster.pnpi.nw.ru:2119/jobmanager-pbs-atlas cluster.pnpi.nw.ru:2119/jobmanager-pbs-alice cluster.pnpi.nw.ru:2119/jobmanager-pbs-biomed cluster.pnpi.nw.ru:2119/jobmanager-pbs-cms cluster.pnpi.nw.ru:2119/jobmanager-pbs-dteam cluster.pnpi.nw.ru:2119/jobmanager-pbs-fusion cluster.pnpi.nw.ru:2119/jobmanager-pbs-lhcb cluster.pnpi.nw.ru:2119/jobmanager-pbs-ops cluster.pnpi.nw.ru:2119/jobmanager-pbs-nw_ru - AvailableSpace

28 Enabling Grids for E-sciencE EGEE-II INFSO-RI EGEE tutorial, Спасибо за внимание