EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Информационная система в gLite (практическая часть) Олешко С.Б. Петербургский институт. - презентация

1 EGEE-II INFSO-RI Enabling Grids for E-sciencE Информационная система в gLite (практическая часть) Олешко С.Б. Петербургский институт ядерной физики г.Гатчина

2 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Доступ к данным ИС Есть две утилиты для доступа к данным ИС. lcg-infositeslcg-info В большинстве случаев их достаточно для пользователя, что позволяет избежать использования сложных LDAP запросов.

3 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, lcg-infosites Получение информации о Грид ресурсах. lcg-infosites --vo options -v --is --vo название Виртуальной Организации -v уровень детализации вывода --is сервер BDII, если используется сервер, отличный от сервера, определённого в LCG_GFAL_INFOSYS

4 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Опции lcg-infosites ce Число процессоров, количество выполняемых заданий, количество заданий в очередях, имена CE. Все данные группируются по ВО. se Имена SE, вместе с типом Storage System, объём используемой и доступной памяти closeSE Имена CE, где для поддерживается данная ВО, вместе с ближайшим SE lfc Имя lfc Каталога для пользователей ВО tag Названия меток для установленного ПО, вместе с именем соответствующего CE all Объединение опций ce и se

5 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Упражнение 1 Получить информацию о CE

6 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, >lcg-infosites --vo atlas ce valor del bdii: gt5.pnpi.nw.ru:2170 #CPU Free Total Jobs Running Waiting ComputingElement nwo5.csa.ru:2119/jobmanager-pbs-long nwo5.csa.ru:2119/jobmanager-pbs-short nwo5.csa.ru:2119/jobmanager-pbs-infinite cluster.pnpi.nw.ru:2119/jobmanager-pbs-atlas >lcg-infosites --vo nw_ru ce valor del bdii: gt5.pnpi.nw.ru:2170 #CPU Free Total Jobs Running Waiting ComputingElement cluster.pnpi.nw.ru:2119/jobmanager-pbs-nw_ru grid.scc.ioffe.ru:2119/jobmanager-pbs-nw_ru

7 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Упражнение 2 Получить информацию о SE

8 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, >lcg-infosites --vo nw_ru se Avail Space(Kb) Used Space(Kb) Type SEs n.a cluster.pnpi.nw.ru n.a grid.scc.ioffe.ru

9 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Упражнение 3 Список ближайших SE

10 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, > lcg-infosites --vo nw_ru closeSE valor del bdii: gt5.pnpi.nw.ru:2170 Name of the CE: cluster.pnpi.nw.ru:2119/jobmanager-pbs-nw_ru cluster.pnpi.nw.ru Name of the CE: grid.scc.ioffe.ru:2119/jobmanager-pbs-nw_ru grid.scc.ioffe.ru

11 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Упражнение 4 Список установленного ПО

12 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, > lcg-infosites --vo nw_ru tag > lcg-infosites --vo atlas tag

13 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, lcg-info Эта команда используется для получения характеристик CE или SE, которые удовлетворяют некоторым условиям и выводят значения заданного множества атрибутов. Информация берётся с BDII, определённого переменной окружения LCG_GFAL_INFOSYS Синтаксис определения условия : attr1 op1 valueN,... attrN opN valueN где attrN имя атрибута op =, >= or

14 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Формат команд lcg-info lcg-info --list-ce [--bdii ] [--vo ] [--sed] [--query ] [--attrs ] lcg-info --list-se [--bdii ] [--vo ] [--sed] [--query ] [--attrs ] lcg-info --list-attrs lcg-info --help

15 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Опции lcg-info --list-attrs Список всех атрибутов, которые могут быть в запросе и в списке для вывода --list-сe Список всех СE, удовлетворяющих условию или все СE, если условие не определено --list-se Список всех SE, удовлетворяющих условию или все SE, если условие не определено --query Условие, которому должны удовлетворять CE(SE) --bdii Использовать сервер BDII, отличный от указанного в LCG_GFAL_INFOSYS --sed Вывод в sed-ориентированном формате --attrs Список атрибутов, которые будут выводиться для выбранных CE(SE) --vo Ограничить вывод теми CE(SE), где поддерживаются соответствующая ВО. Обязателен, если в условии определены ВО-зависимые атрибуты

16 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Упражнение 5 Список поддерживаемых атрибутов

17 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, >lcg-info --list-attrs Attribute name Glue object class Glue attribute name MaxTime GlueCE GlueCEPolicyMaxWallClockTime CEStatus GlueCE GlueCEStateStatus TotalJobs GlueCE GlueCEStateTotalJobs CEVOs GlueCE GlueCEAccessControlBaseRule TotalCPUs GlueCE GlueCEInfoTotalCPUs FreeCPUs GlueCE GlueCEStateFreeCPUs CE GlueCE GlueCEUniqueID WaitingJobs GlueCE GlueCEStateWaitingJobs RunningJobs GlueCE GlueCEStateRunningJobs CloseCE GlueCESEBindGroup GlueCESEBindGroupCEUniqueID CloseSE GlueCESEBindGroup GlueCESEBindGroupSEUniqueID SEVOs GlueSA GlueSAAccessControlBaseRule UsedSpace GlueSA GlueSAStateUsedSpace AvailableSpace GlueSA GlueSAStateAvailableSpace Type GlueSE GlueSEType SE GlueSE GlueSEUniqueID Protocol GlueSEAccessProtocol GlueSEAccessProtocolType ArchType GlueSL GlueSLArchitectureType Processor GlueSubCluster GlueHostProcessorModel OS GlueSubCluster GlueHostOperatingSystemName Cluster GlueSubCluster GlueSubClusterUniqueID Tag GlueSubCluster GlueHostApplicationSoftwareRunTimeEnvironment Memory GlueSubCluster GlueHostMainMemoryRAMSize

18 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Упражнение 6 Список всех CE, удовлетворяющих условию

19 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Список всех CE, у которых общее количество процессоров >=10 и установлена ОС Scientific Linux. Дополнительно вывести количество выполняемых заданий и количество свободных процессоров $ lcg-info --list-ce --query 'TotalCPUs>=10,OS=*SL*' --attrs 'RunningJobs,FreeCPUs

20 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Упражнение 7 Список всех CE, удовлетворяющих условию

21 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Список всех CE, у которых количество свободных процессоров >=5. Дополнительно вывести количество свободных процессоров $ lcg-info --list-ce --query FreeCPUs>=5' --attrs 'FreeCPUs

22 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Упражнение 8 Список всех меток для ПО установленного на определённом CE

23 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Список всех Tags ПО для всех CE на cluster.pnpi.nw.ru $ lcg-info --list-ce --query 'CE=*cluster.pnpi.nw.ru:2119* --attrs Tag

24 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Упражнение 9 Список всех CE с определённым ПО

25 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Список всех CE для ВО nw_ru, где установлен пакет MPI. Дополнительно вывести количество процессоров. $ lcg-info –vo nw_ru --list-ce --query Tag=*MPICH* --attrs TotalCPUs

26 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Упражнение 10 Список всех SE, удовлетворяющих условию

27 Enabling Grids for E-sciencE EGEE-II INFSO-RI Saint-Petersburg, EGEE tutorial, Список всех SE для ВО nw_ru, где объем доступной памяти >=100000Kb. Дополнительно вывести ближайший SE. $ lcg-info –vo nw_ru --list-se --query AvailableSpace>= attrs CloseCE