EGEE-II INFSO-RI Enabling Grids for E-sciencE Базовые операции в DMS gLite (практическая часть) Олешко С.Б. Петербургский институт ядерной физики г.Гатчина

Enabling Grids for E-sciencE EGEE-II INFSO-RI Введение Цель занятия – изучение базовых средств работы с файлами в gLite. Есть 2 набора команд, которые могут использоваться в качестве таких средств – lfc-... команды для работы с каталогом LFC, который определяет соответствие между LFN и SURL (Site URL) – lcg-... команды, которые позволяют копировать файлы с / на SE (Storage Element) и создавать реплики файлов. Кроме того, команды lcg-... также обеспечивают взаимодействие между SE и каталогом.

Enabling Grids for E-sciencE EGEE-II INFSO-RI Переменные окружения Проверка переменных окружения : export LCG_GFAL_INFOSYS=gt5.pnpi.nw.ru:2170 export LCG_CATALOG_TYPE=lfc export LFC_HOST=cluster.pnpi.nw.ru $ printenv | grep LCG LCG_CATALOG_TYPE=lfc LCG_LOCATION=/opt/lcg LCG_TMP=/tmp LCG_GFAL_INFOSYS=gt5.pnpi.nw.ru:2170 $ printenv | grep LFC LFC_HOST=cluster.pnpi.nw.ru LFC_PORT=5010 Установка переменных окружения :

Enabling Grids for E-sciencE EGEE-II INFSO-RI Условия проведения занятия Для учебных целей мы будем использовать один login для всей группы, но каждый будет использовать свой собственный userid, определяемый номером компьютера : user1, user2,... Чтобы упростить написание команд, каждый должен завести переменную окружения MY_DIR export MY_DIR= $ export MY_DIR=user0 $ printenv | grep MY_DIR MY_DIR=user0

Enabling Grids for E-sciencE EGEE-II INFSO-RI Команды lfc-... lfc-chmodИзменить права доступа к файлу/директории LFC lfc-chownИзменить владельца и группу для файла/директории LFC lfc-delcommentУдалить комментарии, связанные с файлом/директорией lfc-getaclПоказать ACL для файла/директории lfc-lnСоздать символическую ссылку на файл/директорию lfc-lsВывести список файлов в директории lfc-mkdirСоздать директорию lfc-renameПереименовать файл/директорию lfc-rmУдалить файл/директорию lfc-setaclУстановить/изменить ACL для файла/директории lfc-setcommentДобавить/заменить комментарий

Enabling Grids for E-sciencE EGEE-II INFSO-RI lfc-ls Вывод списка директорий и файлов lfc-ls [-cdiLlRTu] [--class] [--comment] [--deleted] [--display_side] [--ds] path… где path определяет LFN директории (обязательный) -l - детальный вывод -R - рекурсивный вывод содержимого директории: Не использовать!! –LFC имеет древовидную структуру –/grid/ / –Все члены ВО имеют право чтения/записи в соответствующую директорию –Можно установить переменную окружения LFC_HOME, чтобы установить относительный путь Определяется пользователем Пространство имён LFC

Enabling Grids for E-sciencE EGEE-II INFSO-RI lfc-ls (пример) $ lfc-ls -l /grid drwxrwxr-x 1 root Oct 28 00:43 alice drwxrwxr-x 10 root Dec 15 04:55 atlas drwxrwxr-x 1 root Jun biomed drwxrwxr-x 0 root Mar cms drwxrwxr-x 3 root Dec 19 14:33 dteam drwxrwxr-x 0 root May fusion drwxrwxr-x 0 root Mar lhcb drwxrwxr-x 2 root Jan 19 15:37 nw_ru drwxrwxr-x 1 root Feb 12 12:15 ops $ lfc-ls /grid/nw_ru/tutorial data

Enabling Grids for E-sciencE EGEE-II INFSO-RI lfc-mkdir Создание директории в LFC lfc-mkdir [-m mode] [-p] path... где path - определяет LFN директории (обязательный), -m mode – задаёт маску доступа (по умолчанию 777) -p – если указана, то будут созданы все несуществующие родительские поддиректории При записи файла в ГРИД (и регистрации в каталоге) директория, в которую записывается файл, уже должна существовать Пример: lfc-mkdir /grid/nw_ru/tutorial/data/, где вместо подставить user, например user1, или используя установленную переменную окружения $MY_DIR lfc-mkdir /grid/nw_ru/tutorial/data/$MY_DIR $ lfc-mkdir /grid/nw_ru/tutorial/data/$MY_DIR $ lfc-ls -l /grid/nw_ru/tutorial/data drwxrwxr-x Feb 12 14:39 user0

Enabling Grids for E-sciencE EGEE-II INFSO-RI Переменная окружения LFC_HOME Следует установить переменную окружения $LFC_HOME export LFC_HOME=/grid/nw_ru/tutorial/data/$MY_DIR $ export LFC_HOME=/grid/nw_ru/tutorial/data/$MY_DIR $ lfc-ls $ lfc-ls../ user0 В дальнейшем команды lfc-... будут использовать эту директорию, как начальную (если путь не начинается с символа /)

Enabling Grids for E-sciencE EGEE-II INFSO-RI Подготовка файлов на UI $ cd tutorial $ ls data wms $ cd data $ ls $ $ mkdir $MY_DIR $ ls user0 $ cd $MY_DIR $ echo "Text example file" > text_file.txt $ ls text_file.txt Создать рабочую директорию на UI и простой текстовый файл в ней

Enabling Grids for E-sciencE EGEE-II INFSO-RI Выбор SE Перед тем, как пересылать файл на SE, можно проверить, какие SE доступны в данный момент для нашей ВО. $ lcg-infosites --vo nw_ru se Avail Space(Kb) Used Space(Kb) Type SEs n.a cluster.pnpi.nw.ru n.a grid.scc.ioffe.ru

Enabling Grids for E-sciencE EGEE-II INFSO-RI lcg-utils lcg-cpКопировать файл из Грид на локальный компьютер (UI) lcg-crКопировать файл на SE и зарегистрировать его в каталоге lcg-delУдалить один файл (или реплику, или все реплики) lcg-repРепликация между SE и регистрация реплики lcg-gtПолучить TURL для данных SURL и протокола передачи lcg-sdУстановить статус Done для данного SURL в SRM запросе File Catalog Interaction lcg-aaДобавить синоним в LFC для данного GUID lcg-raУдалить синоним в LFC для данного GUID lcg-rfЗарегистрировать в LFC файл, размещённый на SE lcg-ufУдалить регистрацию в LFC файла, размещённого на SE lcg-laСписок всех синонимов для данного SURL, GUID или LFN lcg-lgПолучить GUID для данного LFN или SURL lcg-lrСписок всех реплик для данного GUID, SURL или LFN Replica Management

Enabling Grids for E-sciencE EGEE-II INFSO-RI lcg-cr Переслать файл на SE и зарегистрировать его в каталоге lcg-cr [ -d dest_file | dest_host] [-g guid] [-l lfn] [-v | --verbose] --vo vo_name src_file где, dest_host полное имя SE назначения dest_file правильный SURL файла (возможные форматы sfn:// или srm://) guid заданный GUID файла. Если отсутствует, то GUID будет сгенерирован lfn определяет LFN для файла vo имя Виртуальной организации src_file определяет файл-источник передачи: используемые протоколы file:/// или gsiftp:/// $ lcg-cr --vo nw_ru file:///$PWD/text_file.txt -l lfn:file1.txt -d cluster.pnpi.nw.ru guid:df836c86-3c8a-4af6-9d6d-25828d5d535a $ lfc-ls -l -rw-rw-r Feb 12 16:52 file1.txt

Enabling Grids for E-sciencE EGEE-II INFSO-RI lcg-cr (детальный вывод) $ lcg-cr -v --vo nw_ru file:///$PWD/text_file.txt -l lfn:file1.txt -d cluster.pnpi.nw.ru Using grid catalog type: lfc Using grid catalog : cluster.pnpi.nw.ru Source URL: file:////home/elm/tutorial/data/user0/text_file.txt File size: 18 VO name: nw_ru Destination specified: cluster.pnpi.nw.ru Destination URL for copy: gsiftp://cluster.pnpi.nw.ru/cluster.pnpi.nw.ru:/mss/2/dpm/nw_ru/ /file6ed633c2-a432-4c6a-890e-1c8dce # streams: 1 # set timeout to 0 seconds Alias registered in Catalog: lfn:/grid/nw_ru/tutorial/data/user0/file1.txt 18 bytes 0.03 KB/sec avg 0.03 KB/sec inst Transfer took 1120 ms Destination URL registered in Catalog: srm://cluster.pnpi.nw.ru/dpm/pnpi.nw.ru/home/nw_ru/generated/ /file6ed633c2-a432-4c6a-890e-1c8dce guid:e9cbc50c-dee7-4a7b-adab-5c49235af626 Можно было задать опцию –v

Enabling Grids for E-sciencE EGEE-II INFSO-RI lfc-ln $ lfc-ln -s file1.txt link1 $ lfc-ls -l -rw-rw-r Feb 14 18:31 file1.txt lrwxrwxrwx Feb 14 18:32 link1 -> file1.txt Создать в каталоге символическую ссылку на файл Команда lcg-ln создаёт символическую ссылку на файл или директорию в соответствии с linkname или в указанной directory lfc-ln -s target [linkname] lfc-ln -s target directory

Enabling Grids for E-sciencE EGEE-II INFSO-RI lcg-lr $ lcg-lr --vo nw_ru lfn:file1.txt srm://cluster.pnpi.nw.ru/dpm/pnpi.nw.ru/home/nw_ru/generated/ /file6ed633c2-a432-4c6a-890e-1c8dce Получить SURL всех реплик файла Иногда необходимо знать SURL для конкретного файла (реплики). Команда lcg-lr выводит список SURL для всех реплик указанного файла lcg-lr --vo vo_name file где, vo имя Виртуальной организации file определяет имя файла в формате GUID, LFN или SURL (схема SURL может быть sfn: для classic SE или srm:)

Enabling Grids for E-sciencE EGEE-II INFSO-RI lcg-lg $ lcg-lg --vo nw_ru lfn:file1.txt guid:e9cbc50c-dee7-4a7b-adab-5c49235af626 $ $ lcg-lg --vo nw_ru srm://cluster.pnpi.nw.ru/dpm/pnpi.nw.ru/home/nw_ru/generated/ /file6ed633c2-a432-4c6a-890e-1c8dce guid:e9cbc50c-dee7-4a7b-adab-5c49235af626 Получить GUID файла Аналогичная команда для получения GUID для данного файла, выводит GUID для данного LFN или SURL. lcg-lg --vo vo_name file где, vo имя Виртуальной организации file определяет имя файла в формате LFN или SURL (схема SURL может быть sfn: для classic SE или srm:)

Enabling Grids for E-sciencE EGEE-II INFSO-RI lcg-gt $ lcg-gt srm://cluster.pnpi.nw.ru/dpm/pnpi.nw.ru/home/nw_ru/generated/ /file6ed633c2-a432-4c6a-890e-1c8dce rfio rfio://cluster.pnpi.nw.ru//mss/2/dpm/nw_ru/ /file6ed633c2-a432-4c6a-890e- 1c8dce $ lcg-gt srm://cluster.pnpi.nw.ru/dpm/pnpi.nw.ru/home/nw_ru/generated/ /file6ed633c2-a432-4c6a-890e-1c8dce gsiftp gsiftp://cluster.pnpi.nw.ru/cluster.pnpi.nw.ru:/mss/2/dpm/nw_ru/ /file6ed633c2-a432-4c6a-890e-1c8dce Получить TURL для реплики (файла) Команда для получения TURL для данного SURL. Это может понадобиться для приложений, которые будут использовать FTS для передачи файлов lcg-gt surl protocol где, surl SURL конкретной реплики файла protocol определяет тип протокола для доступа файла для данного SE (схема SURL может быть sfn: для classic SE или srm:)

Enabling Grids for E-sciencE EGEE-II INFSO-RI lcg-rep $ lcg-rep -d grid.scc.ioffe.ru --vo nw_ru srm://cluster.pnpi.nw.ru/dpm/pnpi.nw.ru/home/nw_ru/generated/ /file6ed633c2-a432-4c6a-890e-1c8dce $ lcg-lr --vo nw_ru lfn:file1.txt sfn://grid.scc.ioffe.ru/storage/generated/ /file6c045c1f-ff4e f-7e726a293a10 srm://cluster.pnpi.nw.ru/dpm/pnpi.nw.ru/home/nw_ru/generated/ /file6ed633c2-a432-4c6a-890e-1c8dce Скопировать файл на другой SE и зарегистрировать в каталоге gLite поддерживает репликацию файлов, т.е. для одного GUID на разных SE могут существовать несколько физических копий файла. Для создание реплик используется команда lcg-rep lcg-rep [ -d dest_file | dest_host] [-v | --verbose] --vo vo_name src_file где, dest_host полное имя SE назначения dest_file правильный SURL файла (возможные форматы sfn:// или srm://) vo имя Виртуальной организации src_file определяет файл-источник передачи: используемые схемы: LFN, GUID или SURL

Enabling Grids for E-sciencE EGEE-II INFSO-RI lcg-cp Скопировать файл c SE (из ГРИД) на локальный UI lcg-cp [ -v | --verbose] --vo vo_name src_file dest_fileгде, vo имя Виртуальной организации src_file имя файла-источника (возможные схемы LFN, GUID,SURL или локальный файл). Для SURL - sfn:// или srm://) dest_file имя файла-копии (возможные протоколы file:/// или gsiftp://)

Enabling Grids for E-sciencE EGEE-II INFSO-RI lcg-cp(продолжение) $ lcg-cp -v --vo nw_ru srm://cluster.pnpi.nw.ru/dpm/pnpi.nw.ru/home/nw_ru/generated/ /file6ed633c2-a432-4c6a-890e-1c8dce file:///$PWD/text_file_copy.txt Using grid catalog type: lfc Using grid catalog : cluster.pnpi.nw.ru Source URL: srm://cluster.pnpi.nw.ru/dpm/pnpi.nw.ru/home/nw_ru/generated/ /file6ed633c2-a432-4c6a-890e-1c8dce File size: 18 VO name: nw_ru Source URL for copy: gsiftp://cluster.pnpi.nw.ru/cluster.pnpi.nw.ru:/mss/2/dpm/nw_ru/ /file6ed633c2-a432-4c6a-890e-1c8dce Destination URL: file:////home/elm/tutorial/data/user0/text_file_copy.txt # streams: 1 # set timeout to 0 (seconds) 0 bytes 0.00 KB/sec avg 0.00 KB/sec inst Transfer took 3050 ms $ ll total 8 -rw-r--r-- 1 elm users 18 Feb 14 18:40 text_file_copy.txt -rw-r--r-- 1 elm users 18 Feb 12 15:41 text_file.txt

Enabling Grids for E-sciencE EGEE-II INFSO-RI lcg-del $ lcg-del -v -a --vo nw_ru lfn:file1.txt VO name: nw_ru set timeout to 0 seconds $ lfc-ls -l lrwxrwxrwx Feb 14 18:32 link1 -> file1.txt Удалить реплику (все реплики) lcg-del [ -v | --verbose] [-a] [-s se] --vo vo_name file где, a если указано, то удаляются все реплики se определяет SE, с которого удаляется реплика vo имя Виртуальной организации file имя файла (возможные схемы LFN, GUID,SURL или локальный файл). Для SURL - sfn:// или srm://)

Enabling Grids for E-sciencE EGEE-II INFSO-RI lfc-rm $ lfc-ls -l lrwxrwxrwx Feb 14 18:32 link1 -> file1.txt $ lfc-rm link1 $ lfc-ls -l $ Удалить файл(директорию) из каталога lfc-rm [ -f] [-i] filename lfc-rm [ -f] [-i] –r dirname где, f не выводить сообщение об ошибке, если файла не существует i подтверждать удаление каждого файла или директории r рекурсивное удаление