Сессия Ученого совета ОФВЭ 27-29 декабря 2004 года Деятельность отдела вычислительных систем (ОВС) в 2004 году и в ближайшем будущем А. Н. Лодкин, А. Е. - презентация

1 Сессия Ученого совета ОФВЭ декабря 2004 года Деятельность отдела вычислительных систем (ОВС) в 2004 году и в ближайшем будущем А. Н. Лодкин, А. Е. Шевель 27 декабря 2004 годаAlexander

2 Темы доклада Сферы деятельности ОВС Сферы деятельности ОВС Локальная сеть отделения Локальная сеть отделения Работа с электронной почтой на mail.pnpi.spb.ru Работа с электронной почтой на mail.pnpi.spb.ru Вычислительный кластер отделения pcfarm.pnpi.spb.ru и его развитие Вычислительный кластер отделения pcfarm.pnpi.spb.ru и его развитие

3 Основные сферы деятельности отдела и его состав Разработка эффективных вычислительных архитектур для использования в физике высоких энергий. Разработка эффективных вычислительных архитектур для использования в физике высоких энергий. Поддержка разработанных и реализованных вычислительных систем ОФВЭ и института. Поддержка разработанных и реализованных вычислительных систем ОФВЭ и института. Локальная сеть ОФВЭ на 7 и 2 корпусах (три узла на 7 корпусе и 6 узлов на 2 корпусе). Локальная сеть ОФВЭ на 7 и 2 корпусах (три узла на 7 корпусе и 6 узлов на 2 корпусе). Вычислительный кластер отделения, состоящий из двенадцати системных блоков, один из которых главный (pcfarm.pnpi.spb.ru). Вычислительный кластер отделения, состоящий из двенадцати системных блоков, один из которых главный (pcfarm.pnpi.spb.ru). Mail сервер института и главный DNS сервер института (mail.pnpi.spb.ru). Mail сервер института и главный DNS сервер института (mail.pnpi.spb.ru). WWW, FTP сервер отделения, дополнительный DNS сервер института и mail-list отделения и института (dbserv.pnpi.spb.ru). WWW, FTP сервер отделения, дополнительный DNS сервер института и mail-list отделения и института (dbserv.pnpi.spb.ru). Коммутатор локальной сети института на 7 корпусе, обеспечивающий интеграцию сетей института на скорости 100 Мбит/сек Коммутатор локальной сети института на 7 корпусе, обеспечивающий интеграцию сетей института на скорости 100 Мбит/сек Прокси сервер отделения и центральных подразделений института для работы с Интернет по наземному каналу 512 Кбит/сек (proxyter.pnpi.spb.ru). Прокси сервер отделения и центральных подразделений института для работы с Интернет по наземному каналу 512 Кбит/сек (proxyter.pnpi.spb.ru). Сервер доступа в локальную сеть по модемным линиям. Сервер доступа в локальную сеть по модемным линиям. Сетевые принтеры. Сетевые принтеры. В отделе 5 человек. В отделе 5 человек.

4 Локальная сеть ОФВЭ на 7 и 2 корпусах В конце октября 2004 года был получен и установлен коммутатор Ethernet 3Com Switch port TP 10/100 Mbit, 2 port TP 1000 Mbit. В конце октября 2004 года был получен и установлен коммутатор Ethernet 3Com Switch port TP 10/100 Mbit, 2 port TP 1000 Mbit. Общее число портов Ethernet в Отделении увеличилось с 300 до 324. Общее число портов Ethernet в Отделении увеличилось с 300 до 324. С ледует планировать приобретение ещё одного коммутатора на 24 порта 10/100 Мбит и 2 портами 1 Гбит, что обеспечит: С ледует планировать приобретение ещё одного коммутатора на 24 порта 10/100 Мбит и 2 портами 1 Гбит, что обеспечит: Дополнительные порты на узле в комнате 124 корпуса 7 (аппаратная 7 корпуса), общее число портов 48; Дополнительные порты на узле в комнате 124 корпуса 7 (аппаратная 7 корпуса), общее число портов 48; Дополнительные порты на узле корпуса 2А, где всего 12 портов 10 Мбит; Дополнительные порты на узле корпуса 2А, где всего 12 портов 10 Мбит; Модернизацию узла в измерительном зале ИРИС путем замены концентратора с 12 портами 100 Мбит на коммутатор с 24 портами 10/100 Мбит. Модернизацию узла в измерительном зале ИРИС путем замены концентратора с 12 портами 100 Мбит на коммутатор с 24 портами 10/100 Мбит. В будущем рост сетевых потоков Отделения потребует установку гигабитного коммутатора в аппаратной корпуса 7. В будущем рост сетевых потоков Отделения потребует установку гигабитного коммутатора в аппаратной корпуса 7.

5 Список компьютеров подключенных к сети в 2004 году 1.eng к.ИРИС, к.106Гусев Ю. И. 2.eng к.ИРИС, к.106Гусев Ю. И. 3.eng к.ИРИС, к.217аБатист Л. Х. 4.eng к.ИРИС, к.113Тихонов В.И. 5.dvf к.ИРИС, к.214аФедоров Д. В. 6.iris к.ИРИС, к.105Железняков В. М. 7.irisluk к.ИРИС, к.217Лукашевич В. В. 8.red к.ОРЭ, к.207Бондарев С. В. 9.red к.ОРЭ, к.200Лазарев В. И. 10.red к.ОРЭ, к.200Бондарев С. В. 11.red к.ОРЭ, к.200Лазарев В.И. 12.red к.ОРЭ, к.200Лазарев В.И. 13.hvtest к.ОРЭ, к.109Денисов А.С. 14.hvtest к.ОРЭ, к.109Денисов А.С. 15.hvtest к.ОРЭ, к.109Денисов А.С. 16.hvtest к.ОРЭ, к.109Денисов А.С. 17.pc2a к.2a, к.205Петров И. А. 18.accdep к.2а, к.304Аверина Л.И. 19.accdep к.2а, к.304Игошина С.Е. 20.tdd к.2, к.309Фетисов А. А. 21.hermes к.7, к.216Белостоцкий С. Л. 22.kikimora к.7, к.129Изотов А.А. 23.mpl к.7, к.238Гриднев А. Б. 24.hepdep к.7, к.212Ольшевская В. В. 25.eppl к.7, к.213Ким В.Т.

6 Локальная сеть института в аппаратной 7 корпуса Локальная сеть института на 7 корпусе строится на базе 4-х слотного коммутатора 3Com CoreBuilder 3500, который обеспечивает интеграцию сетей института на скорости 100 Мбит/с. Его используют ранее подключенные локальные сети ОНИ (7, 1, 85 корпуса), ОТФ (85 корпус), ОМРБ (50 корпус), ОФВЭ (7 и 2 корпуса), конструкторский отдел. Коммутаторы данного класса позволяют отделениям и центральным подразделениям использовать несколько подсетей, количество которых на текущий момент составляет 24. В 2004 году подключены: Локальная сеть из пяти компьютеров на 8 корпусе (информационно- общественный центр и профком) по оптоволоконной линии на скорости 100 Мбит/с. Локальная сеть из пяти компьютеров на 8 корпусе (информационно- общественный центр и профком) по оптоволоконной линии на скорости 100 Мбит/с. Локальная сеть института на корпусе ИК по оптоволоконной линии на скорости 100 Мбит/с. Ранее связь с локальной сетью на ИК осуществлялась на скорости 10 Мбит/с через маршрутизатор для работы с Интернет по наземному каналу 512 Кбит/с. Локальная сеть института на корпусе ИК по оптоволоконной линии на скорости 100 Мбит/с. Ранее связь с локальной сетью на ИК осуществлялась на скорости 10 Мбит/с через маршрутизатор для работы с Интернет по наземному каналу 512 Кбит/с.

7 Работа с электронной почтой на mail.pnpi.spb.ru Современный вариант мейл сервера создан ОВС на средства центра института в ноябре 2000 года. На сервере зарегистрировано примерно 600 пользователей (сотрудники ОФВЭ, ОНИ и центральных подразделений). Осенью 2003 года работа сервера была переведена на системный блок персонального компьютера Fujitsu-Siemens, полученный по немецкому кредиту, который имеет процессор Intel Pentium 4, 1.8 GHz и память 1 Гбайт. Работа сервера выполняется под операционной системой Linux Red Hat. С краткой информацией по работе с почтой на этом сервере можно ознакомиться на странице Адреса электронной почты зарегистрированных сотрудников института упорядоченных по алфавиту фамилий можно найти на WWW сервере института

8 Антивирусная защита почтовых сообщений Антивирусная защита на сервере организована с использованием Dr.Web для sendmail. Продление лицензии выполняется третий год. В этом году неожиданно для нас сумма выросла для нас в 3 раза составила рублей и это с 50% скидкой для институтов РАН. Центральная дирекция с трудом, после наших объяснений, нашла способ оплатить данную сумму вовремя, до истечения предыдущей лицензии. Работать без антивирусной защиты почты невозможно, т.к. в сутки на сервер приходит более 100 мейлов с вирусами. Сильная вирусная эпидемия имела место 27 января 2004 года, когда после получения новых вирусных записей в базу данных было обнаружено, что основное число мейлов с вирусами идет с компьютеров внутри института. В течение 4 часов было обнаружено более 1000 мейлов с вирусами и нам пришлось определять с каких компьютеров идут мейлы с вирусами. Число заражённых компьютеров в сети ПИЯФ насчиталось более десятка. IP-адреса, обнаруженных инфицированных компьютеров были сообщены ответственным лицам за локальные сети, чтобы отключили данные компьютеры от сети до удаления вирусов с компьютера.

9 Антивирусная политика Уменьшен период опроса новых вирусных записей в базе данных Dr.Web до 15 минут. Если появились новые записи, то производится пересылка на мейл-сервер. Уменьшен период опроса новых вирусных записей в базе данных Dr.Web до 15 минут. Если появились новые записи, то производится пересылка на мейл-сервер. Информация о заражённом мейле поступает только администратору. Информация о заражённом мейле поступает только администратору. При каждом скачивании новых вирусных записей осуществляется сканирование всех входных ящиков пользователей. Если обнаружены мэйлы с вирусом, то вручную запускается скрипт на удаление заражённых мейлов из списка мейлов данного данного пользователя. При каждом скачивании новых вирусных записей осуществляется сканирование всех входных ящиков пользователей. Если обнаружены мэйлы с вирусом, то вручную запускается скрипт на удаление заражённых мейлов из списка мейлов данного данного пользователя.

10 Вычислительный кластер отделения (pcfarm.pnpi.spb.ru) Кластер состоит из одного главного компьютера и одиннадцати периферийных компьютеров, на которых запускаются задания с использованием batch системы SGE. Файл-сервер/сервер доступа кластера (центральный компьютер) организован на базе системного блока Fujitsu-Siemens Celsius R610 Workstation с двумя процессорами Intel Xeon 2,40 GHz (533 MHz/HT), оперативной памятью 2 Гбайта. Дисковая память подключена к главному компьютеру через двухканальный контроллер SCSI 320 Mbyte/s. Связь периферийных компьютеров с главным осуществляется через коммутатор Ethernet 1 Гбит или 100 Мбит. Суммарная частота процессоров всех компьютеров кластера составляет * * * * *2.400 = ГГц Объем HDD SCSI на главном компьютере составляет 36* *5= 947 Гбайт. Один диск 146 Гбайт используется под временную область (scratch) и поэтому каждому пользователю кластера по умолчанию доступно 10 Гбайт. Поступает первая дисковая RAID система на 3 Тбайта, 15 дисков SATA IDE 200 Гбайт, на базе 19 3U Promise Vtrak

11 Вычислительный кластер отделения (продолжение) В настоящее время на кластере зарегистрировано 136 пользователей. В настоящее время на кластере зарегистрировано 136 пользователей. Все компьютеры кластера работают под управлением операционной системы Red Hat Linux. Планируется переход на Scientific Linux, который становится фактическим стандартом для коллабораций в ФВЭ. Среди установленных системных компонентов можно отметить AFS, Globus (базовая система в Grid), SUN Gridware Engine (SGE). Все компьютеры кластера работают под управлением операционной системы Red Hat Linux. Планируется переход на Scientific Linux, который становится фактическим стандартом для коллабораций в ФВЭ. Среди установленных системных компонентов можно отметить AFS, Globus (базовая система в Grid), SUN Gridware Engine (SGE). Ведётся работа по проекту EGEE (Европейский вариант Грид), а также по адаптации программного обеспечения CMS, LHCb, PHENIX. Ведётся работа по проекту EGEE (Европейский вариант Грид), а также по адаптации программного обеспечения CMS, LHCb, PHENIX. Имеются следующие компоненты прикладного обеспечения: Имеются следующие компоненты прикладного обеспечения: CERNLIB-2003, gcc 3.2.3, система ROOT , другие пакеты. Работа с Интернет осуществляется по наземному каналу 512 Кбит/сек, а с апреля 2004 года появилась возможность работы с научными центрами мира по каналу 2 Мбит/с. Работа с Интернет осуществляется по наземному каналу 512 Кбит/сек, а с апреля 2004 года появилась возможность работы с научными центрами мира по каналу 2 Мбит/с.

12 Вычислительный кластер ОФВЭ

13 Использование вычислительного кластера пакетными заданиями в 2004 году Статистика с 1 января 2004 года по 27 декабря 2004 года (в часах CPU) 1. ObrantГ.З.Обрант IsmirnovИ.Б.Смирнов AnufrievС.В.Ануфриев VelichkoГ.Н.Величко KkuznЕ.Кузнецова ArnisА.А.Кулбардис DairД.Е.Боядилов SaranВ.В.Саранцев KozlenkoН.Г.Козленко RiabovygЮ.Г.Рябов RadkovА.К.Радьков ShermanС.Г.Шерман KomarovЕ.Н.Комаров TverskoyМ.Г.Тверской AgrepА.О. Гребенюк KravtsovА.В.Кравцов 11

14 PNPI role in Grid Anybody who plans to participate in accelerator physics simulation/analysis has to learn the basics of Grid computing organization and collaboration rules where you plan to participate (to get Grid certificate as the first step). Anybody who plans to participate in accelerator physics simulation/analysis has to learn the basics of Grid computing organization and collaboration rules where you plan to participate (to get Grid certificate as the first step). HEPD has to keep up to date own computing cluster facility (about 10 TB of disk space and appropriate computing power) and external data transfer throughput 1-5 MBytes/sec. HEPD has to keep up to date own computing cluster facility (about 10 TB of disk space and appropriate computing power) and external data transfer throughput 1-5 MBytes/sec. Цитата из презентации А.Е. Шевеля 14 декабря 2004 года на семинаре ОФВЭ ( )

15 Предложение по развитию вычислительного кластера Отделения в 2005 году 1. Шесть 3 ГГц однопроцессорных блока - $850*6=$ Один гигабитный коммутатор 3Com Switch 3812 TP 12 port - $1250 После этого удаляем два маломощных системных блока на базе Pentium III, и тогда общее число системных блоков на базе Pentium 4 достигнет 16. Суммарная частота процессоров всех компьютеров кластера на сегодня – * * * * * = ГГц Суммарная частота процессоров всех компьютеров кластера увеличится до – 3.000* * * *2= ГГц Общая сумма на оба приобретения составит: =$6.35К