Способы планирования в грид и их реализация в Грид-диспетчере в Грид-диспетчере В.Коваленко, О.Шорин, П.Березовский, Д.Семячкин Институт прикладной математики им. М.В.Келдыша РАН Keldysh Institute of Applied Mathematics Keldysh Institute of Applied Mathematics Russian Academy of Sciences Keldysh Institute of Applied Mathematics Keldysh Institute of Applied Mathematics Russian Academy of Sciences 11
Прямой запуск заданий Запуск заданий через брокер Брокер 22
33
44
Простые подходы не годятся – нужно планирование Простые: непосредственный подбор ресурсовПростые: непосредственный подбор ресурсов Они плохи тем, что не исключают ситуаций, когда в грид где-то есть свободные ресурсы, а задания стоят в очереди в другом месте.Они плохи тем, что не исключают ситуаций, когда в грид где-то есть свободные ресурсы, а задания стоят в очереди в другом месте. Задача планирования: Есть множество пространственно распределенных ресурсов Есть множество пространственно распределенных ресурсов Поступает поток заданий от множества источниковПоступает поток заданий от множества источников Система планирования должна находить свободные ресурсы и распределять их между заданиями. Простые подходы не годятся – нужно планирование Простые: непосредственный подбор ресурсовПростые: непосредственный подбор ресурсов Они плохи тем, что не исключают ситуаций, когда в грид где-то есть свободные ресурсы, а задания стоят в очереди в другом месте.Они плохи тем, что не исключают ситуаций, когда в грид где-то есть свободные ресурсы, а задания стоят в очереди в другом месте. Задача планирования: Есть множество пространственно распределенных ресурсов Есть множество пространственно распределенных ресурсов Поступает поток заданий от множества источниковПоступает поток заданий от множества источников Система планирования должна находить свободные ресурсы и распределять их между заданиями. 55
К постановке задачи: Специфика грид (ресурсы, задания, способ функционирования)Специфика грид (ресурсы, задания, способ функционирования) Цели планирования.Цели планирования. Специфика грид: Большие задания, существенное время доставки => опережающее планированиеБольшие задания, существенное время доставки => опережающее планирование Нет полного контроля над ресурсами => интерфейсы с системами локального управленияНет полного контроля над ресурсами => интерфейсы с системами локального управления Должны учитываться отношения: Между пользователями => Справедливое (fair share) распределение ресурсов между пользователями – чтобы исключить монополизацию ресурсовМежду пользователями => Справедливое (fair share) распределение ресурсов между пользователями – чтобы исключить монополизацию ресурсов Пользователи/поставщики. Поставщики сохраняют автономию ресурсов => регулируя поток заданий грид.Пользователи/поставщики. Поставщики сохраняют автономию ресурсов => регулируя поток заданий грид. К постановке задачи: Специфика грид (ресурсы, задания, способ функционирования)Специфика грид (ресурсы, задания, способ функционирования) Цели планирования.Цели планирования. Специфика грид: Большие задания, существенное время доставки => опережающее планированиеБольшие задания, существенное время доставки => опережающее планирование Нет полного контроля над ресурсами => интерфейсы с системами локального управленияНет полного контроля над ресурсами => интерфейсы с системами локального управления Должны учитываться отношения: Между пользователями => Справедливое (fair share) распределение ресурсов между пользователями – чтобы исключить монополизацию ресурсовМежду пользователями => Справедливое (fair share) распределение ресурсов между пользователями – чтобы исключить монополизацию ресурсов Пользователи/поставщики. Поставщики сохраняют автономию ресурсов => регулируя поток заданий грид.Пользователи/поставщики. Поставщики сохраняют автономию ресурсов => регулируя поток заданий грид. 66
Цели планирования: Скорейшее выполнение заданийСкорейшее выполнение заданий => Индивидуальное управление временем обработки каждого задания Гарантированное выполнение заданий (многопроцессорные)Гарантированное выполнение заданий (многопроцессорные) Цели планирования: Скорейшее выполнение заданийСкорейшее выполнение заданий => Индивидуальное управление временем обработки каждого задания Гарантированное выполнение заданий (многопроцессорные)Гарантированное выполнение заданий (многопроцессорные) 77 Основные характеристики предлагаемых способов планирования: Приоритетное обслуживаниеПриоритетное обслуживание Глобальная очередьГлобальная очередь Предсказание состояния ресурсовПредсказание состояния ресурсов Основные характеристики предлагаемых способов планирования: Приоритетное обслуживаниеПриоритетное обслуживание Глобальная очередьГлобальная очередь Предсказание состояния ресурсовПредсказание состояния ресурсов
Формы грид разнообразны и нужны различные методы планирования. На метод планирования влияют: На метод планирования влияют: Способ организации ресурсовСпособ организации ресурсов Кластеризованные ресурсы (двухуровневый грид) – отдельные компьютеры (одноуровневый грид)Кластеризованные ресурсы (двухуровневый грид) – отдельные компьютеры (одноуровневый грид) Способ использования ресурсовСпособ использования ресурсов Отчуждаемые ресурсы – совместно используемыеОтчуждаемые ресурсы – совместно используемые Класс заданийКласс заданий Простые – многопроцессорные – сериализуемыеПростые – многопроцессорные – сериализуемые Формы грид разнообразны и нужны различные методы планирования. На метод планирования влияют: На метод планирования влияют: Способ организации ресурсовСпособ организации ресурсов Кластеризованные ресурсы (двухуровневый грид) – отдельные компьютеры (одноуровневый грид)Кластеризованные ресурсы (двухуровневый грид) – отдельные компьютеры (одноуровневый грид) Способ использования ресурсовСпособ использования ресурсов Отчуждаемые ресурсы – совместно используемыеОтчуждаемые ресурсы – совместно используемые Класс заданийКласс заданий Простые – многопроцессорные – сериализуемыеПростые – многопроцессорные – сериализуемые 88
Разрабатываются методы планирования для актуальных форм грид: Грид из кластеров, ресурсы используются совместно с владельцами, однопроцессорные заданияГрид из кластеров, ресурсы используются совместно с владельцами, однопроцессорные задания Грид из кластеров, ресурсы используются совместно с владельцами, многопроцессорные заданияГрид из кластеров, ресурсы используются совместно с владельцами, многопроцессорные задания Индивидуальные компьютеры, неотчуждаемые от владельцев, сериализуемые заданияИндивидуальные компьютеры, неотчуждаемые от владельцев, сериализуемые задания Разрабатываются методы планирования для актуальных форм грид: Грид из кластеров, ресурсы используются совместно с владельцами, однопроцессорные заданияГрид из кластеров, ресурсы используются совместно с владельцами, однопроцессорные задания Грид из кластеров, ресурсы используются совместно с владельцами, многопроцессорные заданияГрид из кластеров, ресурсы используются совместно с владельцами, многопроцессорные задания Индивидуальные компьютеры, неотчуждаемые от владельцев, сериализуемые заданияИндивидуальные компьютеры, неотчуждаемые от владельцев, сериализуемые задания 99
Другие задачи грид: Стандартизация взаимодействия (OGSI, WSRF)Стандартизация взаимодействия (OGSI, WSRF) БезопасностьБезопасность Виртуальные организацииВиртуальные организации НадежностьНадежность Мониторинг …Мониторинг … Другие задачи грид: Стандартизация взаимодействия (OGSI, WSRF)Стандартизация взаимодействия (OGSI, WSRF) БезопасностьБезопасность Виртуальные организацииВиртуальные организации НадежностьНадежность Мониторинг …Мониторинг … 1010