• Первин Артем Юрьевич
  • 2009
  • 23

Система управления специализированными виртуальными инструментами с механизмами оптимального распределения вычислительных ресурсов автореферат диссертации для написания диплома, курсовой работы, тема для доклада и реферата

Система управления специализированными виртуальными инструментами с механизмами оптимального распределения вычислительных ресурсов - темы дипломов, курсовиков, рефератов и докладов Ознакомиться с текстом работы
Специальность ВАК РФ: 05.13.11 — Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
  • Реферун рекомендует следующие темы дипломов:
  • Современные технологии виртуализации
  • Основные подходы виртуализации
  • Аппаратная поддержка виртуализации
  • Реферун советует написать курсовую работу на тему:
  • Современные виртуальные машины
  • Области применения виртуальных машин
  • Консолидация рабочих нагрузок
  • Реферун советует написать реферат на тему:
  • Разработка ПО и нового оборудования
  • Распространение ПО в виде виртуальных машин
  • Система Виртуальные сервисы
  • Реферун предлагает написать доклад на тему:
  • Образ файловой системы
  • Модуль управления правилами маршрутизации
  • Модуль управления виртуальной машиной
  • Сервис Виртуальный кластер
  • Математическая модель управления ресурсами
Поделиться с друзьями:

Выдержки из автореферата диссертации Первин Артем Юрьевич, 2009, 05.13.11 — Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Актуальность работы. На сегодняшний день уже не вызывает сомнения тот факт, что виртуализация является крайне актуальной и востребованной технологией. Применительно к настольным компьютерам и серверам, виртуализация — это создание на одном физическом сервере или компьютере нескольких «виртуальных» машин, на каждой из которых может быть установлена своя среда — операционная система, приложения, пользовательские настройки и т.п. При этом такие виртуальные машины (ВМ) оказываются абсолютно изолированными друг от друга и ведут себя, как отдельные физические компьютеры.

С помощью виртуализации удается организовать более эффективное управление вычислительными ресурсами и упросить администрирование оборудования, не нарушая при этом изоляцию несвязанных между собой приложений. Это достигается благодаря новым возможностям виртуализации по управлению ресурсами, которые сложно или невозможно реализовать при использовании традиционных подходов. Использование технологий виртуализации вычислительных ресурсов актуально, в том числе, и для кластерных систем, где ВМ позволяют значительно упростить задачу автоматизации распределения ресурсов и управления конфигурацией узлов кластера. Однако для практического использования одних только базовых функций ВМ часто оказывается недостаточно. Необходима полноценная платформа для автоматизированного централизованного управления комплексами ВМ.

В настоящее время существует ряд мощных систем для управления комплексами ВМ. В таких системах решения по вопросам распределения аппаратных ресурсов между приложениями принимается преимущественно вручную администратором или пользователями системы. Такой способ управления, тем не менее, не способствует оптимальному использованию ресурсов, поскольку пользователи стремятся обеспечить себя избыточным объемом ресурсов, чтобы гарантировать эффективную работу своих приложений при критических уровнях нагрузки.

Представляется возможным и актуальным сделать следующий шаг вперед: системы управления комплексами ВМ должны автоматизировать процесс распределения вычислительных ресурсов на основе соглашений, регламентирующих требуемое качество оказываемых приложениями услуг. Учитывая ценность предос-

тавляемых приложению ресурсов, такие системы могли бы реализовать гибкие и эффективные стратегии управления, динамически наращивая и освобождая вычислительные ресурсы приложений по мере необходимости.

Предлагаемое в рамках диссертационной работы программное решение Виртуальные сервисы ориентировано на использование в первую очередь на высокопроизводительных вычислительных установках, где технологии виртуализации являются актуальной темой научных исследований. Такие вычислительные системы, как правило, используются одновременно несколькими пользователями для решения ресурсоемких, узкоспециализированных научных и инженерных задач, требующих для корректного функционирования определенного набора системного и прикладного ПО. Эти требования часто создают конфликтные ситуации, связанные с различиями версий служебного ПО. Система Виртуальные сервисы позволяет решить эти проблемы с помощью специализированных сервисов — изолированных вычислительных окружений для решения конкретных пользовательских задач. При этом объем аппаратных ресурсов, доступных сервису, может меняться динамически в соответствии с текущими потребностями пользователей этого сервиса.

В диссертации предлагаются новые подходы по управлению вычислительными ресурсами высокопроизводительного кластера, основанные на использовании профилей производительности приложения и концепции уровня сервиса, способствующих повышению КПД аппаратных ресурсов вычислительной системы. В системе Виртуальные сервисы реализован удобный пользовательский интерфейс, совместимый с промежуточным программным обеспечением (ППО) ЦМСОКЕ, что позволяет использовать систему, в том числе, и в грид окружении.

Цель работы состоит в разработке методов и средств управления вычислительными ресурсами приложений, работающих на высокопроизводительном кластере в виртуальной среде.

В рамках диссертационной работы решаются следующие задачи • разработка и реализация архитектуры программного средства для развертывания, мониторинга и распределения вычислительных ресурсов комплексов виртуальных машин.

• адаптация ряда типовых демонстрационных приложений для работы в виртуальной вычислительной среде.

• разработка математической модели для автоматического динамического перераспределения вычислительных ресурсов с целью оптимизации их использования.

• реализация математической модели в виде программной компоненты и проведение экспериментов, показывающих ее эффективность.

Методы исследования. Результаты исследования получены на базе разработанного программного комплекса Виртуальные сервисы. При проектировании и реализации системы применялись открытые международные стандарты (1МЬ, \VSDL, Х.509 и другие), использовались инструментальные среды и пакеты системного ПО. Реализация программного комплекса велась с применением компонентного подхода. Математическая модель управления вычислительными ресурсами построена с помощью теории оптимизации динамических систем.

Научной новизной обладают следующие результаты диссертации:

1. Предложена архитектура программной системы для управления комплексами виртуальных машин.

2. Предложен подход к распределению вычислительных ресурсов на основе статистического и текущего потребления ресурсов виртуальными сервисами с применением профиля производительности и уровня сервиса.

3. Разработана и программно реализована модель оптимального управления вычислительными ресурсами для совокупности виртуальных сервисов.

Практическая значимость результатов работы определяется их применимостью для решения задач эффективного использования мощностей высокопроизводительных вычислительных кластеров, что продемонстрировано при реализации: • суперкомпыотерной программы «СКИФ-ГРИД» Союзного Государства в проекте «Разработка программных средств организации виртуальных кластеров на суперкомпьютерах семейства "СКИФ"»,

• программы фундаментальных исследований Президиума РАН №15 «Разработка фундаментальных основ создания научной распределенной информационно-вычислительной среды на основе технологии GRID».

Система Виртуальные сервисы используется в Геофизическом центре РАН, при развертывании ресурсного узла национальной инфраструктуры СКИФ-ГРИД для системы управления метаданными в виртуальных обсерваториях по окружающей среде.

Разработанная в настоящей работе программная система предоставляет возможность эффективного управления аппаратными ресурсами высокопроизводительных вычислительных систем и суперкомпьютеров семейства «СКИФ». Предлагаемый в работе алгоритм управления ресурсами может иметь самостоятельное значение и использоваться в других аналогичных системах управления ВМ.

Апробация работы и публикации. Основные результаты работы докладывались и обсуждались на следующих конференциях и семинарах:

• 3-я международная конференция "Распределенные вычисления и Грид технологии в науке и образовании", Дубна, 2008 г.

• XV Всероссийская научно-методическая конференция "Телематика'2008" Санкт-Петербург, 2008.

• Международная научная конференция «Параллельные вычислительные технологии» (ПаВТ'2008), Санкт-Петербург, 2008 г.

• IV международная конференция «Параллельные вычисления и задачи управления» (РАСО'2008), Москва, 2008 г.

• 3rd Workshop on Virtualization in High-Performance Cluster and Grid Computing (VHPC '08), Las Palmas de Gran Canaria, Spain, 2008.

• XVI Международная конференция по Вычислительной механике и современным прикладным программным системам (ВМСППС'2009), Алушта, Крым, 2009 г.

• Семинары Исследовательского центра мультипроцессорных систем ИПС РАН в г. Переславль-Запесский (2007-2009).

Основные результаты диссертации отражены в пяти печатных работах, в том числе в трудах трех научных конференций и двух статьях, включая одну публикацию [5] в издании из списка ВАК.

Структура и объем работы. Диссертационная работы работа состоит из введения, трех глав, заключения, библиографического списка из 62 наименований и пяти приложений. Общий объем основного текста диссертации составляет 104 страницы, включая 31 рисунок.

Основные результаты

Основным результатом диссертации является создание алгоритмического и программного обеспечения мультипроцессорных систем, реализующего новый подход распределения вычислительных ресурсов с использованием ВМ. Решены следующие задачи:

1. Разработана программная система для управления вычислительными ресурсами приложений, функционирующих на комплексах ВМ.

2. Выполнена адаптация ряда приложений для работы в разработанной программной среде, отражающих основные сценарии использования вычислительных кластеров и иллюстрирующие характеристики задач, традиционного решаемых на таких системах.

3. Создана математическая модель управления ресурсами, позволяющая автоматизировать процесс принятия решений о назначении вычислительных мощностей приложениям.

4. Проведены эксперименты, показывающие эффективность применения предложенной модели для динамического распределения ресурсов.

Публикации по теме диссертации

1. Первин А.Ю., Московский A.A., Walker В. Динамическое управление ресурсами виртуальных инструментов на вычислительном кластере. - Труды международной научной конференции «Параллельные вычислительные технологии» (28.01-01.02.2008, Санкт-Петербург). - Челябинск: Изд. ЮУрГУ, 2008, с. 186-198.

2. Первин А.Ю., Московский A.A., Walker В. Оптимальное управление ресурсами виртуальных инструментов на вычислительном кластере. - Труды FV международной конференции «Параллельные вычисления в задачах управления» (27-29.10.2008, Москва). - Москва, Институт проблем управления им. В.А. Трапезникова РАН, с. 1136-1149.

3. Pervin A., Moskovksy A., Walker В. Dynamic Resources Management of Virtual Appliances on a Computational Cluster. Euro-Par 2008 Workshops - Parallel Processing: Proceedings of the 14th International Euro-Par Conference (2629.08.2008, Las Palmas de Gran Canaria). - Springer Berlin / Heidelberg, Lecture Notes in Computer Science 5415/2009, pp. 33-42.

4. Первин А.Ю, Московский A.A., Walker В. Динамическое управление ресурсами виртуальных инструментов на вычислительном кластере. - Вычислительные методы и программирование, 2008, №9, с. 32-40.

5. Первин А.Ю, Московский А.А. Виртуальные приложения для грид-вычислений. - Информационно-управляющие системы, 2008, 6, с. 36-43.

Личный вклад автора в работах, опубликованных в соавторстве, заключается в следующем: в [1] автору принадлежит описание архитектуры системы и разработанных сервисов; в [2] — актуальность темы и постановка задачи; в [3] — промежуточная реализация оптимизационного алгоритма; в [4] — методика профилировки приложений и описание полученных результатов; в [5] — предлагаемый подход распределения ресурсов вычислительного кластера.

Поделиться с друзьями: