Аппаратно-вычислительный комплекс для предоставления доступа к программному обеспечению в концепции облачных вычислений

Устройство относится к аппаратно-вычислительным комплексам для предоставления доступа к программному обеспечению в концепции облачных вычислений. Устройство включает связанные между собой и соединенные с интернет группу ЭВМ, обеспечивающих функционирование Веб-ядра хаба, группу ЭВМ для хранения программных сессий, файловые хранилища и высокопроизводительные вычислительные ресурсы, а также ЭВМ системы учета ресурсов, через которую связанны группа ЭВМ для хранения программных сессий и высокопроизводительные вычислительные ресурсы. Технический результат достигается за счет дополнительной ЭВМ системы учета ресурсов. 1 з.п. ф-лы, 12 ил., 11 табл.

Предлагаемая полезная модель относится к аппаратно-вычислительным комплексам для предоставления доступа к программному обеспечению в концепции облачных вычислений.

Для проведения сложных расчетов, связанных с математическим моделированием, зачастую недостаточно обычных персональных компьютеров ввиду того, что они не обладают необходимой вычислительной мощностью. Поэтому для подобных задач применяются так называемые «суперкомпьютеры», которые позволяют получать результаты на несколько порядков быстрее.

К основным недостаткам использования суперкомпьютеров относятся их высокая стоимость и большие затраты, связанные с их эксплуатацией. Кроме того отсутствие для ряда отраслей промышленности открытых программных пакетов (open source) для моделирования вынуждает пользователей покупать их коммерческие аналоги. В некоторых случаях стоимость программных решений и их дальнейшая поддержка сопоставима со стоимостью покупки суперкомпьютера, а иногда и значительно превышает ее.

Ввиду этого большинство компаний малого и среднего бизнеса, а также вузы, не могут позволить себе приобретение промышленного суперкомпьютера и необходимого программного обеспечения.

Известно решение вышеназванной проблемы, описанное в частности в работе /G.Klimeck, M.McLennan, S.P.Brophy, G.B.Adams III, M.S.Lundstrom, "nanoHUB.org: Advancing Education and Research in Nanotechnology," Computing in Science and Engineering, 2008, 10(5), pp.17-23/, в которой в качестве упрощения доступа к суперкомпьютерам описывается концепция программно-аппаратных комплексов «хабов» - (англ. hub), основная задача которых - предоставление клиентам облачного сервиса (Software as a Service, SaaS), обеспечивающего удаленный интерактивный доступ к прикладному программному обеспечению без его модификации. Хаб представляет собой платформу, на которую можно установить программный продукт, предназначенный для работы на суперкомпьютерах и обеспечить доступ к нему и к вычислительным ресурсам через интернет. Это возможно благодаря тому, что хабы включают связанные между собой и соединенные с интернет группу ЭВМ, обеспечивающих функционирование Веб-ядра хаба, группу ЭВМ для хранения программных сессий, файловые хранилища и высокопроизводительные вычислительные ресурсы.

Одним из основных недостатков известной концепции хабов является отсутствие системы учета ресурсов, в задачи которой входил бы контроль над использованием аппаратных мощностей хаба и установленных программных продуктов, что не позволяет использование хабов, для предоставления клиентам облачного сервиса на коммерческих условиях.

Техническая задача, решаемая предлагаемой полезной моделью состояла в создании аппаратно-вычислительного комплекса для предоставления доступа к программному обеспечению в концепции облачных вычислений, снабженной системой учета ресурсов, обеспечивающей контроль над использованием ресурсов, ограничивающей доступ к вычислительным ресурсам, в случае, если лицо запрашивающее доступ не прошло проверку системой, осуществляющей хранение результатов использования аппаратно-вычислительного комплекса, поддерживающей формирование отчетов о работе аппаратно-вычислительного комплекса. Тем самым расширяя класс программных продуктов, которые можно устанавливать в инфраструктуру хаба.

Сущность полезной модели состоит в том, что аппаратно-вычислительный комплекс для предоставления доступа к программному обеспечению в концепции облачных вычислений, включающий связанные между собой и соединенные с интернет группу ЭВМ, обеспечивающих функционирование Веб-ядра хаба, группу ЭВМ для хранения программных сессий, файловые хранилища и высокопроизводительные вычислительные ресурсы, дополнительно снабжен ЭВМ системы учета ресурсов, через которую связанны группа ЭВМ для хранения программных сессий и высокопроизводительные вычислительные ресурсы.

К тому же группа ЭВМ, обеспечивающих функционирование Веб-ядра хаба, может включать Веб-сервер и сервер авторизации, группа ЭВМ для хранения программных сессий может включать сервер системы удаленного доступа к приложению, программное обеспечение, приложение и домашний каталог, файловое хранилище может включать бинарные файлы приложений и домашние каталоги пользователей, высокопроизводительные вычислительные ресурсы могут включать менеджер распределенных ресурсов, ЭВМ системы учета ресурсов может включать сервер системы учета ресурсов, при этом Веб-сервер может быть соединен с сервером авторизации и промежуточным программным обеспечением, кроме того промежуточное программное обеспечение может быть соединено также с сервером системы удаленного доступа к приложению и приложением, кроме того приложение может быть соединено с сервером системы удаленного доступа к приложению, бинарными файлами приложений, сервером системы учета ресурсов и домашним каталогом, который также может быть соединен с домашними каталогами пользователей, а сервер системы учета ресурсов может быть соединен также с менеджером распределенных ресурсов, кроме того Веб-сервер и сервер системы удаленного доступа к приложению могут иметь возможность соединения с Веб-браузером пользователя.

Технический результат, достигаемый от использования предлагаемой полезной модели, состоит в том, что создан аппаратно-вычислительного комплекс для предоставления доступа к программному обеспечению в концепции облачных вычислений, снабженный системой учета ресурсов, обеспечивающей контроль над использованием ресурсов, ограничивающей доступ к вычислительным ресурсам, в случае, если лицо, запрашивающее доступ не прошло проверку, осуществляющей хранение результатов использования аппаратно-вычислительного комплекса, поддерживающей формирование отчетов о работе аппаратно-вычислительного комплекса. Тем самым расширен класс программных продуктов, которые можно устанавливать в инфраструктуру хаба.

Технический результат достигается за счет дополнительной ЭВМ системы учета ресурсов, через которую связанны группа ЭВМ для хранения программных сессий и высокопроизводительные вычислительные ресурсы.

Устройство и работа полезной модели поясняются материалами на фиг.1-фиг.12.

На фиг.1 представлена блок схема аппаратно-вычислительного комплекса для предоставления доступа к программному обеспечению в концепции облачных вычислений, где 1 - группа ЭВМ, обеспечивающих функционирование Веб-ядра хаба; 2 - группа ЭВМ для хранения программных сессий; 3 - файловые хранилища для бинарных файлов приложений и домашних каталогов пользователей; 4 - высокопроизводительные вычислительные ресурсы (суперкомпьютеры); 5 - ЭВМ системы учета ресурсов; 6 - локальный компьютер пользователя.

На фиг.2 представлена структура Таблицы участников проекта.

На фиг.3 представлена структура Таблицы доступных ресурсов.

На фиг.4 представлена структура Таблицы запусков.

На фиг.5 представлена Таблица участников проекта.

На фиг.6 представлена Таблицы доступных ресурсов.

На фиг.7 представлена Таблица доступных ресурсов после 1 запуска.

На фиг.8 представлена Таблица доступных ресурсов после 2 запуска.

На фиг.9 представлена Таблица доступных ресурсов после 3 запуска.

На фиг.10 представлена Таблица доступных ресурсов после 4 запуска.

На фиг.11 представлен Пример сформированной таблицы запусков.

На фиг.12 представлена Таблица с финальным отчетом по проектам.

Аппаратно-вычислительный комплекс для предоставления доступа к программному обеспечению в концепции облачных вычислений, предлагаемый в качестве полезной модели, блок-схема которой представлена на фиг.1, включает связанные между собой и соединенные с интернет группу ЭВМ, обеспечивающих функционирование Веб-ядра хаба (1), группу ЭВМ для хранения программных сессий (2), файловые хранилища (3) и высокопроизводительные вычислительные ресурсы (4), ЭВМ системы учета ресурсов (5), через которую связанны группа ЭВМ для хранения программных сессий (2) и высокопроизводительные вычислительные ресурсы (4). При этом группа ЭВМ, обеспечивающих функционирование Веб-ядра хаба (1), включает Веб-сервер и сервер авторизации, группа ЭВМ для хранения программных сессий (2) включает сервер системы удаленного доступа к приложению, программное обеспечение, приложение и домашний каталог, файловое хранилище (3) включает бинарные файлы приложений и домашние каталоги пользователей, высокопроизводительные вычислительные ресурсы (4) включают менеджер распределенных ресурсов, ЭВМ системы учета ресурсов (5) включает сервер системы учета ресурсов, при этом Веб-сервер соединен с сервером авторизации и промежуточным программным обеспечением, кроме того промежуточное программное обеспечение соединено также с сервером системы удаленного доступа к приложению и приложением, кроме того приложение соединено с сервером системы удаленного доступа к приложению, бинарными файлами приложений, сервером системы учета ресурсов и домашним каталогом, который также соединен с домашними каталогами пользователей, а сервер системы учета ресурсов соединен также с менеджером распределенных ресурсов, кроме того Веб-сервер и сервер системы удаленного доступа к приложению имеют возможность соединения с Веб-браузером пользователя.

Для удобства дальнейшего описания полезной модели и ее работы введем используемые понятия и термины:

Пользователь - любой зарегистрированный участник хаба.

Приложение - установленный программный пакет, доступ к которому осуществляется через интернет.

Проект - совокупность работ, проводимых пользователями хаба в рамках одного исследования с помощью конкретных приложений. Один пользователь может состоять в нескольких проектах.

Таблица участников проекта - таблица, где находятся данные о составе исполнителей проекта.

Перед началом проекта выбирается, какие пользователи будут участвовать в нем, и на основе этих данных формируется таблица участников проекта. Таблица содержит 2 столбца. В первом указывается название проекта, и во втором имя пользователя, который участвует в этом проекте.

Процессорное время - суммарное время работы вычислительных ресурсов (рассчитывается, как количество часов счета, умноженное на количество вычислительных ядер, на которых этот счет производился).

Доступное процессорное время - время, которое можно потратить на выполнение приложения.

После того, как таблица участников проекта сформирована, строится таблица доступных ресурсов. Для этого определяются приложения, необходимые для проекта, и оценочное количество процессорного времени для каждого приложения.

Таблица доступных ресурсов - таблица, где хранятся данные по выделенным ресурсам для проекта. Таблица содержит 3 столбца. В первом указывается название проекта, во втором название приложения, с помощью которого будет проводиться исследование, и в третьем - количество доступного процессорного времени для этого приложения.

Таблица запусков - таблица, в которой хранится информация об осуществленных запусках на вычислительном оборудовании. Таблица содержит 4 стобца. В первом указывается название проекта, в рамках которого проводился запуск, во втором - имя пользователя (участника проекта), который производил запуск, в третьем находится название приложения, и в четвертом - количество потраченного процессорного времени на счет за запуск. В таблицу заносится информация о каждом осуществленном запуске после его окончания.

Задание на счет - информация, которую пользователь отправляет серверу системы учета ресурсов, чтобы осуществить запуск. В задании указывается:

- Имя пользователя

- Проект, в котором состоит пользователь

- Название приложения, из которого осуществляется запуск

- Количество вычислительных узлов и время, на которое они требуются

- Входные данные и прочая метаинформация, зависящая от приложения

Действия осуществляемые сервером системы учета на основе полученного задания на счет, когда последовательно происходит проверка:

- Принадлежит ли пользователь проекту

- Есть ли у проекта доступ к запрашиваемому приложению

- Есть ли у проекта необходимое количество доступного процессорного времени для осуществления счета для данного приложения.

Для удобства изложения работу аппаратно - вычислительного комплекса опишем пошагово:

Шаг 1. Установка соединения с веб-сервером. Пользователь с помощью клиентского приложения (веб-браузера) заходит на веб-сайт хаба.

Шаг 2. Авторизация в системе. Пользователь вводит свои учетные данные, полученные им при регистрации, в специальную форму на сайте. На основе введенных данных веб-сервер формирует и отправляет запрос к серверу авторизации. Сервер авторизации проверяет, соответствуют ли введенные данные зарегистрированному пользователю. В случае положительного ответа веб-сервер предоставляет пользователю список размещенных приложений, доступных для запуска.

Шаг 3. Обращение к промежуточному ПО. Пользователь выбирает необходимое ему приложение из списка предложенных и отправляет запрос на его запуск. Веб-сервер передает данные о пользователе и запускаемом приложении промежуточному ПО, запущенному на ЭВМ для хранения программных сессий.

Шаг 4. Загрузка домашнего каталога и бинарных файлов клиентской части приложения из файлового хранилища. На основе полученных от веб-сервера данных в ЭВМ для хранения программных сессий подгружаются бинарные файлы приложения, и домашний каталог пользователя синхронизируется с файловым хранилищем.

Шаг 5. Запуск сервера системы удаленного доступа к приложению (УДП). Промежуточное ПО запускает на ЭВМ для хранения программной сессии сервер системы удаленного доступа к приложению и отправляет информацию о получении доступа к нему веб-серверу. Веб-сервер перенаправляет эту информацию браузеру пользователя.

Шаг 6. Соединение пользователя с сервером системы УДП. На основе данных о получении доступа к серверу системы УДП браузер пользователя подключается к нему.

Шаг 7. Запуск приложения. На ЭВМ для хранения программной сессии промежуточное ПО запускает требуемое приложение с настройками из домашнего каталога пользователя и предоставляет доступ к нему через систему УДП.

Шаг 8. Ввод пользователем входных данных и отправка задания на счет серверу системы учета ресурсов. После того, как пользователь получает удаленный доступ к приложению, он формирует запрос на счет, где указывает требуемое количество ресурсов и время, которое они будут использоваться, и отправляет его серверу системы распределенных ресурсов.

Шаг 9. Сверка с таблицами участников проектов и доступных ресурсов о возможности выделения пользователю запрашиваемого количество ресурсов. Сервер системы производит сверку запроса с данными в таблице учета. Если запрашиваемые ресурсы меньше допустимых для пользователя, то система перенаправляет задание менеджеру распределенных ресурсов, в противном случае возвращает сообщение о невозможности запуска.

Шаг 10. Выполнение счета и получение результатов. Менеджер распределенных ресурсов обрабатывает запрос и загружает задание на вычислительные узлы. После завершения счета менеджер возвращает результат приложению и сервер системы учета ресурсов заносит информацию в таблицу запусков.

Остановимся на работе системы учета и рассмотрим пример ее работы поэтапно.

Пусть в системе есть два проекта: Проект 1 и Проект 2

Этап 1. Формирование таблицы участников проектов.

Все участники проектов должны являться зарегистрированными пользователями хаба. Участники распределены следующим образом (см. фиг.5):

В проекте 1 участвуют Пользователь 1 и Пользователь 2.

В проекте 2 участвуют Пользователь 2 и Пользователь 3.

Таким образом, Пользователь 2 участвует в двух проектах.

Этап 2. Формирование таблицы доступных ресурсов.

В рамках проекта 1 будут использоваться два приложения А и В. На них ориентировочно выделяется 1000 и 800 часов процессорного времени, соответственно (см. фиг.6).

В проекте 2 будет использоваться только приложение А с 500 часами процессорного времени.

Этап 3. Осуществление запусков.

Запуск 1. В проекте 1 Пользователь 1 запускает приложение А и просит выделить ему 200 часов процессорного времени. Сервер системы осуществляет проверку и перенаправляет задание на вычислительные узлы. Реальный счет на вычислительных узлах составил 200 часов.

После окончания счета сервер получает количество реально использованных процессорных часов и заносит изменения в таблицу доступных ресурсов (см. фиг.7).

Запуск 2. В проекте 1 Пользователь 2 запускает приложение А и просит выделить ему 400 часов процессорного времени. Реальный счет составил 300 часов.

Таким образом, не смотря на то, что пользователь изначально просил 400 часов, в таблицу доступных ресурсов заносится информация 500, а не 400 (см. фиг.8)

Запуск 3. В проекте 1 Пользователь 2 запускает приложение В и просит выделить ему 300 часов процессорного времени. Запрашиваемого количества времени не хватило на выполнение счета. В этом случае запуск не довершается до конца, а выходные данные зависят от конкретного приложения (см. фиг.9).

Запуск 4. В проекте 2 Пользователь 2 запускает приложение А и просит выделить ему 200 часов процессорного времени. Реальное время счета составило 200 часов (см. фиг.10).

Запуск 5. В проекте 1 Пользователь 1 запускает приложение А и просит выделить ему 600 часов процессорного времени. Данное задание будет отклонено, так как у проекта нет достаточного количества доступного процессорного времени для приложения. В таблицу доступных ресурсов не будут внесены изменения.

Запуск 6. В проекте 2 Пользователь 2 запускает приложение В и просит выделить ему 100 часов процессорного времени. Данное задание будет отклонено, так как в рамках проекта не предусматривается доступ к приложению В. В таблицу доступных ресурсов не будут внесены изменения.

Запуск 7. В проекте 1 Пользователь 3 запускает приложение А и просит выделить ему 200 часов процессорного времени. Данное задание будет отклонено, так как пользователь не состоит в указанном проекте. В таблицу доступных ресурсов не будут внесены изменения.

Этап 4. Формирование отчета по затраченным ресурсам.

Вид таблицы запусков после окончания работ по проектам представлен на фиг.11.

Финальный отчет, на основе которого будет производиться биллинг, представлен на фиг.12.

Пример перечня использования программных и аппаратных ресурсов в аппаратно-вычислительном комплексе для предоставления доступа к программному обеспечению в концепции облачных вычислений:

Программная часть:

Сервер авторизации - OpenLDAP сервер

Веб-сервер - Apache HTTP Server

Система учета - Gold Allocation Manager

Сервер системы удаленного доступа к приложению - TightVNC Server

Промежуточное ПО - пакеты платформы ISPRAS UniHUB

Прикладной программный продукт - OpenFOAM

Аппаратная часть:

Вычислительные ресурсы - высокопроизводительный кластер с мощностью вычислительного поля - 512 вычислительных ядер на базе процессоров Intel Xeon X5672 Quad-Core.

Группа ЭВМ, обеспечивающих функционирование Веб-ядра хаба

Группа ЭВМ для хранения программных сессий

В минимальной конфигурации:

Файловые хранилища

Распределенное хранилище Lustre, в состав которого в минимальной конфигурации входят:

MDS сервер - 2 (HP DL 180 G8)

OSS сервер - 4 (HP DL 180 G8)

OST дисковые полки - 8 (диски SAS, общим объемом 100 Тб)

ЭВМ системы учета ресурсов

1. Аппаратно-вычислительный комплекс для предоставления доступа к программному обеспечению в концепции облачных вычислений, включающий связанные между собой и соединенные с Интернет группу ЭВМ, обеспечивающих функционирование Веб-ядра хаба, группу ЭВМ для хранения программных сессий, файловые хранилища и высокопроизводительные вычислительные ресурсы, отличающийся тем, что аппаратно-вычислительный комплекс дополнительно снабжен ЭВМ системы учета ресурсов, через которую связаны группа ЭВМ для хранения программных сессий и высокопроизводительные вычислительные ресурсы.

2. Аппаратно-вычислительный комплекс для предоставления доступа к программному обеспечению в концепции облачных вычислений по п.1, отличающийся тем, что группа ЭВМ, обеспечивающих функционирование Веб-ядра хаба, включает Веб-сервер и сервер авторизации, группа ЭВМ для хранения программных сессий включает сервер системы удаленного доступа к приложению, промежуточное программное обеспечение, приложение и домашний каталог, файловое хранилище включает бинарные файлы приложений и домашние каталоги пользователей, высокопроизводительные вычислительные ресурсы включают менеджер распределенных ресурсов, ЭВМ системы учета ресурсов включает сервер системы учета ресурсов, при этом Веб-сервер соединен с сервером авторизации и промежуточным программным обеспечением, кроме того, промежуточное программное обеспечение соединено также с сервером системы удаленного доступа к приложению и приложением, кроме того, приложение соединено с сервером системы удаленного доступа к приложению, бинарными файлами приложений, сервером системы учета ресурсов и домашним каталогом, который также соединен с домашними каталогами пользователей, а сервер системы учета ресурсов соединен также с менеджером распределенных ресурсов, кроме того, Веб-сервер и сервер системы удаленного доступа к приложению имеют возможность соединения с Веб-браузером пользователя.