Система хранения данных с параллельным доступом

Полезная модель относится к области высокопроизводительных отказоустойчивых систем хранения данных с параллельным доступом.

Технический результат заключается в расширении арсенала средств хранения данных с параллельным доступом, обеспечении высокого уровня отказоустойчивости при невысокой стоимости системы хранения данных с параллельным доступом, увеличении скорости доступа к данным в режиме ее нормального функционирования.

Технический результат достигается тем, что система хранения данных с параллельным доступом включает два сервера хранения данных, на одном из которых дополнительно организован сервер метаданных, и дисковые системы, количество которых может варьироваться, при этом каждая дисковая система включает жесткие диски с различной реализуемой ими функциональностью и соединена с каждым из серверов хранения данных при помощи SAS-кабелей, а серверы хранения данных соединены посредством системной сети InfiniBand QDR с клиентами системы хранения данных с параллельным доступом с помощью интерконнекта InfiniBand QDR, при этом одна из дисковых систем включает жесткие диски, как минимум, предназначенные для хранения данных, обрабатываемых высокопроизводительной файловой системой в конфигурации RAID6, и два жестких диска, предназначенных для замены вышедших их строя дисков соответствующего массива без выключения системы хранения данных ("hot-spare"); еще хотя бы одна из дисковых систем включает жесткие диски, как минимум, предназначенные для хранения метаданных высокопроизводительной файловой системы в конфигурации RAID1; а на базе RAID-массива организован один или более логических томов.

При этом в вариантах реализации полезной модели система хранения данных дополнительно включает дисковые системы, включающие жесткие диски, как минимум, предназначенные для нужд пользователей без включения их в состав высокопроизводительной файловой системы, часть их которых сконфигурирована в RAID6, и два жестких диска, предназначенных для замены вышедших их строя дисков соответствующего массива без выключения системы хранения данных ("hot-spare").

Полезная модель относится к области высокопроизводительных отказоустойчивых систем хранения данных с параллельным доступом.

Известна система для хранения данных компании DDN - Data Direct Networks. Решение ExaScaler предполагает наличие двух отдельных серверов для работы с метаданными, поддерживает высокопроизводительный параллельный доступ, для организации которого используется открытая кластерная файловая система, гарантирует высокую степень отказоустойчивости за счет отсутствия единой точки отказа. Недостатком данного решения является то, что оно не поддерживает стандарт InfiniBand QDR, что обуславливает низкую скорость доступа к данным. Также сервер обработки метаданных не совмещен с сервером доступа к данным, что увеличивает стоимость системы хранения данных.

Известна система хранения данных с параллельным доступом Terascala компании Dell (http://www.terascala.com/pdf/Dell_Terascala_HPC_Storage_Solution_Final.pdf). Данное решение предусматривает использование для соединения основных узлов системной сети InfiniBand, таким образом, что дисковые массивы доступны со всех обрабатывающих серверов. Также для повышения отказоустойчивости используется технология Active-Active для серверов управления доступом к данным.

В данном решении сервер доступа к данным не совмещается с сервером обработки метаданных, что обуславливает необходимость использования двух дополнительных вычислительных серверов. Это повышает надежность, но увеличивает стоимость системы хранения данных с параллельным доступом. К тому же в решении Terascala не определяется схема организации дисковых ресурсов.

Задачей полезной модели является расширение арсенала средств хранения данных с параллельным доступом, создание дешевой и надежной системы для хранения данных с параллельным доступом.

Технический результат заключается в расширении арсенала средств хранения данных с параллельным доступом, обеспечении высокого уровня отказоустойчивости при невысокой стоимости системы хранения данных с параллельным доступом, увеличении скорости доступа к данным в режиме ее нормального функционирования.

Технический результат достигается тем, что система хранения данных с параллельным доступом включает два сервера хранения данных, на одном из которых дополнительно организован сервер метаданных, и дисковые системы, количество которых может варьироваться, при этом каждая дисковая система включает жесткие диски с различной реализуемой ими функциональностью и соединена с каждым из серверов хранения данных при помощи SAS-кабелей, а серверы хранения данных соединены посредством системной сети InfiniBand QDR с клиентами системы хранения данных с параллельным доступом с помощью интерконнекта InfiniBand QDR, при этом одна из дисковых систем включает жесткие диски, как минимум, предназначенные для хранения данных, обрабатываемых высокопроизводительной файловой системой в конфигурации RAID6, и два жестких диска, предназначенных для замены вышедших их строя дисков соответствующего массива без выключения системы хранения данных ("hot-spare"); еще хотя бы одна из дисковых систем включает жесткие диски, как минимум, предназначенные для хранения метаданных высокопроизводительной файловой системы в конфигурации RAID1; а на базе RAID-массива организован один или более логических томов.

При этом в вариантах реализации полезной модели система хранения данных дополнительно включает дисковые системы, включающие жесткие диски, как минимум, предназначенные для нужд пользователей без включения их в состав высокопроизводительной файловой системы, часть их которых сконфигурирована в RAID6, и два жестких диска, предназначенных для замены вышедших их строя дисков соответствующего массива без выключения системы хранения данных ("hot-spare").

На рис.1 изображена схема системы хранения данных с параллельным доступом.

На рис.2 изображена схема организации дискового пространства дисковой системы типа А.

На рис.3 изображена схема организации дискового пространства дисковой системы типа В.

На рис.4 изображена схема организации дискового пространства дисковой системы типа С.

На рис.5 изображена схема организации дискового пространства дисковой системы типа D.

На рис.6 изображена схема организации дискового пространства дисковой системы типа Е.

На рис.7 изображена схема организации дискового пространства дисковой системы типа F.

На рис.8 изображена схема организации системы хранения данных с параллельным доступом.

На рис.9 приведены основные компоненты и характеристики примера реализации системы хранения данных с параллельным доступом.

На рис.10 изображена схема организации дискового пространства дисковых систем для примера реализации системы хранения данных с параллельным доступом.

Система хранения данных с параллельным доступом состоит из дисковых систем 1, количество которых может варьироваться, и двух серверов хранения данных 2 и 3. Каждый сервер хранения данных соединен с каждой из дисковых систем при помощи SAS-кабелей 4, 5 и 6. Серверы хранения данных 2 и 3 соединены с клиентами системы хранения данных с параллельным доступом 7 посредством сети InfiniBand QDR 8 при помощи интерконнекта InfiniBand QDR 9. Серверы хранения данных 2 и 3 представляют собой сервисы чтения, записи и обработки сетевых запросов от клиентов системы хранения данных с параллельным доступом 7 к одной или нескольким дисковым системам 1.

Для обеспечения надлежащего уровня надежности разработана следующая схема организации дискового пространства дисковых систем. Дисковые системы включают различные по реализуемой функциональности жесткие диски. Жесткие диски 10 предназначены для хранения данных, обрабатываемых высокопроизводительной файловой системой и организованы по технологии RAID6, позволяющей восстановить данные в случае выхода из строя части оборудования. Жесткие диски 11 предназначены для замены вышедших их строя дисков соответствующего массива без выключения системы хранения данных ("hot-spare"), что способствует максимальной работоспособности и отказоустойчивости системы хранения данных с параллельным доступом. Жесткие диски 12 предназначены для хранения метаданных высокопроизводительной файловой системы, например, информации о расположении файлов, разбиении, правах доступа к файлам и т.п. С целью обеспечения высокого уровня надежности количество таких жестких дисков удваивают с целью организации полного зеркалирования по технологии RAID1. Жесткие диски 13 предоставляются под нужды пользователей, например, организацию зеркалируемых домашних каталогов, под специальные проекты и т.п., без включения их в состав высокопроизводительной файловой системы.

Комбинации групп жестких дисков в составе одной дисковой системы могут быть различными. В зависимости от этого дисковые системы делятся на 6 типов: А, В, С, D, Е и F.

Дисковая система А-типа состоит из жестких дисков 10, объединенных в RAID6, и жестких дисков 11.

Дисковая система В-типа состоит из жестких дисков 10, объединенных в RAID6, двух жестких дисков 11 и жестких дисков 12, объединенных в RAID1.

Дисковая система С-типа состоит из жестких дисков 10, объединенных в RAID6, двух жестких дисков 11 и жестких дисков 13, часть из которых сконфигурирована в RAID6.

Дисковая система D-типа состоит из жестких дисков 10, объединенных в RAID6, двух жестких дисков 11, жестких дисков 12, объединенных в RAID1, и жестких дисков 13, часть из которых сконфигурирована в RAID6.

Дисковая система Е-типа состоит из двух жестких дисков 11 и жестких дисков 13, часть из которых сконфигурирована в RAID6.

Дисковая система F-типа состоит из двух жестких дисков 11, жестких дисков 12, объединенных в RAID1 и жестких дисков 13, часть из которых сконфигурирована в RAID6.

Система хранения данных с параллельным доступом обязательно образована такими типами дисковых систем, которые включают как минимум жесткие диски 10 и 11, и такими типами дисковых систем, которые включают как минимум жесткие диски 12 и 11. В вариантах реализации полезной модели в состав системы хранения данных дополнительно входят дисковые системы остальных типов как по отдельности, так и в различных их комбинациях.

На базе RAID-массива формируют логические тома 14 в соответствии с ограничениями, накладываемыми выбранной файловой системой. Наиболее предпочтительным вариантом является создание одного логического тома на базе одного RAID-массива.

На одном из серверов хранения данных дополнительно организован сервер метаданных 15, предназначенный для управления именами и каталогами. Другой сервер хранения данных используется только в качестве сервера хранения данных.

Такое исполнение системы хранения данных с параллельным доступом позволяет повысить производительность доступа к хранящейся информации.

Система хранения данных с параллельным доступом работает следующим образом.

В режиме нормального функционирования запросы от клиентов системы хранения данных 7 посылаются на оба сервера хранения данных 2 и 3. Каждый из серверов хранения данных обслуживает свою группу дисковых систем 1 с помощью связей 4. Сервер хранения данных 2 выполняет операции с данными, расположенными на логических томах 14, образованных на базе одной группы дисковых систем 1, в состав которой обязательно входит хотя бы одна дисковая система, включающая жесткие диски 12. Сервер хранения данных 2 выполняет функцию сервера метаданных и управляет именами и каталогами высокопроизводительной файловой системы. Сервер хранения данных 3 в режиме нормального функционирования используется как сервер хранения данных и выполняет операции с данными, расположенными на логических томах 14, образованных на базе другой группы дисковых систем 1. Доступ пользователя с клиентов системы хранения данных 7 ко всем видам данных, расположенным на обоих серверах хранения данных 2 и 3 и всех дисковых систем 1 осуществляется единообразно.

В режиме аварийного функционирования в случае отказа сервера хранения данных 2 между ресурсами системы хранения данных с параллельным доступом реализуются связи 5, а в случае отказа сервера хранения данных 3 между ресурсами системы хранения данных с параллельным доступом реализуются связи 6.

Таким образом, реализуется схема отказоустойчивости Active-Active. В режиме нормального функционирования системы хранения данных с параллельным доступом оба сервера хранения данных обрабатывают соответствующие им ресурсы системы хранения данных с параллельным доступом с высокой пропускной способностью. Если же работоспособность одного из серверов хранения данных нарушается, все обслуживаемые им ресурсы системы хранения данных с параллельным доступом автоматически монтируются на оставшийся исправным сервер хранения данных и менее чем через пять минут полностью восстанавливается доступ клиентов системы хранения данных ко всем ее ресурсам. В режиме аварийного функционирования скорость доступа к данным неизбежно будет снижена, но в целом корректность работы системы хранения данных с параллельным доступом не нарушится.

Совмещение в одном из серверов хранения данных функции сервера хранения данных и сервера метаданных позволяет значительно сократить затраты на оборудование. Так, для организации системы хранения данных по предложенной схеме достаточно двух серверов, в отличии от решения Terascala, где требуется минимум четыре сервера. При этом обеспечивается надлежащий уровень отказоустойчивости благодаря организации отказоустойчивой схемы между серверами Active-Active.

Избыточное соединение серверов хранения данных 2 и 3 с дисковыми системами 1 позволяет обеспечить высокий уровень отказоустойчивости.

Пример.

В состав системы хранения данных с параллельным доступом входят четыре дисковые системы, два сервера хранения данных и восемь SAS-кабелей. Каждая дисковая система включает 16 жестких дисков по 1 Тб каждый. В качестве отказоустойчивой параллельной файловой системы используется система Lustre.

Характеристики системы хранения данных с параллельным доступом приведены на фиг.9. Организация дискового пространства показана на фиг.10.

Общая емкость дискового хранилища составляет таким образом 64 Тб. Разбиение дискового пространства четырех дисковых систем выполнено следующим образом. 8 Тб предназначено для замены вышедших из строя дисков без выключения системы ("hot-spare"); 28 Тб отведено для организации логического устройства хранения; 2 Тб отведено для организации устройства хранения метаданных. Остальные жесткие диски не входят в состав файловой системы Lustre, а предоставлены под нужды пользователей.

Полезное пространство хранения первых двух дисковых систем состоит из 24 жестких дисков по 1 Тб. Таким образом, обозначенные выше 28 жестких дисков представляют в своей совокупности логическое устройство хранения. Дополнительные 4 жестких диска использованы для организации двух RAID-массивов по технологии RAID6, позволяющей восстанавливать данные в случае отказа жестких дисков. В свою очередь полезное пространство разделено на 4 OST емкостью по 6 Тб. OST предназначены для хранения данных как объектов данных.

Третья дисковая система содержит диски 11 для замены вышедших из строя дисков без выключения системы ("hot-spare"). Кроме того, она содержит 2 жестких диска по 1 Тб для хранения метаданных (таких как имена файлов, директорий, прав доступа и расположения файлов). Между этими жесткими дисками реализовано полное зеркалирование всех данных по технологии RAID1 для обеспечения высокого уровня надежности. Оставшиеся нераспределенными диски 13, часть из которых организована по технологии RAID 6 (на фиг.10 границы RAID-массива не показаны), предоставляются под нужды пользователей.

Четвертая дисковая система содержит диски 11 для замены вышедших из строя дисков без выключения системы ("hot-spare"). Оставшиеся неразмеченными диски 13, часть из которых организована по технологии RAID6 (на фиг.10 границы RAID-массива не показаны), предоставляются под нужды пользователей.

1. Система хранения данных с параллельным доступом, включающая два сервера хранения данных, на одном из которых дополнительно организован сервер метаданных, и дисковые системы, количество которых может варьироваться, при этом каждая дисковая система включает жесткие диски с различной реализуемой ими функциональностью и соединена с каждым из серверов хранения данных при помощи SAS-кабелей, а серверы хранения данных соединены посредством системной сети InfiniBand QDR с клиентами системы хранения данных с параллельным доступом с помощью интерконнекта InfiniBand QDR, при этом одна из дисковых систем включает жесткие диски, как минимум, предназначенные для хранения данных, обрабатываемых высокопроизводительной файловой системой в конфигурации RAID6, и два жестких диска, предназначенных для замены вышедших их строя дисков соответствующего массива без выключения системы хранения данных ("hot-spare"); еще хотя бы одна из дисковых систем включает жесткие диски, как минимум, предназначенные для хранения метаданных высокопроизводительной файловой системы в конфигурации RAID1; а на базе RAID-массива организован один или более логических томов.

2. Система хранения данных по п.1, отличающаяся тем, что дополнительно включает дисковые системы, включающие жесткие диски, как минимум, предназначенные для нужд пользователей без включения их в состав высокопроизводительной файловой системы, часть их которых сконфигурирована в RAID6, и два жестких диска, предназначенных для замены вышедших их строя дисков соответствующего массива без выключения системы хранения данных ("hot-spare").