Программно-определяемая система хранения данных на базе параллельной файловой системы Lustre

Параллельная файловая система Lustre впервые появилась в 1999 в Университете Карнеги Мелон как ответ на растущие проблемы с производительностью и масштабируемостью NFS для кластеров. С тех пор, под лидерством компании Intel, которая осуществляет основную разработку и поддержку, Lustre стала доминирующей файловой системой для кластеров и суперкомпьютеров для высокопроизводительных вычислений, которым необходима высочайшая производительность и масштабируемость.

Файловая система Lustre обеспечивает непревзойденную производительность, масштабируемость и высокую доступность. Lustre поддерживает до десятков тысяч клиентов, сотен петабайт данных и более 1 терабайта в секунду агрегированную производительность ввода-вывода. Около 75% top500 суперкомпьютеров используют файловую систему Lustre, которая является наиболее используемой файловой системой в списке top500.org

Lustre представляет собой объектную файловую систему, в которой метаданные (file system namespace, аттрибуты файла (владелец, права доступа и т.п.) отделены от актуальных данных и физически хранятся на различных серверах. Метаданные хранятся на Серверах Метаданных (Metadata Servers – MDS), а собственно данные разделяются на множество объектов, которые хранятся на Серверах Хранения Объектов (Object Storage Servers – OSS).

Когда клиент запрашивает файл, Lustre контактирует с MDS для определения аттрибутов файла и схемы объектов файла. Эта схема дает клиенту понять, из каких объектов состоит файл и на каких OSS они распределены. Далее клиент производит операции параллельно напрямую с OSS, обеспечивая тем самым высокую производительность операции ввода-вывода.

Таким образом, Lustre позволяет множеству клиентов одновременно, параллельно и независимо получать доступ к множеству OSS серверов. Увеличение производительности файловой системы Lustre таким образом достигается простым добавлением требуемого аппаратного обеспечения (OSS, OST, etc).

Отказоустойчивость достигается использованием избыточного количества серверов, работающих в отказоустойчивом режиме (в случае проблемы с одним OSS сервером, другой OSS сервер подхватывает его функции).

Lustre Network (LNet) – набор протоколов и программных интерфейсов, обеспечивающих взаимодействие серверов и клиентов в файловой системе Lustre. В состав LNet входят оптимизированные драйверы для сетевых интерфейсов Infiniband, Omni Path, Ethernet и др., обеспечивающие низкую задержку, высокую производительность и поддержку ключевых особенностей интерконнекта, таких, например, как RDMA (Remote Direct Memory Access – для обеспечения быстрых прямых взаимодействий память-память). LNet также обеспечивает высокую доступность и отказоустойчивость, а также возможность маршрутизации между различными типами интерконнектов.

Программное обеспечение Intel Enterprise Edition for Lustre дополняет файловую систему Lustre функциями масштаба предприятия, добавляя простоту развертывания, мониторинга и настройки с помощью графического интерфейса Intel Manager for Lustre а также других дополнительных возможностей.

Lustre имеет возможности иерархического хранения данных (Hierarchical Storage Management –HSM), позволяя тем самым строить многоуровневые системы хранения, где данные мигрируют между уровнями в зависимости от требований общей стоимости владения, производительности, надежности и т.п., позволяя тем самым использовать решения на базе файловой системы Lustre в качестве высокоскоростных архивов.

Последние усовершенствования (такие, например, как усовершенствования кода ZFS и поддержка ZFS снапшотов, аппаратная поддержка компрессии, Progressive File Layout (PFL), Multi-Rail Lnet и т.д., а также возможности, ожидаемые в новых версиях Lustre (например, File Level Redundancy (FLR) и Data-on-MDT) позволяют не только улучшить производительность, но и использовать Lustre как единую файловую систему масштаба предприятия, обеспечивая высочайшую производительность, отказоустойчивость и гибкость в решении различных задач за счет локализации данных и общего доступа со всех клиентов ко всем уровням хранения в зависимости от требований задач.

 

Таким образом, предлагаемое решение на базе файловой системы Lustre представляет собой полностью законченную Программно-определяемую систему хранения данных (Software-Defined Storage – SDS), предназначенную не только для высокопроизводительных вычислений, но и для облачных хранилищ OpenStack, высокопроизводительной аналитики Apache Spark и Hadoop, задач искусственного интеллекта и глубокого/машинного обучения, задач кино- и видеопроизводства, дистрибьюции контента и видеонаблюдения, активных высокопроизводительных архивов и резервного копирования.

Мы предлагаем комплексное решение на базе файловой системы Lustre, серверов последнего поколения и дисковых полок JBOD. Типы дисков (NVMe, SSD, SAS, NLSAS) выбираются в зависимости от требований объема и производительности, также, как и используемые сетевые интерфейсы (Infiniband, OmniPath, Ethernet).

Поддержка осуществляется специалистами компании с дополнением L3 уровня поддержки Intel.

Ресурсы

Официальный сайт Lustre http://lustre.org/

Остались вопросы? Пишите, будем рады ответить corp@asbiscloud.ru