Выпуск кластерной ФС Lustre 2.13

Опубликован релиз кластерной файловой системы Lustre 2.13, используемой в большей части (~60%) крупнейших Linux-кластеров, содержащих десятки тысяч узлов. Масштабируемость на столь крупных системах достигается благодаря многокомпонентной архитектуре. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), хранилище объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты.

Основные новшества:

• Реализован постоянный кэш на стороне клиента (Persistent Client Cache), позволяющий задействовать локальное хранилище, такое как NVMe или NVRAM, как часть глобального пространства имён ФС. Клиенты могут кэшировать данные, связанные с создаваемыми или существующими файлами, в локально примонтированной ФС с кэшем (например, в ext4). В процессе работы текущего клиента эти файлы обрабатываются локально со скоростью локальной ФС, но, в случае попытки обращения другого клиента, автоматически мигрируют в глобальную ФС.
• В маршрутизаторах LNet реализовано автоматическое обнаружение маршрутов при использовании маршрутизации по нескольким путям через разные сетевые интерфейсы (Multi-Rail Routing) и повышена надёжность работы конфигураций с узлами, имеющими несколько сетевых интерфейсов.
• Добавлен режим «overstriping», при котором в одном хранилище объектов (OST) может содержаться несколько копий stripe-блоков для одного файла, что позволяет нескольким клиентам одновременно производить операции совместной записи в файл без ожидания освобождения блокировки.
• Появилась поддержка саморасширяющихся схем размещения файлов (Self-Extending Layouts), увеличивающих гибкость применения режима PFL (Progressive File Layouts) в разнородных ФС. Например, когда ФС включает небольшие пулы хранилищ на базе быстрых Flash-накопителей и большие дисковые пулы, предложенная возможность позволяет в первую очередь осуществлять запись в быстрые хранилища, а после того как место закончится автоматически переключиться на медленные дисковые пулы.

Источник: opennet.ru