lanzamiento del sistema de archivos en clúster , en la mayor parte (~60%) clústeres de Linux que contienen decenas de miles de nodos. La escalabilidad en tales sistemas grandes se logra gracias a una arquitectura de múltiples componentes. Los componentes clave de Lustre son los servidores de procesamiento y almacenamiento de metadatos (MDS), los servidores de control (MGS), los servidores de almacenamiento de objetos (OSS), el almacenamiento de objetos (OST, compatible con ext4 y ZFS) y los clientes.
Principales :
- caché persistente del lado del cliente (Persistent Client Cache), que permite utilizar el almacenamiento local, como NVMe o NVRAM, como parte del espacio de nombres global del sistema de archivos. Los clientes pueden almacenar en caché datos relacionados con archivos creados o existentes en un sistema de archivos montado localmente con caché (por ejemplo, en ext4). Durante el funcionamiento del cliente actual, estos archivos se procesan localmente a la velocidad del sistema de archivos local, pero, en el caso de que otro cliente intente acceder a ellos, migran automáticamente al sistema de archivos global.
- En los enrutadores detección automática de rutas al utilizar la enrutación a través de múltiples caminos a través de diferentes interfaces de red (Multi-Rail Routing) y se mejora la fiabilidad de las configuraciones con nodos que tienen múltiples interfaces de red.
- modo de «overstriping», en el que un único almacenamiento de objetos (OST) puede contener múltiples copias de bloques de stripe para un archivo, lo que permite a varios clientes realizar operaciones de escritura simultáneamente en el archivo sin esperar a que se libere el bloqueo.
- Ahora hay esquemas de disposición de archivos autoextensibles (Self-Extending Layouts), que aumentan la flexibilidad del uso del modo PFL (Progressive File Layouts) en sistemas de archivos heterogéneos. Por ejemplo, cuando un sistema de archivos incluye pequeños grupos de almacenamiento basados en unidades Flash rápidas y grandes grupos de discos, la capacidad propuesta permite, en primer lugar, realizar la escritura en los rápidos, y después de que el espacio se agote, cambiar automáticamente a los grupos de discos más lentos.
Fuente: opennet.ru
