Utilisation du stockage à l'aide de contenu média

Le monde moderne est difficile à imaginer sans l'abondance de contenu multimédia, présenté notamment sous forme de données audio et vidéo. Il semble qu'il y a encore peu de temps, le rêve était de posséder une collection de fichiers MP3. Aujourd'hui, les fichiers vidéo en résolution 4K sont déjà perçus comme quelque chose de banal. Tout ce contenu multimédia doit être créé, hébergé quelque part, puis rendu accessible. Les systèmes modernes de stockage de données (et Qsan notamment) conviennent parfaitement comme l'un des principaux outils pour travailler avec le contenu.

Il va sans dire que les données vidéo sont les principaux consommateurs de capacité et de bande passante des canaux de communication. L'augmentation constante de la résolution des images vidéo place des exigences accrues sur le matériel. En conséquence, le matériel qui était encore pertinent hier devient obsolète rapidement. En effet, un passage typique à la prochaine génération de résolution entraîne une augmentation du nombre de points dans l'image par quatre. Ainsi, une seule minute de vidéo en 8K non compressée occupe plus de 100 Go.

Aujourd'hui, le travail professionnel avec un contenu vidéo haute résolution n'est plus l'apanage des grands studios. La popularité croissante des séries, du streaming, et de la télévision haute définition attire de plus en plus d'acteurs dans ce secteur. Tous ces studios génèrent constamment d'énormes quantités de matériel « brut » nécessitant un traitement ultérieur.

Il est courant que la grande majorité des professionnels de l'industrie du contenu soient des créatifs. Parmi eux, l'approche principale pour résoudre les problèmes techniques liés à la capacité de stockage était l'achat de nouveaux disques externes. En général, il s'agissait de modèles NAS de bureau pouvant contenir de 2 à 5 disques. Le choix NAS est dicté par des procédures simples et comprises pour leur utilisation par des non-spécialistes. La vitesse de fonctionnement est tout à fait acceptable lorsque utilisé individuellement comme DAS (surtout en présence d'interfaces de type Thunderbolt ou USB 3.0). En cas de besoin d'accès partagé aux données, ce NAS (qui fonctionne également comme DAS) peut simplement être connecté à une autre station de travail.

Avec l'augmentation du volume de matériel source et du nombre de travailleurs impliqués dans son traitement, cette approche (appelons-la « traditionnelle ») montre clairement ses limites. Non seulement le nombre de « boîtes » augmente fortement (avec, par conséquent, des coûts d'acquisition accrus), mais la facilité d'accès aux données chute également. De plus, lors d'un travail collaboratif, les problèmes surgissent comme une corne d'abondance : conflits d'accès aux données, manque de vitesse, etc. C'est pourquoi l'approche « traditionnelle » est de plus en plus remplacée par des solutions plus modernes basées sur un stockage centralisé (ou plusieurs) et l'organisation d'un accès collaboratif au contenu.

Évidemment, l'acquisition simple SAN ne met pas fin à la transition vers un nouveau concept de travail avec le contenu. Il sera également nécessaire d'organiser un accès collaboratif aux données et d'assurer un échange à haute vitesse entre le stockage et les nœuds de traitement du contenu. Les exemples d'infrastructure pour le traitement du contenu peuvent être divers. Les principaux sont les suivants :

1. Le cas le plus simple pour de petits studios. Pour organiser l'accès aux données, des protocoles de fichiers sont utilisés, dont le fonctionnement est assuré par les fonctionnalités du système de stockage lui-même.

   

2. Des studios de taille moyenne, travaillant simultanément sur plusieurs projets. Ici, un choix judicieux serait d'organiser l'accès aux données via un pool de serveurs. Dans ce cas, il est possible de réaliser un accès résilient au contenu en mode 24/7 grâce à la redondance de tous les composants clés : serveurs, canaux de communication, commutateurs et contrôleurs de stockage. Un accès constant aux données est crucial lors du traitement prolongé de matériel vidéo, car personne ne souhaite perdre une quantité de temps considérable, par exemple, à cause d'un échec lors du rendu. De plus, avec un pool de serveurs, il est possible d'assurer un équilibrage de la charge pour les postes de travail afin d'augmenter la performance globale.

   

3. Des grands studios, y compris ceux visant une large diffusion. Dans de tels projets, la tolérance aux pannes par le biais de la duplication des composants est devenue incontournable. De plus, pour accélérer le tout, tous les processus gourmands en ressources, tels que le rendu et le post-traitement, sont transférés des stations de travail vers des serveurs spéciaux ayant un accès aussi rapide que possible au stockage en réseau avec le contenu. En outre, une méthode de stockage de données à plusieurs niveaux est souvent utilisée. C'est-à-dire que des disques durs lents mais volumineux sont employés pour stocker les matériaux sources et les archives, ainsi que des SSD rapides pour un travail opérationnel et/ou le caching. Dans le cadre du stockage en réseau unifié, plusieurs pools de différents types de supports sont créés, ainsi que des outils automatisés tels que AutoTiering et Cache SSD. Dans de véritables projets à grande échelle, le stockage à plusieurs niveaux est réalisé en utilisant plusieurs systèmes de stockage en réseau, chacun stockant un type de données spécifique.

   

. Pour illustrer le fonctionnement d'un studio de médias, nous souhaitons donner l'exemple de l'organisation du traitement du contenu dans l'une des stations de télévision de Taïwan. Ici, un schéma raisonnablement adéquat de construction du système est appliqué, comme décrit au point 2.

Tout le contenu média est stocké sur le système de stockage en réseau Qsan XS5224-D et le châssis d'extension JBOD XD5324-D. Dans le châssis et le châssis d'extension, 24 disques NL-SAS de 14 To chacun sont installés. Configuration de l'espace disque :

• Système de stockage en réseau – pool 24x RAID60
• Châssis d'extension – pool 22x RAID60. 2 x hot spare

Pool de serveurs pour assurer l'accès aux données – cluster de 4 serveurs sous Windows Server. L'accès au contenu est organisé via le protocole CIFS. Physiquement, tous les 4 serveurs sont connectés au stockage en réseau via Fibre Channel 16G sans utiliser de commutateurs, heureusement qu'il y a assez de ports sur le système de stockage en réseau pour cela. L'accès des clients au pool de serveurs se fait via un réseau 10GbE. Les clients utilisent le logiciel Edius v9 dans un environnement Windows. Types de charges :

• Traitement de vidéo 4K sur 7 flux – 2 clients
• Traitement de vidéo 2K sur 13 flux – 10 clients

En fin de compte, avec les charges indiquées, le système garantit une performance globale stable de 1500 Mo/s, ce qui est confortable pour le travail actuel de la station de télévision. En cas de besoin d'augmenter l'espace disque, il suffit pour le client d'ajouter des châssis supplémentaires et d'étendre l'ensemble existant avec de nouveaux disques. Bien entendu, toutes ces opérations peuvent être effectuées en mode en ligne, sans interrompre les processus de travail.

Les médias ont toujours joué un rôle important dans la vie de la société. Aujourd'hui, cela est plus visible que jamais en raison du développement du streaming et de l'industrie du divertissement. Le contenu 'lourd' nécessite une approche sérieuse lors de la conception de solutions pour son traitement. L'un des éléments essentiels de cette solution est le sous-système de stockage. Le système de stockage de données s'intègre parfaitement dans ce rôle, offrant un accès fiable et rapide, ainsi qu'une facilité d'extension et d'augmentation des performances.

Source : habr.com