Wykorzystanie systemów pamięci masowej w pracy z treściami multimedialnymi

Trudno wyobrazić sobie współczesny świat bez bogactwa treści medialnych, prezentowanych m.in. w postaci danych audio i wideo. Wydawać by się mogło, że ostatnimi czasy największym marzeniem była kolekcja plików MP3. A dziś pliki wideo w rozdzielczości 4K są już postrzegane jako coś zwyczajnego. Wszystkie te treści medialne należy stworzyć, gdzieś opublikować, a następnie udostępnić wszystkim. Nowoczesne systemy przechowywania danych (i Qsan w tym) doskonale sprawdzają się jako jedno z głównych narzędzi do pracy z treścią.

Wykorzystanie systemów pamięci masowej w pracy z treściami multimedialnymi

Oczywiście głównymi odbiorcami pojemności i przepustowości kanałów komunikacyjnych są dane wideo. Stały wzrost rozdzielczości klatek wideo zwiększa wymagania sprzętowe. W rezultacie sprzęt, który był jeszcze aktualny wczoraj, szybko staje się przestarzały. Przecież typowe przejście na kolejną generację rozdzielczości wiąże się z czterokrotnym wzrostem liczby punktów w kadrze. W rezultacie zaledwie jedna minuta nieskompresowanego wideo 8K zajmuje ponad 100 GB.

Dziś profesjonalna praca z treściami wideo w wysokiej rozdzielczości nie jest już domeną wyłącznie dużych studiów. Rosnąca popularność seriali, streamingu i telewizji wysokiej rozdzielczości przyciąga coraz więcej graczy do tego biznesu. Wszystkie te pracownie generują stale ogromną ilość „surowca”, który wymaga dalszej obróbki.

Wykorzystanie systemów pamięci masowej w pracy z treściami multimedialnymi

Tak się składa, że ​​większość pracowników branży zajmującej się produkcją treści to ludzie kreatywni. A wśród nich głównym podejściem do rozwiązywania problemów technicznych związanych z pracą z pojemnością dysku był zakup nowych dysków zewnętrznych. Z reguły ich rolę pełniły stacjonarne modele NAS z 2-5 dyskami. Wybór NAS ze względu na proste i zrozumiałe procedury ich obsługi wśród specjalistów nietechnicznych. Szybkość działania jest całkiem akceptowalna, gdy jest używany indywidualnie jako DAS (zwłaszcza jeśli istnieją interfejsy takie jak Thunderbolt lub USB 3.0). Jeśli chcesz udostępnić dane, taki NAS (inaczej DAS) po prostu podłącza się do innej stacji roboczej.

Wraz ze wzrostem wolumenu materiału źródłowego i wzrostem liczby pracowników zajmujących się jego przetwarzaniem, podejście to (nazwijmy je „tradycyjne”) wyraźnie pokazuje swoją niekonsekwencję. Gwałtownie rośnie nie tylko liczba „pudełek” (a jednocześnie koszty ich zakupu), ale także gwałtownie maleje wygoda dostępu do danych. A podczas wspólnej pracy problemy pojawiają się jak róg obfitości: konflikty w dostępie do danych, niewystarczająca prędkość itp. Dlatego „tradycyjne” podejście jest coraz częściej zastępowane nowocześniejszymi rozwiązaniami opartymi na scentralizowanym magazynie (lub kilku magazynach) i organizowaniu współdzielonego dostępu do treści.

Oczywiście po prostu kupując SHD Na tym nie kończy się przejście na nową koncepcję pracy z treścią. Konieczne będzie także zorganizowanie współdzielonego dostępu do danych i zapewnienie szybkiej wymiany pomiędzy węzłami magazynowania i przetwarzania treści. Przykładów budowy infrastruktury przetwarzania treści może być kilka. Najważniejsze z nich są następujące:

  1. Najprostsza obudowa dla małych studiów. Aby zorganizować dostęp do danych, stosuje się protokoły plików, których działanie jest zapewnione funkcjonalność samego systemu przechowywania.

    Wykorzystanie systemów pamięci masowej w pracy z treściami multimedialnymi

  2. Studia średniej wielkości, w których pracuje się jednocześnie nad kilkoma projektami. W tym przypadku rozsądnym wyborem byłoby zorganizowanie dostępu do danych poprzez pulę serwerów. W takim przypadku możliwe jest wdrożenie odpornego na awarie dostępu do treści 24 godziny na dobę, 7 dni w tygodniu, poprzez zduplikowanie wszystkich kluczowych komponentów: serwerów, kanałów komunikacyjnych, przełączników i kontrolerów pamięci masowej. Stały dostęp do danych jest niezwykle ważny przy długotrwałej obróbce materiału wideo, ponieważ nikt nie chce stracić ogromnej ilości czasu, na przykład z powodu awarii w procesie renderowania. Ponadto, jeśli masz pulę serwerów, możliwe jest zapewnienie równoważenia obciążenia dla stacji roboczych w celu poprawy ogólnej wydajności.

    Wykorzystanie systemów pamięci masowej w pracy z treściami multimedialnymi

  3. Duże studia, w tym te nastawione na szeroką emisję. W takich projektach odporność na błędy wynikające z powielania komponentów jest już koniecznością. Ponadto, aby przyspieszyć, wszystkie główne, wymagające dużych zasobów procesy renderowania i przetwarzania końcowego zostały przeniesione ze stacji roboczych na specjalne serwery, które mają najszybszy możliwy dostęp do systemów przechowywania zawartości. Ponadto często stosuje się wielopoziomowe przechowywanie danych. Te. powolne, ale pojemne dyski twarde służą do przechowywania materiałów źródłowych i archiwów, a także szybkie dyski SSD do pracy operacyjnej i/lub buforowania. W ramach jednego systemu przechowywania tworzy się w tym celu kilka pul z różnych typów nośników, a zautomatyzowane narzędzia takie jak Automatyczne poziomowanie и Pamięć podręczna SSD. W naprawdę dużych projektach wielopoziomowe składowanie osiąga się poprzez zastosowanie kilku systemów składowania, z których każdy przechowuje określonego typu danych.

    Wykorzystanie systemów pamięci masowej w pracy z treściami multimedialnymi

Jako przykład realizacji pracy studia medialnego chcielibyśmy przytoczyć organizację procesu przetwarzania treści w jednej z rozgłośni telewizyjnych na Tajwanie. Tutaj zastosowano w miarę wystarczający schemat budowy systemu opisany w paragrafie 2.

Cała zawartość multimedialna jest przechowywana w systemie pamięci masowej Qsan XS5224-D oraz półka rozszerzająca JBOD XD5324-D. W obudowie i półce zamontowano 24 dyski NL-SAS o pojemności 14 TB każdy. Konfiguracja miejsca na dysku:

  • Pamięć masowa - pula 24x RAID60
  • Półka rozszerzeń – 22x pula RAID60. 2 x zapasowy zapasowy

Pula serwerów zapewniająca dostęp do danych to klaster 4 serwerów oparty na systemie Windows Server. Dostęp do treści zorganizowany jest poprzez protokół CIFS. Fizycznie wszystkie 4 serwery posiadają połączenie z systemem pamięci masowej poprzez Fibre Channel 16G bez użycia przełączników, na szczęście system pamięci masowej ma do tego wystarczającą liczbę portów. Klienci uzyskują dostęp do puli serwerów za pośrednictwem sieci 10GbE. Klienci korzystają z oprogramowania Edius v9 w środowisku Windows. Rodzaje obciążeń:

  • Pracuj z wideo 4K na 7 strumieniach – 2 klientów
  • Pracuj z wideo 2K dla 13 strumieni – 10 klientów

Dzięki temu przy określonych obciążeniach system zapewnia stabilną łączną przepustowość na poziomie 1500 MB/s, co jest komfortowe dla bieżącej pracy stacji telewizyjnej. Jeżeli zaistnieje konieczność zwiększenia miejsca na dysku, klientowi wystarczy dobudować dodatkowe półki i rozbudować istniejącą macierz o nowe dyski. Oczywiście wszystkie te operacje można wykonać online, bez zakłócania procesów pracy.

Media zawsze odgrywały ważną rolę w życiu społeczeństwa. Dziś jest to bardziej zauważalne niż kiedykolwiek ze względu na rozwój streamingu i branży rozrywkowej. „Ciężka” treść wymaga poważnego podejścia przy tworzeniu rozwiązań do jej przetwarzania. A jednym z ważnych elementów takiego rozwiązania jest podsystem dyskowy. Pamięć masowa doskonale spełnia tę rolę, zapewniając niezawodny, szybki dostęp oraz łatwą rozbudowę i wydajność.

Źródło: www.habr.com

Dodaj komentarz