Współczesny świat jest już trudny do wyobrażenia bez obfitości treści medialnych, które obejmują również dane audio i wideo. Jeszcze niedawno marzeniem była kolekcja plików MP3. A dzisiaj pliki wideo w rozdzielczości 4K są już postrzegane jako coś zwyczajnego. Cała ta treść medialna musi być stworzona, gdzieś przechowywana, a następnie udostępniana. Współczesne systemy przechowywania danych (i tym samym) są idealnym narzędziem do pracy z takimi treściami.
Oczywiście, głównymi konsumentami pojemności i przepustowości kanałów komunikacyjnych są dane wideo. Stały wzrost rozdzielczości klatek wideo zwiększa wymagania wobec sprzętu. W rezultacie nawet jeszcze wczoraj aktualny sprzęt szybko staje się przestarzały. Przejście do następnej generacji rozdzielczości wiąże się ze zwiększeniem liczby punktów w kadrze czterokrotnie. W efekcie zaledwie jedna minuta wideo w rozdzielczości 8K w wersji nieskompresowanej zajmuje ponad 100 GB.
Dzisiaj profesjonalna praca z wysokiej rozdzielczości treściami wideo nie jest już tylko przywilejem dużych studiów. Rosnąca popularność seriali, strumieniowania i telewizji w wysokiej rozdzielczości przyciąga do tego biznesu coraz więcej graczy. Wszystkie te studia nieustannie generują ogromne ilości „surowego” materiału, który wymaga dalszej obróbki.
Tradycyjnie większość pracowników branży produkcji treści to osoby kreatywne. Wśród nich dominującym podejściem do rozwiązywania technicznych problemów związanych z pojemnością dyskową było nabywanie nowych zewnętrznych nośników. Z reguły były to stacjonarne modele NAS na 2-5 dysków. Wybór wynika z prostych i zrozumiałych procedur ich użytkowania wśród osób nietechnicznych. Szybkość pracy jest całkiem akceptowalna przy indywidualnym użytkowaniu jako DAS (szczególnie przy dostępności interfejsów typu Thunderbolt lub USB 3.0). W razie potrzeby wspólnego dostępu do danych, taki NAS (czyli DAS) po prostu łączy się z innym stanowiskiem roboczym.
W miarę wzrostu objętości materiału źródłowego oraz liczby pracowników zaangażowanych w jego przetwarzanie, takie podejście (nazwijmy je „tradycyjnym”) coraz bardziej ujawnia swoje niedoskonałości. Nie dość, że liczba „pudełek” znacznie wzrasta (co wiąże się z wyższymi kosztami ich zakupu), to także znacznie spada dostępność danych. A przy pracy zespołowej problemy pojawiają się jak z rogu obfitości: konflikty dostępu do danych, niewystarczająca prędkość itd. Dlatego „tradycyjne” podejście coraz częściej ustępuje miejsca nowoczesnym rozwiązaniom opartym na centralnym magazynie (lub kilku magazynach) oraz organizacji współdzielonego dostępu do treści.
Oczywiście, samo nabycie przejście na nową koncepcję pracy z treścią nie kończy się. Należy również zorganizować współdzielony dostęp do danych i zapewnić szybki transfer między magazynem a węzłami przetwarzania treści. Istnieje kilka przykładów budowy infrastruktury do przetwarzania treści. Główne z nich to:
Najprostszy przypadek dla małych studiów. W celu zorganizowania dostępu do danych wykorzystuje się protokoły plikowe, których działanie zapewnia .
Średniej wielkości studia, w których równocześnie prowadzi się prace nad kilkoma projektami. W takim przypadku rozsądnym wyborem będzie zorganizowanie dostępu do danych przez pulę serwerów. W ten sposób istnieje możliwość zrealizowania odpornego na awarie dostępu do treści w trybie 24/7 dzięki duplikacji wszystkich kluczowych komponentów: serwerów, kanałów komunikacyjnych, przełączników i kontrolerów macierzy RAID. Stały dostęp do danych jest niezwykle ważny podczas długotrwałego przetwarzania materiału wideo, ponieważ nikt nie chce tracić ogromnej ilości czasu, na przykład z powodu awarii podczas renderowania. Ponadto mając pulę serwerów, można zapewnić równoważenie obciążenia dla stacji roboczych w celu zwiększenia ogólnej wydajności.
Duże studia, w tym te ukierunkowane na szeroką transmisję. W takich projektach odporność na awarie dzięki duplikowaniu komponentów jest już must have. Aby przyspieszyć, wszystkie główne zasobożerne procesy renderowania i postprodukcji są przeniesione z stacji roboczych na specjalne serwery, które mają maksymalnie szybki dostęp do systemu pamięci masowej (SХД) z treścią. Co więcej, często stosowane jest wielopoziomowe przechowywanie danych. Tzn. wykorzystywane są wolne, ale pojemne dyski HDD do przechowywania materiałów źródłowych i archiwum oraz szybkie dyski SSD do operacyjnej pracy i/lub buforowania. W ramach jednego systemu pamięci masowej tworzone są różne pule z różnych typów nośników, a także używane są zautomatyzowane narzędzia typu i . W rzeczywiście dużych projektach wielopoziomowe przechowywanie osiąga się dzięki wykorzystaniu kilku systemów pamięci masowej, z których każdy przechowuje .
Jako przykład realizacji pracy studia medialnego chcemy przytoczyć organizację procesu przetwarzania treści w jednej z telewizyjnych stacji nadawczych na Tajwanie. Tutaj zastosowano rozsądnie dostateczną schematy budowy systemu, opisaną w punkcie 2.
Cała treść medialna jest przechowywana na SХД i półce rozszerzeń JBOD . W szafie i półce zainstalowane są po 24 dyski NL-SAS o pojemności 14TB każdy. Konfiguracja przestrzeni dyskowej:
- SХД — pul 24x RAID60
- Półka rozszerzeń – pul 22x RAID60. 2 x hot spare
Pul serwerów do zapewnienia dostępu do danych – klaster z 4 serwerów opartych na Windows Server. Dostęp do treści zorganizowany jest przez protokół CIFS. Fizycznie wszystkie 4 serwery mają połączenie z SХД przez Fibre Channel 16G bez użycia przełączników, Dostęp klientów do puli serwerów realizowany jest przez sieć 10GbE. Na klientach używane jest oprogramowanie Edius v9 w środowisku Windows. Typy obciążeń:
- Praca z wideo 4K na 7 strumieniach – 2 klientów
- Praca z wideo 2K na 13 strumieniach – 10 klientów
W efekcie przy podanych obciążeniach system zapewnia stabilną łączną wydajność 1500 MB/s, która jest komfortowa dla obecnej pracy stacji telewizyjnej. W przypadku potrzeby zwiększenia przestrzeni dyskowej, klientowi wystarczy dodać dodatkowe półki i rozszerzyć istniejący układ na nowe dyski. Oczywiście wszystkie te operacje można przeprowadzić w trybie online, nie przerywając procesów roboczych.
Media zawsze odgrywały ważną rolę w życiu społeczeństwa. Dziś w związku z rozwojem streamingu i przemysłu rozrywkowego jest to bardziej widoczne niż kiedykolwiek wcześniej. "Ciężka" zawartość wymaga poważnego podejścia do budowania rozwiązań jej przetwarzania. Jednym z kluczowych elementów takiego rozwiązania jest system dyskowy. System przechowywania danych doskonale wpisuje się w tę rolę, zapewniając niezawodny i wysokowydajny dostęp, a także łatwość w rozszerzaniu i zwiększaniu wydajności.
Źródło: habr.com
