Съвременният свят вече е трудно да си представим без изобилие от медийно съдържание, представено, включително, под формата на аудио и видео данни. Изглеждаше, че съвсем скоро пределът на мечтите беше колекция от MP3 файлове. А днес видео файловете с резолюция 4K вече се възприемат като нещо обичайно. Всичкото това медийно съдържание трябва да бъде създадено, настанено на някое място и след това предоставено за достъп. Съвременните системи за съхранение на данни (и включително) са идеално подходящи като един от основните инструменти за работа с съдържание.
Разбира се, основните потребители на капацитета и пропускната способност на комуникационните канали са видеоданните. Постоянният растеж на резолюцията на видеокадрите увеличава изискванията към „желязото“. В резултат на което актуалното вчера оборудване бързо остарява. Налице е типичен преход към следващото поколение резолюция, което води до увеличаване на точките в кадъра четири пъти. В резултат само една минута видео с резолюция 8K в несжат вид заема над 100ГБ.
Днес професионалната работа с видеосъдържание с висока резолюция не е само привилегия на големи студия. Нарастващата популярност на сериалите, стрийминга и телевизията с висока разделителна способност привлича все повече играчи в този бизнес. Всички тези студия постоянно генерират огромно количество „суров“ материал, изискващ последваща обработка.
Както обикновено, основната маса от работниците в индустрията за производство на съдържание са творчески личности. И сред тях основният подход за разрешаване на техническите въпроси, свързани с работата с дисковия капацитет, беше закупуването на нови външни устройства за съхранение. Както правило, в ролята им се изтъкват десктоп модели NAS с 2-5 диска. Изборът е обусловен от простите и разбираеми процедури за експлоатация сред нетехническите специалисти. Скоростта на работа е напълно приемлива за индивидуално използване като DAS (особено при наличие на интерфейси тип Thunderbolt или USB 3.0). При необходимост от съвместен достъп до данни, такъв NAS (който също е DAS) просто се свързва с друга работна станция.
С нарастващия обем на входния материал и увеличаване на броя на работниците, ангажирани с обработката му, този подход (нека го наречем „традиционен“) показва своята неефективност. Не само, че броят на „картонените кутии“ рязко нараства (заедно с разходите за придобиването им), но и удобството за достъп до данните рязко пада. А при съвместна работа проблемите изригват в изобилие: конфликти при достъпа до данни, недостатъчна скорост и др. Затова „традиционният“ подход все по-често се заменя с по-съвременни решения на база централизирано хранилище (или няколко хранилища) и организиране на съвместен достъп до съдържанието.
Разбира се, само с придобиването на преминаването към нова концепция за работа със съдържанието не свършва. Също така е необходимо да се организира съвместен достъп до данните и да се осигури високоскоростен обмен между хранилището и възлите за обработка на съдържанието. Примерите за изграждане на инфраструктура за обработка на съдържанието могат да бъдат няколко. Основните от тях са следните:
Най-простият случай за малки студия. За организиране на достъп до данните се използват файлови протоколи, функционирането на които се гарантира от .
Студия със среден размер, в които паралелно се работи по няколко проекта. Тук разумният избор ще бъде организация на достъпа до данните чрез пул от сървъри. В такъв случай има възможност за реализиране на отказоустойчив достъп до съдържанието в режим 24/7, благодарение на дублирането на всички ключови компоненти: сървъри, комуникационни канали, суичове и контролери на СХД. Постоянният достъп до данните е изключително важен при продължителна обработка на видеоматериал, тъй като никой не иска да губи огромно количество време, например, заради срив в процеса на рендериране. С наличието на пул от сървъри също така е възможно да се осигури балансиране на натоварването за работните станции с цел повишаване на общата производителност.
Големи студия, включително насочени към широко разпространение. В такива проекти отказоустойчивостта чрез дублиране на компонентите вече е must have. Освен това, за ускорение всички основни ресурсоемки процеси по рендериране и постобработка са изнесени от работните станции на специални сървъри, които имат максимално бърз достъп до СХД с контента. По-нататък, често се прилага многопластово съхранение на данни. Т.е. използват се бавни, но обемисти HDD за съхранение на изходни материали и архив, както и бързи SSD за оперативна работа и/или кеширане. В рамките на единна СХД за това се създават няколко пула от различни типове носители, а също така се използват автоматизирани средства като и . В реално мащабни проекти многопластовото съхранение се постига чрез използването на няколко СХД, всяка от които съхранява .
Като пример за реализиране на работата на медия студия, искаме да дадем организирането на процеса на обработка на съдържание в една от телевизионните станции на Тайван. Тук се прилага разумно достатъчна схема за изграждане на системата, описана в точка 2.
Всички медийни съдържания се съхраняват на СХД и рафта за разширение JBOD . В шасито и на рафта са инсталирани по 24 диска NL-SAS с капацитет 14TB всеки. Конфигурацията на дисковото пространство:
- СХД — пул 24х RAID60
- Рафтове за разширение – пул 22х RAID60. 2 х hot spare
Пул от сървъри за осигуряване на достъп до данни – клъстер от 4 сървъра на базата на Windows Server. Достъпът до съдържанието се организира чрез протокола CIFS. Физически всичките 4 сървъра имат свързване към СХД чрез Fibre Channel 16G без използване на комутатори, . Достъпът на клиентите до пула от сървъри се осъществява чрез мрежа 10GbE. На клиентите се използва софтуер Edius v9 в среда Windows. Типове натоварвания:
- Работа с видео 4K на 7 потока – 2 клиенти
- Работа с видео 2K на 13 потока – 10 клиенти
В крайна сметка, при посочените натоварвания, системата осигурява стабилна обща производителност от 1500 MB/s, която е комфортна за текущата работа на телевизионната станция. В случай на необходимост от увеличаване на дисковото пространство, на клиента просто му е нужно да добави допълнителни рафтове и да разшири съществуващия масив с нови дискове. Разбира се, всичките тези операции могат да се извършат в режим онлайн, без да се прекъсват работните процеси.
Медията винаги е играела важна роля в живота на обществото. Днес това е по-забележимо от всякога заради развитието на стрийминга и индустрията на развлеченията. "Тежкото" съдържание изисква сериозен подход при изграждането на решения за неговата обработка. Един от важните елементи в такова решение е дисковата подсистема. Системата за съхранение на данни идеално играе тази роля, осигурявайки надежден и високоскоростен достъп, както и лесно разширение и увеличаване на производителността.
Източник: habr.com
