Сучасний світ вже складно уявити без великої кількості медіа контенту, представленого, у тому числі, у вигляді аудіо та відео даних. Здавалося б, ще нещодавно межею мрій була колекція MP3 файлів. А сьогодні відеофайли з роздільною здатністю 4K вже сприймаються як щось звичайне. Весь цей медіа контент потрібно створити десь розмістити і потім надати до нього доступ. Сучасні системи зберігання даних (і у тому числі) якнайкраще підходять як один з основних інструментів по роботі з контентом.
Зрозуміло, основними споживачами ємності та смуги пропускання каналів зв'язку є відео. Постійне зростання роздільної здатності відеокадра підвищує вимоги до «заліза». Внаслідок чого ще актуальне вчора обладнання стрімко застаріває. Адже типовий перехід до наступного покоління роздільної здатності тягне за собою збільшення кількості точок у кадрі вчетверо. У результаті лише одна хвилина відео з роздільною здатністю 8K в несжатому вигляді займає більше 100ГБ.
Сьогодні професійна робота з відеоконтентом високого дозволу вже не є прерогативою великих студій. Зростаюча популярність серіалів, стримінгу та телебачення високої чіткості приваблює в цей бізнес дедалі більшу кількість гравців. Всі ці студії постійно генерують безліч «сирого» матеріалу, що вимагає подальшої обробки.
Так уже повелося, що більшість працівників промисловості з виробництва контенту – люди творчі. І серед них основний підхід для вирішення технічних питань щодо роботи з дисковою ємністю полягав у придбанні нових зовнішніх накопичувачів. Як правило, у їх ролі виступали настільні моделі NAS на 2-5 дисків. Вибір обумовлений простими та зрозумілими процедурами їх експлуатації серед нетехнічних фахівців. Швидкість роботи є цілком прийнятною при індивідуальному використанні як DAS (особливо за наявності інтерфейсів типу Thunderbolt або USB 3.0). При необхідності спільного доступу до даних такий NAS (він же DAS) просто підключається до іншої робочої станції.
При зростаючому обсязі вихідного матеріалу та збільшення кількості працівників, задіяних у його обробці, такий підхід (назвемо його «традиційним») показує свою неспроможність. Мало того, що кількість «коробок» різко зростає (а разом з тим і витрати на їх придбання) також різко падає зручність у доступі до даних. А вже при спільній роботі проблеми лізуть, як із рогу достатку: конфлікти доступу до даних, недостатня швидкість тощо. Тому «традиційний» підхід все частіше змінюється більш сучасними рішеннями на базі централізованого сховища (або кількох сховищ) та організації спільного доступу до контенту.
Зрозуміло, просто придбанням перехід на нову концепцію роботи з контентом не закінчується. Також потрібно організувати спільний доступ до даних та забезпечити високошвидкісний обмін між сховищем та вузлами обробки контенту. Прикладів побудови інфраструктури з обробки контенту може бути кілька. Основні їх такі:
-
Найпростіший випадок для невеликих студій. Для організації доступу до даних використовуються файлові протоколи, робота яких забезпечується .
-
Студії середніх розмірів, на яких паралельно триває робота з кількома проектами. Тут розумним вибором буде організація доступу даних через пул серверів. У такому випадку є можливість реалізувати стійкий до відмови контенту в режимі 24/7 за рахунок дублювання всіх ключових компонентів: сервери, канали зв'язку, комутатори і контролери СГД. Постійний доступ до даних є вкрай важливим при тривалій обробці відеоматеріалу, адже нікому не хочеться втрачати величезну кількість часу, наприклад, через збій у процесі рендерингу. Також за наявності пулу серверів є можливість забезпечити балансування навантаження для робочих станцій для підвищення загальної продуктивності.
-
Великі студії, у тому числі націлені на широке мовлення. У таких проектах стійкість до відмов за рахунок дублювання компонентів вже must have. Також для прискорення всі основні ресурсомісткі процеси з рендерингу та пост обробки винесені з робочих станцій на спеціальні сервери, які мають максимально швидкий доступ до СГД із контентом. Більше того, часто застосовується різнорівневе зберігання даних. Тобто. використовуються повільні, але ємні HDD для зберігання вихідних матеріалів та архіву, а також швидкі SSD для оперативної роботи та/або кешування. В рамках єдиної СГД для цього створюються кілька пулів із різних типів носіїв, а також використовуються автоматизовані засоби типу и . У реально масштабних проектах багаторівневе зберігання досягається за рахунок використання кількох СГД, кожна з яких зберігає .
Як приклад реалізації роботи медіа студії хочемо навести організацію процесу обробки контенту на одній із телемовних станцій Тайваню. Тут застосовується достатня схема побудови системи, описана в пункті 2.
Весь медіа контент зберігається на СГД та полиці розширення JBOD . У шасі та полиці встановлені по 24 диски NL-SAS об'ємом 14ТБ кожен. Конфігурація дискового простору:
- СХД - пул 24х RAID60
- Полиця розширення – пул 22х RAID60. 2 х hot spare
Пул серверів для забезпечення доступу до даних – кластер із 4-х серверів на базі Windows Server. Доступ до вмісту організується через протокол CIFS. Фізично всі 4 сервери мають підключення до СГД через Fibre Channel 16G без використання комутаторів, . Доступ клієнтів до пулу серверів здійснюється через мережу 10GbE. На клієнтах використовується програмне забезпечення Edius v9 у середовищі Windows. Типи навантажень:
- Робота з відео 4K на 7 потоків – 2 клієнти
- Робота з відео 2K на 13 потоків – 10 клієнтів
У результаті при зазначених навантаженнях система забезпечує стабільну сумарну продуктивність 1500 МБ/с, яка є зручною для поточної роботи телестанції. У разі необхідності збільшення дискового простору, замовнику лише достатньо додати додаткові полиці і розширити існуючий масив на нові диски. Зрозуміло, всі ці операції можна зробити в режимі online, не перериваючи робочих процесів.
Медіа завжди відігравали важливу роль у житті суспільства. Сьогодні це як ніколи раніше помітно у зв'язку з розвитком стримінгу та індустрії розваг. «Тяжкий» контент вимагає серйозного підходу при побудові рішень щодо його обробки. І одним із важливих елементів у такому рішенні є дискова підсистема. Система зберігання даних ідеально вписується в цю роль, забезпечуючи надійний та високошвидкісний доступ, а також легкість розширення та нарощування продуктивності.
Джерело: habr.com