🥇Использование СХД в работе с медиа контентом

Современный мир уже сложно представить без обилия медиа контента, представленного, в том числе, в виде аудио и видео данных. Казалось бы, еще совсем недавно пределом мечтаний была коллекция MP3 файлов. А сегодня видеофайлы с разрешением 4K уже воспринимаются как нечто обыденное. Весь этот медиа контент нужно создать, где-то разместить и затем предоставить к нему доступ. Современные системы хранения данных (и Qsan в том числе) как нельзя лучше подходят в качестве одного из основных инструментов по работе с контентом.

Разумеется, основными потребителями емкости и полосы пропускания каналов связи являются видеоданные. Постоянный рост разрешения видеокадра повышает требования к «железу». В результате чего еще актуальное вчера оборудование стремительно устаревает. Ведь типичный переход к следующему поколению разрешающей способности влечет увеличение количества точек в кадре в четыре раза. В результате всего лишь одна минута видео с разрешением 8K в несжатом виде занимает более 100ГБ.

Сегодня профессиональная работа с видеоконтентом высокого разрешения уже не является прерогативой только крупных студий. Возрастающая популярность сериалов, стриминга и телевидения высокой четкости привлекает в этот бизнес все большее количество игроков. Все эти студии постоянно генерят огромное количество «сырого» материала, требующего последующей обработки.

Так уж повелось, что основная масса работников индустрии по производству контента – люди творческие. И среди них основной подход для решения технических вопросов по работе с дисковой емкостью заключался в приобретении новых внешних накопителей. Как правило в их роли выступали настольные модели NAS на 2-5 дисков. Выбор NAS обусловлен простыми и понятными процедурами по их эксплуатации среди нетехнических специалистов. Скорость же работы является вполне приемлемой при индивидуальном использовании в качестве DAS (особенно при наличии интерфейсов типа Thunderbolt или USB 3.0). При необходимости совместного доступа к данным, такой NAS (он же DAS) просто подключается к другой рабочей станции.

При возрастающем объеме исходного материала и увеличении количества работников, задействованных в его обработке, такой подход (назовем его «традиционным») вовсю показывает свою несостоятельность. Мало того, что число «коробок» резко возрастает (а вместе с тем и расходы на их приобретение), также резко падает удобство в доступе к данным. А уж при совместной работе проблемы лезут, как из рога изобилия: конфликты доступа к данным, недостаточная скорость и пр. Поэтому «традиционный» подход все чаще сменяется более современными решениями на базе централизованного хранилища (или нескольких хранилищ) и организации совместного доступа к контенту.

Разумеется, просто приобретением СХД переход на новую концепцию работы с контентом не заканчивается. Также потребуется организовать совместный доступ к данным и обеспечить высокоскоростной обмен между хранилищем и узлами обработки контента. Примеров построения инфраструктуры по обработке контента может быть несколько. Основные из них следующие:

Простейший случай для небольших студий. Для организации доступа к данным используются файловые протоколы, работа которых обеспечивается функционалом самой СХД.
Студии средних размеров, на которых параллельно идет работа с несколькими проектами. Здесь разумным выбором будет организация доступа к данным через пул серверов. В таком случае имеется возможность реализовать отказоустойчивый доступ к контенту в режиме 24/7 за счет дублирования всех ключевых компонентов: серверы, каналы связи, коммутаторы и контроллеры СХД. Постоянный доступ к данным крайне важен при длительной обработке видеоматериала, ведь никому не хочется терять огромное количество времени, например, из-за сбоя в процессе рендеринга. Также при наличии пула серверов имеется возможность обеспечить балансировку нагрузки для рабочих станций с целью повышения общей производительности.
Крупные студии, в том числе нацеленные на широкое вещание. В таких проектах отказоустойчивость за счет дублирования компонентов уже must have. Также для ускорения все основные ресурсоемкие процессы по рендерингу и пост обработке вынесены с рабочих станций на специальные серверы, которые имеют максимально быстрый доступ к СХД с контентом. Более того, часто применяется разноуровневое хранение данных. Т.е. используются медленные, но емкие HDD для хранения исходных материалов и архива, а также быстрые SSD для оперативной работы и/или кэширования. В рамках единой СХД для этого создаются несколько пулов из разных типов носителей, а также используются автоматизированные средства типа AutoTiering и SSD Cache. В реально масштабных проектах многоуровневое хранение достигается за счет использования нескольких СХД, каждая из которых хранит определенный тип данных.

В качестве примера реализации работы медиа студии хотим привести организацию процесса обработки контента на одной из телевещательных станций Тайваня. Здесь применяется разумно достаточная схема построения системы, описанная в пункте 2.

Весь медиа контент хранится на СХД Qsan XS5224-D и полке расширения JBOD XD5324-D. В шасси и полку установлены по 24 диска NL-SAS объемом 14ТБ каждый. Конфигурация дискового пространства:

СХД — пул 24х RAID60
Полка расширения – пул 22х RAID60. 2 х hot spare

Пул серверов для обеспечения доступа к данным – кластер из 4-х серверов на базе Windows Server. Доступ к контенту организуется через протокол CIFS. Физически все 4 сервера имеют подключение к СХД через Fibre Channel 16G без использования коммутаторов, благо портов у СХД для этого хватает. Доступ клиентов к пулу серверов осуществляется через сеть 10GbE. На клиентах используется ПО Edius v9 в среде Windows. Типы нагрузок:

Работа с видео 4K на 7 потоков – 2 клиента
Работа с видео 2K на 13 потоков – 10 клиентов

В итоге при указанных нагрузках система обеспечивает стабильную суммарную производительность 1500 МБ/с, которая является комфортной для текущей работы телестанции. В случае необходимости увеличения дискового пространства, заказчику всего лишь достаточно добавить дополнительные полки и расширить существующий массив на новые диски. Разумеется, все эти операции можно произвести в режиме online, не прерывая рабочие процессы.

Медиа всегда играли важную роль в жизни общества. Сегодня это как никогда ранее заметно в связи с развитием стриминга и индустрии развлечений. «Тяжелый» контент требует серьезного подхода при построении решений по его обработке. И одним из немаловажных элементов в таком решении является дисковая подсистема. Система хранения данных идеально вписывается в эту роль, обеспечивая надежный и высокоскоростной доступ, а также легкость расширения и наращивания производительности.

Источник: habr.com