É difícil imaginar o mundo moderno sem uma abundância de conteúdos mediáticos, apresentados, entre outras coisas, sob a forma de dados de áudio e vídeo. Parece que recentemente o maior sonho era uma coleção de arquivos MP3. E hoje, arquivos de vídeo com resolução 4K já são percebidos como algo comum. Todo esse conteúdo de mídia precisa ser criado, postado em algum lugar e depois disponibilizado para todos. Sistemas modernos de armazenamento de dados (e inclusive) são perfeitamente adequados como uma das principais ferramentas para trabalhar com conteúdo.
É claro que os principais consumidores de capacidade e largura de banda dos canais de comunicação são os dados de vídeo. O aumento constante na resolução do quadro de vídeo aumenta os requisitos de hardware. Como resultado, equipamentos que ainda eram relevantes ontem estão rapidamente se tornando obsoletos. Afinal, uma transição típica para a próxima geração de resolução implica um aumento de quatro vezes no número de pontos no quadro. Como resultado, apenas um minuto de vídeo 8K não compactado ocupa mais de 100 GB.
Hoje, o trabalho profissional com conteúdo de vídeo em alta definição não é mais prerrogativa apenas dos grandes estúdios. A crescente popularidade das séries de TV, streaming e televisão de alta definição está atraindo cada vez mais players para este negócio. Todos esses estúdios geram constantemente uma enorme quantidade de matéria “bruta” que requer processamento adicional.
Acontece que a maioria dos trabalhadores da indústria de produção de conteúdo são pessoas criativas. E entre eles, a principal abordagem para solucionar problemas técnicos relacionados ao trabalho com capacidade de disco era a aquisição de novos drives externos. Como regra, seu papel era desempenhado por modelos NAS de desktop com 2 a 5 discos. Escolha devido a procedimentos simples e compreensíveis para sua operação entre especialistas não técnicos. A velocidade de operação é bastante aceitável quando usada individualmente como DAS (especialmente se houver interfaces como Thunderbolt ou USB 3.0). Se você precisar compartilhar dados, esse NAS (também conhecido como DAS) é simplesmente conectado a outra estação de trabalho.
Com um volume crescente de matéria-prima e um aumento no número de trabalhadores envolvidos no seu processamento, esta abordagem (chamemos-lhe “tradicional”) mostra claramente a sua inconsistência. Não só o número de “caixas” está a aumentar acentuadamente (e ao mesmo tempo os custos de aquisição das mesmas), mas a conveniência de acesso aos dados também está a diminuir drasticamente. E quando trabalhamos juntos, os problemas surgem como uma cornucópia: conflitos de acesso a dados, velocidade insuficiente, etc. Portanto, a abordagem “tradicional” está sendo cada vez mais substituída por soluções mais modernas baseadas em um armazenamento centralizado (ou vários armazenamentos) e na organização do acesso compartilhado. ao conteúdo.
Claro, apenas comprando A transição para um novo conceito de trabalho com conteúdo não termina aí. Será também necessário organizar o acesso partilhado aos dados e garantir a troca de alta velocidade entre os nós de armazenamento e de processamento de conteúdos. Pode haver vários exemplos de construção de uma infra-estrutura de processamento de conteúdo. Os principais são os seguintes:
-
O caso mais simples para pequenos estúdios. Para organizar o acesso aos dados, são utilizados protocolos de arquivos, cujo funcionamento é garantido .
-
Estúdios de médio porte onde vários projetos são trabalhados simultaneamente. Aqui, uma escolha razoável seria organizar o acesso aos dados através de um conjunto de servidores. Neste caso, é possível implementar o acesso tolerante a falhas ao conteúdo 24 horas por dia, 7 dias por semana, duplicando todos os componentes principais: servidores, canais de comunicação, switches e controladores de armazenamento. O acesso constante aos dados é extremamente importante no processamento de material de vídeo por muito tempo, pois ninguém quer perder muito tempo, por exemplo, devido a uma falha no processo de renderização. Além disso, se você tiver um pool de servidores, é possível fornecer balanceamento de carga para estações de trabalho para melhorar o desempenho geral.
-
Grandes estúdios, inclusive aqueles voltados para ampla radiodifusão. Nesses projetos, a tolerância a falhas devido à duplicação de componentes já é obrigatória. Além disso, para acelerar, todos os principais processos de renderização e pós-processamento que consomem muitos recursos foram transferidos das estações de trabalho para servidores especiais que têm o acesso mais rápido possível aos sistemas de armazenamento com conteúdo. Além disso, o armazenamento de dados em vários níveis é frequentemente usado. Aqueles. HDDs lentos, mas espaçosos, são usados para armazenar materiais de origem e arquivos, bem como SSDs rápidos para trabalho operacional e/ou armazenamento em cache. No âmbito de um único sistema de armazenamento, vários pools são criados para esse fim a partir de diferentes tipos de mídia, e ferramentas automatizadas como и . Em projetos realmente de grande escala, o armazenamento multinível é obtido através do uso de vários sistemas de armazenamento, cada um dos quais armazena .
Como exemplo de implementação do trabalho de um estúdio de mídia, gostaríamos de citar a organização do processo de processamento de conteúdo em uma das emissoras de televisão de Taiwan. Aqui, é aplicado um esquema razoavelmente suficiente para a construção do sistema, descrito no parágrafo 2.
Todo o conteúdo de mídia é armazenado no sistema de armazenamento e prateleira de expansão JBOD . O chassi e a prateleira estão equipados com 24 unidades NL-SAS com capacidade de 14 TB cada. Configuração de espaço em disco:
- Armazenamento - pool 24x RAID60
- Prateleira de expansão – pool RAID22 60x. 2 x reposição quente
O pool de servidores para fornecer acesso aos dados é um cluster de 4 servidores baseados no Windows Server. O acesso ao conteúdo é organizado através do protocolo CIFS. Fisicamente, todos os 4 servidores possuem conexão com o sistema de armazenamento via Fibre Channel 16G sem a utilização de switches, . Os clientes acessam o pool de servidores por meio de uma rede de 10 GbE. Os clientes utilizam o software Edius v9 em ambiente Windows. Tipos de carga:
- Trabalhe com vídeo 4K em 7 streams – 2 clientes
- Trabalhe com vídeo 2K para 13 streams – 10 clientes
Como resultado, sob as cargas especificadas, o sistema fornece um desempenho total estável de 1500 MB/s, o que é confortável para a operação atual da estação de televisão. Caso seja necessário aumentar o espaço em disco, o cliente só precisa adicionar prateleiras adicionais e expandir o array existente com novos discos. Naturalmente, todas estas operações podem ser realizadas online sem interromper os processos de trabalho.
A mídia sempre desempenhou um papel importante na vida da sociedade. Hoje, isso é mais perceptível do que nunca devido ao desenvolvimento do streaming e da indústria do entretenimento. Conteúdo “pesado” requer uma abordagem séria na criação de soluções para seu processamento. E um dos elementos importantes dessa solução é o subsistema de disco. O armazenamento se encaixa perfeitamente nessa função, fornecendo acesso confiável e de alta velocidade e fácil expansão e desempenho.
Fonte: habr.com