{"id":97824,"date":"2020-10-22T14:42:26","date_gmt":"2020-10-22T12:42:26","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/huawei-oceanstor-dorado-18000-v6-v-chyom-eyo-haj-endovost"},"modified":"2020-11-18T00:58:50","modified_gmt":"2020-11-17T22:58:50","slug":"huawei-oceanstor-dorado-18000-v6-v-chyom-eyo-haj-endovost","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/huawei-oceanstor-dorado-18000-v6-v-chyom-eyo-haj-endovost","title":{"rendered":"Huawei OceanStor Dorado 18000 V6: o que a torna uma solu\u00e7\u00e3o de alta gama","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Arguamos detalhadamente o que torna o OceanStor Dorado 18000 V6 um verdadeiro sistema de armazenamento de alta performance com bom potencial para os pr\u00f3ximos anos. Ao mesmo tempo, desmistificamos preocupa\u00e7\u00f5es comuns sobre armazenamentos All-Flash e mostramos como a Huawei extrai o m\u00e1ximo deles: NVMe de ponta a ponta, cache adicional em SCM e uma s\u00e9rie de outras solu\u00e7\u00f5es.
\n\"Huawei
\n<\/a><\/noindex>
\n\"Huawei
\n<\/p>\n

Um novo cen\u00e1rio de dados \u2014 novo armazenamento de dados<\/h2>\n

\nA intensidade do trabalho com dados est\u00e1 aumentando em todos os setores. E o setor banc\u00e1rio \u00e9 a ilustra\u00e7\u00e3o mais clara disso. Nos \u00faltimos anos, o n\u00famero de transa\u00e7\u00f5es banc\u00e1rias aumentou mais de dez vezes. Como mostra a pesquisa da BCG<\/a><\/noindex>, apenas na R\u00fassia, no per\u00edodo de 2010 a 2018, o n\u00famero de transa\u00e7\u00f5es sem dinheiro utilizando cart\u00f5es pl\u00e1sticos teve um crescimento mais de trinta vezes \u2014 de 5,8 para 172 por pessoa por ano. Isso se deve, antes de tudo, ao triunfo dos micropagamentos: a maioria de n\u00f3s se acostumou ao internet banking, e agora o banco est\u00e1 em nossas m\u00e3os \u2014 no celular.<\/p>\n

A infraestrutura de TI da institui\u00e7\u00e3o financeira deve estar pronta para esse desafio. E isso \u00e9 realmente um desafio. Al\u00e9m de tudo, se antes o banco precisava garantir a disponibilidade dos dados apenas em seu hor\u00e1rio de funcionamento, agora \u2014 24\/7. Recentemente, 5 ms eram considerados um atraso aceit\u00e1vel, e agora? Atualmente, at\u00e9 mesmo 1 ms \u00e9 demais. Para um sistema de armazenamento de dados moderno, o valor-alvo \u00e9 de 0,5 ms.<\/p>\n

O mesmo se aplica \u00e0 confiabilidade: na d\u00e9cada de 2010, surgiu a compreens\u00e3o emp\u00edrica de que bastava elevar seu n\u00edvel a \"cinquenta\" \u2014 99,999%. No entanto, essa compreens\u00e3o j\u00e1 se tornou obsoleta. Em 2020, \u00e9 absolutamente normal para os neg\u00f3cios exigir 99,9999% para armazenamento e 99,99999% para a solu\u00e7\u00e3o arquitet\u00f4nica como um todo. E isso n\u00e3o \u00e9 capricho, mas uma necessidade urgente: ou n\u00e3o h\u00e1 janela de tempo para manuten\u00e7\u00e3o da infraestrutura, ou \u00e9 extremamente pequena.<\/p>\n

\"Huawei
\n
\nPara melhor visualiza\u00e7\u00e3o, \u00e9 conveniente projetar esses indicadores em um plano de dinheiro. O mais f\u00e1cil \u00e9 usar o exemplo de organiza\u00e7\u00f5es financeiras. No gr\u00e1fico acima, est\u00e1 indicada a quantia que cada um dos 10 maiores bancos do mundo ganha em uma hora. Apenas o Banco da Ind\u00fastria e Com\u00e9rcio da China arrecada, nada mais nada menos, $5 milh\u00f5es. Este \u00e9 o custo do tempo de inatividade da infraestrutura de TI da maior institui\u00e7\u00e3o de cr\u00e9dito da China (considerando apenas a perda de lucro!). Com essa perspectiva, fica claro que a redu\u00e7\u00e3o do tempo de inatividade e o aumento da confiabilidade s\u00e3o totalmente razo\u00e1veis, n\u00e3o apenas por motivos de aumento da competitividade, mas tamb\u00e9m simplesmente para manter as posi\u00e7\u00f5es de mercado.<\/p>\n

Mudan\u00e7as compar\u00e1veis est\u00e3o ocorrendo em outras ind\u00fastrias. Por exemplo, no transporte a\u00e9reo: antes da pandemia, o tr\u00e1fego a\u00e9reo crescia ano ap\u00f3s ano, e muitos passaram a us\u00e1-lo quase como um t\u00e1xi. No que diz respeito aos padr\u00f5es de consumo, a sociedade adotou a cultura da total acessibilidade aos servi\u00e7os: ao chegarmos ao aeroporto, precisamos de conex\u00e3o Wi-Fi, acesso a servi\u00e7os de pagamento, mapas de localiza\u00e7\u00e3o, etc. Como resultado, a carga na infraestrutura e nos servi\u00e7os em espa\u00e7os p\u00fablicos aumentou exponencialmente. E os m\u00e9todos de constru\u00e7\u00e3o dessa infraestrutura que consider\u00e1vamos aceit\u00e1veis at\u00e9 um ano atr\u00e1s est\u00e3o rapidamente se tornando obsoletos.<\/p>\n

\"Huawei
\n<\/p>\n

N\u00e3o \u00e9 cedo demais para migrar para All-Flash?<\/h2>\n

\nPara resolver as tarefas mencionadas acima, do ponto de vista de desempenho, AFA \u2014 all-flash arrays, ou seja, arrays totalmente baseados em flash, s\u00e3o mais adequados do que nunca. No entanto, at\u00e9 recentemente, havia d\u00favidas sobre se eram compar\u00e1veis em termos de confiabilidade aos arrays baseados em HDD e aos h\u00edbridos. Afinal de contas, a mem\u00f3ria flash s\u00f3lida tem um indicador, chamado m\u00e9dia de tempo entre falhas, ou MTBF (mean time between failures). A degrada\u00e7\u00e3o das c\u00e9lulas devido a opera\u00e7\u00f5es de entrada e sa\u00edda \u00e9, infelizmente, uma realidade.<\/p>\n

Portanto, as perspectivas para All-Flash eram ofuscadas pela quest\u00e3o de como prevenir a perda de dados caso o SSD falhe. O backup \u00e9 uma op\u00e7\u00e3o conhecida, mas o tempo de recupera\u00e7\u00e3o pode ser inaceitavelmente longo, de acordo com os requisitos modernos. Outra solu\u00e7\u00e3o \u00e9 implementar um segundo n\u00edvel de armazenamento em unidades de disco girat\u00f3rias, mas, neste formato, parte das vantagens do sistema \"puramente flash\" \u00e9 perdida.<\/p>\n

No entanto, os n\u00fameros dizem algo diferente: as estat\u00edsticas dos gigantes da economia digital, incluindo o Google, nos \u00faltimos anos demonstram que o flash \u00e9 significativamente mais confi\u00e1vel do que os discos r\u00edgidos. E isso se aplica tanto a per\u00edodos curtos quanto longos: em m\u00e9dia, os dispositivos flash duram de quatro a seis anos antes de falharem. Em termos de confiabilidade no armazenamento de dados, eles n\u00e3o ficam atr\u00e1s das unidades de disco rotativo, e muitas vezes at\u00e9 superam-nas.<\/p>\n

\"Huawei
\n
\nOutro argumento tradicional a favor das unidades de disco rotativo \u00e9 a sua acessibilidade financeira. N\u00e3o h\u00e1 d\u00favida de que o custo de armazenar um terabyte em um disco r\u00edgido ainda \u00e9 relativamente baixo. E se considerar apenas os gastos com equipamentos, manter um terabyte em uma unidade rotativa \u00e9 mais barato do que em uma unidade de estado s\u00f3lido. No entanto, em termos de planejamento financeiro, n\u00e3o conta apenas o pre\u00e7o de compra do dispositivo espec\u00edfico, mas tamb\u00e9m qual \u00e9 o custo total de propriedade ao longo do tempo \u2014 de tr\u00eas a sete anos.<\/p>\n

Sob essa perspectiva, a situa\u00e7\u00e3o muda completamente. Mesmo desconsiderando a deduplica\u00e7\u00e3o e a compress\u00e3o, que geralmente s\u00e3o aplicadas a arrays flash e tornam sua opera\u00e7\u00e3o mais econ\u00f4mica, permanecem caracter\u00edsticas como o espa\u00e7o ocupado pelos dispositivos no rack, a dissipa\u00e7\u00e3o de calor e o consumo de energia. E nesses aspectos, o flash supera seus antecessores. Como resultado, o TCO (custo total de propriedade) dos sistemas de armazenamento de dados em flash, considerando todos os par\u00e2metros, costuma ser quase duas vezes menor do que no caso de arrays com unidades de disco rotativo ou h\u00edbridas.<\/p>\n

De acordo com os relat\u00f3rios da ag\u00eancia ESG, em sistemas de armazenamento All-Flash Dorado V6 \u00e9 poss\u00edvel alcan\u00e7ar uma redu\u00e7\u00e3o no custo total de propriedade de at\u00e9 78% ao longo de cinco anos \u2014 incluindo a deduplica\u00e7\u00e3o e compress\u00e3o eficientes, al\u00e9m do baixo consumo de energia e gera\u00e7\u00e3o de calor. A empresa anal\u00edtica alem\u00e3 DCIG tamb\u00e9m recomenda seu uso como a melhor op\u00e7\u00e3o em termos de TCO dispon\u00edvel atualmente.<\/i><\/p><\/blockquote>\n

O uso de unidades de estado s\u00f3lido permite economizar espa\u00e7o \u00fatil, reduz o n\u00famero de falhas, diminui o tempo de manuten\u00e7\u00e3o da solu\u00e7\u00e3o e reduz tanto o consumo de energia quanto a gera\u00e7\u00e3o de calor nos sistemas de armazenamento. E \u00e9 evidente que AFA \u00e9 financeiramente pelo menos compar\u00e1vel a matrizes tradicionais com discos girat\u00f3rios, frequentemente superando-as.<\/p>\n

\"Huawei
\n<\/p>\n

Royal Flash da Huawei<\/h2>\n

\nEntre nossos sistemas All-Flash, o lugar de destaque pertence ao sistema hi-end OceanStor Dorado 18000 V6. E n\u00e3o apenas entre os nossos: no setor como um todo, ele det\u00e9m o recorde de velocidade \u2014 at\u00e9 20 milh\u00f5es de IOPS na configura\u00e7\u00e3o m\u00e1xima. Al\u00e9m disso, \u00e9 extremamente confi\u00e1vel: mesmo que dois controladores falhem ao mesmo tempo, ou at\u00e9 sete controladores um ap\u00f3s o outro, ou um mecanismo inteiro de uma vez \u2014 os dados permanecer\u00e3o intactos. V\u00e1rios benef\u00edcios do \"dezoito mil\" v\u00eam da intelig\u00eancia artificial embutida, incluindo flexibilidade na gest\u00e3o dos processos internos. Vamos ver como tudo isso \u00e9 alcan\u00e7ado.<\/p>\n

\"Huawei
\n
\nA empresa Huawei tem uma vantagem significativa no mercado porque \u00e9 o \u00fanico fabricante que desenvolve sistemas de armazenamento de dados totalmente por conta pr\u00f3pria. Temos nosso pr\u00f3prio design eletr\u00f4nico, nosso pr\u00f3prio microc\u00f3digo e nosso pr\u00f3prio servi\u00e7o de atendimento.<\/p>\n

O controlador nos sistemas OceanStor Dorado \u00e9 constru\u00eddo com um processador desenvolvido e produzido pela Huawei \u2014 Kunpeng 920. Ele emprega um m\u00f3dulo de gest\u00e3o Intelligent Baseboard Management Controller (iBMC), tamb\u00e9m nosso. Os chips de IA, especificamente o Ascend 310, que otimizam as previs\u00f5es de falhas e oferecem recomenda\u00e7\u00f5es de configura\u00e7\u00e3o, tamb\u00e9m s\u00e3o da Huawei, assim como os m\u00f3dulos de entrada\/sa\u00edda \u2014 o m\u00f3dulo Smart I\/O. Por fim, os controladores nas unidades de estado s\u00f3lido s\u00e3o projetados e fabricados por n\u00f3s. Tudo isso proporcionou a base para criar uma solu\u00e7\u00e3o integralmente equilibrada e de alto desempenho.<\/p>\n

\"Huawei
\n<\/p>\n

No \u00faltimo ano, realizamos um projeto de implementa\u00e7\u00e3o deste, o nosso mais avan\u00e7ado sistema de armazenamento (SAC) em um dos grandes bancos russos. Como resultado, mais de 40 unidades OceanStor Dorado 18000 V6 em um metro-cluster apresentam desempenho est\u00e1vel: de cada sistema conseguimos atingir mais de um milh\u00e3o de IOPS, mesmo considerando as lat\u00eancias devido \u00e0 dist\u00e2ncia.<\/p><\/blockquote>\n

\"Huawei
\n<\/p>\n

NVMe de ponta a ponta<\/h2>\n

\nOs mais recentes sistemas de armazenamento da Huawei suportam NVMe de ponta a ponta, o que n\u00e3o \u00e9 por acaso que fazemos quest\u00e3o de destacar. Os protocolos de acesso a unidades tradicionalmente usados foram desenvolvidos na antiguidade da TI: na sua base est\u00e3o os comandos SCSI (ol\u00e1, anos 80!), que carregam uma s\u00e9rie de funcionalidades para garantir a retrocompatibilidade. Qualquer forma de acesso que se considere, o overhead do protocolo \u00e9 colossal nesse caso. Como resultado, os armazenamentos que usam protocolos baseados em SCSI n\u00e3o conseguem ter uma lat\u00eancia de entrada e sa\u00edda abaixo de 0,4 a 0,5 ms. Por sua vez, sendo um protocolo criado para trabalhar com mem\u00f3ria flash e livre de restri\u00e7\u00f5es em nome da t\u00e3o falada retrocompatibilidade, o NVMe \u2013 Non-Volatile Memory Express \u2013 reduz a lat\u00eancia para 0,1 ms, e isso n\u00e3o apenas em SACs, mas em toda a pilha, desde o host at\u00e9 as unidades. N\u00e3o \u00e9 surpreendente que o NVMe esteja alinhado com as tend\u00eancias de desenvolvimento de armazenamento de dados para o futuro pr\u00f3ximo. Tamb\u00e9m apostamos no NVMe e estamos nos afastando gradualmente do SCSI. Todos os sistemas de armazenamento produzidos hoje pela Huawei, incluindo a linha Dorado, suportam NVMe (embora, como ponta a ponta, esteja implementado apenas nos modelos avan\u00e7ados da s\u00e9rie Dorado V6).<\/p>\n

\"Huawei
\n<\/p>\n

FlashLink: um conjunto de tecnologias<\/h2>\n

\nA tecnologia fundamental para toda a linha OceanStor Dorado \u00e9 o FlashLink. Na verdade, \u00e9 um termo que abrange um conjunto integrado de tecnologias que garantem alto desempenho e confiabilidade. Isso inclui tecnologias de deduplica\u00e7\u00e3o e compress\u00e3o, funcionamento do sistema de distribui\u00e7\u00e3o de dados RAID 2.0+, separa\u00e7\u00e3o de dados 'quentes' e 'frios', grava\u00e7\u00e3o sequencial de dados em fatias completas (grava\u00e7\u00f5es aleat\u00f3rias, com novos e dados alterados, s\u00e3o agrupadas em uma pilha grande e gravadas sequencialmente, aumentando a velocidade de leitura e grava\u00e7\u00e3o).<\/p>\n

Al\u00e9m de tudo isso, o FlashLink inclui duas componentes importantes \u2013 Wear Leveling e Global Garbage Collection. Vale a pena parar um pouco em cada uma delas.<\/p>\n

Na verdade, qualquer unidade de estado s\u00f3lido \u00e9 uma SAN em miniatura, com um grande n\u00famero de blocos e um controlador que garante a disponibilidade dos dados. Isso \u00e9 garantido tamb\u00e9m pela transfer\u00eancia de dados das c\u00e9lulas \"danificadas\" para as \"n\u00e3o danificadas\", assegurando que eles poder\u00e3o ser lidos. Existem diversos algoritmos para essa transfer\u00eancia. Geralmente, o controlador tenta equilibrar o desgaste de todas as c\u00e9lulas da unidade. Essa abordagem tem uma desvantagem: quando ocorre a movimenta\u00e7\u00e3o de dados dentro do SSD, o n\u00famero de opera\u00e7\u00f5es de entrada e sa\u00edda que ele realiza diminui drasticamente. No momento, isso \u00e9 um mal necess\u00e1rio.<\/p>\n

Assim, se houver muitos SSDs no sistema, no gr\u00e1fico de desempenho, aparece uma \"serra\" com picos e quedas acentuadas. O problema \u00e9 que um \u00fanico SSD do pool pode iniciar a migra\u00e7\u00e3o de dados a qualquer momento, e o desempenho geral \u00e9 afetado simultaneamente por todos os SSDs no arranjo. Mas os engenheiros da Huawei descobriram como evitar a forma\u00e7\u00e3o da \"serra\".<\/p>\n

Felizmente, tanto os controladores nas unidades, quanto o controlador de armazenamento e o microc\u00f3digo da Huawei s\u00e3o \"nativos\"; esses processos no OceanStor Dorado 18000 V6 s\u00e3o iniciados de forma centralizada e s\u00edncrona em todas as unidades do arranjo. E isso acontece sob comando do controlador da SAN e precisamente quando n\u00e3o h\u00e1 grande carga de entrada e sa\u00edda.<\/p>\n

O chip de intelig\u00eancia artificial tamb\u00e9m participa da escolha do momento certo para a transfer\u00eancia de dados: com base nas estat\u00edsticas de acessos dos \u00faltimos meses, ele \u00e9 capaz de prever com alta probabilidade se haver\u00e1 uma entrada e sa\u00edda ativa em breve e, se a resposta for negativa e a carga no sistema for baixa no momento, o controlador instrui todas as unidades: as que precisam de Wear Leveling devem realiz\u00e1-lo de uma vez e de forma s\u00edncrona.<\/p><\/blockquote>\n

Al\u00e9m disso, o controlador do sistema monitora o estado de cada c\u00e9lula da unidade, ao contr\u00e1rio das SANs de fabricantes concorrentes: estes s\u00e3o obrigados a adquirir unidades de estado s\u00f3lido de fornecedores terceirizados, o que impede o n\u00edvel de detalhamento celular de estar acess\u00edvel aos controladores desses sistemas.<\/p>\n

Como resultado, o OceanStor Dorado 18000 V6 tem um per\u00edodo muito curto de perda de desempenho nas opera\u00e7\u00f5es de Wear Leveling, que ocorre principalmente quando n\u00e3o interfere em outros processos. Isso proporciona um desempenho altamente est\u00e1vel de forma cont\u00ednua.<\/p>\n

\"Huawei
\n<\/p>\n

Do que \u00e9 feita a confiabilidade do OceanStor Dorado 18000 V6<\/h2>\n

\nNos sistemas modernos de armazenamento de dados, s\u00e3o destacados quatro n\u00edveis de confiabilidade:<\/p>\n