Introdución
É hora de mercar almacenamento. Cal levar, a quen escoitar? O vendedor A fala do provedor B, e despois está o integrador C, que di o contrario e aconsella ao vendedor D. En tal situación, incluso a cabeza dun arquitecto de almacenamento experimentado xirará, especialmente con todos os novos provedores e SDS e hiperconverxencia que están de moda. hoxe.
Entón, como descifras todo e non acabas sendo un parvo? Nós ( Anton Zhbankov e Evgeniy Elizarov) imos tentar falar sobre isto en ruso simple.
O artigo ten moitas semellanzas e en realidade é unha extensión de "” en canto á elección dos sistemas de almacenamento e á revisión das tecnoloxías de almacenamento. Veremos brevemente a teoría xeral, pero recomendámosche que tamén leas este artigo.
Para que serve
Moitas veces podes ver unha situación na que unha nova persoa chega a un foro ou un chat especializado, como Discusións de almacenamento, e fai a pregunta: "aquí ofrécenme dúas opcións de almacenamento: ABC SuperStorage S600 e XYZ HyperOcean 666v4, que recomendas? ?"
E comeza a confusión sobre quen ten que características da implementación de características terribles e incomprensibles, que para unha persoa non preparada son completamente chinesas.
Entón, a clave e a primeira pregunta que debes facerte moito antes de comparar especificacións nas propostas comerciais é POR QUE? Por que é necesario este sistema de almacenamento?
A resposta será inesperada, e moi estilo Tony Robbins - para almacenar datos. Grazas, capitán! E aínda así, ás veces afondamos tanto en comparar detalles que esquecemos por que facemos todo isto en primeiro lugar.
Así, a tarefa dun sistema de almacenamento de datos é almacenar e proporcionar acceso aos DATOS cun determinado rendemento. Comezaremos cos datos.
Datos
Tipo de datos
Que tipo de datos pensamos almacenar? Unha cuestión moi importante que pode eliminar moitos sistemas de almacenamento dunha consideración uniforme. Por exemplo, planeas almacenar vídeos e fotos. Podes tachar inmediatamente sistemas deseñados para o acceso aleatorio en pequenos bloques ou sistemas con funcións propietarias en compresión/desduplicación. Estes poden ser simplemente excelentes sistemas, non queremos dicir nada malo. Pero neste caso, os seus puntos fortes faranse máis débiles (o vídeo e as fotos non se comprimen) ou simplemente aumentarán significativamente o custo do sistema.
Pola contra, se o uso previsto é un DBMS transaccional ocupado, entón os excelentes sistemas de transmisión multimedia capaces de entregar gigabytes por segundo serán unha mala elección.
Volume de datos
Cantos datos pensamos almacenar? A cantidade sempre se converte en calidade, isto non debe esquecerse, especialmente na nosa época de crecemento exponencial do volume de datos. Os sistemas de clase petabyte xa non son pouco comúns, pero canto maior sexa a capacidade de petabyte, canto máis específico sexa o sistema, menos accesible será a funcionalidade habitual dos sistemas de acceso aleatorio pequenos e medianos. É trivial porque só as táboas de estatísticas de acceso ao bloque fanse maiores que a cantidade de RAM dispoñible nos controladores. Sen esquecer a compresión/nivelación. Digamos que queremos cambiar o algoritmo de compresión a outro máis potente e comprimir 20 petabytes de datos. Canto tempo levará: seis meses, un ano?
Por outra banda, por que molestarse se precisa almacenar e procesar 500 GB de datos? Só 500. Os SSD domésticos (con baixo DWPD) deste tamaño non custan nada. Por que construír unha fábrica de Fibre Channel e mercar sistemas de almacenamento externo de gama alta que custan o equivalente a unha ponte de ferro fundido?
Que porcentaxe do total son datos quentes? Que desigual é a carga en termos de volume de datos? Aquí é onde a tecnoloxía de almacenamento por niveis ou a caché Flash poden ser moi útiles se a cantidade de datos quentes é pequena en comparación co total. Ou viceversa, cunha carga uniforme en todo o volume, que adoita atoparse nos sistemas de streaming (videovixilancia, algúns sistemas de análise), estas tecnoloxías non proporcionarán nada e só aumentarán o custo/complexidade do sistema.
ИС
A outra cara dos datos é o sistema de información que utiliza os datos. Un IS ten un conxunto de requisitos que herdan datos. Para obter máis información sobre o IS, consulte "Deseño de centro de datos virtualizado".
Requisitos de resiliencia/dispoñibilidade
Os requisitos de tolerancia a fallos/disponibilidade dos datos herdanse do IS que os utiliza e exprésanse en tres números: RPO, OTR, dispoñibilidade.
Dispoñibilidade — a participación durante un período de tempo determinado durante o cal os datos están dispoñibles para traballar con eles. Normalmente exprésase como un número de 9. Por exemplo, dous nove ao ano significa que a dispoñibilidade é do 99 % ou, en caso contrario, se permiten 95 horas de indisponibilidade ao ano. Tres nove - 9,5 horas ao ano.
RPO/RTO non son indicadores totais, senón para cada incidente (accidente), en contraste coa dispoñibilidade.
RPO — a cantidade de datos perdidos durante un accidente (en horas). Por exemplo, se as copias de seguridade ocorren unha vez ao día, entón RPO = 24 horas. Eses. En caso de desastre e perda completa do sistema de almacenamento, pódense perder datos ata 24 horas (desde o momento da copia de seguridade). En base ao RPO especificado para o IS, por exemplo, escríbense regulamentos de copia de seguridade. Ademais, en función de RPO, pode entender canta replicación de datos síncrona/asíncrona é necesaria.
OTR — tempo para restaurar o servizo (acceso a datos) despois dun desastre. En función do valor RTO dado, podemos entender se é necesario un clúster de metro ou se a replicación unidireccional é suficiente. Necesitas un sistema de almacenamento multicontrolador de alta gama?
Requisitos de rendemento
Aínda que esta é unha pregunta moi obvia, é onde xorden a maioría das dificultades. Segundo se teña ou non algún tipo de infraestrutura, construiranse formas de recoller as estatísticas necesarias.
Xa tes un sistema de almacenamento e estás a buscar un substituto ou queres comprar outro para ampliar. Aquí todo é sinxelo. Entendes cales son os servizos que xa tes e cales pensas implementar nun futuro próximo. En función dos servizos actuais, tes a oportunidade de recoller estatísticas de rendemento. Decide o número actual de IOPS e a latencia actual: cales son estes indicadores e son suficientes para as túas tarefas? Isto pódese facer tanto no propio sistema de almacenamento de datos como desde os hosts que están conectados a el.
Ademais, cómpre mirar non só a carga actual, senón durante un período determinado (preferentemente un mes). Consulta cales son os picos máximos durante o día, que carga crea a copia de seguridade, etc. Se o teu sistema de almacenamento ou o seu software non che proporciona un conxunto completo destes datos, podes usar a ferramenta gratuíta RRD, que pode funcionar coa maioría dos sistemas de almacenamento e conmutadores máis populares e pode proporcionarche estatísticas detalladas de rendemento. Tamén paga a pena mirar a carga dos anfitrións que traballan con este sistema de almacenamento, para máquinas virtuais específicas, ou o que se está executando exactamente neste host.
Paga a pena sinalar por separado que se os atrasos no volume e no almacén de datos que se atopa neste volume difiren bastante, debes prestar atención á túa rede SAN, hai unha alta probabilidade de que haxa problemas con ela e antes de comprar unha nova sistema, paga a pena analizar este problema, porque hai unha probabilidade moi alta de aumentar o rendemento do sistema actual.
Estás construíndo unha infraestrutura desde cero ou comprando un sistema para algún servizo novo, cuxas cargas non coñeces. Existen varias opcións: comunicarse cos compañeiros sobre recursos especializados para intentar descubrir e predecir a carga, contactar cun integrador que teña experiencia na implantación de servizos similares e que poida calcularlle a carga. E a terceira opción (xeralmente a máis difícil, especialmente se se trata de aplicacións escritas na casa ou raras) é tentar coñecer os requisitos de rendemento dos desenvolvedores do sistema.
E, por favor, teña en conta que a opción máis correcta desde o punto de vista da aplicación práctica é un piloto sobre equipos actuais, ou equipamento proporcionado para probar por un provedor/integrador.
Requisitos especiais
Os requisitos especiais son todo o que non entra dentro dos requisitos de rendemento, tolerancia a fallos e funcionalidade para o tratamento directo e a subministración de datos.
Un dos requisitos especiais máis sinxelos para un sistema de almacenamento de datos pódese chamar "medios de almacenamento alienables". E inmediatamente queda claro que este sistema de almacenamento de datos debe incluír unha biblioteca de cintas ou simplemente unha unidade de cinta na que se volca a copia de seguridade. Despois, unha persoa especialmente adestrada asina a cinta e lévaa con orgullo a unha caixa forte especial.
Outro exemplo dun requisito especial é un deseño protexido a proba de golpes.
Onde
O segundo compoñente principal na elección dun sistema de almacenamento en particular é a información sobre ONDE estará situado este sistema de almacenamento. Partindo da xeografía ou das condicións climáticas, e rematando polo persoal.
Cliente
Para quen está previsto este sistema de almacenamento? A pregunta ten os seguintes motivos:
Cliente público/comercial.
O cliente comercial non ten restricións e nin sequera está obrigado a realizar licitacións, salvo segundo o seu propio regulamento interno.
Un cliente do goberno é outra cousa. 44 Lei federal e outras delicias con licitacións e especificacións técnicas que se poden impugnar.
O cliente está baixo sancións
Ben, a pregunta aquí é moi sinxela: a elección só está limitada polas ofertas dispoñibles para un determinado cliente.
Regulamento interno / vendedores / modelos permitidos para a compra
A pregunta tamén é moi sinxela, pero cómpre lembrala.
Onde fisicamente
Nesta parte consideramos todas as cuestións de xeografía, canles de comunicación e microclima nos locais de aloxamento.
persoal
Quen traballará con este sistema de almacenamento? Isto non é menos importante que o que pode facer o propio sistema de almacenamento.
Non importa o prometedor, xenial e marabilloso que sexa o sistema de almacenamento do provedor A, probablemente non teña sentido instalalo se o persoal só sabe como traballar co provedor B e non hai plans para novas compras e cooperación continua con A.
E, por suposto, a outra cara da cuestión é como está dispoñible o persoal capacitado nunha determinada localización xeográfica directamente na empresa e potencialmente no mercado laboral. Para as rexións, elixir sistemas de almacenamento con interfaces sinxelas ou a posibilidade de centralizar a xestión de forma remota pode ter moito sentido. Se non, nalgún momento pode chegar a ser insoportablemente doloroso. Internet está chea de historias sobre como un novo empregado que chegou, a estudante de onte, configurou tal cousa que toda a oficina quedou destruída.
Medio Ambiente
E, por suposto, unha cuestión importante é en que ambiente funcionará este sistema de almacenamento.
- Que pasa coa fonte de alimentación/refrixeración?
- Que conexión
- Onde se instalará?
- Etc.
Moitas veces estas preguntas tómanse por sentadas e non se consideran especialmente, pero ás veces son as que poden darlle a volta a todo.
Que
Vendedor
A partir de hoxe (mediados de 2019), o mercado de almacenamento ruso pódese dividir en 5 categorías:
- A división máis alta son as empresas ben establecidas cunha ampla gama de estantes de discos, dende os máis sinxelos ata os de alta gama (HPE, DellEMC, Hitachi, NetApp, IBM / Lenovo)
- Segunda división: empresas cunha liña limitada, xogadores de nicho, provedores serios de SDS ou novos novos (Fujitsu, Datacore, Infinidat, Huawei, Pure, etc.)
- Terceira división: solucións de nicho no rango inferior, SDS baratos, produtos avanzados baseados en ceph e outros proxectos abertos (Infortrend, Starwind, etc.)
- Segmento SOHO: sistemas de almacenamento pequenos e ultra-pequenos a nivel doméstico/oficina pequena (Synology, QNAP, etc.)
- Sistemas de almacenamento substituídos por importación: inclúe tanto hardware da primeira división con etiquetas reetiquetas como representantes raros da segunda (RAIDIX, darémoslles o segundo de antemán), pero principalmente esta é a terceira división (Aerodisk, Baum, Depo, etc.)
A división é bastante arbitraria e non significa en absoluto que o terceiro ou segmento SOHO sexa malo e non se poida usar. En proxectos específicos cun conxunto de datos e perfil de carga claramente definidos, poden funcionar moi ben, superando con creces a primeira división en relación calidade/prezo. É importante decidir primeiro sobre os teus obxectivos, perspectivas de crecemento e funcionalidade requirida e, a continuación, Synology servirache fielmente e o teu cabelo volverase suave e sedoso.
Un dos factores importantes á hora de elixir un provedor é o ambiente actual. Cantos sistemas de almacenamento xa ten e con que sistemas de almacenamento poden traballar os seus enxeñeiros. Necesitas outro provedor, outro punto de contacto, migrará gradualmente toda a carga do provedor A ao provedor B?
Non se deben producir entidades máis aló do necesario.
iSCSI/FC/Ficheiro
Non hai consenso entre os enxeñeiros sobre a cuestión dos protocolos de acceso, e o debate aseméllase máis ás discusións teolóxicas que ás de enxeñería. Pero, en xeral, pódense sinalar os seguintes puntos:
FCoE máis morto que vivo.
FC vs iSCSI. Unha das principais vantaxes de FC en 2019 sobre o almacenamento IP, unha fábrica dedicada ao acceso a datos, está compensada cunha rede IP dedicada. FC non ten vantaxes globais sobre as redes IP, e IP pódese usar para construír sistemas de almacenamento de calquera nivel de carga, ata sistemas para DBMS pesados para o sistema bancario principal dun banco grande. Por outra banda, a morte do FC leva xa varios anos profetizada, pero algo o impide constantemente. Hoxe, por exemplo, algúns xogadores do mercado de almacenamento están a desenvolver activamente o estándar NVMEoF. Se compartirá o destino do FCoE - o tempo dirá.
Acceso a ficheiros tampouco é algo indigno de atención. NFS/CIFS funciona ben en contornos de produtividade e, se está deseñado correctamente, non ten máis queixas que os protocolos de bloqueo.
Matriz híbrida / All Flash
Os sistemas de almacenamento clásicos veñen en dous tipos:
- AFA (All Flash Array): sistemas optimizados para uso SSD.
- Híbrido: permíteche usar tanto HDD como SSD ou unha combinación deles.
A súa principal diferenza son as tecnoloxías de eficiencia de almacenamento compatibles e o máximo nivel de rendemento (alto IOPS e baixa latencia). Ambos sistemas (na maioría dos seus modelos, sen contar o segmento de gama baixa) poden funcionar tanto como dispositivos de bloques como de ficheiros. A funcionalidade admitida depende do nivel do sistema e, para os modelos máis novos, adoita reducirse a un nivel mínimo. Paga a pena prestarlle atención cando se estudan as características dun modelo en particular, e non só as capacidades de toda a liña no seu conxunto. Tamén, por suposto, as súas características técnicas, como procesador, cantidade de memoria, caché, número e tipos de portos, etc., tamén dependen do nivel do sistema. Desde o punto de vista da xestión, os AFA difieren dos sistemas híbridos (de disco) só na implementación de mecanismos para traballar con unidades SSD, e aínda que use un SSD nun sistema híbrido, isto non significa en absoluto que poida para acadar o nivel de rendemento a nivel dun sistema AFA . Ademais, na maioría dos casos, os mecanismos de almacenamento eficientes en liña están desactivados nos sistemas híbridos e a súa inclusión leva a unha perda de rendemento.
Sistemas especiais de almacenamento
Ademais dos sistemas de almacenamento de propósito xeral, centrados principalmente no procesamento de datos operativos, existen sistemas de almacenamento especiais con principios fundamentais que son fundamentalmente diferentes aos habituais (baixa latencia, alto IOPS):
Medios.
Estes sistemas están deseñados para almacenar e procesar ficheiros multimedia de gran tamaño. Resp. o atraso vólvese practicamente sen importancia, e a capacidade de enviar e recibir datos nunha banda ampla en moitos fluxos paralelos pasa a primer plano.
Desduplicación de sistemas de almacenamento para copias de seguridade.
Dado que as copias de seguridade distínguense pola súa semellanza entre si, o que é raro en condicións normais (a media de copia de seguridade difire da copia de onte nun 1-2%), esta clase de sistemas empaqueta de forma extremadamente eficiente os datos rexistrados nelas nun espazo bastante pequeno. número de medios físicos. Por exemplo, nalgúns casos, as relacións de compresión de datos poden chegar a 200 a 1.
Sistemas de almacenamento de obxectos.
Estes sistemas de almacenamento non teñen os volumes habituais de acceso a bloques e recursos compartidos de ficheiros e, sobre todo, semellan unha enorme base de datos. O acceso a un obxecto almacenado neste sistema realízase mediante un identificador único ou mediante metadatos (por exemplo, todos os obxectos en formato JPEG cunha data de creación entre XX-XX-XXXX e AAA-AAA-AAAA).
Sistema de conformidade.
Non son tan comúns en Rusia hoxe en día, pero paga a pena mencionalos. A finalidade destes sistemas de almacenamento é garantir o almacenamento de datos para cumprir coas políticas de seguridade ou os requisitos regulamentarios. Algúns sistemas (por exemplo, EMC Centera) implementaron unha función para prohibir a eliminación de datos; en canto se xira a chave e o sistema entra neste modo, nin o administrador nin ninguén pode eliminar fisicamente os datos que xa foron gravados.
Tecnoloxías propietarias
Flash caché
Flash Cache é un nome común para todas as tecnoloxías propietarias para usar a memoria flash como caché de segundo nivel. Cando se usa unha caché flash, o sistema de almacenamento adoita calcularse para proporcionar unha carga constante dos discos magnéticos, mentres que o pico é atendido pola caché.
Neste caso, é necesario comprender o perfil de carga e o grao de localización do acceso aos bloques de volumes de almacenamento. A caché Flash é unha tecnoloxía para cargas de traballo con consultas moi localizadas e practicamente non se pode aplicar para volumes cargados uniformemente (como para sistemas de análise).
Existen dúas implementacións de caché flash dispoñibles no mercado:
- Só lectura. Neste caso, só se almacenan en caché os datos lidos e a escritura vai directamente aos discos. Algúns fabricantes, como NetApp, cren que escribir nos seus sistemas de almacenamento xa é óptimo, e a caché non axudará en absoluto.
- Ler/Escribir. Non só a lectura, senón tamén a escritura é almacenada na memoria caché, o que lle permite almacenar o fluxo e reducir o impacto da penalización RAID e, como resultado, aumentar o rendemento xeral dos sistemas de almacenamento cun mecanismo de escritura menos óptimo.
Nivelación
O almacenamento multinivel (cansador) é unha tecnoloxía para combinar niveis con diferentes niveis de rendemento, como SSD e HDD, nun único grupo de discos. En caso de desigualdade pronunciada no acceso aos bloques de datos, o sistema poderá equilibrar automaticamente os bloques de datos, trasladando os cargados a un nivel de alto rendemento, e os fríos, pola contra, a un máis lento.
Os sistemas híbridos das clases baixas e medias usan almacenamento de varios niveis con datos que se moven entre niveis nunha programación. Ao mesmo tempo, o tamaño do bloque de almacenamento de varios niveis para os mellores modelos é de 256 MB. Estas características non nos permiten considerar a tecnoloxía de almacenamento por niveis unha tecnoloxía para aumentar a produtividade, como moitas persoas cren erroneamente. O almacenamento multinivel en sistemas de clase baixa e media é unha tecnoloxía para optimizar os custos de almacenamento para sistemas con desniveles de carga pronunciados.
Instantáneas
Por moito que falemos da fiabilidade dos sistemas de almacenamento, hai moitas oportunidades de perder datos que non dependen de problemas de hardware. Pode tratarse de virus, hackers ou calquera outra eliminación/corrupción non intencionada de datos. Por este motivo, a copia de seguridade dos datos de produción é unha parte integrante do traballo dun enxeñeiro.
Unha instantánea é unha instantánea dun volume nalgún momento no tempo. Cando se traballa coa maioría dos sistemas, como virtualización, bases de datos, etc. necesitamos facer unha instantánea deste tipo da que copiaremos os datos nunha copia de seguridade, mentres que o noso IS poderá seguir traballando con seguridade con este volume. Pero vale a pena lembrar que non todas as instantáneas son igualmente útiles. Os diferentes provedores teñen diferentes enfoques para crear instantáneas relacionadas coa súa arquitectura.
CoW (copia por escritura). Cando tentas escribir un bloque de datos, o seu contido orixinal cópiase nunha área especial, despois da cal a escritura continúa normalmente. Isto evita a corrupción dos datos dentro da instantánea. Por suposto, todas estas manipulacións de datos "parasitarias" causan carga adicional no sistema de almacenamento e, por iso, os provedores con implementacións similares non recomendan usar máis dunha ducia de instantáneas e non usalas en volumes moi cargados.
Fila (redirección en escritura). Neste caso, o volume orixinal conxélase naturalmente e, ao tentar escribir un bloque de datos, o sistema de almacenamento escribe datos nunha área especial no espazo libre, cambiando a localización deste bloque na táboa de metadatos. Isto permítelle reducir o número de operacións de reescritura, o que finalmente elimina a caída do rendemento e elimina as restricións ás instantáneas e ao seu número.
As instantáneas tamén son de dous tipos en relación coas aplicacións:
Consistencia da aplicación. No momento de crear unha instantánea, o sistema de almacenamento extrae un axente no sistema operativo do consumidor, que limpa forzosamente as cachés de disco de memoria a disco e obriga a aplicación a facelo. Neste caso, ao restaurar a partir dunha instantánea, os datos serán consistentes.
Crash consistente. Neste caso, non ocorre nada parecido e a instantánea créase tal e como está. No caso de recuperarse a partir dunha instantánea deste tipo, a imaxe é idéntica á que ocorrería se a enerxía se desconectase de súpeto e é posible que se perdan algunha información, atascados na caché e nunca chegando ao disco. Tales instantáneas son máis fáciles de implementar e non provocan unha degradación do rendemento nas aplicacións, pero son menos fiables.
Por que se necesitan instantáneas nos sistemas de almacenamento?
- Copia de seguranza sen axentes directamente desde o sistema de almacenamento
- Crea ambientes de proba baseados en datos reais
- No caso dos sistemas de almacenamento de ficheiros, pódese usar para crear ambientes VDI mediante o uso de instantáneas do sistema de almacenamento en lugar dun hipervisor.
- Asegura os RPO baixos creando instantáneas programadas cunha frecuencia significativamente superior á frecuencia da copia de seguranza
Clonación
Clonación de volumes: funciona cun principio similar ao das instantáneas, pero úsase non só para ler datos, senón para traballar completamente con eles. Podemos obter unha copia exacta do noso volume, con todos os datos nel, sen facer unha copia física, o que aforrará espazo. Normalmente, a clonación de volumes úsase en Test&Dev ou se queres comprobar a funcionalidade dalgunhas actualizacións do teu IS. A clonación permitirache facelo o máis rápido e económico posible en termos de recursos de disco, porque Só se escribirán os bloques de datos modificados.
Replicación / Xornal
A replicación é un mecanismo para crear unha copia de datos noutro sistema de almacenamento físico. Normalmente, cada provedor ten unha tecnoloxía propietaria que só funciona dentro da súa propia liña. Pero tamén hai solucións de terceiros, incluídas as que funcionan a nivel de hipervisor, como VMware vSphere Replication.
A funcionalidade das tecnoloxías propietarias e a facilidade de uso das mesmas adoitan ser moi superiores ás universais, pero resultan inaplicables cando, por exemplo, é necesario facer unha réplica de NetApp a HP MSA.
A replicación divídese en dous subtipos:
Sincrónico. No caso de replicación síncrona, a operación de escritura envíase inmediatamente ao segundo sistema de almacenamento e a execución non se confirma ata que o sistema de almacenamento remoto o confirme. Debido a isto, o atraso de acceso aumenta, pero temos unha copia espello exacta dos datos. Eses. RPO = 0 en caso de perda do sistema de almacenamento principal.
asíncrona. As operacións de escritura execútanse só no sistema de almacenamento principal e confírmanse inmediatamente, ao mesmo tempo que se acumulan nun búfer para a transmisión por lotes ao sistema de almacenamento remoto. Este tipo de replicación é relevante para datos menos valiosos, ou para canles con baixo ancho de banda ou alta latencia (típico para distancias superiores a 100 km). En consecuencia, RPO = frecuencia de envío de paquetes.
Moitas veces, xunto coa replicación, hai un mecanismo rexistro operacións de disco. Neste caso, asógase unha área especial para rexistrar e almacenar operacións de rexistro dunha determinada profundidade no tempo, ou limitadas polo volume do rexistro. Para certas tecnoloxías propietarias, como EMC RecoverPoint, hai integración co software do sistema que lle permite vincular determinados marcadores a unha entrada de rexistro específica. Grazas a isto, é posible retrotraer o estado dun volume (ou crear un clon) non só ata o 23 de abril, 11 horas 59 segundos 13 milisegundos, senón ata o momento anterior a “SOLTAR TODAS AS TÁBOAS; COMPROMETE."
Clúster de metro
Clúster Metro é unha tecnoloxía que permite crear replicacións síncronas bidireccionais entre dous sistemas de almacenamento de tal forma que desde o exterior este par pareza un só sistema de almacenamento. Utilízase para crear clusters con brazos separados xeograficamente a distancias de metro (menos de 100 km).
Baseándose no exemplo de uso nun contorno de virtualización, o metrocluster permite crear un almacén de datos con máquinas virtuais, accesible para gravar desde dous centros de datos á vez. Neste caso, créase un clúster a nivel de hipervisor, composto por hosts en diferentes centros de datos físicos, conectados a este almacén de datos. O que che permite facer o seguinte:
- Automatización total do proceso de recuperación tras a morte dun dos centros de datos. Sen fondos adicionais, todas as máquinas virtuales que se executan no centro de datos falecido reiniciaranse automaticamente no restante. RTO = tempo de espera do clúster de alta dispoñibilidade (15 segundos para VMware) + tempo para cargar o sistema operativo e iniciar os servizos.
- Evitar desastres ou, en ruso, evitar desastres. Se se planea traballar na fonte de alimentación no centro de datos 1, entón teremos a oportunidade de migrar toda a carga importante ao centro de datos 2 sen parar con antelación, antes de que comece o traballo.
Virtualización
A virtualización do almacenamento é tecnicamente o uso de volumes doutro sistema de almacenamento como discos. Un virtualizador de almacenamento pode simplemente transferir o volume doutra persoa ao consumidor como propio, replicándoo simultaneamente a outro sistema de almacenamento ou mesmo crear un RAID a partir de volumes externos.
Os representantes clásicos na clase de virtualización de almacenamento son EMC VPLEX e IBM SVC. E, por suposto, sistemas de almacenamento con funcionalidade de virtualización: NetApp, Hitachi, IBM / Lenovo Storwize.
Por que pode ser necesario?
- Redundancia a nivel de sistema de almacenamento. Créase un espello entre os volumes, e unha metade pode estar en HP 3Par e a outra en NetApp. E o virtualizador é de EMC.
- Move datos cun tempo de inactividade mínimo entre sistemas de almacenamento de diferentes fabricantes. Supoñamos que hai que migrar os datos do antigo 3Par, que se cancelará, ao novo Dell. Neste caso, os consumidores están desconectados de 3Par, os volumes transfírense baixo VPLEX e preséntanse aos consumidores de novo. Como non cambiou un pouco o volume, o traballo continúa. O proceso de duplicación do volume no novo Dell comeza en segundo plano e, ao finalizar, o espello rómpese e 3Par está desactivado.
- Organización de metroclusters.
Compresión/desduplicación
A compresión e a deduplicación son tecnoloxías que che permiten aforrar espazo no disco no teu sistema de almacenamento. Paga a pena mencionar de inmediato que non todos os datos están suxeitos a compresión e/ou deduplicación en principio, mentres que algúns tipos de datos se comprimen e desduplican mellor, e outros, viceversa.
Hai dous tipos de compresión e deduplicación:
En liña — Prodúcese a compresión e deduplicación dos bloques de datos antes de escribir estes datos no disco. Así, o sistema só calcula o hash do bloque e compárao na táboa cos existentes. En primeiro lugar, é máis rápido que escribir no disco e, en segundo lugar, non desperdiciamos espazo extra no disco.
posto - cando estas operacións se realicen sobre datos xa rexistrados localizados en discos. En consecuencia, primeiro escríbense os datos no disco e só entón calcúlase o hash e elimínanse os bloques innecesarios e libéranse os recursos do disco.
Cómpre dicir que a maioría dos vendedores usan ambos tipos, o que lles permite optimizar estes procesos e aumentar así a súa eficiencia. A maioría dos provedores de almacenamento teñen utilidades que che permiten analizar os teus conxuntos de datos. Estas utilidades funcionan segundo a mesma lóxica que se implanta no sistema de almacenamento, polo que o nivel de eficiencia estimado será o mesmo. Ademais, teña en conta que moitos provedores teñen programas de garantía de rendemento que prometen polo menos un bo rendemento para determinados (ou todos) tipos de datos. E non debes descoidar este programa, xa que calculando o sistema para as túas tarefas, tendo en conta o coeficiente de eficiencia dun sistema en particular, podes aforrar volume. Tamén vale a pena ter en conta que estes programas están deseñados para sistemas AFA, pero grazas á compra dun volume menor de SSD que os HDD nos sistemas clásicos, isto reducirá o seu custo, e se non é igual ao custo dun sistema de disco, entón achegarse bastante a ela.
Modelo
E aquí chegamos á pregunta correcta.
"Ofértanme dúas opcións de almacenamento: ABC SuperStorage S600 e XYZ HyperOcean 666v4, que recomendas?"
Convértese en "Aquí ofrécenme dúas opcións de almacenamento: ABC SuperStorage S600 e XYZ HyperOcean 666v4, que recomendas?
A carga de destino son máquinas virtuais VMware mesturadas con bucles de produción/proba/desenvolvemento. Proba = produtivo. 150 TB cada un cun rendemento máximo de 80 IOPS Bloque de 000 kb 8 % de acceso aleatorio 50/80 de lectura-escritura. 20 TB para o desenvolvemento, 300 IOPS son suficientes, 50 aleatorios, 000 de escritura.
Produtividade presumiblemente no metrocluster RPO = 15 minutos RTO = 1 hora, desenvolvemento en replicación asíncrona RPO = 3 horas, proba nun sitio.
Haberá un DBMS de 50 TB, o rexistro sería bo para eles.
Temos servidores Dell en todas partes, antigos sistemas de almacenamento Hitachi, que apenas poden soportar, pensamos aumentar a carga nun 50% en termos de volume e rendemento".
Como se di, unha pregunta correctamente formulada contén o 80% da resposta.
información adicional
O que deberías ler ademais segundo os autores
libros
- Olifer e Olifer “Redes de ordenadores”. O libro axudará a sistematizar e quizais a comprender mellor como funciona o medio de transmisión de datos para os sistemas de almacenamento IP/Ethernet
- "Almacenamento e xestión da información de EMC". Un excelente libro sobre os conceptos básicos dos sistemas de almacenamento, o porqué, o como e o porqué.
Foros e chats
Recomendacións xerais
Prezos
Agora, en canto aos prezos, en xeral, se hai prezos para sistemas de almacenamento, adoitan ser Prezos de lista, dos que cada cliente recibe un desconto individual. O tamaño do desconto consta dunha gran cantidade de parámetros, polo que é simplemente imposible prever que prezo final recibirá a súa empresa sen preguntarlle ao distribuidor. Pero ao mesmo tempo, recentemente comezaron a aparecer modelos de gama baixa nas tendas de informática habituais, como, por exemplo ou . Aquí podes mercar de inmediato o sistema que che interese a un prezo fixo, como calquera compoñentes de ordenador.
Pero gustaríame notar de inmediato que unha comparación directa por TB/$ non é correcta. Se o abordamos desde este punto de vista, entón a solución máis barata será un simple servidor JBOD +, que non proporcionará nin a flexibilidade nin a fiabilidade que proporciona un sistema de almacenamento completo de dobre controlador. Isto non significa en absoluto que JBOD sexa noxento e un truco sucio desagradable, só tes que volver a comprender moi claramente como e para que fins vai usar esta solución. Moitas veces podes escoitar que non hai nada que romper en JBOD, só hai un backplane. Non obstante, as placas posteriores tamén fallan ás veces. Todo rompe tarde ou cedo.
En total
É necesario comparar os sistemas entre si non só polo prezo, ou non só polo rendemento, senón pola totalidade de todos os indicadores.
Compra un disco duro só se estás seguro de que o necesitas. Para cargas baixas e tipos de datos incompresibles, se non, paga a pena recorrer aos programas de garantía de eficiencia de almacenamento SSD, que agora teñen a maioría dos provedores (e realmente funcionan, mesmo en Rusia), pero todo depende das aplicacións e datos que se localicen. neste sistema de almacenamento.
Non vaias por barato. Ás veces, estes agochan moitos momentos desagradables, un dos cales Evgeniy Elizarov describiu nos seus artigos sobre . E que, ao final, este barato pode ser contraproducente. Non esquezas: "o avaro paga dúas veces".
Fonte: www.habr.com