{"id":38966,"date":"2019-10-31T22:27:03","date_gmt":"2019-10-31T19:27:03","guid":{"rendered":"https:\/\/prohoster.info\/blog\/admin-bez-ruk-giperkonvergentsiya\/"},"modified":"2019-10-31T22:27:03","modified_gmt":"2019-10-31T19:27:03","slug":"admin-bez-ruk-giperkonvergentsiya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya","title":{"rendered":"Admin uten hender = hyperkonvergens?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><img decoding=\"async\" alt=\"Admin uten hender = hyperkonvergens?\" src=\"\/wp-content\/uploads\/2019\/10\/ea1763132185c97bb4edf0e67640d58f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<img decoding=\"async\" alt=\"Admin uten hender = hyperkonvergens?\" src=\"\/wp-content\/uploads\/2019\/10\/b6355c444c310570e1f2619cd931e1ca.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDette er en myte, som er ganske utbredt innen servermaskinvare. I praksis er imidlertid hyperkonvergerte l\u00f8sninger (hvor alt er samlet) n\u00f8dvendige for mange form\u00e5l. Historisk sett ble de f\u00f8rste arkitekturene utviklet av Amazon og Google for sine tjenester. Ideen den gang var \u00e5 bygge en databehandlingsg\u00e5rd av identiske noder, der hver node har sine egne disker. Alt dette ble samlet av en slags systembyggende programvare (hypervisor) og delt opp i virtuelle maskiner. Hovedoppgaven er \u00e5 minimere innsatsen for \u00e5 vedlikeholde en node og minimere problemer ved skalering: man bare kj\u00f8per et par tusen av slike servere til og kobler de sammen. I praksis er dette unntaksvis, og oftere dreier det seg om et mindre antall noder og en litt annen arkitektur. <\/p>\n<p>Men fordelen forblir den samme \u2013 utrolig enkel skalering og administrasjon. Ulempen er at forskjellige oppgaver bruker ressurser ulikt, hvor noen steder vil det v\u00e6re mange lokale disker, mens der det er lite RAM osv., det vil si at ved forskjellige typer oppgaver vil ressursutnyttelsen falle. <\/p>\n<p>Det endte med at du betaler 10\u201315 % mer for enkeltheten ved oppsettet. Dette skapte myten fra overskriften. Vi lette lenge etter hvor teknologien ville bli optimalt anvendt, og vi fant det. Saken er at Cisco ikke hadde sine egne lagringssystemer, men de \u00f8nsket \u00e5 ta hele servermarkedet. Og de laget Cisco Hyperflex \u2013 en l\u00f8sning med lokale lagringssystemer p\u00e5 nodene. <\/p>\n<p>Og plutselig ble dette en veldig god l\u00f8sning for backup datasentre (Disaster Recovery). Hvorfor og hvordan \u2013 skal jeg n\u00e5 fortelle. Og jeg vil vise testene av klyngen. <noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h3>Hvor det trengs<\/h3>\n<p>\nHyperkonvergens er: <\/p>\n<ol>\n<li>Overf\u00f8ring av disker til behandlingsnoder.<\/li>\n<li>Full integrasjon av datalagringssystemet med virtualiseringssystemet.<\/li>\n<li>Overf\u00f8ring\/integrering med nettverksystemet.<\/li>\n<\/ol>\n<p>\nSlik en kopling gj\u00f8r det mulig \u00e5 implementere mange funksjoner i lagringssystemer p\u00e5 virtualiseringsniv\u00e5 og alt fra ett administrasjonsvindu.<\/p>\n<p>I v\u00e5rt selskap er prosjekter for design av backup datasentre veldig ettertraktet, og det velges ofte nettopp en hyperkonvergent l\u00f8sning p\u00e5 grunn av mange alternativer for replikering (helt opp til metrokluster) fra boksen. <\/p>\n<p>I tilfeller med backup datacenters handler det vanligvis om en fjernplassering p\u00e5 den andre siden av byen eller til og med i en annen by. Dette tillater gjenoppretting av kritiske systemer i tilfelle delvis eller fullstendig svikt av hoved datacentret. Dataene fra produksjonen replikeres kontinuerlig dit, og denne replikeringen kan skje p\u00e5 applikasjonsniv\u00e5 eller p\u00e5 niv\u00e5et med lagringsenheter (SAN).<\/p>\n<p>Derfor vil jeg n\u00e5 fortelle om systemets oppbygging og tester, og deretter om et par scenarier for virkelig bruk med data om besparelser. <\/p>\n<h3>Tester<\/h3>\n<p>\nV\u00e5r instans best\u00e5r av fire servere, hvor hver har 10 SSD-er p\u00e5 960 GB. Det er en dedikert disk for hurtigbufring av skriveoperasjoner og lagring av en tjeneste virtuell maskin. Selve l\u00f8sningen er den fjerde versjonen. Den f\u00f8rste var \u00e5penbart uferdig (if\u00f8lge tilbakemeldingene), den andre var ogs\u00e5 noe ustabil, den tredje var allerede ganske stabil, og denne kan kalles en utgivelse etter avslutningen av beta-testing for publikum. I l\u00f8pet av testingen har jeg ikke sett noen problemer, alt fungerer som det skal.<\/p>\n<p><b class=\"spoiler_title\">Endringer i v4<\/b>En haug med feil er rettet. <\/p>\n<p>Opprinnelig kunne plattformen bare arbeide med hypervisoren VMware ESXi og st\u00f8ttet et begrenset antall noder. I tillegg ble ikke distribusjonsprosessen alltid vellykket, og noen trinn m\u00e5tte startes p\u00e5 nytt, det var problemer med oppdatering fra eldre versjoner, og dataene i GUI ble ikke alltid vist korrekt (selv om jeg fortsatt ikke er begeistret for visningen av ytelsesgrafer), av og til oppstod det problemer med virtualisering.<\/p>\n<p>N\u00e5 er alle barndomsfeil rettet, HyperFlex fungerer med b\u00e5de ESXi og Hyper-V, pluss at det er mulig:<\/p>\n<ol>\n<li>Opprettelse av et utvidet kluster. <\/li>\n<li>Opprettelse av et kluster for kontorer uten bruk av Fabric Interconnect, fra to til fire noder (vi kj\u00f8per bare serverne).<\/li>\n<li>Mulighet for \u00e5 arbeide med eksterne SAN-er.<\/li>\n<li>St\u00f8tte for containere og Kubernetes.<\/li>\n<li>Oppretting av tilgjengelighetssoner.<\/li>\n<li>Integrasjon med VMware SRM, hvis den innebygde funksjonaliteten ikke er tilfredsstillende.<\/li>\n<\/ol>\n<p>Arkitekturen avviker ikke mye fra l\u00f8sningene til de viktigste konkurrentene, de har ikke laget et nytt konsept. Alt dette fungerer p\u00e5 virtualiseringsplattformer som VMware eller Hyper-V. Maskinvaren er plassert p\u00e5 servere utviklet av Cisco UCS. Det finnes de som hater plattformen p\u00e5 grunn av den relative kompleksiteten ved opprinnelig oppsett, mange knapper, en komplisert mal- og avhengighetssystem, men det er ogs\u00e5 de som har opplevd zen, har tatt ideen til seg og ikke \u00f8nsker \u00e5 jobbe med andre servere lenger. <\/p>\n<p>Vi vil spesifikt se p\u00e5 l\u00f8sningen for VMware, da l\u00f8sningen opprinnelig ble utviklet for denne plattformen og har st\u00f8rre funksjonalitet. Hyper-V ble forbedret underveis, for ikke \u00e5 komme bak konkurrentene og for \u00e5 m\u00f8te markedets forventninger.<\/p>\n<p>Det finnes en klynge av servere fylt med disker. Det er disker for datalagring (SSD eller HDD \u2014 avhengig av din smak og behov), samt en SSD-disk for hurtigbuffer. N\u00e5r data skrives til datalageret, lagres dataene i hurtigbufferlaget (den dedikerte SSD-disk og RAM av det tjeneste-VMer). Samtidig sendes en datablokk til nodene i klyngen (antallet noder avhenger av replikasjonsfaktoren i klyngen). Etter bekreftelse fra alle noder om vellykket skriving, sendes bekreftelsen tilbake til hypervisoren og videre til VM. De lagrede dataene dedupliseres, komprimeres og skrives til lagringsdiskene i bakgrunnen. Under dette skrives det alltid en stor blokk til lagringsdiskene og sekvensielt, noe som reduserer belastningen p\u00e5 lagringsdisken.<\/p>\n<p>Deduplication og komprimering er alltid aktivert, og de kan ikke sl\u00e5s av. Data leses direkte fra lagringsdiskene eller fra RAM-cachen. Hvis en hybridkonfigurasjon brukes, caches lesing ogs\u00e5 p\u00e5 SSD-disk.<\/p>\n<p>Dataene er ikke bundet til den n\u00e5v\u00e6rende plasseringen av den virtuelle maskinen og fordeles jevnt mellom nodene. Denne tiln\u00e6rmingen gj\u00f8r det mulig \u00e5 belaste alle disker og nettverksgrensesnitt likt. Det \u00e5penbare negative punktet er at vi ikke kan maksimalt redusere lesetiden, siden det ikke er noen garanti for at dataene er lokalt tilgjengelige. Men jeg mener at dette er en ubetydelig pris \u00e5 betale i forhold til de oppn\u00e5dde fordelene. I tillegg har nettverksforsinkelsene n\u00e5dd niv\u00e5er som praktisk talt ikke p\u00e5virker det samlede resultatet.<\/p>\n<p>Hele logikken i diskunder-systemet styres av en spesialtjeneste VM, Cisco HyperFlex Data Platform controller, som opprettes p\u00e5 hver lagringsnode. I v\u00e5r konfigurasjon ble det tildelt \u00e5tte vCPU og 72 GB RAM til tjeneste-VM-en, noe som ikke er s\u00e5 lite. Husk at selve verten har 28 fysiske kjerner og 512 GB RAM.<\/p>\n<p>Tjeneste-VM-en har direkte tilgang til de fysiske diskene ved hjelp av SAS-kontrolleren som videresendes til VM-en. Kommunikasjonen med hypervisoren skjer gjennom en spesialmodul, IOVisor, som fanger opp I\/O-operasjoner, og ved hjelp av en agent som gj\u00f8r det mulig \u00e5 sende kommandoer til hypervisorens API. Agenten har ansvar for h\u00e5ndtering av HyperFlex-snapshots og kloner.<\/p>\n<p>I hypervisoren monteres diskressursene som en NFS- eller SMB-deling (avhengig av typen hypervisor, gjett hvilken hvor). Og under panseret er det et distribuert filsystem som lar deg legge til funksjoner fra fullverdige SAN-er: tynn tildeling av volumer, komprimering og deduplisering, snapshots med Redirect-on-Write teknologi, synkron og asynkron replikering.<\/p>\n<p>Tjeneste-VM-en gir tilgang til nettgrensesnittet for administrasjon av HyperFlex-systemet. Det finnes integrasjon med vCenter, og de fleste daglige oppgavene kan utf\u00f8res fra dette, men datalagringsomr\u00e5der er for eksempel lettere \u00e5 opprette fra et separat webgrensesnitt, spesielt hvis du allerede har g\u00e5tt over til det hurtige HTML5-grensesnittet, eller bruke en fullverdig Flash-klient med full integrasjon. I tjeneste-nettgrensesnittet kan du se ytelsen og detaljerte systemstatus.<\/p>\n<p><img decoding=\"async\" alt=\"Admin uten hender = hyperkonvergens?\" src=\"\/wp-content\/uploads\/2019\/10\/4f603b38d6489836892bebc76663eb2f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDet finnes ogs\u00e5 en annen type noder i klyngen \u2014 beregningsnoder. Dette kan v\u00e6re rack- eller blade-servere uten innebygde disker. P\u00e5 disse serverne kan du kj\u00f8re VM-er hvis dataene lagres p\u00e5 servere med disker. I forhold til datatilgang er det ingen forskjell mellom nodetypene, siden arkitekturen forutsetter abstraksjon fra den fysiske plasseringen av dataene. Det maksimale forholdet mellom beregningsnoder og lagringsnoder er 2:1.<\/p>\n<p>Bruken av beregningsnoder \u00f8ker fleksibiliteten ved skalering av klusterressurser: vi trenger ikke n\u00f8dvendigvis \u00e5 kj\u00f8pe noder med disker hvis vi bare har behov for CPU\/RAM. I tillegg kan vi legge til en blade-kasse og oppn\u00e5 besparelse ved plassering av servere i rack.<\/p>\n<p>Som et resultat har vi en hyperkonvergert plattform med f\u00f8lgende funksjoner:<\/p>\n<ul>\n<li>Inntil 64 noder i klyngen (inntil 32 lagringsnoder).<\/li>\n<li>Minste antall noder i klyngen er tre (to for Edge-klyngen).<\/li>\n<li>Data redundansmekanisme: speiling med replikasjonsfaktor 2 og 3.<\/li>\n<li>Metro-klynge.<\/li>\n<li>Asynkron replikering av VM til en annen HyperFlex-klynge.<\/li>\n<li>Orkestrering av VM-overf\u00f8ring til et fjerndatabasesenter.<\/li>\n<li>Native snapshots med Redirect-on-Write-teknologi.<\/li>\n<li>Opptil 1 PB nyttig plass med replikasjonsfaktor 3 og uten hensyn til deduplisering. Replikasjonsfaktor 2 vurderes ikke, da dette ikke er et alternativ for seri\u00f8s salg.<\/li>\n<\/ul>\n<p>\nEnda en stor fordel er enkelheten i administrasjonen og distribusjonen. Alt av kompleksiteten ved konfigurasjonen av UCS-serverne tas av en spesialisert VM, utviklet av ingeni\u00f8rer fra Cisco. <\/p>\n<h3>Konfigurasjon av testbatteriet:<\/h3>\n<p><\/p>\n<ul>\n<li>2 x Cisco UCS Fabric Interconnect 6248UP som administrerende klynge og nettverkskomponenter (48 porter, som opererer i Ethernet 10G\/FC 16G-modus).<\/li>\n<li>Fire servere fra Cisco UCS HXAF240 M4.<\/li>\n<\/ul>\n<p>\nSpesifikasjoner for serverne:<\/p>\n<p><\/p>\n<p>CPU<\/p>\n<p>2 x Intel \u00ae Xeon \u00ae E5-2690 v4<\/p>\n<p>RAM<\/p>\n<p>16 x 32GB DDR4-2400-MHz RDIMM\/PC4-19200\/dual rank\/x4\/1.2v<\/p>\n<p>Nettverk<\/p>\n<p>UCSC-MLOM-CSC-02 (VIC 1227). 2 porter 10G Ethernet<\/p>\n<p>Storage HBA<\/p>\n<p>Cisco 12G Modular SAS Pass through Controller<\/p>\n<p>Lagringsdisker<\/p>\n<p>1 x SSD Intel S3520 120 GB, 1 x SSD Samsung MZ-IES800D, 10 x SSD Samsung PM863a 960 GB<\/p>\n<p>\n<b class=\"spoiler_title\">Flere konfigurasjonsalternativer<\/b>I tillegg til den valgte maskinvaren, er f\u00f8lgende alternativer tilgjengelige:<\/p>\n<ul>\n<li>HXAF240c M5.<\/li>\n<li>En eller to CPU-er fra Intel Silver 4110 til Intel Platinum I8260Y. Andre generasjon er tilgjengelig.<\/li>\n<li>24 minneplasser, moduler fra 16 GB RDIMM 2600 til 128 GB LRDIMM 2933.<\/li>\n<li>Fra 6 til 23 disker for data, en hurtigcache-disk, \u00e9n systemdisk og \u00e9n oppstartsdisk.<\/li>\n<\/ul>\n<p>\n<b>Kapasitetsdisker<\/b><\/p>\n<ul>\n<li>HX-SD960G61X-EV 960GB 2.5 tommers Enterprise Value 6G SATA SSD (1X utholdenhet) SAS 960 GB.<\/li>\n<li>HX-SD38T61X-EV 3.8TB 2.5 tommers Enterprise Value 6G SATA SSD (1X utholdenhet) SAS 3.8 TB.<\/li>\n<li>Caching-disker<\/li>\n<li>HX-NVMEXPB-I375 375GB 2.5 tommers Intel Optane Drive, Extreme Perf &amp; Endurance.<\/li>\n<li>HX-NVMEHW-H1600* 1.6TB 2.5 tommers Ent. Perf. NVMe SSD (3X utholdenhet) NVMe 1.6 TB.<\/li>\n<li>HX-SD400G12TX-EP 400GB 2.5 tommers Ent. Perf. 12G SAS SSD (10X utholdenhet) SAS 400 GB.<\/li>\n<li>HX-SD800GBENK9** 800GB 2.5 tommers Ent. Perf. 12G SAS SED SSD (10X utholdenhet) SAS 800 GB.<\/li>\n<li>HX-SD16T123X-EP 1.6TB 2.5 tommers Enterprise performance 12G SAS SSD (3X utholdenhet).<\/li>\n<\/ul>\n<p>\n<b>System \/ Log-disker<\/b><\/p>\n<ul>\n<li>HX-SD240GM1X-EV 240GB 2.5 tommers Enterprise Value 6G SATA SSD (krever oppgradering).<\/li>\n<\/ul>\n<p>\n<b>Oppstartsdisker<\/b><\/p>\n<ul>\n<li>HX-M2-240GB 240GB SATA M.2 SSD SATA 240 GB.<\/li>\n<\/ul>\n<p>Tilgang til nettverket via 40G, 25G eller 10G Ethernet-porter. <\/p>\n<p>Som FI kan HX-FI-6332 (40G), HX-FI-6332-16UP (40G), HX-FI-6454 (40G\/100G) brukes.<\/p>\n<h3>Selve testen<\/h3>\n<p>\nFor testing av diskunderystemet brukte jeg HCIBench 2.2.1. Dette er et gratis verkt\u00f8y som automatiserer opprettingen av belastning fra flere virtuelle maskiner. Selve belastningen genereres av vanlig fio. <\/p>\n<p>Klyngen v\u00e5r best\u00e5r av fire noder, replikasjonsfaktor 3, alle disker Flash.<\/p>\n<p>For testing, I created four datastores and eight virtual machines. The write test assumes a scenario where the caching disk does not overflow.<\/p>\n<p>The test results are as follows:<\/p>\n<p>100 % Read 100 % Random<\/p>\n<p>0 % Read 100% Random<\/p>\n<p>Block\/queue depth<\/p>\n<p>128<\/p>\n<p>256<\/p>\n<p>512<\/p>\n<p>1024<\/p>\n<p>2048<\/p>\n<p>128<\/p>\n<p>256<\/p>\n<p>512<\/p>\n<p>1024<\/p>\n<p>2048<\/p>\n<p>4K<\/p>\n<p>0.59 ms 213804 IOPS<\/p>\n<p>0.84 ms 303540 IOPS<\/p>\n<p>1.36 ms 374348 IOPS<\/p>\n<p>2.47 ms 414116 IOPS<\/p>\n<p><b>4.86 ms 420180 IOPS<\/b><\/p>\n<p>2.22 ms 57408 IOPS<\/p>\n<p>3.09 ms 82744 IOPS<\/p>\n<p>5.02 ms 101824 IOPS<\/p>\n<p>8.75 ms 116912 IOPS<\/p>\n<p><b>17.2 ms 118592 IOPS<\/b><\/p>\n<p>8K<\/p>\n<p>0.67 ms 188416 IOPS<\/p>\n<p>0.93 ms 273280 IOPS<\/p>\n<p>1.7 ms 299932 IOPS<\/p>\n<p>2.72 ms 376484 IOPS<\/p>\n<p><b>5.47 ms 373176 IOPS<\/b><\/p>\n<p>3.1 ms 41148 IOPS<\/p>\n<p>4.7 ms 54396 IOPS<\/p>\n<p>7.09 ms 72192 IOPS<\/p>\n<p><b>12.77 ms 80132 IOPS<\/b><\/p>\n<p>16K<\/p>\n<p>0.77 ms 164116 IOPS<\/p>\n<p>1.12 ms 228328 IOPS<\/p>\n<p>1.9 ms 268140 IOPS<\/p>\n<p><b>3.96 ms 258480 IOPS<\/b><\/p>\n<p>3.8 ms 33640 IOPS<\/p>\n<p>6.97 ms 36696 IOPS<\/p>\n<p><b>11.35 ms 45060 IOPS<\/b><\/p>\n<p>32K<\/p>\n<p>1.07 ms 119292 IOPS<\/p>\n<p>1.79 ms 142888 IOPS<\/p>\n<p><b>3.56 ms 143760 IOPS<\/b><\/p>\n<p>7.17 ms 17810 IOPS<\/p>\n<p><b>11.96 ms 21396 IOPS<\/b><\/p>\n<p>64K<\/p>\n<p>1.84 ms 69440 IOPS<\/p>\n<p>3.6 ms 71008 IOPS<\/p>\n<p><b>7.26 ms 70404 IOPS<\/b><\/p>\n<p><b>11.37 ms 11248 IOPS<\/b><\/p>\n<p><i>Bolded values indicate points where there is no further increase in performance, sometimes even showing degradation. This is due to reaching the performance limits of the network\/controllers\/disks.<\/i><\/p>\n<ul>\n<li>Sequential read 4432 MB\/s.<\/li>\n<li>Sequential write 804 MB\/s.<\/li>\n<li>In the event of a controller failure (either the VM or host), the performance drop is twofold.<\/li>\n<li>In the event of a storage disk failure, the drop is by 1\/3. Rebuilding the disk takes up 5% of each controller's resources.<\/li>\n<\/ul>\n<p>\nWith a small block, we hit the performance limit of the controller (virtual machine), its CPU is 100% loaded; increasing the block hits the bandwidth of the ports. 10 Gbps is insufficient to unlock the potential of the AllFlash system. Unfortunately, the parameters of the provided demo stand do not allow testing at 40 Gbps.<\/p>\n<p>From my impressions of the tests and studying the architecture, due to the algorithm distributing data across all hosts, we achieve scalable and predictable performance, but this is also a limitation for reading, as it would be possible to squeeze more from local disks; a more powerful network could help, for instance, FI available at 40 Gbps.<\/p>\n<p>Also, a single disk for caching and deduplication can be a limitation; in fact, in this stand, we can write to four SSD disks. It would be great to have the ability to increase the number of caching disks and see the difference.<\/p>\n<h3>Actual usage<\/h3>\n<p>\nFor organizing a backup data center, two approaches can be used (not considering placing the backup at a remote site):<\/p>\n<ol>\n<li>Active-Passive. Alle applikasjoner er plassert i hoveddatasenteret. Replikering kan v\u00e6re synkron eller asynkron. I tilfelle hoveddatasenteret svikter, m\u00e5 vi aktivere backupen. Dette kan gj\u00f8res manuelt\/skriftlig\/applikasjoner for orkestrering. Her vil vi oppn\u00e5 RPO, sammenlignbart med replikasjonsfrekvensen, og RTO avhenger av administrasjonsrespons og kvaliteten p\u00e5 implementeringen\/debugging av bytteplanen.<\/li>\n<li>Active-Active. I dette tilfellet finnes det kun synkron replikering, tilgjengeligheten til datasentrene bestemmes av kvorum\/arbiter, plassert strengt p\u00e5 en tredje lokasjon. RPO = 0, mens RTO kan n\u00e5 0 (hvis applikasjonen tillater det) eller tilsvarer tiden det tar \u00e5 h\u00e5ndtere en nod efeil i virtualiseringsklusteret. P\u00e5 virtualiseringsniv\u00e5et opprettes et utvidet (Metro) kluster som krever Active-Active lagringssystem.<\/li>\n<\/ol>\n<p>\nVanligvis ser vi at kundene allerede har implementert en arkitektur med en klassisk lagringssystem i hoveddatasenteret, s\u00e5 vi designer en ny for replikering. Som jeg nevnte, tilbyr Cisco HyperFlex asynkron replikering og opprettelse av et utvidet virtualiseringskluster. Vi trenger ikke et dedikert lagringssystem p\u00e5 Midrange niv\u00e5 eller h\u00f8yere med kostbare replikasjonsfunksjoner og Active-Active datatilgang p\u00e5 to lagringssystemer.<\/p>\n<p><b>Scenario 1:<\/b> Vi har et hoved- og et backupdatasenter, virtualiseringsplattformen er VMware vSphere. Alle produktive systemer ligger i hoveddatasenteret, mens replikering av virtuelle maskiner utf\u00f8res p\u00e5 hypervisor-niv\u00e5, noe som gj\u00f8r at vi ikke trenger \u00e5 holde VM-er p\u00e5 i backupdatasenteret. Databaser og spesialapplikasjoner replikeres med innebygde verkt\u00f8y, og vi holder VM-er p\u00e5. Ved svikt i hoveddatasenteret starter vi opp systemene i backupdatasenteret. Vi vurderer at vi har rundt 100 virtuelle maskiner. S\u00e5 lenge hoveddatasenteret fungerer, kan det kj\u00f8res testmilj\u00f8er og andre systemer i backupdatasenteret, som kan sl\u00e5es av ved behov for \u00e5 bytte hoveddatasenteret. Det er ogs\u00e5 mulig \u00e5 bruke toveiskommunikasjon for replikering. N\u00e5r det gjelder utstyret, vil ingenting endres.<\/p>\n<p>I tilfelle av klassisk arkitektur vil vi installere en hybrid lagringsl\u00f8sning i hvert datasenter med tilgang via FibreChannel, tiering, deduplisering og komprimering (men ikke online), 8 servere til hvert sted, 2 FibreChannel- og 2 Ethernet 10G switcher. For replikering og h\u00e5ndtering av failover i klassisk arkitektur kan vi bruke VMware-verkt\u00f8y (Replication + SRM) eller tredjepartsverkt\u00f8y som vil v\u00e6re litt billigere og noen ganger mer praktiske.<\/p>\n<p>Diagrammet viser oppsettet.<\/p>\n<p><img decoding=\"async\" alt=\"Admin uten hender = hyperkonvergens?\" src=\"\/wp-content\/uploads\/2019\/10\/e7a1ef66c0ae1a8cbb60d0411007d822.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nVed bruk av Cisco HyperFlex f\u00e5r vi f\u00f8lgende arkitektur:<\/p>\n<p><img decoding=\"async\" alt=\"Admin uten hender = hyperkonvergens?\" src=\"\/wp-content\/uploads\/2019\/10\/71d58163728f37a163ec914b81dc73ab.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nFor HyperFlex brukte jeg servere med store CPU\/RAM-ressurser, da en del av ressursene g\u00e5r til VM-kontrolleren for HyperFlex. Jeg overdimensjonerte til og med litt i HyperFlex-konfigurasjonen, for \u00e5 ikke g\u00e5 i retning av Cisco og sikre ressurser til de andre VM-ene. I stedet kan vi droppe FibreChannel-switchene, og vi trenger ikke Ethernet-porter for hver server; lokal trafikk blir h\u00e5ndtert internt i FI.<\/p>\n<p>Resultatet ble f\u00f8lgende konfigurasjon for hvert datasenter:<\/p>\n<p>Servere<\/p>\n<p>8 x 1U Server (384 GB RAM, 2 x Intel Gold 6132, FC HBA)<\/p>\n<p>8 x HX240C-M5L (512 GB RAM, 2 x Intel Gold 6150, 3,2 GB SSD, 10 x 6 TB NL-SAS)<\/p>\n<p>Lagringssystem<\/p>\n<p>Hybrid lagringsl\u00f8sning med FC Front-End (20TB SSD, 130 TB NL-SAS)<\/p>\n<p>&#8212;<\/p>\n<p>LAN<\/p>\n<p>2 x Ethernet switch 10G 12 porter<\/p>\n<p>&#8212;<\/p>\n<p>SAN<\/p>\n<p>2 x FC switch 32\/16Gb 24 porter<\/p>\n<p>2 x Cisco UCS FI 6332<\/p>\n<p>Lisenser<\/p>\n<p>VMware Ent Plus<\/p>\n<p><\/p>\n<p>Replikering og\/eller orkestrering av VM-failover<\/p>\n<p>VMware Ent Plus<\/p>\n<p>For HyperFlex har jeg ikke lagt inn lisenser for replikasjonsprogramvare, da dette er tilgjengelig out-of-the-box.<\/p>\n<p>For klassisk arkitektur valgte jeg en leverand\u00f8r som har vist seg som en kvalitets- og kostnadseffektiv produsent. For begge alternativene brukte jeg en standard rabatt for den spesifikke l\u00f8sningen, og i utgangen fikk jeg reelle priser. <\/p>\n<p>L\u00f8sningen p\u00e5 Cisco HyperFlex ble 13 % billigere.<\/p>\n<p><b>Scenario 2:<\/b> opprettelse av to aktive datasentre. I dette scenariet designer vi en utvidet klynge p\u00e5 VMware. <\/p>\n<p>Den klassiske arkitekturen best\u00e5r av virtualiseringsservere, SAN (FC-protokoll) og to lagringsenheter som kan lese og skrive p\u00e5 data som er utvidet mellom dem. P\u00e5 hver lagringsenhet legger vi inn nyttig kapasitet for lokasjonen.<\/p>\n<p><img decoding=\"async\" alt=\"Admin uten hender = hyperkonvergens?\" src=\"\/wp-content\/uploads\/2019\/10\/c3830f5bab128b724d94e727218b21b5.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n <br \/>\nMed HyperFlex oppretter vi bare en Stretch Cluster med likt antall noder p\u00e5 begge steder. I dette tilfellet brukes en replikasjonsfaktor p\u00e5 2+2.<\/p>\n<p><img decoding=\"async\" alt=\"Admin uten hender = hyperkonvergens?\" src=\"\/wp-content\/uploads\/2019\/10\/6351c830c3fba60dc4e71a9a4245ec6f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n <br \/>\nResultatet ble f\u00f8lgende konfigurasjon:<\/p>\n<p>Klassisk arkitektur<\/p>\n<p>HyperFlex<\/p>\n<p>Servere<\/p>\n<p>16 x 1U Server (384 GB RAM, 2 x Intel Gold 6132, FC HBA, 2 x 10G NIC)<\/p>\n<p>16 x HX240C-M5L (512 GB RAM, 2 x Intel Gold 6132, 1,6 TB NVMe, 12 x 3,8 TB SSD, VIC 1387)<\/p>\n<p>Lagringssystem<\/p>\n<p>2 x AllFlash lagringsenheter (150 TB SSD)<\/p>\n<p>&#8212;<\/p>\n<p>LAN<\/p>\n<p>4 x Ethernet switch 10G 24 porter<\/p>\n<p>&#8212;<\/p>\n<p>SAN<\/p>\n<p>4 x FC switch 32\/16Gb 24 porter<\/p>\n<p>4 x Cisco UCS FI 6332<\/p>\n<p>Lisenser<\/p>\n<p>VMware Ent Plus<\/p>\n<p>VMware Ent Plus<\/p>\n<p>I did not take into account the network infrastructure, data center costs, etc.: they will be the same for both classical architecture and HyperFlex solutions.<\/p>\n<p>In terms of cost, HyperFlex turned out to be 5% more expensive. It is worth noting that for CPU\/RAM resources, I had an imbalance for Cisco, as I configured the memory controller channels evenly. The cost is slightly higher, but not by an order of magnitude, which clearly indicates that hyperconvergence is not necessarily a 'toy for the rich', but can compete with the standard approach to building data centers. This may also be interesting for those who already have Cisco UCS servers and the corresponding infrastructure for them. <\/p>\n<p>Among the advantages, we get the lack of SAN and storage administration costs, online compression and deduplication, a single point of entry for support (virtualization, servers, which are also storage), space savings (but not in all scenarios), and simplification of operations.<\/p>\n<p>As for support, you get it from a single vendor \u2014 Cisco. Judging by my experience with Cisco UCS servers, I like it; with HyperFlex, I never had to open a ticket, everything worked fine. The engineers respond promptly and can solve not only typical problems but also complex edge cases. Sometimes I reach out to them with questions like, 'Can this be done, can we hook this up?' or 'I configured something here and it doesn\u2019t want to work. Help!' \u2014 they patiently find the right guide and point out the correct actions, they won't just say, 'We only solve hardware issues.'<\/p>\n<h3>Lenker<\/h3>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.cisco.com\/c\/dam\/en\/us\/products\/collateral\/hyperconverged-infrastructure\/hyperflex-hx-series\/hxaf-240c-m5-specsheet.pdf\">Specs<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/croc\/blog\/146536\/\">Virtual Data Center<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/croc\/blog\/342820\/\">Data Center in a Drawer<\/a><\/noindex><\/li>\n<li>My email is StGeneralov@croc.ru<\/li>\n<\/ul>\n<p>Kilde: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/croc\/blog\/471508\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u042d\u0442\u043e \u043c\u0438\u0444, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0439 \u0432 \u0441\u0444\u0435\u0440\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0433\u043e \u0436\u0435\u043b\u0435\u0437\u0430. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0436\u0435 \u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0442\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f (\u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0451 \u0432 \u043e\u0434\u043d\u043e\u043c) \u043d\u0443\u0436\u043d\u044b \u043c\u043d\u043e\u0433\u043e \u0434\u043b\u044f \u0447\u0435\u0433\u043e. \u0418\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043b\u043e\u0436\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0431\u044b\u043b\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b Amazon \u0438 Google \u043f\u043e\u0434 \u0441\u0432\u043e\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u044b. \u0422\u043e\u0433\u0434\u0430 \u0438\u0434\u0435\u044f \u0431\u044b\u043b\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0444\u0435\u0440\u043c\u0443 \u0438\u0437 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0443\u0437\u043b\u043e\u0432, \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0434\u0438\u0441\u043a\u0438. \u0412\u0441\u0451 \u044d\u0442\u043e [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":29233,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-38966","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.5 - aioseo.com -->\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.5\" \/>\n\t\t<meta property=\"og:locale\" content=\"nn_NO\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0410\u0434\u043c\u0438\u043d \u0431\u0435\u0437 \u0440\u0443\u043a = \u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f? | ProHoster\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T19:27:03+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T19:27:03+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Admin without hands = hyperconvergence? | ProHoster","description":"","canonical_url":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nn_NO","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0410\u0434\u043c\u0438\u043d \u0431\u0435\u0437 \u0440\u0443\u043a = \u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f? | ProHoster","og:url":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:27:03+00:00","article:modified_time":"2019-10-31T19:27:03+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"38966","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 00:12:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 00:59:27","updated":"2026-01-24 00:12:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/38966","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/comments?post=38966"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/38966\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/media\/29233"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/media?parent=38966"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/categories?post=38966"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/tags?post=38966"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}