{"id":38966,"date":"2019-10-31T22:27:03","date_gmt":"2019-10-31T19:27:03","guid":{"rendered":"https:\/\/prohoster.info\/blog\/admin-bez-ruk-giperkonvergentsiya\/"},"modified":"2019-10-31T22:27:03","modified_gmt":"2019-10-31T19:27:03","slug":"admin-bez-ruk-giperkonvergentsiya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya","title":{"rendered":"Admin bez ruku = hiper-konvergencija?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><img decoding=\"async\" alt=\"Admin bez ruku = hiper-konvergencija?\" src=\"\/wp-content\/uploads\/2019\/10\/ea1763132185c97bb4edf0e67640d58f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<img decoding=\"async\" alt=\"Admin bez ruku = hiper-konvergencija?\" src=\"\/wp-content\/uploads\/2019\/10\/b6355c444c310570e1f2619cd931e1ca.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nTo je mit koji je prili\u010dno rasprostranjen u oblasti serverskog hardvera. U praksi su hiperkonvergirana re\u0161enja (kada je sve u jednog) potrebna iz mnogo razloga. Istorijski je nastalo da su prve arhitekture razvijene od strane Amazona i Googlea za njihove usluge. Tada je ideja bila da se napravi ra\u010dunska farmi od identi\u010dnih \u010dvorova, od kojih svaki ima svoje diskove. Sve je to povezano nekim sistemskim softverom (hipervizorom) i razbijeno na virtuelne ma\u0161ine. Glavni zadatak je minimalni napor na odr\u017eavanju jednog \u010dvora i minimalni problemi prilikom skaliranja: jednostavno se dokupi jo\u0161 hiljadu ili dve takvih servera i pove\u017eu se zajedno. U praksi su to jedinstveni slu\u010dajevi, a mnogo \u010de\u0161\u0107e se radi o manjem broju \u010dvorova i malo druga\u010dijoj arhitekturi. <\/p>\n<p>Ali prednost ostaje ista \u2014 neverovatna jednostavnost skaliranja i upravljanja. Nedostatak \u2014 razli\u010diti zadaci razli\u010dito koriste resurse, i negde \u0107e lokalnih diskova biti mnogo, negde malo RAM-a i tako dalje, to jest kod razli\u010ditih tipova zadataka \u0107e se smanjivati iskori\u0161\u0107enost resursa. <\/p>\n<p>Ispostavilo se da pla\u0107ate 10\u201315% vi\u0161e za jednostavnost pode\u0161avanja. To je i izazvalo mit iz naslova. Dugo smo tra\u017eili gde \u0107e se tehnologija optimalno primeniti, i prona\u0161li smo. Naime, Cisco nije imao svoje SAN-ove, ali \u017eeleo je potpunu tr\u017ei\u0161nu ponudu servera. I napravili su Cisco Hyperflex \u2014 re\u0161enje sa lokalnim skladi\u0161tima na nodovima. <\/p>\n<p>A iz toga je iznenada proiza\u0161lo veoma dobro re\u0161enje za rezervne data centre (Disaster Recovery). Za\u0161to i kako \u2014 sada \u0107u objasniti. I pokazati testove klastera. <noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h3>Gde je potrebno<\/h3>\n<p>\nHiperkonvergencija \u2014 to je: <\/p>\n<ol>\n<li>Preme\u0161tanje diskova u ra\u010dunarske \u010dvorove.<\/li>\n<li>Potpuna integracija podsystema skladi\u0161tenja podataka sa podsystemom virtualizacije.<\/li>\n<li>Preme\u0161tanje\/integracija sa mre\u017enim podsystemom.<\/li>\n<\/ol>\n<p>\nOva povezanost omogu\u0107ava implementaciju mnogih funkcija SAN-a na nivou virtualizacije i sve iz jednog prozora za upravljanje.<\/p>\n<p>U na\u0161oj kompaniji su veoma tra\u017eeni projekti za projektovanje rezervnih DC-ova, a \u010desto se bira upravo hiperkonvergentno re\u0161enje zbog mno\u0161tva opcija za replikaciju (do metroklastera) koje dolaze iz kutije. <\/p>\n<p>U slu\u010daju rezervnih data centara obi\u010dno se radi o udaljenom objektu na lokaciji na drugom kraju grada ili \u010dak u drugom gradu. To omogu\u0107ava obnavljanje kriti\u010dnih sistema u slu\u010daju delimi\u010dnog ili potpunog kvara glavnog data centra. Podaci se konstantno repliciraju sa produkcije, a ova replikacija mo\u017ee biti na nivou aplikacije ili na nivou blok ure\u0111aja (SAN).<\/p>\n<p>Zato \u0107u sada govoriti o strukturi sistema i testovima, a zatim o nekoliko scenarija stvarne primene sa podacima o u\u0161tedama. <\/p>\n<h3>Testovi<\/h3>\n<p>\nNa\u0161 primer se sastoji od \u010detiri servera, od kojih svaki ima 10 SSD diskova od 960 GB. Postoji posve\u0107en disk za ke\u0161iranje operacija pisanja i skladi\u0161tenje servisne virtuelne ma\u0161ine. Sama re\u0161enja - \u010detvrta verzija. Prva je o\u010digledno bila nedovr\u0161ena (sude\u0107i po povratnim informacijama), druga je bila jo\u0161 uvek neusavr\u0161ena, tre\u0107a je ve\u0107 dovoljno stabilna, a ova se mo\u017ee nazvati verzijom posle zavr\u0161etka beta testiranja na \u0161irokoj javnosti. Tokom testiranja nisam uo\u010dio probleme, sve radi kao sat.<\/p>\n<p><b class=\"spoiler_title\">Izmene u v4<\/b>Ispravljeno mnogo gre\u0161aka. <\/p>\n<p>Prvobitno je platforma mogla raditi samo sa hipervizorom VMware ESXi i podr\u017eavala je mali broj nodova. Tako\u0111e, proces raspore\u0111ivanja nije uvek uspe\u0161no zavr\u0161avao, bilo je potrebno ponovo pokrenuti neke korake, bile su probleme sa a\u017euriranjem sa starih verzija, podaci u GUI se nisu uvek korektno prikazivali (iako ni sada nisam odu\u0161evljen prikazom grafikona performansi), ponekad su se javljali problemi na spoju sa virtualizacijom.<\/p>\n<p>Sada su sve de\u010dje bolesti ispravljene, HyperFlex podr\u017eava i ESXi i Hyper-V, plus je mogu\u0107e:<\/p>\n<ol>\n<li>Kreiranje pro\u0161irenog klastera. <\/li>\n<li>Kreiranje klastera za kancelarije bez kori\u0161\u0107enja Fabric Interconnect, od dva do \u010detiri noda (kupujemo samo servere).<\/li>\n<li>Mogu\u0107nost rada sa eksternim SAN-ovima.<\/li>\n<li>Podr\u0161ka za kontejnere i Kubernetes.<\/li>\n<li>Kreiranje zona dostupnosti.<\/li>\n<li>Integracija sa VMware SRM, ako ugra\u0111ene funkcionalnosti nisu zadovoljavaju\u0107e.<\/li>\n<\/ol>\n<p>Arhitektura se ne razlikuje zna\u010dajno od rje\u0161enja glavnih konkurenata, pa nisu poku\u0161avali izmisliti to\u010dak. Sve to radi na platformi virtualizacije VMware ili Hyper-V. Hardverski se nalazi na poslu\u017eiteljima vlastitog razvoja Cisco UCS. Ima onih koji mrze platformu zbog relativne slo\u017eenosti inicijalnog postavljanja, mno\u0161tva gumba, ne trivijalnog sustava predlo\u017eaka i zavisnosti, ali ima i onih koji su spoznali zen, prihvatili ideju i vi\u0161e ne \u017eele raditi s drugim poslu\u017eiteljima. <\/p>\n<p>Razmatrat \u0107emo konkretno rje\u0161enje za VMware, jer je rje\u0161enje prvotno stvoreno za njega i ima ve\u0107e funkcionalnosti, dok je Hyper-V unaprije\u0111en tijekom vremena kako ne bi zaostajao za konkurencijom i ispunio tr\u017ei\u0161na o\u010dekivanja.<\/p>\n<p>Postoji klaster poslu\u017eitelja opremljenih diskovima. Ima diskove za pohranu podataka (SSD ili HDD \u2014 po va\u0161em izboru i potrebama), a tu je i jedan SSD-disk za ke\u0161iranje. Kada se podaci pi\u0161u na datastore, podaci se pohranjuju na ke\u0161iraju\u0107i sloj (namjenski SSD-disk i RAM uslu\u017enog VM-a). Paralelno, blok podataka \u0161alje se \u010dvorovima u klasteru (broj \u010dvorova ovisi o faktoru replikacije klastera). Nakon potvrde od svih \u010dvorova o uspje\u0161nom pisanju, potvrda se \u0161alje hipervizoru, a zatim \u2014 u VM. Zapisani podaci se u pozadini deduplikuju, komprimiraju i pohranjuju na diskove. Pri tome se na diskove za pohranu uvijek zapisuje veliki blok i sukcesivno, \u0161to smanjuje optere\u0107enje na diskove za pohranu.<\/p>\n<p>Deduplicitacija i kompresija su stalno uklju\u010deni i ne mogu se isklju\u010diti. \u010citanje podataka se doga\u0111a izravno s diskova za pohranu ili iz RAM ke\u0161a. Ako se koristi hibridna konfiguracija, tada se \u010ditanje tako\u0111er ke\u0161ira na SSD-disku.<\/p>\n<p>Podaci se ne povezuju s trenutnom lokacijom virtualne ma\u0161ine i ravnomjerno se distribuiraju me\u0111u \u010dvorovima. Ovaj pristup omogu\u0107ava ravnomjerno optere\u0107enje svih diskova i mre\u017enih su\u010delja. O\u010digledan nedostatak je \u0161to ne mo\u017eemo maksimalno smanjiti ka\u0161njenje \u010ditanja, jer nema garancije o prisutnosti podataka lokalno. Me\u0111utim, smatram da je to bezna\u010dajna \u017ertva u odnosu na ostvarene prednosti. Tim vi\u0161e, ka\u0161njenja u mre\u017ei su dostigla takve vrijednosti da prakti\u010dno ne utje\u010du na ukupni rezultat.<\/p>\n<p>Za svu logiku rada diskovnog podsistema odgovara posebna servisna VM Cisco HyperFlex Data Platform controller, koja se kreira na svakoj \u010dvoru skladi\u0161ta. U na\u0161oj konfiguraciji servisne VM dodeljeno je osam vCPU i 72 GB RAM, \u0161to nije malo. Podse\u0107am da sam host ima 28 fizi\u010dkih jezgara i 512 GB RAM.<\/p>\n<p>Servisna VM ima pristup fizi\u010dkim diskovima direktno putem proboja SAS kontrolera u VM. Komunikacija sa hypervizorom se odvija putem posebnog modula IOVisor, koji presre\u0107e ulazno-izlazne operacije, i kroz agenta koji omogu\u0107ava slanje komandi u API hypervizora. Agent je odgovoran za rad sa HyperFlex snapshot-ima i klonovima.<\/p>\n<p>U hypervizoru, diskovni resursi se montiraju kao NFS ili SMB share (zavisi od tipa hypervizora, pogodite koji je gde). A ispod haube je distribuirani fajl sistem koji omogu\u0107ava dodavanje funkcionalnosti pravih punopravnih SAN-ova: tanko skladi\u0161tenje volumena, kompresiju i deduplikaciju, snapshot-e po tehnologiji Redirect-on-Write, sinhronu\/asinhronu replikaciju.<\/p>\n<p>Servisna VM pru\u017ea pristup WEB interfejsu za upravljanje HyperFlex podsistemom. Postoji integracija sa vCenter-om, i velika ve\u0107ina svakodnevnih zadataka mo\u017ee se izvr\u0161iti iz njega, ali datastores, na primer, bolje je odrezati iz odvojene web aplikacije, ako ste ve\u0107 pre\u0161li na brzi HTML5 interfejs, ili koristiti punopravni Flash klijent s punom integracijom. U servisnoj web aplikaciji mo\u017eete videti performanse i detaljan status sistema.<\/p>\n<p><img decoding=\"async\" alt=\"Admin bez ruku = hiper-konvergencija?\" src=\"\/wp-content\/uploads\/2019\/10\/4f603b38d6489836892bebc76663eb2f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nPostoji i drugi tip \u010dvorova u klasteru \u2014 ra\u010dunarski \u010dvorovi. To mogu biti rack ili blade serveri bez ugra\u0111enih diskova. Na tim serverima mo\u017eete pokretati VM-ove \u010diji se podaci \u010duvaju na serverima s diskovima. Sa stanovi\u0161ta pristupa podacima, nema razlike izme\u0111u tipova \u010dvorova, jer arhitektura predvi\u0111a apstrakciju od fizi\u010dkog polo\u017eaja podataka. Maksimalna proporcija ra\u010dunarskih \u010dvorova i \u010dvorova skladi\u0161ta je 2:1.<\/p>\n<p>Kori\u0161\u0107enje ra\u010dunarskih \u010dvorova pove\u0107ava fleksibilnost prilikom skaliranja resursa klastera: nije nam nu\u017eno da kupujemo \u010dvorove s diskovima, ako imamo potrebu samo za CPU\/RAM. Tako\u0111e mo\u017eemo dodati blade kavez i ostvariti u\u0161tede na sme\u0161taju servera u ormaru.<\/p>\n<p>Kao rezultat, imamo hiper-konvergentnu platformu sa slede\u0107im funkcijama:<\/p>\n<ul>\n<li>Do 64 \u010dvorova u klasteru (do 32 \u010dvora za skladi\u0161tenje).<\/li>\n<li>Minimalni broj \u010dvorova u klasteru je tri (dva za Edge klaster).<\/li>\n<li>Mehanizam redundantnosti podataka: mirroring s faktorom replikacije 2 i 3.<\/li>\n<li>Metro klaster.<\/li>\n<li>Asinkrona replikacija VM na drugi HyperFlex klaster.<\/li>\n<li>Orkestracija prebacivanja VM u udaljeni data centar.<\/li>\n<li>Nativni snimci s tehnologijom Redirect-on-Write.<\/li>\n<li>Do 1 PB korisnog prostora pri faktoru replikacije 3 i bez uzimanja u obzir deduplikacije. Faktor replikacije 2 se ne uzima u obzir, jer to nije opcija za ozbiljan prodajni model.<\/li>\n<\/ul>\n<p>\nJo\u0161 jedna velika prednost je jednostavnost upravljanja i implementacije. Sve slo\u017eenosti postavljanja UCS servera preuzima specijalizovana VM, koju su pripremili in\u017eenjeri Cisco. <\/p>\n<h3>Konfiguracija testnog okru\u017eenja:<\/h3>\n<p><\/p>\n<ul>\n<li>2 x Cisco UCS Fabric Interconnect 6248UP kao kontrolni klaster i mre\u017eni sastav (48 portova koji rade u Ethernet re\u017eimu 10G\/FC 16G).<\/li>\n<li>\u010cetiri servera Cisco UCS HXAF240 M4.<\/li>\n<\/ul>\n<p>\nKarakteristike servera:<\/p>\n<p><\/p>\n<p>CPU<\/p>\n<p>2 x Intel \u00ae Xeon \u00ae E5-2690 v4<\/p>\n<p>RAM<\/p>\n<p>16 x 32GB DDR4-2400-MHz RDIMM\/PC4-19200\/dual rank\/x4\/1.2v<\/p>\n<p>Mre\u017ea<\/p>\n<p>UCSC-MLOM-CSC-02 (VIC 1227). 2 porta 10G Ethernet<\/p>\n<p>Storage HBA<\/p>\n<p>Cisco 12G Modular SAS Pass through Controller<\/p>\n<p>Storage Diskovi<\/p>\n<p>1 x SSD Intel S3520 120 GB, 1 x SSD Samsung MZ-IES800D, 10 x SSD Samsung PM863a 960 GB<\/p>\n<p>\n<b class=\"spoiler_title\">Vi\u0161e opcija konfiguracije<\/b>Pored odabranog hardvera, trenutno su dostupne slede\u0107e opcije:<\/p>\n<ul>\n<li>HXAF240c M5.<\/li>\n<li>Jedan ili dva CPU po\u010dev\u0161i od Intel Silver 4110 do Intel Platinum I8260Y. Dostupna je druga generacija.<\/li>\n<li>24 slota za memoriju, moduli od 16 GB RDIMM 2600 do 128 GB LRDIMM 2933.<\/li>\n<li>Od 6 do 23 diska za podatke, jedan ke\u0161iraju\u0107i disk, jedan sistemski i jedan boot disk.<\/li>\n<\/ul>\n<p>\n<b>Diskovi kapaciteta<\/b><\/p>\n<ul>\n<li>HX-SD960G61X-EV 960GB 2.5 in\u010dni Enterprise Value 6G SATA SSD (1X izdr\u017eljivost) SAS 960 GB.<\/li>\n<li>HX-SD38T61X-EV 3.8TB 2.5 in\u010dni Enterprise Value 6G SATA SSD (1X izdr\u017eljivost) SAS 3.8 TB.<\/li>\n<li>Diskovi za ke\u0161iranje<\/li>\n<li>HX-NVMEXPB-I375 375GB 2.5 in\u010dni Intel Optane Disk, ekstremne performanse i izdr\u017eljivost.<\/li>\n<li>HX-NVMEHW-H1600* 1.6TB 2.5 in\u010dni Ent. Perf. NVMe SSD (3X izdr\u017eljivost) NVMe 1.6 TB.<\/li>\n<li>HX-SD400G12TX-EP 400GB 2.5 in\u010dni Ent. Perf. 12G SAS SSD (10X izdr\u017eljivost) SAS 400 GB.<\/li>\n<li>HX-SD800GBENK9** 800GB 2.5 in\u010dni Ent. Perf. 12G SAS SED SSD (10X izdr\u017eljivost) SAS 800 GB.<\/li>\n<li>HX-SD16T123X-EP 1.6TB 2.5 in\u010dni Enterprise performance 12G SAS SSD (3X izdr\u017eljivost).<\/li>\n<\/ul>\n<p>\n<b>Sistemski \/ Log diskovi<\/b><\/p>\n<ul>\n<li>HX-SD240GM1X-EV 240GB 2.5 in\u010dni Enterprise Value 6G SATA SSD (zahteva nadogradnju).<\/li>\n<\/ul>\n<p>\n<b>Diskovi za pokretanje<\/b><\/p>\n<ul>\n<li>HX-M2-240GB 240GB SATA M.2 SSD SATA 240 GB.<\/li>\n<\/ul>\n<p>Povezivanje na mre\u017eu putem 40G, 25G ili 10G Ethernet portova. <\/p>\n<p>Kao FI mogu biti HX-FI-6332 (40G), HX-FI-6332-16UP (40G), HX-FI-6454 (40G\/100G).<\/p>\n<h3>Sam test<\/h3>\n<p>\nZa testiranje diskovnog podsistema koristio sam HCIBench 2.2.1. To je besplatna alatka koja omogu\u0107ava automatizaciju generisanja optere\u0107enja sa vi\u0161e virtuelnih ma\u0161ina. Samo optere\u0107enje generi\u0161e obi\u010dan fio. <\/p>\n<p>Na\u0161 klaster se sastoji od \u010detiri \u010dvora, faktor replikacije 3, svi diskovi su Flash.<\/p>\n<p>Za testiranje sam stvorio \u010detiri data store-a i osam virtuelnih ma\u0161ina. Za testove upisa pretpostavlja se scenario kada cache disk ne prepunjava.<\/p>\n<p>Rezultati testova su slede\u0107i:<\/p>\n<p>100 % \u010citanje 100 % Nasumi\u010dno<\/p>\n<p>0 % \u010citanje 100 % Nasumi\u010dno<\/p>\n<p>Blok \/ dubina reda<\/p>\n<p>128<\/p>\n<p>256<\/p>\n<p>512<\/p>\n<p>1024<\/p>\n<p>2048<\/p>\n<p>128<\/p>\n<p>256<\/p>\n<p>512<\/p>\n<p>1024<\/p>\n<p>2048<\/p>\n<p>4K<\/p>\n<p>0,59 ms 213804 IOPS<\/p>\n<p>0,84 ms 303540 IOPS<\/p>\n<p>1,36 ms 374348 IOPS<\/p>\n<p>2,47 ms 414116 IOPS<\/p>\n<p><b>4,86 ms 420180 IOPS<\/b><\/p>\n<p>2,22 ms 57408 IOPS<\/p>\n<p>3,09 ms 82744 IOPS<\/p>\n<p>5,02 ms 101824 IOPS<\/p>\n<p>8,75 ms 116912 IOPS<\/p>\n<p><b>17,2 ms 118592 IOPS<\/b><\/p>\n<p>8K<\/p>\n<p>0,67 ms 188416 IOPS<\/p>\n<p>0,93 ms 273280 IOPS<\/p>\n<p>1,7 ms 299932 IOPS<\/p>\n<p>2,72 ms 376484 IOPS<\/p>\n<p><b>5,47 ms 373176 IOPS<\/b><\/p>\n<p>3,1 ms 41148 IOPS<\/p>\n<p>4,7 ms 54396 IOPS<\/p>\n<p>7,09 ms 72192 IOPS<\/p>\n<p><b>12,77 ms 80132 IOPS<\/b><\/p>\n<p>16K<\/p>\n<p>0,77 ms 164116 IOPS<\/p>\n<p>1,12 ms 228328 IOPS<\/p>\n<p>1,9 ms 268140 IOPS<\/p>\n<p><b>3,96 ms 258480 IOPS<\/b><\/p>\n<p>3,8 ms 33640 IOPS<\/p>\n<p>6,97 ms 36696 IOPS<\/p>\n<p><b>11,35 ms 45060 IOPS<\/b><\/p>\n<p>32K<\/p>\n<p>1,07 ms 119292 IOPS<\/p>\n<p>1,79 ms 142888 IOPS<\/p>\n<p><b>3,56 ms 143760 IOPS<\/b><\/p>\n<p>7,17 ms 17810 IOPS<\/p>\n<p><b>11,96 ms 21396 IOPS<\/b><\/p>\n<p>64K<\/p>\n<p>1,84 ms 69440 IOPS<\/p>\n<p>3,6 ms 71008 IOPS<\/p>\n<p><b>7,26 ms 70404 IOPS<\/b><\/p>\n<p><b>11,37 ms 11248 IOPS<\/b><\/p>\n<p><i>Podebljano su ozna\u010dene vrednosti nakon kojih nema rasta performansi, a ponekad je \u010dak vidljiva degradacija. To je povezano sa time da nailazimo na performanse mre\u017ee \/ kontrolera \/ diskova.<\/i><\/p>\n<ul>\n<li>Sekvencijalno \u010ditanje 4432 MB\/s.<\/li>\n<li>Sekvencijalno pisanje 804 MB\/s.<\/li>\n<li>U slu\u010daju kvara jednog kontrolera (kvar virtuelne ma\u0161ine ili host-a) pad performansi je dvostruko ve\u0107i.<\/li>\n<li>U slu\u010daju kvara skladi\u0161nog diska \u2014 pad za 1\/3. Rebuild diska zahteva 5% resursa svakog kontrolera.<\/li>\n<\/ul>\n<p>\nNa malom bloku nailazimo na performanse kontrolera (virtuelna ma\u0161ina), njegov CPU je optere\u0107en 100%, a povecanjem bloka nailazimo na propusnost portova. 10 Gbps nije dovoljno da se oslobodi potencijal AllFlash sistema. Na\u017ealost, uslovi dostupnog demostenda ne dozvoljavaju testiranje na 40 Gbps.<\/p>\n<p>Prema mom uticaju iz testova i prou\u010davanju arhitekture, kroz algoritam koji raspore\u0111uje podatke izme\u0111u svih hostova, dobijamo skalabilne predvidive performanse, ali to je i ograni\u010denje tokom \u010ditanja, s obzirom na to da bi se sa lokalnih diskova moglo izvu\u0107i i vi\u0161e, ovde bi mogla pomo\u0107i br\u017ea mre\u017ea, na primer, dostupni FI na 40 Gbps.<\/p>\n<p>Tako\u0111e, jedan disk za ke\u0161iranje i deduplikaciju mo\u017ee biti ograni\u010denje, zapravo u ovom stendu mo\u017eemo pisati na \u010detiri SSD diska. Bilo bi odli\u010dno imati mogu\u0107nost pove\u0107anja broja ke\u0161iranih diskova i videti razliku.<\/p>\n<h3>Stvarna upotreba<\/h3>\n<p>\nZa organizaciju rezervnog DC-a mogu se primeniti dva pristupa (ne razmatramo postavljanje backup-a na udaljenoj lokaciji):<\/p>\n<ol>\n<li>Aktivno-Pasivna. Sve aplikacije se hostuju u glavnom DC-u. Replikacija je sinhrona ili asinhrona. U slu\u010daju pada glavnog DC-a, potrebno je aktivirati rezervni. To se mo\u017ee uraditi ru\u010dno, putem skripti ili aplikacija za orkestraciju. Ovde dobijamo RPO koji je merljiv prema frekvenciji replikacije, a RTO zavisi od reakcije i ve\u0161tina administratora i kvaliteta pripreme i testiranja plana prebacivanja.<\/li>\n<li>Aktivno-Aktivna. U ovom slu\u010daju postoji samo sinhrona replikacija, dostupnost DC-ova odre\u0111uje kvorum\/arbitrar, sme\u0161ten strogo na tre\u0107oj lokaciji. RPO = 0, dok RTO mo\u017ee dosti\u0107i 0 (ako aplikacija to dozvoljava) ili biti jednako vremenu potrebnom za re\u0161avanje havarije \u010dvora u virtuelizaciji. Na nivou virtuelizacije se kreira pro\u0161ireni (Metro) klaster, koji zahteva Aktivno-Aktivnu Skladi\u0161nu jedinicu.<\/li>\n<\/ol>\n<p>\nObi\u010dno kod klijenata ve\u0107 vidimo implementiranu arhitekturu s klasi\u010dnom Skladi\u0161nom jedinicom u glavnom DC-u, stoga projektujemo jo\u0161 jednu za replikaciju. Kao \u0161to sam spomenuo, Cisco HyperFlex nudi asinhronu replikaciju i kreiranje pro\u0161irenog klastera virtuelizacije. U ovom slu\u010daju, ne trebamo posebnu Skladi\u0161nu jedinicu srednjeg ranga i vi\u0161e sa skupim funkcijama replikacije i Aktivno-Aktivnog pristupa podacima na dve Skladi\u0161ne jedinice.<\/p>\n<p><b>Scenarij 1:<\/b> Imamo glavni i rezervni DC, platformu virtuelizacije na VMware vSphere. Sve produktivne sisteme imamo u glavnom DC-u, a replikacija virtuelnih ma\u0161ina se vr\u0161i na nivou hipervizora, \u0161to omogu\u0107ava da VM-ovi budu isklju\u010deni u rezervnom DC-u. Baze podataka i posebne aplikacije replikujemo ugra\u0111enim alatima i dr\u017eimo VM-ove uklju\u010denim. U slu\u010daju kvara glavnog DC-a, pokre\u0107emo sisteme u rezervnom DC-u. Smatramo da imamo oko 100 virtuelnih ma\u0161ina. Dok je glavni DC aktivan, u rezervnom DC-u mogu se pokretati testna okru\u017eenja i drugi sistemi koji se mogu isklju\u010diti u slu\u010daju prebacivanja glavnog DC-a. Tako\u0111e je mogu\u0107 scenarij gde koristimo dvosmernu replikaciju. Sa aspekta hardvera, ni\u0161ta se ne\u0107e promeniti.<\/p>\n<p>U klasi\u010dnoj arhitekturi postavi\u0107emo hibridnu SAN u svaki podatkovni centar sa pristupom putem FibreChannel, tieringom, deduplikacijom i kompresijom (ali ne online), 8 servera po lokaciji, po 2 Ethernet 10G i FibreChannel prekida\u010da. Za replikaciju i upravljanje prebacivanjem u klasi\u010dnoj arhitekturi mo\u017eemo koristiti VMware alate (Replication + SRM) ili neka alternativna re\u0161enja koja su jeftinija i ponekad prakti\u010dnija.<\/p>\n<p>Na slici je prikazana \u0161ema.<\/p>\n<p><img decoding=\"async\" alt=\"Admin bez ruku = hiper-konvergencija?\" src=\"\/wp-content\/uploads\/2019\/10\/e7a1ef66c0ae1a8cbb60d0411007d822.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nU slu\u010daju kori\u0161\u0107enja Cisco HyperFlex dobijamo slede\u0107u arhitekturu:<\/p>\n<p><img decoding=\"async\" alt=\"Admin bez ruku = hiper-konvergencija?\" src=\"\/wp-content\/uploads\/2019\/10\/71d58163728f37a163ec914b81dc73ab.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nZa HyperFlex koristio sam servere sa velikim resursima CPU\/RAM, jer \u0107e deo resursa i\u0107i na VM kontrolera HyperFlex. Pre\u0161ao sam malo preko potrebnih resursa u konfiguraciji HyperFlex kako bi garantovao resurse za ostale VM i ne bi favorizovao Cisco. Tako mo\u017eemo da se odri\u010demo FibreChannel prekida\u010da, a Ethernet portovi ne\u0107e biti potrebni za svaki server, lokalni saobra\u0107aj se prebacuje unutar FI.<\/p>\n<p>Kao rezultat, dobijena je slede\u0107a konfiguracija za svaki podatkovni centar:<\/p>\n<p>Serveri<\/p>\n<p>8 x 1U server (384 GB RAM, 2 x Intel Gold 6132, FC HBA)<\/p>\n<p>8 x HX240C-M5L (512 GB RAM, 2 x Intel Gold 6150, 3,2 GB SSD, 10 x 6 TB NL-SAS)<\/p>\n<p>Skladi\u0161tenje podataka<\/p>\n<p>Hibridna SAN sa FC Front-End (20TB SSD, 130 TB NL-SAS)<\/p>\n<p>\u2014<\/p>\n<p>LAN<\/p>\n<p>2 x Ethernet prekida\u010d 10G sa 12 portova<\/p>\n<p>\u2014<\/p>\n<p>SAN<\/p>\n<p>2 x FC prekida\u010d 32\/16Gb sa 24 porta<\/p>\n<p>2 x Cisco UCS FI 6332<\/p>\n<p>Licence<\/p>\n<p>VMware Ent Plus<\/p>\n<p><\/p>\n<p>Replikacija i\/ili orkestracija prebacivanja VM<\/p>\n<p>VMware Ent Plus<\/p>\n<p>Za HyperFlex nisam ura\u010dunao licence za replikaciju, jer su nam te funkcionalnosti dostupne odmah.<\/p>\n<p>Za klasi\u010dnu arhitekturu izabrao sam dobavlja\u010da koji je poznat kao kvalitetan i povoljan proizvo\u0111a\u010d. Za obe opcije primenio sam standardno re\u0161enje, te na kraju dobio realne cene. <\/p>\n<p>Re\u0161enje sa Cisco HyperFlex je bilo 13% jeftinije.<\/p>\n<p><b>Scenarij 2:<\/b> kreiranje dva aktivna podatkovna centra. U ovom scenariju projektujemo rasprostranjeni klaster na VMware. <\/p>\n<p>Klasi\u010dna arhitektura se sastoji od virtualizacionih servera, SAN (FC protokol) i dva SAN koja mogu \u010ditati i pisati izme\u0111u njih. Na svakoj SAN predvi\u0111amo korisni kapacitet za lokaciju.<\/p>\n<p><img decoding=\"async\" alt=\"Admin bez ruku = hiper-konvergencija?\" src=\"\/wp-content\/uploads\/2019\/10\/c3830f5bab128b724d94e727218b21b5.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n <br \/>\nSa HyperFlex jednostavno kreiramo Stretch Cluster sa istim brojem nodova na obe lokacije. U tom slu\u010daju koristi se faktor replikacije 2+2.<\/p>\n<p><img decoding=\"async\" alt=\"Admin bez ruku = hiper-konvergencija?\" src=\"\/wp-content\/uploads\/2019\/10\/6351c830c3fba60dc4e71a9a4245ec6f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n <br \/>\nRezultantna konfiguracija je slede\u0107a:<\/p>\n<p>Klasi\u010dna arhitektura<\/p>\n<p>HyperFlex<\/p>\n<p>Serveri<\/p>\n<p>16 x 1U server (384 GB RAM, 2 x Intel Gold 6132, FC HBA, 2 x 10G NIC)<\/p>\n<p>16 x HX240C-M5L (512 GB RAM, 2 x Intel Gold 6132, 1,6 TB NVMe, 12 x 3,8 TB SSD, VIC 1387)<\/p>\n<p>Skladi\u0161tenje podataka<\/p>\n<p>2 x AllFlash SAN (150 TB SSD)<\/p>\n<p>\u2014<\/p>\n<p>LAN<\/p>\n<p>4 x Ethernet prekida\u010d 10G sa 24 porta<\/p>\n<p>\u2014<\/p>\n<p>SAN<\/p>\n<p>4 x FC prekida\u010d 32\/16Gb sa 24 porta<\/p>\n<p>4 x Cisco UCS FI 6332<\/p>\n<p>Licence<\/p>\n<p>VMware Ent Plus<\/p>\n<p>VMware Ent Plus<\/p>\n<p>U svim prora\u010dunima nisam uzeo u obzir mre\u017enu infrastrukturu, tro\u0161kove data centra itd.: oni \u0107e biti isti za klasi\u010dnu arhitekturu i za re\u0161enje na HyperFlex.<\/p>\n<p>Prema tro\u0161kovima, HyperFlex je ispao 5% skuplji. Ovde treba napomenuti da su resursi CPU\/RAM za Cisco bili neproporcionalni, jer sam u konfiguraciji ravnomerno popunjavao kanale kontrolera memorije. Tro\u0161kovi su malo vi\u0161i, ali ne u ogromnoj meri, \u0161to jasno ukazuje da hiperkonvergencija nije nu\u017eno \"igra\u010dka za bogate\", ve\u0107 mo\u017ee konkurisati standardnom pristupu izgradnji data centra. Ovo mo\u017ee biti interesantno i onima koji ve\u0107 imaju Cisco UCS servere i odgovaraju\u0107u infrastrukturu. <\/p>\n<p>Od prednosti dobijamo odsustvo tro\u0161kova za administraciju SAN-a i S\u017dD-a, online kompresiju i dedupikaciju, jedinstvenu ta\u010dku ulaza za podr\u0161ku (virtualizacija, serveri, tako\u0111e S\u017dD), u\u0161tedu prostora (ali ne u svim scenarijima), pojednostavljenje eksploatacije.<\/p>\n<p>\u0160to se ti\u010de podr\u0161ke, ovde je dobijate od jednog dobavlja\u010da - Cisco. Ako sudim prema iskustvu sa Cisco UCS serverima, to mi se svi\u0111a, na HyperFlex-u nije bilo potrebe za otvaranjem, sve je ve\u0107 radilo. In\u017eenjeri odgovaraju brzo i mogu da re\u0161avaju ne samo tipi\u010dne probleme, ve\u0107 i slo\u017eene grani\u010dne slu\u010dajeve. Ponekad im se obra\u0107am sa pitanjima: \"Mo\u017ee li se to uraditi, priklju\u010diti ovo?\" ili \"Ovde sam ne\u0161to konfigurisao, i ne\u0107e da radi. Pomozite!\" - oni strpljivo prona\u0111u odgovaraju\u0107i vodi\u010d i ukazuju na pravilne korake, ne\u0107e re\u0107i: \"Mi re\u0161avamo samo hardverske probleme.\"<\/p>\n<h3>Linkovi<\/h3>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.cisco.com\/c\/dam\/en\/us\/products\/collateral\/hyperconverged-infrastructure\/hyperflex-hx-series\/hxaf-240c-m5-specsheet.pdf\">Specifikacije<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/croc\/blog\/146536\/\">Virtuelni data centar<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/croc\/blog\/342820\/\">Data centar u fioci<\/a><\/noindex><\/li>\n<li>Moja e-po\u0161ta \u2014 StGeneralov@croc.ru<\/li>\n<\/ul>\n<p>Izvor: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/croc\/blog\/471508\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u042d\u0442\u043e \u043c\u0438\u0444, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0439 \u0432 \u0441\u0444\u0435\u0440\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0433\u043e \u0436\u0435\u043b\u0435\u0437\u0430. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0436\u0435 \u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0442\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f (\u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0451 \u0432 \u043e\u0434\u043d\u043e\u043c) \u043d\u0443\u0436\u043d\u044b \u043c\u043d\u043e\u0433\u043e \u0434\u043b\u044f \u0447\u0435\u0433\u043e. \u0418\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043b\u043e\u0436\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0431\u044b\u043b\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b Amazon \u0438 Google \u043f\u043e\u0434 \u0441\u0432\u043e\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u044b. \u0422\u043e\u0433\u0434\u0430 \u0438\u0434\u0435\u044f \u0431\u044b\u043b\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0444\u0435\u0440\u043c\u0443 \u0438\u0437 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0443\u0437\u043b\u043e\u0432, \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0434\u0438\u0441\u043a\u0438. \u0412\u0441\u0451 \u044d\u0442\u043e [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":29233,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-38966","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.5.1 - aioseo.com -->\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.5.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"bs_BA\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0410\u0434\u043c\u0438\u043d \u0431\u0435\u0437 \u0440\u0443\u043a = \u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f? | ProHoster\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T19:27:03+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T19:27:03+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Admin bez ruku = hiperkonvergencija? | ProHoster","description":"","canonical_url":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"bs_BA","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0410\u0434\u043c\u0438\u043d \u0431\u0435\u0437 \u0440\u0443\u043a = \u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f? | ProHoster","og:url":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:27:03+00:00","article:modified_time":"2019-10-31T19:27:03+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"38966","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 00:12:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 00:59:27","updated":"2026-01-24 00:12:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts\/38966","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/comments?post=38966"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts\/38966\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/media\/29233"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/media?parent=38966"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/categories?post=38966"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/tags?post=38966"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}