{"id":38966,"date":"2019-10-31T22:27:03","date_gmt":"2019-10-31T19:27:03","guid":{"rendered":"https:\/\/prohoster.info\/blog\/admin-bez-ruk-giperkonvergentsiya\/"},"modified":"2019-10-31T22:27:03","modified_gmt":"2019-10-31T19:27:03","slug":"admin-bez-ruk-giperkonvergentsiya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya","title":{"rendered":"Administrator bez r\u0105k = hiperogniwo?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><img decoding=\"async\" alt=\"Administrator bez r\u0105k = hiperogniwo?\" src=\"\/wp-content\/uploads\/2019\/10\/ea1763132185c97bb4edf0e67640d58f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<img decoding=\"async\" alt=\"Administrator bez r\u0105k = hiperogniwo?\" src=\"\/wp-content\/uploads\/2019\/10\/b6355c444c310570e1f2619cd931e1ca.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nTo mit, do\u015b\u0107 powszechny w dziedzinie sprz\u0119tu serwerowego. W praktyce jednak rozwi\u0105zania hiperkonwergentne (gdy wszystko jest w jednym) s\u0105 potrzebne do wielu zastosowa\u0144. Historycznie rzecz bior\u0105c, pierwsze architektury zosta\u0142y opracowane przez Amazon i Google na potrzeby ich us\u0142ug. Wtedy ide\u0105 by\u0142o stworzenie farmy obliczeniowej z identycznych w\u0119z\u0142\u00f3w, z kt\u00f3rych ka\u017cdy mia\u0142 swoje dyski. Wszystko to \u0142\u0105czy\u0142o si\u0119 w pewnym systemowym oprogramowaniu (hiperwizorze) i dzieli\u0142o na maszyny wirtualne. G\u0142\u00f3wnym celem jest minimalny wysi\u0142ek w utrzymaniu pojedynczego w\u0119z\u0142a oraz minimalne problemy przy skalowaniu: po prostu kupujemy jeszcze tysi\u0105c lub dwa takie same serwery i pod\u0142\u0105czamy obok. W praktyce to jednak jednostkowe przypadki, a znacznie cz\u0119\u015bciej m\u00f3wimy o mniejszej liczbie w\u0119z\u0142\u00f3w i nieco innej architekturze. <\/p>\n<p>Jednak zalet\u0105 pozostaje ta sama - niesamowita prostota skalowania i zarz\u0105dzania. Minusem jest to, \u017ce r\u00f3\u017cne zadania r\u00f3\u017cnie konsumuj\u0105 zasoby, w niekt\u00f3rych przypadkach b\u0119dzie du\u017co lokalnych dysk\u00f3w, w innych ma\u0142o pami\u0119ci RAM i tak dalej, czyli przy r\u00f3\u017cnym typie zada\u0144 wykorzystanie zasob\u00f3w b\u0119dzie spada\u0107. <\/p>\n<p>Okazuje si\u0119, \u017ce p\u0142acisz o 10-15% wi\u0119cej za wygod\u0119 konfiguracji. To w\u0142a\u015bnie spowodowa\u0142o mit z tytu\u0142u. D\u0142ugo szukali\u015bmy, gdzie technologia b\u0119dzie u\u017cywana optymalnie i znale\u017ali\u015bmy. Rzecz w tym, \u017ce Cisco nie mia\u0142o w\u0142asnych macierzy dyskowych, ale chcia\u0142o zdominowa\u0107 pe\u0142en rynek serwerowy. I stworzyli Cisco Hyperflex - rozwi\u0105zanie z lokalnymi magazynami na w\u0119z\u0142ach. <\/p>\n<p>A z tego nagle powsta\u0142o bardzo dobre rozwi\u0105zanie dla awaryjnych centr\u00f3w danych (Disaster Recovery). Dlaczego i jak - teraz opowiem. I poka\u017c\u0119 testy klastra. <noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h3>Gdzie jest potrzebne<\/h3>\n<p>\nHiperkonwergencja to: <\/p>\n<ol>\n<li>Przeniesienie dysk\u00f3w do w\u0119z\u0142\u00f3w obliczeniowych.<\/li>\n<li>Pe\u0142na integracja podsystemu przechowywania danych z podsystemem virtualizacji.<\/li>\n<li>Przeniesienie\/integracja z podsystemem sieciowym.<\/li>\n<\/ol>\n<p>\nTego rodzaju po\u0142\u0105czenie pozwala na realizacj\u0119 wielu funkcji macierzy dyskowych na poziomie wirtualizacji, wszystko z jednego okna zarz\u0105dzania.<\/p>\n<p>W naszej firmie projekty dotycz\u0105ce projektowania rezerwowych centr\u00f3w danych ciesz\u0105 si\u0119 du\u017cym zainteresowaniem, a cz\u0119sto wybiera si\u0119 w\u0142a\u015bnie hiperkonwergentne rozwi\u0105zanie ze wzgl\u0119du na mn\u00f3stwo opcji replikacji (a\u017c do metroklastera) w zestawie. <\/p>\n<p>W przypadku zapasowych centr\u00f3w danych zwykle m\u00f3wimy o zdalnym obiekcie w innej cz\u0119\u015bci miasta lub nawet w innym mie\u015bcie. Umo\u017cliwia to przywr\u00f3cenie krytycznych system\u00f3w w przypadku cz\u0119\u015bciowej lub ca\u0142kowitej awarii g\u0142\u00f3wnego centrum danych. Dane z produkcji s\u0105 tam stale replikowane, a ta replikacja mo\u017ce odbywa\u0107 si\u0119 na poziomie aplikacji lub na poziomie jednostki blokowej (macierzy dyskowej).<\/p>\n<p>Dlatego teraz opowiem o budowie systemu i testach, a p\u00f3\u017aniej - o kilku scenariuszach rzeczywistego zastosowania z danymi dotycz\u0105cymi oszcz\u0119dno\u015bci. <\/p>\n<h3>Testy<\/h3>\n<p>\nNasz egzemplarz sk\u0142ada si\u0119 z czterech serwer\u00f3w, z kt\u00f3rych ka\u017cdy ma 10 dysk\u00f3w SSD o pojemno\u015bci 960 GB. Jest dedykowany dysk do buforowania operacji zapisu oraz do przechowywania maszyny wirtualnej serwisowej. Rozwi\u0105zanie to jest czwart\u0105 wersj\u0105. Pierwsza by\u0142a wyra\u017anie surowa (s\u0105dz\u0105c po opiniach), druga by\u0142a jeszcze do\u015b\u0107 surowa, trzecia by\u0142a ju\u017c wystarczaj\u0105co stabilna, a t\u0119 mo\u017cna nazwa\u0107 wydaniem po zako\u0144czeniu test\u00f3w beta w szerokim gronie. Podczas test\u00f3w nie zauwa\u017cy\u0142em \u017cadnych problem\u00f3w, wszystko dzia\u0142a jak w zegarku.<\/p>\n<p><b class=\"spoiler_title\">Zmiany w v4<\/b>Naprawiono mn\u00f3stwo b\u0142\u0119d\u00f3w. <\/p>\n<p>Pocz\u0105tkowo platforma mog\u0142a dzia\u0142a\u0107 tylko z hyperwizorem VMware ESXi i obs\u0142ugiwa\u0142a niewielk\u0105 liczb\u0119 w\u0119z\u0142\u00f3w. Proces wdra\u017cania nie zawsze ko\u0144czy\u0142 si\u0119 pomy\u015blnie, czasami konieczne by\u0142o ponowne uruchamianie niekt\u00f3rych krok\u00f3w, wyst\u0119powa\u0142y problemy z aktualizacj\u0105 ze starszych wersji, dane w GUI nie zawsze by\u0142y wy\u015bwietlane poprawnie (cho\u0107 wci\u0105\u017c nie jestem zachwycony wy\u015bwietlaniem wykres\u00f3w wydajno\u015bci), czasami pojawia\u0142y si\u0119 problemy na styku z wirtualizacj\u0105.<\/p>\n<p>Teraz wszystkie dzieci\u0119ce choroby zosta\u0142y naprawione, HyperFlex obs\u0142uguje zar\u00f3wno ESXi, jak i Hyper-V, a ponadto mo\u017cliwe jest:<\/p>\n<ol>\n<li>Tworzenie rozproszonego klastra. <\/li>\n<li>Tworzenie klastra dla biur bez u\u017cycia Fabric Interconnect, od dw\u00f3ch do czterech w\u0119z\u0142\u00f3w (kupujemy tylko serwery).<\/li>\n<li>Mo\u017cliwo\u015b\u0107 wsp\u00f3\u0142pracy z zewn\u0119trznymi macierzami dyskowymi.<\/li>\n<li>Wsparcie dla kontener\u00f3w i Kubernetes.<\/li>\n<li>Tworzenie stref dost\u0119pno\u015bci.<\/li>\n<li>Integracja z VMware SRM, je\u015bli wbudowana funkcjonalno\u015b\u0107 nie jest wystarczaj\u0105ca.<\/li>\n<\/ol>\n<p>Architektura niewiele r\u00f3\u017cni si\u0119 od rozwi\u0105za\u0144 g\u0142\u00f3wnych konkurent\u00f3w, nie stworzono od nowa roweru. Wszystko dzia\u0142a na platformie wirtualizacji VMware lub Hyper-V. Sprz\u0119towo umieszczone jest na serwerach zaprojektowanych przez Cisco UCS. S\u0105 tacy, kt\u00f3rzy nienawidz\u0105 tej platformy za wzgl\u0119dn\u0105 z\u0142o\u017cono\u015b\u0107 pocz\u0105tkowej konfiguracji, liczne przyciski, nietrywialny system szablon\u00f3w i zale\u017cno\u015bci, ale s\u0105 te\u017c tacy, kt\u00f3rzy zaznali zen, zrozumieli ide\u0119 i ju\u017c nie chc\u0105 pracowa\u0107 z innymi serwerami. <\/p>\n<p>Rozwa\u017cymy rozwi\u0105zanie dla VMware, poniewa\u017c zosta\u0142o ono pierwotnie stworzone dla tej platformy i ma wi\u0119ksz\u0105 funkcjonalno\u015b\u0107, a Hyper-V zosta\u0142o poprawione w toku, aby nie ust\u0119powa\u0107 konkurencji i odpowiada\u0107 oczekiwaniom rynku.<\/p>\n<p>Istnieje klaster serwer\u00f3w, wype\u0142nionych dyskami. S\u0105 dyski do przechowywania danych (SSD lub HDD \u2013 wed\u0142ug twojego gustu i potrzeb), jest jeden dysk SSD do cache'owania. Podczas zapisu danych na datastorze dane s\u0105 przechowywane na warstwie cache'uj\u0105cej (dedykowany dysk SSD i RAM maszyny wirtualnej). R\u00f3wnolegle blok danych jest wysy\u0142any do w\u0119z\u0142\u00f3w w klastrze (liczba w\u0119z\u0142\u00f3w zale\u017cy od czynnika replikacji klastra). Po potwierdzeniu przez wszystkie w\u0119z\u0142y pomy\u015blnego zapisu, potwierdzenie zapisu jest wysy\u0142ane do hypervisora, a nast\u0119pnie do maszyny wirtualnej. Zapisane dane w tle s\u0105 deduplikowane, kompresowane i zapisywane na dyskach magazynowych. Przy tym na dyski magazynowe zawsze zapisuje si\u0119 du\u017cy blok i sekwencyjnie, co zmniejsza obci\u0105\u017cenie dysk\u00f3w magazynowych.<\/p>\n<p>Deduplikacja i kompresja s\u0105 w\u0142\u0105czone na sta\u0142e i nie mo\u017cna ich wy\u0142\u0105czy\u0107. Odczyt danych odbywa si\u0119 bezpo\u015brednio z dysk\u00f3w magazynowych lub z pami\u0119ci RAM cache. Je\u015bli u\u017cywana jest hybrydowa konfiguracja, odczyt r\u00f3wnie\u017c znajduje si\u0119 w pami\u0119ci cache na dysku SSD.<\/p>\n<p>Dane nie s\u0105 powi\u0105zane z bie\u017c\u0105c\u0105 lokalizacj\u0105 maszyny wirtualnej i s\u0105 r\u00f3wnomiernie rozdzielane mi\u0119dzy w\u0119z\u0142ami. Takie podej\u015bcie pozwala na r\u00f3wnomierne obci\u0105\u017cenie wszystkich dysk\u00f3w i interfejs\u00f3w sieciowych. Nasuwa si\u0119 oczywisty minus: nie mo\u017cemy maksymalnie zmniejszy\u0107 op\u00f3\u017anienia odczytu, poniewa\u017c nie ma gwarancji lokalnej dost\u0119pno\u015bci danych. Jednak uwa\u017cam, \u017ce to niewielka ofiara w por\u00f3wnaniu z uzyskanymi korzy\u015bciami. Tym bardziej, \u017ce op\u00f3\u017anienia w sieci osi\u0105gn\u0119\u0142y takie warto\u015bci, \u017ce praktycznie nie wp\u0142ywaj\u0105 na og\u00f3lny wynik.<\/p>\n<p>Za ca\u0142\u0105 logik\u0119 dzia\u0142ania dyskowej podsystemu odpowiada specjalna us\u0142uga VM Cisco HyperFlex Data Platform controller, kt\u00f3ra jest tworzona na ka\u017cdym w\u0119\u017ale pami\u0119ci. W naszej konfiguracji us\u0142udze VM przydzielono osiem vCPU i 72 GB RAM, co nie jest ma\u0142o. Przypomn\u0119, \u017ce sam host dysponuje 28 fizycznymi rdzeniami i 512 GB RAM.<\/p>\n<p>Us\u0142uga VM ma dost\u0119p do fizycznych dysk\u00f3w bezpo\u015brednio poprzez przesy\u0142anie kontrolera SAS do VM. Komunikacja z hipernadzorc\u0105 odbywa si\u0119 za po\u015brednictwem specjalnego modu\u0142u IOVisor, kt\u00f3ry przechwytuje operacje wej\u015bcia-wyj\u015bcia, oraz za pomoc\u0105 agenta, kt\u00f3ry umo\u017cliwia przesy\u0142anie polece\u0144 do API hipernadzorcy. Agent odpowiada za prac\u0119 z migawkami i klonami HyperFlex.<\/p>\n<p>W hipernadzorze zasoby dyskowe s\u0105 montowane jako udzia\u0142y NFS lub SMB (w zale\u017cno\u015bci od typu hipernadzorcy, zgadnij, kt\u00f3ry gdzie). A pod mask\u0105 to rozproszony system plik\u00f3w, kt\u00f3ry pozwala doda\u0107 funkcje pe\u0142nowarto\u015bciowych macierzy dyskowych: cienkie przydzielanie wolumen\u00f3w, kompresj\u0119 i deduplikacj\u0119, migawki wed\u0142ug technologii Redirect-on-Write, synchronizowan\u0105\/asynchronizowan\u0105 replikacj\u0119.<\/p>\n<p>Us\u0142uga VM udost\u0119pnia dost\u0119p do interfejsu WWW zarz\u0105dzania podsystemem HyperFlex. Istnieje integracja z vCenter, a wi\u0119kszo\u015b\u0107 codziennych zada\u0144 mo\u017ce by\u0107 wykonana z niego, ale datastory, na przyk\u0142ad, wygodniej jest konfigurowa\u0107 z oddzielnej strony internetowej, je\u015bli ju\u017c przeszed\u0142e\u015b na szybki interfejs HTML5, lub korzysta\u0107 z pe\u0142noprawnego klienta Flash z pe\u0142n\u0105 integracj\u0105. W serwisowej stronie internetowej mo\u017cna zobaczy\u0107 wydajno\u015b\u0107 i szczeg\u00f3\u0142owy status systemu.<\/p>\n<p><img decoding=\"async\" alt=\"Administrator bez r\u0105k = hiperogniwo?\" src=\"\/wp-content\/uploads\/2019\/10\/4f603b38d6489836892bebc76663eb2f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nIstnieje r\u00f3wnie\u017c inny typ w\u0119z\u0142\u00f3w w klastrze \u2014 w\u0119z\u0142y obliczeniowe. Mog\u0105 to by\u0107 serwery szafowe lub blade bez wbudowanych dysk\u00f3w. Na tych serwerach mo\u017cna uruchamia\u0107 VM, kt\u00f3rych dane s\u0105 przechowywane na serwerach z dyskami. Z punktu widzenia dost\u0119pu do danych nie ma r\u00f3\u017cnicy mi\u0119dzy typami w\u0119z\u0142\u00f3w, poniewa\u017c architektura zak\u0142ada abstrahowanie od fizycznej lokalizacji danych. Maksymalne proporcje w\u0119z\u0142\u00f3w obliczeniowych do w\u0119z\u0142\u00f3w pami\u0119ci to 2:1.<\/p>\n<p>Wykorzystanie w\u0119z\u0142\u00f3w obliczeniowych zwi\u0119ksza elastyczno\u015b\u0107 przy skalowaniu zasob\u00f3w klastra: nie musimy kupowa\u0107 dodatkowych w\u0119z\u0142\u00f3w z dyskami, je\u015bli potrzebujemy tylko CPU\/RAM. Ponadto mo\u017cemy doda\u0107 szafk\u0119 blade\u2019ow\u0105 i uzyska\u0107 oszcz\u0119dno\u015bci na rozmieszczeniu serwer\u00f3w w szafie.<\/p>\n<p>Ostatecznie mamy hiper-konwergentn\u0105 platform\u0119 z nast\u0119puj\u0105cymi funkcjami:<\/p>\n<ul>\n<li>Do 64 w\u0119z\u0142\u00f3w w klastrze (do 32 w\u0119z\u0142\u00f3w pami\u0119ci).<\/li>\n<li>Minimalna liczba w\u0119z\u0142\u00f3w w klastrze to trzy (dwa dla klastra Edge).<\/li>\n<li>Mechanizm redundancji danych: mirroring z czynnikiem replikacji 2 i 3.<\/li>\n<li>Metro-klaster.<\/li>\n<li>Asynchroniczna replikacja VM do innego klastra HyperFlex.<\/li>\n<li>Orkiestracja prze\u0142\u0105czania VM do zdalnego centrum danych.<\/li>\n<li>Natywne migawki przy u\u017cyciu technologii Redirect-on-Write.<\/li>\n<li>Do 1 PB pojemno\u015bci u\u017cytecznej przy czynniku replikacji 3 i bez uwzgl\u0119dniania deduplikacji. Czynnik replikacji 2 nie jest uwzgl\u0119dniany, poniewa\u017c nie jest to rozwi\u0105zanie dla powa\u017cnej sprzeda\u017cy.<\/li>\n<\/ul>\n<p>\nKolejna ogromna zaleta \u2014 prostota zarz\u0105dzania i wdra\u017cania. Wszystkie trudno\u015bci w konfiguracji serwer\u00f3w UCS bierze na siebie wyspecjalizowana VM, przygotowana przez in\u017cynier\u00f3w Cisco. <\/p>\n<h3>Konfiguracja testowego stendu:<\/h3>\n<p><\/p>\n<ul>\n<li>2 x Cisco UCS Fabric Interconnect 6248UP jako kontroler klastra i komponenty sieciowe (48 port\u00f3w, dzia\u0142aj\u0105cych w trybie Ethernet 10G\/FC 16G).<\/li>\n<li>Cztery serwery Cisco UCS HXAF240 M4.<\/li>\n<\/ul>\n<p>\nCharakterystyka serwer\u00f3w:<\/p>\n<p><\/p>\n<p>CPU<\/p>\n<p>2 x Intel \u00ae Xeon \u00ae E5-2690 v4<\/p>\n<p>RAM<\/p>\n<p>16 x 32GB DDR4-2400-MHz RDIMM\/PC4-19200\/dual rank\/x4\/1.2v<\/p>\n<p>Sie\u0107<\/p>\n<p>UCSC-MLOM-CSC-02 (VIC 1227). 2 porty 10G Ethernet<\/p>\n<p>HBA magazynu<\/p>\n<p>Cisco 12G Modular SAS Pass through Controller<\/p>\n<p>Dyski magazynowe<\/p>\n<p>1 x SSD Intel S3520 120 GB, 1 x SSD Samsung MZ-IES800D, 10 x SSD Samsung PM863a 960 GB<\/p>\n<p>\n<b class=\"spoiler_title\">Wi\u0119cej opcji konfiguracji<\/b>Opr\u00f3cz wybranego sprz\u0119tu, obecnie dost\u0119pne s\u0105 nast\u0119puj\u0105ce opcje:<\/p>\n<ul>\n<li>HXAF240c M5.<\/li>\n<li>Jeden lub dwa CPU od Intel Silver 4110 do Intel Platinum I8260Y. Dost\u0119pne drugie pokolenie.<\/li>\n<li>24 sloty pami\u0119ci, modu\u0142y od 16 GB RDIMM 2600 do 128 GB LRDIMM 2933.<\/li>\n<li>Od 6 do 23 dysk\u00f3w dla danych, jeden dysk podr\u0119czny, jeden systemowy i jeden dysk startowy.<\/li>\n<\/ul>\n<p>\n<b>Dyski pojemno\u015bciowe<\/b><\/p>\n<ul>\n<li>HX-SD960G61X-EV 960GB 2.5 inch Enterprise Value 6G SATA SSD (1X endurance) SAS 960 GB.<\/li>\n<li>HX-SD38T61X-EV 3.8TB 2.5 inch Enterprise Value 6G SATA SSD (1X endurance) SAS 3.8 TB.<\/li>\n<li>Dyski podr\u0119czne<\/li>\n<li>HX-NVMEXPB-I375 375GB 2.5 inch Intel Optane Drive, Extreme Perf &amp; Endurance.<\/li>\n<li>HX-NVMEHW-H1600* 1.6TB 2.5 inch Ent. Perf. NVMe SSD (3X endurance) NVMe 1.6 TB.<\/li>\n<li>HX-SD400G12TX-EP 400GB 2.5 inch Ent. Perf. 12G SAS SSD (10X endurance) SAS 400 GB.<\/li>\n<li>HX-SD800GBENK9** 800GB 2.5 inch Ent. Perf. 12G SAS SED SSD (10X endurance) SAS 800 GB.<\/li>\n<li>HX-SD16T123X-EP 1.6TB 2.5 inch Enterprise performance 12G SAS SSD (3X endurance).<\/li>\n<\/ul>\n<p>\n<b>Dyski systemowe \/ logi<\/b><\/p>\n<ul>\n<li>HX-SD240GM1X-EV 240GB 2.5 inch Enterprise Value 6G SATA SSD (wymaga aktualizacji).<\/li>\n<\/ul>\n<p>\n<b>Dyski startowe<\/b><\/p>\n<ul>\n<li>HX-M2-240GB 240GB SATA M.2 SSD SATA 240 GB.<\/li>\n<\/ul>\n<p>Po\u0142\u0105czenie z sieci\u0105 przez porty Ethernet 40G, 25G lub 10G. <\/p>\n<p>Jako FI mog\u0105 by\u0107 HX-FI-6332 (40G), HX-FI-6332-16UP (40G), HX-FI-6454 (40G\/100G).<\/p>\n<h3>Test<\/h3>\n<p>\nDo testowania subsystemu dyskowego u\u017cy\u0142em HCIBench 2.2.1. Jest to darmowe narz\u0119dzie, kt\u00f3re automatyzuje generacj\u0119 obci\u0105\u017cenia z kilku maszyn wirtualnych. Samo obci\u0105\u017cenie generowane jest przez standardowe fio. <\/p>\n<p>Nasz klaster sk\u0142ada si\u0119 z czterech w\u0119z\u0142\u00f3w, czynnik replikacji 3, wszystkie dyski Flash.<\/p>\n<p>Aby przetestowa\u0107, stworzy\u0142em cztery magazyny danych i osiem maszyn wirtualnych. W testach zapisu przewidziano scenariusz, w kt\u00f3rym dysk podr\u0119czny nie jest przepe\u0142niony.<\/p>\n<p>Wyniki test\u00f3w s\u0105 nast\u0119puj\u0105ce:<\/p>\n<p>100 % Odczyt 100 % Losowy<\/p>\n<p>0 % Odczyt 100 % Losowy<\/p>\n<p>Blok\/g\u0142\u0119boko\u015b\u0107 kolejki<\/p>\n<p>128<\/p>\n<p>256<\/p>\n<p>512<\/p>\n<p>1024<\/p>\n<p>2048<\/p>\n<p>128<\/p>\n<p>256<\/p>\n<p>512<\/p>\n<p>1024<\/p>\n<p>2048<\/p>\n<p>4K<\/p>\n<p>0,59 ms 213804 IOPS<\/p>\n<p>0,84 ms 303540 IOPS<\/p>\n<p>1,36 ms 374348 IOPS<\/p>\n<p>2,47 ms 414116 IOPS<\/p>\n<p><b>4,86 ms 420180 IOPS<\/b><\/p>\n<p>2,22 ms 57408 IOPS<\/p>\n<p>3,09 ms 82744 IOPS<\/p>\n<p>5,02 ms 101824 IOPS<\/p>\n<p>8,75 ms 116912 IOPS<\/p>\n<p><b>17,2 ms 118592 IOPS<\/b><\/p>\n<p>8K<\/p>\n<p>0,67 ms 188416 IOPS<\/p>\n<p>0,93 ms 273280 IOPS<\/p>\n<p>1,7 ms 299932 IOPS<\/p>\n<p>2,72 ms 376484 IOPS<\/p>\n<p><b>5,47 ms 373176 IOPS<\/b><\/p>\n<p>3,1 ms 41148 IOPS<\/p>\n<p>4,7 ms 54396 IOPS<\/p>\n<p>7,09 ms 72192 IOPS<\/p>\n<p><b>12,77 ms 80132 IOPS<\/b><\/p>\n<p>16K<\/p>\n<p>0,77 ms 164116 IOPS<\/p>\n<p>1,12 ms 228328 IOPS<\/p>\n<p>1,9 ms 268140 IOPS<\/p>\n<p><b>3,96 ms 258480 IOPS<\/b><\/p>\n<p>3,8 ms 33640 IOPS<\/p>\n<p>6,97 ms 36696 IOPS<\/p>\n<p><b>11,35 ms 45060 IOPS<\/b><\/p>\n<p>32K<\/p>\n<p>1,07 ms 119292 IOPS<\/p>\n<p>1,79 ms 142888 IOPS<\/p>\n<p><b>3,56 ms 143760 IOPS<\/b><\/p>\n<p>7,17 ms 17810 IOPS<\/p>\n<p><b>11,96 ms 21396 IOPS<\/b><\/p>\n<p>64K<\/p>\n<p>1,84 ms 69440 IOPS<\/p>\n<p>3,6 ms 71008 IOPS<\/p>\n<p><b>7,26 ms 70404 IOPS<\/b><\/p>\n<p><b>11,37 ms 11248 IOPS<\/b><\/p>\n<p><i>Pogrubione warto\u015bci wskazuj\u0105 na brak wzrostu wydajno\u015bci, czasami nawet widoczny jest spadek. Jest to zwi\u0105zane z ograniczeniami zwi\u0105zanymi z wydajno\u015bci\u0105 sieci\/kontroler\u00f3w\/dysk\u00f3w.<\/i><\/p>\n<ul>\n<li>Sekwencyjny odczyt 4432 MB\/s.<\/li>\n<li>Sekwencyjny zapis 804 MB\/s.<\/li>\n<li>W przypadku awarii jednego kontrolera (awaria maszyny wirtualnej lub hosta) spadek wydajno\u015bci wynosi dwa razy.<\/li>\n<li>W przypadku awarii dysku pami\u0119ci masowej spadek wynosi 1\/3. Przebudowa dysku zajmuje 5% zasob\u00f3w ka\u017cdego kontrolera.<\/li>\n<\/ul>\n<p>\nNa ma\u0142ym bloku napotykamy ograniczenia zwi\u0105zane z wydajno\u015bci\u0105 kontrolera (maszyna wirtualna), kt\u00f3ry jest obci\u0105\u017cony w 100%. W miar\u0119 zwi\u0119kszania bloku napotykamy ograniczenie przepustowo\u015bci port\u00f3w. 10 Gbit\/s jest niewystarczaj\u0105ce, by w pe\u0142ni wykorzysta\u0107 potencja\u0142 systemu AllFlash. Niestety, parametry dost\u0119pnego stanowiska demonstracyjnego nie pozwalaj\u0105 na sprawdzenie dzia\u0142ania przy 40 Gbit\/s.<\/p>\n<p>Z moich do\u015bwiadcze\u0144 z test\u00f3w i analizy architektury wynika, \u017ce dzi\u0119ki algorytmowi, kt\u00f3ry rozdziela dane pomi\u0119dzy wszystkimi hostami, uzyskujemy skalowaln\u0105, przewidywaln\u0105 wydajno\u015b\u0107, ale stanowi to r\u00f3wnie\u017c ograniczenie przy odczycie, poniewa\u017c z lokalnych dysk\u00f3w mogliby\u015bmy uzyskiwa\u0107 wi\u0119cej. Mo\u017ce to poprawi\u0107 wydajniejsza sie\u0107, na przyk\u0142ad dost\u0119pne s\u0105 FI na 40 Gbit\/s.<\/p>\n<p>R\u00f3wnie\u017c jeden dysk do pami\u0119ci podr\u0119cznej i deduplikacji mo\u017ce by\u0107 ograniczeniem; w tym stanowisku mo\u017cemy pisa\u0107 na czterech dyskach SSD. By\u0142oby \u015bwietnie, m\u00f3c zwi\u0119kszy\u0107 liczb\u0119 dysk\u00f3w podr\u0119cznych i zobaczy\u0107 r\u00f3\u017cnic\u0119.<\/p>\n<h3>Rzeczywiste wykorzystanie<\/h3>\n<p>\nDo organizacji zapasowego centrum danych mo\u017cna stosowa\u0107 dwa podej\u015bcia (nie bierzemy pod uwag\u0119 lokalizacji kopii zapasowej na zdalnej stronie):<\/p>\n<ol>\n<li>Active-Passive. Wszystkie aplikacje s\u0105 hostowane w g\u0142\u00f3wnym centrum danych. Replikacja jest synchronizowana lub asynchronizowana. W przypadku awarii g\u0142\u00f3wnego centrum danych musimy aktywowa\u0107 zapasowe. Mo\u017cna to zrobi\u0107 r\u0119cznie \/ skryptami \/ aplikacjami orkiestracyjnymi. Tutaj uzyskujemy RPO, kt\u00f3re jest por\u00f3wnywalne z cz\u0119stotliwo\u015bci\u0105 replikacji, a RTO zale\u017cy od reakcji i umiej\u0119tno\u015bci administratora oraz jako\u015bci opracowania \/ debugowania planu prze\u0142\u0105czenia.<\/li>\n<li>Active-Active. W tym przypadku istnieje tylko synchronizowana replikacja, dost\u0119pno\u015b\u0107 centr\u00f3w danych jest okre\u015blana przez kworum \/ arbitra, kt\u00f3rego umiejscowienie jest \u015bci\u015ble w trzecim miejscu. RPO = 0, a RTO mo\u017ce wynosi\u0107 0 (je\u015bli aplikacja na to pozwala) lub odpowiada\u0107 czasowi reakcji na awari\u0119 w\u0119z\u0142a w klastrze wirtualizacji. Na poziomie wirtualizacji tworzony jest rozci\u0105gni\u0119ty (Metro) klaster, kt\u00f3ry wymaga Active-Active macierzy.<\/li>\n<\/ol>\n<p>\nZazwyczaj widzimy u klient\u00f3w ju\u017c zrealizowan\u0105 architektur\u0119 z klasyczn\u0105 macierz\u0105 w g\u0142\u00f3wnym centrum danych, dlatego projektujemy jeszcze jedn\u0105 do replikacji. Jak ju\u017c wspomnia\u0142em, Cisco HyperFlex oferuje asynchroniczn\u0105 replikacj\u0119 i tworzenie rozci\u0105gni\u0119tego klastra wirtualizacji. Przy tym nie potrzebujemy dedykowanej macierzy klasy Midrange i wy\u017cszej z drogimi funkcjami replikacji i Active-Active dost\u0119pu do danych na dw\u00f3ch macierzach.<\/p>\n<p><b>Scenariusz 1:<\/b> Mamy g\u0142\u00f3wne i zapasowe centra danych, platforma wirtualizacji na VMware vSphere. Wszystkie produkty systemowe znajduj\u0105 si\u0119 w g\u0142\u00f3wnym centrum danych, a replikacja maszyn wirtualnych odbywa si\u0119 na poziomie hypervisor, co pozwala na to, aby VM by\u0142y wy\u0142\u0105czone w zapasowym centrum danych. Bazy danych i specjalne aplikacje replikujemy wbudowanymi narz\u0119dziami i utrzymujemy VM w\u0142\u0105czone. W przypadku awarii g\u0142\u00f3wnego centrum danych uruchamiamy systemy w zapasowym centrum danych. Uwa\u017camy, \u017ce mamy oko\u0142o 100 maszyn wirtualnych. Dop\u00f3ki dzia\u0142a g\u0142\u00f3wne centrum danych, w zapasowym centrum danych mo\u017cna uruchamia\u0107 \u015brodowiska testowe i inne systemy, kt\u00f3re mo\u017cna wy\u0142\u0105czy\u0107 w przypadku prze\u0142\u0105czenia g\u0142\u00f3wnego centrum danych. Mo\u017cliwa jest r\u00f3wnie\u017c opcja dwukierunkowej replikacji. Z punktu widzenia sprz\u0119tu nic si\u0119 nie zmieni.<\/p>\n<p>W przypadku tradycyjnej architektury w ka\u017cdym centrum danych zainstalujemy hybrydow\u0105 macierz dyskow\u0105 z dost\u0119pem przez FibreChannel, tieringiem, deduplikacj\u0105 i kompresj\u0105 (ale nie online), 8 serwer\u00f3w na ka\u017cde miejsce, po 2 prze\u0142\u0105czniki FibreChannel i Ethernet 10G. Do replikacji i zarz\u0105dzania prze\u0142\u0105czaniem w tradycyjnej architekturze mo\u017cemy u\u017cy\u0107 narz\u0119dzi VMware (Replication + SRM) lub zewn\u0119trznych narz\u0119dzi, kt\u00f3re b\u0119d\u0105 nieco ta\u0144sze i czasami wygodniejsze.<\/p>\n<p>Na rysunku przedstawiona jest schemat.<\/p>\n<p><img decoding=\"async\" alt=\"Administrator bez r\u0105k = hiperogniwo?\" src=\"\/wp-content\/uploads\/2019\/10\/e7a1ef66c0ae1a8cbb60d0411007d822.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nW przypadku u\u017cycia Cisco HyperFlex otrzymujemy nast\u0119puj\u0105c\u0105 architektur\u0119:<\/p>\n<p><img decoding=\"async\" alt=\"Administrator bez r\u0105k = hiperogniwo?\" src=\"\/wp-content\/uploads\/2019\/10\/71d58163728f37a163ec914b81dc73ab.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDla HyperFlex u\u017cy\u0142em serwer\u00f3w z du\u017cymi zasobami CPU\/RAM, poniewa\u017c cz\u0119\u015b\u0107 zasob\u00f3w p\u00f3jdzie na maszyn\u0119 wirtualn\u0105 kontrolera HyperFlex. W przypadku CPU i pami\u0119ci nawet nieco przeszacowa\u0142em w konfiguracji HyperFlex, aby nie zaprzedawa\u0107 si\u0119 w stron\u0119 Cisco i zapewni\u0107 zasoby dla pozosta\u0142ych maszyn wirtualnych. Dzi\u0119ki temu mo\u017cemy zrezygnowa\u0107 z prze\u0142\u0105cznik\u00f3w FibreChannel, a porty Ethernet nie b\u0119d\u0105 potrzebne dla ka\u017cdego serwera, lokalny ruch jest prze\u0142\u0105czany wewn\u0105trz FI.<\/p>\n<p>W rezultacie uzyskali\u015bmy nast\u0119puj\u0105c\u0105 konfiguracj\u0119 dla ka\u017cdego centrum danych:<\/p>\n<p>Serwery<\/p>\n<p>8 x 1U Server (384 GB RAM, 2 x Intel Gold 6132, FC HBA)<\/p>\n<p>8 x HX240C-M5L (512 GB RAM, 2 x Intel Gold 6150, 3,2 GB SSD, 10 x 6 TB NL-SAS)<\/p>\n<p>Macierz dyskowa<\/p>\n<p>Hybrydowa macierz dyskowa z FC Front-End (20TB SSD, 130 TB NL-SAS)<\/p>\n<p>\u2014<\/p>\n<p>LAN<\/p>\n<p>2 x prze\u0142\u0105cznik Ethernet 10G 12 port\u00f3w<\/p>\n<p>\u2014<\/p>\n<p>SAN<\/p>\n<p>2 x prze\u0142\u0105cznik FC 32\/16Gb 24 porty<\/p>\n<p>2 x Cisco UCS FI 6332<\/p>\n<p>Licencje<\/p>\n<p>VMware Ent Plus<\/p>\n<p><\/p>\n<p>Replikacja i\/lub orkiestracja prze\u0142\u0105czania maszyn wirtualnych<\/p>\n<p>VMware Ent Plus<\/p>\n<p>Dla Hyperflex nie uwzgl\u0119dni\u0142em licencji na oprogramowanie do replikacji, poniewa\u017c mamy to dost\u0119pne z pude\u0142ka.<\/p>\n<p>Dla tradycyjnej architektury wybra\u0142em dostawc\u0119, kt\u00f3ry zdoby\u0142 renom\u0119 jako jako\u015bciowy i niedrogi producent. Dla obu opcji zastosowa\u0142em standardowe dla konkretnego rozwi\u0105zania zni\u017cki, a na ko\u0144cu uzyska\u0142em rzeczywiste ceny. <\/p>\n<p>Rozwi\u0105zanie na Cisco HyperFlex okaza\u0142o si\u0119 o 13% ta\u0144sze.<\/p>\n<p><b>Scenariusz 2:<\/b> utworzenie dw\u00f3ch aktywnych centr\u00f3w danych. W tym scenariuszu projektujemy rozwleczony klaster na VMware. <\/p>\n<p>Klasyczna architektura sk\u0142ada si\u0119 z serwer\u00f3w wirtualizacji, SAN (protok\u00f3\u0142 FC) oraz dw\u00f3ch macierzy dyskowych, kt\u00f3re potrafi\u0105 czyta\u0107 i pisa\u0107 na tym, co jest rozwleczone mi\u0119dzy nimi. Na ka\u017cdej macierzy dyskowej uwzgl\u0119dniamy pojemno\u015b\u0107 u\u017cyteczn\u0105 dla lokalizacji.<\/p>\n<p><img decoding=\"async\" alt=\"Administrator bez r\u0105k = hiperogniwo?\" src=\"\/wp-content\/uploads\/2019\/10\/c3830f5bab128b724d94e727218b21b5.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n <br \/>\nW HyperFlex po prostu tworzymy Stretch Cluster z tak\u0105 sam\u0105 liczb\u0105 w\u0119z\u0142\u00f3w na obu lokalizacjach. W tym przypadku u\u017cywany jest wsp\u00f3\u0142czynnik replikacji 2+2.<\/p>\n<p><img decoding=\"async\" alt=\"Administrator bez r\u0105k = hiperogniwo?\" src=\"\/wp-content\/uploads\/2019\/10\/6351c830c3fba60dc4e71a9a4245ec6f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n <br \/>\nUzyskali\u015bmy nast\u0119puj\u0105c\u0105 konfiguracj\u0119:<\/p>\n<p>Klasyczna architektura<\/p>\n<p>HyperFlex<\/p>\n<p>Serwery<\/p>\n<p>16 x 1U Server (384 GB RAM, 2 x Intel Gold 6132, FC HBA, 2 x 10G NIC)<\/p>\n<p>16 x HX240C-M5L (512 GB RAM, 2 x Intel Gold 6132, 1,6 TB NVMe, 12 x 3,8 TB SSD, VIC 1387)<\/p>\n<p>Macierz dyskowa<\/p>\n<p>2 x AllFlash macierz dyskowa (150 TB SSD)<\/p>\n<p>\u2014<\/p>\n<p>LAN<\/p>\n<p>4 x prze\u0142\u0105cznik Ethernet 10G 24 porty<\/p>\n<p>\u2014<\/p>\n<p>SAN<\/p>\n<p>4 x prze\u0142\u0105cznik FC 32\/16Gb 24 porty<\/p>\n<p>4 x Cisco UCS FI 6332<\/p>\n<p>Licencje<\/p>\n<p>VMware Ent Plus<\/p>\n<p>VMware Ent Plus<\/p>\n<p>Wszystkie obliczenia nie uwzgl\u0119dnia\u0142y infrastruktury sieciowej, koszt\u00f3w zwi\u0105zanych z centrum danych itp.: b\u0119d\u0105 one takie same zar\u00f3wno dla klasycznej architektury, jak i dla rozwi\u0105zania opartego na HyperFlex.<\/p>\n<p>Koszt HyperFlex by\u0142 o 5% wy\u017cszy. Nale\u017cy zauwa\u017cy\u0107, \u017ce w przypadku zasob\u00f3w CPU\/RAM mia\u0142em dla Cisco nier\u00f3wnowag\u0119, poniewa\u017c w konfiguracji r\u00f3wnomiernie zape\u0142nia\u0142em kana\u0142y kontroler\u00f3w pami\u0119ci. Koszt jest nieco wy\u017cszy, ale nie w dramatycznym stopniu, co wyra\u017anie wskazuje, \u017ce hiperkonwergencja nie musi by\u0107 \u201ezabaw\u0105 dla bogatych\u201d i mo\u017ce konkurowa\u0107 z tradycyjnym podej\u015bciem do budowy centrum danych. Mo\u017ce to by\u0107 r\u00f3wnie\u017c interesuj\u0105ce dla tych, kt\u00f3rzy ju\u017c posiadaj\u0105 serwery Cisco UCS oraz odpowiedni\u0105 infrastruktur\u0119 do nich. <\/p>\n<p>Z zaletami otrzymujemy brak koszt\u00f3w administracji SAN i macierzy dyskowych, kompresj\u0119 online i deduplikacj\u0119, jeden punkt kontaktowy dla wsparcia (wirtualizacja, serwery, kt\u00f3re s\u0105 r\u00f3wnie\u017c macierzami dyskowymi), oszcz\u0119dno\u015b\u0107 miejsca (ale nie we wszystkich scenariuszach), uproszczenie eksploatacji.<\/p>\n<p>Je\u015bli chodzi o wsparcie, to otrzymujecie je od jednego dostawcy \u2014 Cisco. S\u0105dz\u0105c po do\u015bwiadczeniach z serwerami Cisco UCS, kt\u00f3re mi si\u0119 podobaj\u0105, w HyperFlex nie musia\u0142em interweniowa\u0107, wszystko dzia\u0142a\u0142o. In\u017cynierowie odpowiadaj\u0105 szybko i potrafi\u0105 rozwi\u0105zywa\u0107 nie tylko typowe problemy, ale tak\u017ce trudne przypadki graniczne. Czasem zwracam si\u0119 do nich z pytaniami: \"Czy mo\u017cna to zrobi\u0107, pod\u0142\u0105czy\u0107 to?\" lub \"Skonfigurowa\u0142em co\u015b tutaj i nie chce dzia\u0142a\u0107. Pomocy!\" \u2014 cierpliwie znajd\u0105 odpowiedni przewodnik i wska\u017c\u0105 w\u0142a\u015bciwe dzia\u0142ania, nie odpowiedz\u0105: \"Rozwi\u0105zujemy tylko problemy sprz\u0119towe\".<\/p>\n<h3>Linki<\/h3>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.cisco.com\/c\/dam\/en\/us\/products\/collateral\/hyperconverged-infrastructure\/hyperflex-hx-series\/hxaf-240c-m5-specsheet.pdf\">Specyfikacje<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/croc\/blog\/146536\/\">Wirtualne centrum danych<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/croc\/blog\/342820\/\">Centrum danych w biurku<\/a><\/noindex><\/li>\n<li>M\u00f3j adres e-mail to StGeneralov@croc.ru<\/li>\n<\/ul>\n<p>\u0179r\u00f3d\u0142o: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/croc\/blog\/471508\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u042d\u0442\u043e \u043c\u0438\u0444, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0439 \u0432 \u0441\u0444\u0435\u0440\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0433\u043e \u0436\u0435\u043b\u0435\u0437\u0430. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0436\u0435 \u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0442\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f (\u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0451 \u0432 \u043e\u0434\u043d\u043e\u043c) \u043d\u0443\u0436\u043d\u044b \u043c\u043d\u043e\u0433\u043e \u0434\u043b\u044f \u0447\u0435\u0433\u043e. \u0418\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043b\u043e\u0436\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0431\u044b\u043b\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b Amazon \u0438 Google \u043f\u043e\u0434 \u0441\u0432\u043e\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u044b. \u0422\u043e\u0433\u0434\u0430 \u0438\u0434\u0435\u044f \u0431\u044b\u043b\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0444\u0435\u0440\u043c\u0443 \u0438\u0437 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0443\u0437\u043b\u043e\u0432, \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0434\u0438\u0441\u043a\u0438. \u0412\u0441\u0451 \u044d\u0442\u043e [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":29233,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-38966","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"pl_PL\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0410\u0434\u043c\u0438\u043d \u0431\u0435\u0437 \u0440\u0443\u043a = \u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f? | ProHoster\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T19:27:03+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T19:27:03+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Administrator bez r\u0105k = hiperkonwergencja? | ProHoster","description":"","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0410\u0434\u043c\u0438\u043d \u0431\u0435\u0437 \u0440\u0443\u043a = \u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f? | ProHoster","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:27:03+00:00","article:modified_time":"2019-10-31T19:27:03+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"38966","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 00:12:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 00:59:27","updated":"2026-01-24 00:12:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/38966","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=38966"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/38966\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/29233"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=38966"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=38966"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=38966"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}