{"id":38966,"date":"2019-10-31T22:27:03","date_gmt":"2019-10-31T19:27:03","guid":{"rendered":"https:\/\/prohoster.info\/blog\/admin-bez-ruk-giperkonvergentsiya\/"},"modified":"2019-10-31T22:27:03","modified_gmt":"2019-10-31T19:27:03","slug":"admin-bez-ruk-giperkonvergentsiya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya","title":{"rendered":"Admin ilma k\u00e4ed = h\u00fcperkonvergents?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><img decoding=\"async\" alt=\"Admin ilma k\u00e4ed = h\u00fcperkonvergents?\" src=\"\/wp-content\/uploads\/2019\/10\/ea1763132185c97bb4edf0e67640d58f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<img decoding=\"async\" alt=\"Admin ilma k\u00e4ed = h\u00fcperkonvergents?\" src=\"\/wp-content\/uploads\/2019\/10\/b6355c444c310570e1f2619cd931e1ca.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nSee on m\u00fc\u00fct, mis on serveritehnika valdkonnas suhteliselt levinud. Praktiliselt on h\u00fcperkonvergeeritud lahendused (kui k\u00f5ik on \u00fches) vajalikud paljuski. Ajalooliselt on esimesed arhitektuurid v\u00e4lja t\u00f6\u00f6tanud Amazon ja Google oma teenuste jaoks. Siis oli m\u00f5te luua arvutifarmer \u00fchetaolistest s\u00f5lmedest, millest iga\u00fchel on oma kettad. K\u00f5ik see \u00fchendati mingi s\u00fcsteemitekitava tarkvaraga (h\u00fcperviisor) ja jagati seej\u00e4rel virtuaalsete masinate vahel. Peamine \u00fclesanne \u2014 minimaalne vaeva \u00fche s\u00f5lme hooldamiseks ja minimaalne probleemide arv skaleerimisel: lihtsalt osteti veel tuhat-kaks sellist serverit ja \u00fchendati ritta. Praktiliselt on need \u00fcksikud juhud, ja palju sagedamini r\u00e4\u00e4gitakse v\u00e4iksemast s\u00f5lmede arvust ja pisut teisest arhitektuurist. <\/p>\n<p>Kuid pluss j\u00e4\u00e4b samaks \u2014 uskumatult lihtne skaleerimine ja haldamine. Miinus \u2014 erinevad \u00fclesanded tarbivad ressursse erinevalt, ja kuskile on palju kohalikke kettaid, kuskile v\u00e4he RAM-i ja nii edasi, st erinevat t\u00fc\u00fcpi \u00fclesannete korral langeb ressursi kasutus. <\/p>\n<p>Selgus, et maksate 10\u201315% rohkem mugavuse seadistamise eest. Just see t\u00f5i kaasa siin nimetatud m\u00fc\u00fcdi. Otsisime pikka aega, kus saaks tehnoloogiat optimaalselt rakendada, ja leidsime. Asi on selles, et Ciscol ei olnud oma andmesalvestuss\u00fcsteeme, kuid nad soovisid t\u00e4ielikku serveriturgu. Ja nad tegid Cisco Hyperflex \u2014 lahendus kohalike salvestustega s\u00f5lmedel. <\/p>\n<p>Ja sellest tulenevalt sai v\u00e4ga hea lahenduse \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u044b\u0445 \u0434\u0430\u0442\u0430-\u0446\u0435\u043d\u0442\u0440\u043e\u0432 (Disaster Recovery). Miks ja kuidas \u2014 r\u00e4\u00e4gin n\u00fc\u00fcd. Ja n\u00e4itan klastrite teste. <noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h3>Kus on vajalik<\/h3>\n<p>\nH\u00fcperkonvergeeritus \u2014 see on: <\/p>\n<ol>\n<li>Kettade viimine arvutis\u00f5lmedesse.<\/li>\n<li>T\u00e4pne integratsioon andmesalvestuse alamprogrammi ja virtualiseerimise alamprogrammi vahel.<\/li>\n<li>Viimine\/integratsioon v\u00f5rgu alamprogrammi.<\/li>\n<\/ol>\n<p>\nSelline paar v\u00f5imaldab rakendada paljusid andmesalvestuse funktsioone virtualiseerimise tasandil ja k\u00f5ik \u00fchest haldusaknast.<\/p>\n<p>Meie ettev\u00f5ttes on v\u00e4ga n\u00f5utud projektid reservdata keskustest ja sageli valitakse just h\u00fcperkonvergeeritud lahendus t\u00e4nu kohutavalt paljudele replikatsiooni v\u00f5imalustele (kuni metroklaster) kastist v\u00e4lja. <\/p>\n<p>Varuv\u00e4ravakeskuste puhul r\u00e4\u00e4gitakse tavaliselt kaugobjektist, mis asub linnas v\u00f5i isegi teises linnas. See v\u00f5imaldab taastada kriitilised s\u00fcsteemid p\u00f5hiv\u00e4ravakeskuse osalise v\u00f5i t\u00e4ieliku rikke korral. Andmed replikeeritakse pidevalt m\u00fc\u00fcgiserverist, ja see replikatsioon v\u00f5ib toimuda rakenduse tasemel v\u00f5i plokkseadmestiku tasemel (SAN).<\/p>\n<p>Seet\u00f5ttu r\u00e4\u00e4gin n\u00fc\u00fcd s\u00fcsteemi struktuurist ja testidest, ja seej\u00e4rel \u2014 paarist tegeliku rakenduse stsenaariumist koos kokkuhoidu puudutavate andmetega. <\/p>\n<h3>Testid<\/h3>\n<p>\nMeie mudel koosneb neljast serverist, milles on iga\u00fches 10 SSD-diski, mille suurus on 960 GB. On eraldatud ketas kirjutamise ja teenindava virtuaalmasina operatsioonide vahem\u00e4luks. Lahendus ise on neljas versioon. Esimene oli avatud toode (kohtuotsuste alusel), teine oli samuti ebastabiilne, kolmas oli juba piisavalt stabiilne, ja seda saab nimetada v\u00e4ljalaskeversiooniks p\u00e4rast avaliku beetatesti l\u00f5ppu. Testimise ajal ei m\u00e4rganud ma probleeme, k\u00f5ik t\u00f6\u00f6tab nagu kell.<\/p>\n<p><b class=\"spoiler_title\">Muutused v4-s<\/b>Palju vigu on parandatud. <\/p>\n<p>Alguses suutis platvorm t\u00f6\u00f6tada ainult h\u00fcpervisoriga VMware ESXi ja toetas v\u00e4ikest arvu node. Samuti ei l\u00f5ppenud juurutamisprotsess kaugeltki alati edukalt, m\u00f5ningaid etappe tuli taas k\u00e4ivitada, esines probleeme vanematelt versioonidelt uuendamisel, andmeid GUI-s ei kuvatud alati \u00f5igesti (kuigi ma ei ole praegugi graafikute kuvamise osas k\u00fcll rahul), m\u00f5nikord esines probleeme virtualiseerimisega.<\/p>\n<p>Praegu on k\u00f5ik lastehaigused parandatud, HyperFlex toetab nii ESXi-d kui ka Hyper-V-d, lisaks on v\u00f5imalik:<\/p>\n<ol>\n<li>Laiendatud klastri loomine. <\/li>\n<li>Klastri loomine kontorite jaoks ilma Fabric Interconnecti kasutamiseta, kahe kuni nelja nodega (ostame ainult serverid).<\/li>\n<li>V\u00f5ime t\u00f6\u00f6tada v\u00e4liste SAN-idega.<\/li>\n<li>Konteinerite ja Kubernetes'e tugi.<\/li>\n<li>Saadavuspiirkondade loomine.<\/li>\n<li>Integreerimine VMware SRM-iga, kui sisseehitatud funktsioon ei rahulda.<\/li>\n<\/ol>\n<p>Arhitektuur ei erine oluliselt peamistest konkurentidest, uut ratast pole loodud. See t\u00f6\u00f6tab virtuelleerimise platvormil VMware v\u00f5i Hyper-V. F\u00fc\u00fcsiliselt on see paigutatud Cisco UCSi enda v\u00e4ljat\u00f6\u00f6tatud serveritesse. On inimesi, kes vihkavad platvormi selle suhtelise keerukuse, rohkete nuppude, keerulise mallide ja s\u00f5ltuvuste s\u00fcsteemi t\u00f5ttu, kuid leidub ka neid, kes on saavutanud zen'i, on ideest haaranud ja ei soovi enam teiste serveritega t\u00f6\u00f6tada. <\/p>\n<p>K\u00e4sitleme just VMware lahendust, kuna see lahendus loodi algselt selle jaoks ja omab suuremat funktsionaalsust; Hyper-V-d on hiljem t\u00e4iustatud, et mitte konkurentidest maha j\u00e4\u00e4da ja turu ootustele vastata.<\/p>\n<p>On olemas klaster serveritest, mis on t\u00e4idetud ketastega. Andmete salvestamiseks on ketas (SSD v\u00f5i HDD \u2014 teie valik ja vajadused), seal on \u00fcks SSD-ketas vahem\u00e4llu salvestamiseks. Andmete kirjutamisel andmestoori salvestatakse andmed vahem\u00e4lu kihile (p\u00fchendatud SSD-ketas ja RAM teenindus-VM). Samal ajal saadetakse andmepakk s\u00f5lmedesse klastri sees (s\u00f5lmede arv s\u00f5ltub klastri replikatsiooni tegurist). P\u00e4rast k\u00f5igilt s\u00f5lmedelt edu t\u00f5endamist saadetakse kirjutamise kinnitus h\u00fcperviisorile ja seej\u00e4rel \u2014 VM-le. Salvestatud andmeid deduplitseeritakse, tihendatakse ja salvestatakse salvestusketastele taustal. Sel juhul kirjutatakse alati suur plokk salvestusketastele j\u00e4rjestikku, mis v\u00e4hendab nende koormust.<\/p>\n<p>Deduplikatsioon ja tihendamine on pidevalt lubatud ja neid ei saa v\u00e4lja l\u00fclitada. Andmete lugemine toimub otse salvestusketastelt v\u00f5i RAM-i vahem\u00e4lu kaudu. Kui kasutatakse h\u00fcbriidkonfiguratsiooni, siis ka lugemine vahem\u00e4lust SSD-ketast.<\/p>\n<p>Andmed ei ole seotud virtuaalmasina praeguse asukohaga ja jaotatakse s\u00f5lmede vahel \u00fchtlaselt. Selline l\u00e4henemine v\u00f5imaldab koormata k\u00f5iki kettaid ja v\u00f5rgu liidesi \u00fchtlaselt. T\u00f5ukab selgelt esile miinus: me ei saa lugemise viivitust maksimaalselt v\u00e4hendada, kuna puudub garantii, et andmed asuvad kohalikult. Kuid ma arvan, et see on t\u00fchine ohver saadud plusside v\u00f5rreldes. Eriti kuna v\u00f5rgu viivitused on saavutanud selliseid suurusi, et praktiliselt ei m\u00f5juta \u00fcldist tulemust.<\/p>\n<p>Kogu diskialtistiku t\u00f6\u00f6logika eest vastutab spetsiaalne teenus-WM Cisco HyperFlex Data Platform controller, mis luuakse igas salvestusnode'is. Meie konfiguratsioonis on teenus-WM-le eraldatud kaheksa vCPU-d ja 72 GB RAM-i, mis ei ole sugugi v\u00e4he. Tuletan meelde, et hostil on 28 f\u00fc\u00fcsilist s\u00fcdamikku ja 512 GB RAM-i.<\/p>\n<p>Teenuse-WM-ile on otse f\u00fc\u00fcsilistele kettale juurdep\u00e4\u00e4s SAS-kontrolleri edastamise kaudu WM-is. Suhtlemine h\u00fcperviisoriga toimub spetsiaalse IOVisor mooduli kaudu, mis p\u00fc\u00fcab kinni sisendi-v\u00e4ljundi toimingud, ja agendi abil, mis v\u00f5imaldab anda k\u00e4ske h\u00fcperviisori API-le. Agent on vastutav HyperFlex-i snapshotide ja kloonide haldamise eest.<\/p>\n<p>H\u00fcperviisorisse on diskiresursid monteeritud kui NFS- v\u00f5i SMB-jagamised (s\u00f5ltub h\u00fcperviisori t\u00fc\u00fcbist, proovige \u00e4ra arvata, mis kus). Aga selle all on jaotatud failis\u00fcsteem, mis v\u00f5imaldab lisada t\u00e4iendavaid funktsioone t\u00e4iskasvanute t\u00f5sistele salvestuss\u00fcsteemidele: peene mahu eraldumise, pigistamise ja deduplikatsiooni, Redirect-on-Write tehnoloogia p\u00f5hiseid snapshots, s\u00fcnkroonset\/ as\u00fcnkroonset replikatsiooni.<\/p>\n<p>Teenuse-WM pakub juurdep\u00e4\u00e4su HyperFlex s\u00fcsteemi haldamise veebiliidesele. On olemas integreerimine vCenter'iga, ja enamus igap\u00e4evaseid \u00fclesandeid saab sealt t\u00e4ita, kuid datastooride jagamist on mugavam teha eraldi veebiliidesest, kui olete juba kiirele HTML5- liidesele \u00fcle l\u00e4inud, v\u00f5i kasutada t\u00e4ie\u00f5iguslikku Flash-klienti t\u00e4ie integreerimisega. Teenuse veebiliideses on v\u00f5imalik vaadata s\u00fcsteemi j\u00f5udlust ja t\u00e4pset staatust.<\/p>\n<p><img decoding=\"async\" alt=\"Admin ilma k\u00e4ed = h\u00fcperkonvergents?\" src=\"\/wp-content\/uploads\/2019\/10\/4f603b38d6489836892bebc76663eb2f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nKlastris on olemas ka teine t\u00fc\u00fcp node'id - arvutusnode'id. Need v\u00f5ivad olla 19. v\u00f5i blade-serverid ilma sisseehitatud kettaideta. Nendel serveritel saab k\u00e4itada WM-e, mille andmed on salvestatud ketastega serverites. Andmetele juurdep\u00e4\u00e4su osas pole t\u00fc\u00fcpide vahel mingit erinevust, kuna arhitektuur eeldab andmete f\u00fc\u00fcsilisest asukohast abstraktsiooni. Arvutusnode'ide ja salvestusnode'ide maksimaalne suhe on 2:1.<\/p>\n<p>Arvutusnode'ide kasutamine suurendab klassiressursside skaleerimise paindlikkust: me ei pea tingimata ostma ketastega node'e, kui meie vajadus on ainult CPU\/RAM. Lisaks saame lisada blade-korvi ja saavutada kokkuhoidu serverite paigutamisel riiulis.<\/p>\n<p>Kokkuv\u00f5ttes on meil h\u00fcperkonvergeeritud platvorm j\u00e4rgmiste funktsioonidega:<\/p>\n<ul>\n<li>Klasstris, kus on kuni 64 s\u00f5lme (kuni 32 salvestuss\u00f5lme).<\/li>\n<li>Klasstri minimaalne s\u00f5lmede arv on kolm (kaks \u2013 Edge-klasstri jaoks).<\/li>\n<li>Andmete \u00fclej\u00e4\u00e4kide mehhanism: peegeldamine replikatsiooni faktoriga 2 ja 3.<\/li>\n<li>Metro-klasstri.<\/li>\n<li>As\u00fcnkroonne VM replikatsioon teisele HyperFlex-klasstrile.<\/li>\n<li>VM-i \u00fclekande orkestreerimine kauguses asuvasse andmekeskusesse.<\/li>\n<li>Kohalikud j\u00e4\u00e4dvustused Redirect-on-Write tehnoloogia alusel.<\/li>\n<li>Kuni 1 PB kasulikku ruumi replikatsiooni faktoriga 3 ja ilma dedupikatsioonita. Replikatsiooni faktor 2 ei ole arvestatud, kuna see ei ole t\u00f5siste m\u00fc\u00fckide jaoks sobiv variant.<\/li>\n<\/ul>\n<p>\nVeel \u00fcks suur pluss on haldamise ja seadistamise lihtsus. K\u00f5ik UCS-serverite seadistamise keerukused lahendab spetsialiseeritud VM, mille on ette valmistanud Cisco insenerid. <\/p>\n<h3>Testseina konfiguratsioon:<\/h3>\n<p><\/p>\n<ul>\n<li>2 x Cisco UCS Fabric Interconnect 6248UP juht- ja v\u00f5rgukomponentide jaoks (48 porti, t\u00f6\u00f6tades Ethernet 10G\/FC 16G re\u017eiimis).<\/li>\n<li>Neli Cisco UCS HXAF240 M4 serverit.<\/li>\n<\/ul>\n<p>\nServerite omadused:<\/p>\n<p><\/p>\n<p>CPU<\/p>\n<p>2 x Intel \u00ae Xeon \u00ae E5-2690 v4<\/p>\n<p>RAM<\/p>\n<p>16 x 32GB DDR4-2400-MHz RDIMM\/PC4-19200\/dual rank\/x4\/1.2v<\/p>\n<p>V\u00f5rk<\/p>\n<p>UCSC-MLOM-CSC-02 (VIC 1227). 2 porti 10G Ethernet<\/p>\n<p>Salvestuse HBA<\/p>\n<p>Cisco 12G Modular SAS Pass through Controller<\/p>\n<p>Salvestusketta<\/p>\n<p>1 x SSD Intel S3520 120 GB, 1 x SSD Samsung MZ-IES800D, 10 x SSD Samsung PM863a 960 GB<\/p>\n<p>\n<b class=\"spoiler_title\">Rohkem konfiguratsiooni valikuid<\/b>Valitud riistvara k\u00f5rval on praegu saadaval j\u00e4rgmised valikud:<\/p>\n<ul>\n<li>HXAF240c M5.<\/li>\n<li>\u00dcks v\u00f5i kaks CPU-d alates Intel Silver 4110 kuni Intel Platinum I8260Y. Saadaval on teine p\u00f5lvkond.<\/li>\n<li>24 m\u00e4lu pesa, m\u00e4lupulgad alates 16 GB RDIMM 2600 kuni 128 GB LRDIMM 2933.<\/li>\n<li>6\u201323 andmeketast, \u00fcks vahem\u00e4lu ketas, \u00fcks s\u00fcsteemi ja \u00fcks k\u00e4ivituskettas.<\/li>\n<\/ul>\n<p>\n<b>Kapasiteedi ketaste<\/b><\/p>\n<ul>\n<li>HX-SD960G61X-EV 960GB 2,5 tolli ettev\u00f5tte v\u00e4\u00e4rtus 6G SATA SSD (1X vastupidavus) SAS 960 GB.<\/li>\n<li>HX-SD38T61X-EV 3.8TB 2,5 tolli ettev\u00f5tte v\u00e4\u00e4rtus 6G SATA SSD (1X vastupidavus) SAS 3.8 TB.<\/li>\n<li>Vahem\u00e4lu kettad<\/li>\n<li>HX-NVMEXPB-I375 375GB 2,5 tolli Intel Optane Drive, \u00e4\u00e4rmine j\u00f5udlus ja vastupidavus.<\/li>\n<li>HX-NVMEHW-H1600* 1,6TB 2,5 tolli ettev\u00f5tte j\u00f5udluse NVMe SSD (3X vastupidavus) NVMe 1,6 TB.<\/li>\n<li>HX-SD400G12TX-EP 400GB 2,5 tolli ettev\u00f5tte j\u00f5udlus 12G SAS SSD (10X vastupidavus) SAS 400 GB.<\/li>\n<li>HX-SD800GBENK9** 800GB 2,5 tolli ettev\u00f5tte j\u00f5udlus 12G SAS SED SSD (10X vastupidavus) SAS 800 GB.<\/li>\n<li>HX-SD16T123X-EP 1,6TB 2,5 tolli ettev\u00f5tte j\u00f5udluse 12G SAS SSD (3X vastupidavus).<\/li>\n<\/ul>\n<p>\n<b>S\u00fcsteemi\/Logi kettad<\/b><\/p>\n<ul>\n<li>HX-SD240GM1X-EV 240GB 2,5 tolli ettev\u00f5tte v\u00e4\u00e4rtus 6G SATA SSD (n\u00f5uab v\u00e4rskendamist).<\/li>\n<\/ul>\n<p>\n<b>K\u00e4ivituskettad<\/b><\/p>\n<ul>\n<li>HX-M2-240GB 240GB SATA M.2 SSD SATA 240 GB.<\/li>\n<\/ul>\n<p>\u00dchendamine v\u00f5rguga 40G, 25G v\u00f5i 10G Etherneti portide kaudu. <\/p>\n<p>FI-na v\u00f5ivad olla HX-FI-6332 (40G), HX-FI-6332-16UP (40G), HX-FI-6454 (40G\/100G).<\/p>\n<h3>Test<\/h3>\n<p>\nDiskialumise testimiseks kasutasin HCIBench 2.2.1. See on tasuta utiliit, mis v\u00f5imaldab automatiseerida koormate loomist mitmest virtuaalsest masina. Koormus genereeritakse tavalise fio kaudu. <\/p>\n<p>Meie klasster koosneb neljast s\u00f5lmest, replikatsiooni faktor 3, k\u00f5ik kettad on Flash.<\/p>\n<p>Testimiseks l\u00f5in ma neli andmestikku ja kaheksa virtuaalset masinat. Kirjutamiseks testimise korral on planeeritud variant, kus vahem\u00e4lu ketas ei t\u00e4itu.<\/p>\n<p>Testitulemused on j\u00e4rgmised:<\/p>\n<p>100 % Lugemine 100 % Juhuslik<\/p>\n<p>0 % Lugemine 100% Juhuslik<\/p>\n<p>Blokk \/ j\u00e4rjekorra s\u00fcgavus<\/p>\n<p>128<\/p>\n<p>256<\/p>\n<p>512<\/p>\n<p>1024<\/p>\n<p>2048<\/p>\n<p>128<\/p>\n<p>256<\/p>\n<p>512<\/p>\n<p>1024<\/p>\n<p>2048<\/p>\n<p>4K<\/p>\n<p>0,59 ms 213804 IOPS<\/p>\n<p>0,84 ms 303540 IOPS<\/p>\n<p>1,36 ms 374348 IOPS<\/p>\n<p>2,47 ms 414116 IOPS<\/p>\n<p><b>4,86 ms 420180 IOPS<\/b><\/p>\n<p>2,22 ms 57408 IOPS<\/p>\n<p>3,09 ms 82744 IOPS<\/p>\n<p>5,02 ms 101824 IOPS<\/p>\n<p>8,75 ms 116912 IOPS<\/p>\n<p><b>17,2 ms 118592 IOPS<\/b><\/p>\n<p>8K<\/p>\n<p>0,67 ms 188416 IOPS<\/p>\n<p>0,93 ms 273280 IOPS<\/p>\n<p>1,7 ms 299932 IOPS<\/p>\n<p>2,72 ms 376484 IOPS<\/p>\n<p><b>5,47 ms 373176 IOPS<\/b><\/p>\n<p>3,1 ms 41148 IOPS<\/p>\n<p>4,7 ms 54396 IOPS<\/p>\n<p>7,09 ms 72192 IOPS<\/p>\n<p><b>12,77 ms 80132 IOPS<\/b><\/p>\n<p>16K<\/p>\n<p>0,77 ms 164116 IOPS<\/p>\n<p>1,12 ms 228328 IOPS<\/p>\n<p>1,9 ms 268140 IOPS<\/p>\n<p><b>3,96 ms 258480 IOPS<\/b><\/p>\n<p>3,8 ms 33640 IOPS<\/p>\n<p>6,97 ms 36696 IOPS<\/p>\n<p><b>11,35 ms 45060 IOPS<\/b><\/p>\n<p>32K<\/p>\n<p>1,07 ms 119292 IOPS<\/p>\n<p>1,79 ms 142888 IOPS<\/p>\n<p><b>3,56 ms 143760 IOPS<\/b><\/p>\n<p>7,17 ms 17810 IOPS<\/p>\n<p><b>11,96 ms 21396 IOPS<\/b><\/p>\n<p>64K<\/p>\n<p>1,84 ms 69440 IOPS<\/p>\n<p>3,6 ms 71008 IOPS<\/p>\n<p><b>7,26 ms 70404 IOPS<\/b><\/p>\n<p><b>11,37 ms 11248 IOPS<\/b><\/p>\n<p><i>Raske kirjete paksus, p\u00e4rast mida j\u00f5udlus ei parane, isegi v\u00f5ib n\u00e4ha halvenemist. See on seotud sellega, et me j\u00f5uame v\u00f5rgu \/ kontrollide \/ ketaste j\u00f5udlusse.<\/i><\/p>\n<ul>\n<li>J\u00f5udlus lugemise j\u00e4rjekorras 4432 MB\/s.<\/li>\n<li>J\u00f5udlus kirjutamise j\u00e4rjekorras 804 MB\/s.<\/li>\n<li>\u00dche kontrolli (virtuaalmasina v\u00f5i hosti) eba\u00f5nnestumise korral on j\u00f5udluse langus kaks korda.<\/li>\n<li>Andmete ketta eba\u00f5nnestumise korral on langus kolmandik. Ketaste uuendamine kasutab iga kontrolli 5% ressursse.<\/li>\n<\/ul>\n<p>\nV\u00e4ikese ploki puhul j\u00f5uame kontrolli j\u00f5udlusse (virtuaalmasin), selle CPU on 100% koormatud, ploki suurendamisel j\u00f5uame portide l\u00e4bilaskev\u00f5ime piiril. 10 Gb\/s ei ole piisav AllFlash-s\u00fcsteemi potentsiaali avamiseks. Kahjuks ei luba antud demostendi parameetrid 40 Gb\/s testimist.<\/p>\n<p>Minu muljete p\u00f5hjal testide ja arhitektuuri uurimise p\u00f5hjal, andmete algoritmi t\u00f5ttu, mis jaotab andmeid k\u00f5igi hostide vahel, saavutame skaleeritava ja ettearvatava j\u00f5udluse, kuid see on piirang lugemisel, kuna kohalikelt ketastelt v\u00f5iksime pigistada rohkem, siin v\u00f5ib aidata v\u00f5imekam v\u00f5rk, n\u00e4iteks on saadaval FI 40 Gb\/s.<\/p>\n<p>Samuti v\u00f5ib \u00fcks ketas vahem\u00e4llu ja de-deduplikatsiooni olla piirang, tegelikult saame antud stendil kirjutada neljale SSD-kettale. Oleks suurep\u00e4rane, kui saaksime suurendada vahem\u00e4lu ketaste arvu ja n\u00e4ha vahet.<\/p>\n<h3>T\u00f5eline kasutus<\/h3>\n<p>\nKaugandmete keskust v\u00f5ib korraldada kahe l\u00e4henemisviisi abil (ei arvestata varukoopiat eemal asuval alal):<\/p>\n<ol>\n<li>Aktiv-Passiivne. K\u00f5ik rakendused on paigutatud peamisse andmekeskusesse. Replikatsioon on s\u00fcnkroonne v\u00f5i as\u00fcnkroonne. Peamise andmekeskuse (AC) rikke korral tuleb aktiveerida varuplaan. Selle saab teha k\u00e4sitsi \/ skriptide \/ orkestreerimise rakendustega. Siin saavutame RPO, mis vastab replikatsiooni sagedusele, ja RTO s\u00f5ltub administraatori reaktsioonist ja oskustest ning plaani v\u00e4ljat\u00f6\u00f6tamise \/ testimise kvaliteedist.<\/li>\n<li>Aktiv-Aktivne. Sellisel juhul on olemas ainult s\u00fcnkroonne replikatsioon, andmekeskuste k\u00e4ttesaadavus m\u00e4\u00e4ratakse kvoorumi \/ arbiteri kaudu, mis on rangelt paigutatud kolmandasse kohta. RPO = 0, samas kui RTO v\u00f5ib ulatuda 0 (kui rakendus seda v\u00f5imaldab) v\u00f5i olla v\u00f5rreldav virtuaalserveri rikke s\u00e4\u00e4stmise ajaga. Virtuaalserveri tasemel luuakse laiendatud (Metro) klaster, mis n\u00f5uab Aktiiv-Aktivne salvestusi.<\/li>\n<\/ol>\n<p>\nTavaliselt n\u00e4eme klientidel juba teostatud arhitektuuri klassikalise salvestuse (SDS) puhul peamises andmekeskuses, seega projekteerime veel \u00fche replikatsiooni jaoks. Nagu ma mainisin, pakub Cisco HyperFlex as\u00fcnkroonset replikatsiooni ja laiendatud virtuaalklastri loomist. Sel juhul ei ole meil vaja spetsiaalset Midrange taseme salvestust ja k\u00f5rgemat varianti, mis sisaldaks kalliseid replikatsiooni funktsioone ja Aktiiv-Aktivse andmete juurdep\u00e4\u00e4su kahel salvestusel.<\/p>\n<p><b>Stsenaarium 1:<\/b> Meil on peamine ja varu andmekeskus, virtuaalserveri platvorm VMware vSphere'il. K\u00f5ik tootmiss\u00fcsteemid on paigutatud peamisse andmekeskusesse, samas kui virtuaalmasinate replikatsioon toimub h\u00fcperviisori tasemel, mis v\u00f5imaldab mitte hoida VM-e sisse l\u00fclitatuna varu andmekeskuses. Andmebaasid ja spetsiaalsed rakendused replitseerime sisseehitatud t\u00f6\u00f6riistade kaudu ja hoiame VM-e sisse l\u00fclitatuna. Peamise andmekeskuse t\u00f5rgete korral \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c s\u00fcsteemid varu andmekeskuses. Arvutame, et meil on umbes 100 virtuaalmasinat. Kuni peamine andmekeskus on aktiivne, saab varu andmekeskuses k\u00e4ivitada testkeskkondi ja muid s\u00fcsteeme, mida saab v\u00e4lja l\u00fclitada peamise andmekeskuse vahetuse korral. Samuti on v\u00f5imalik variant, kus kasutame kahepoolset replikatsiooni. Riistvara poolest ei muutu miski.<\/p>\n<p>Klassikalise arhitektuuri korral paigaldame igasse andmekeskusse h\u00fcbriidse salvestuss\u00fcsteemi, millel on juurdep\u00e4\u00e4s FibreChanneli kaudu, tieringu, dedupeerimise ja kompressiooniga (kuid mitte reaalajas), 8 serverit igas asukohas, 2 FibreChanneli ja Ethernet 10G l\u00fclitit. Repikeerimise ja klassikalise arhitektuuri haldamiseks saame kasutada VMware vahendeid (Replication + SRM) v\u00f5i alternatiivseid abin\u00f5usid, mis v\u00f5ivad olla veidi odavamad ja m\u00f5nikord mugavamad.<\/p>\n<p>Joonisel on esitatud skeem.<\/p>\n<p><img decoding=\"async\" alt=\"Admin ilma k\u00e4ed = h\u00fcperkonvergents?\" src=\"\/wp-content\/uploads\/2019\/10\/e7a1ef66c0ae1a8cbb60d0411007d822.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nCisco HyperFlexi kasutamise korral on arhitektuur j\u00e4rgmine:<\/p>\n<p><img decoding=\"async\" alt=\"Admin ilma k\u00e4ed = h\u00fcperkonvergents?\" src=\"\/wp-content\/uploads\/2019\/10\/71d58163728f37a163ec914b81dc73ab.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nHyperFlexi jaoks kasutasin k\u00f5rgete ressurssidega servereid CPU\/RAM, kuna osa ressursse l\u00e4heb HyperFlexi juhtimis-VM-ile. CPU ja m\u00e4lu osas isegi \u00fcletasin veidi HyperFlexi konfiguratsiooni, et mitte Ciscoga leppida ja tagada ressursid teistele VM-ile. Seega saame FibreChanneli l\u00fclititest loobuda ja meil ei ole vaja Etherneti porte iga serveri jaoks, kohalik liiklus suunatakse FI sees.<\/p>\n<p>Saime sellise konfiguratsiooni iga andmekeskuse jaoks:<\/p>\n<p>Serverid<\/p>\n<p>8 x 1U Server (384 GB RAM, 2 x Intel Gold 6132, FC HBA)<\/p>\n<p>8 x HX240C-M5L (512 GB RAM, 2 x Intel Gold 6150, 3,2 GB SSD, 10 x 6 TB NL-SAS)<\/p>\n<p>Salvestusseadmed<\/p>\n<p>H\u00fcbriidne salvestuss\u00fcsteem FC Front-Endiga (20TB SSD, 130 TB NL-SAS)<\/p>\n<p>\u2014<\/p>\n<p>LAN<\/p>\n<p>2 x Etherneti l\u00fclitit 10G 12 ports<\/p>\n<p>\u2014<\/p>\n<p>SAN<\/p>\n<p>2 x FC l\u00fclitit 32\/16Gb 24 ports<\/p>\n<p>2 x Cisco UCS FI 6332<\/p>\n<p>Litsentsid<\/p>\n<p>VMware Ent Plus<\/p>\n<p><\/p>\n<p>Repikeerimine ja\/v\u00f5i VM-ide vahetuse orkestreerimine<\/p>\n<p>VMware Ent Plus<\/p>\n<p>HyperFlexi puhul ei arvestanud tarkvaralitsentse repikeerimise jaoks, kuna see on meil saadaval v\u00e4lja pakutuna.<\/p>\n<p>Klassikalise arhitektuuri jaoks valisin tarnija, kellel on t\u00f5estatud kvaliteet ja madalad hinnad. M\u00f5lema variandi puhul kasutasin konkreetse lahenduse tavap\u00e4rast allahindlust, mille tulemuseks olid reaalsed hinnad. <\/p>\n<p>Cisco HyperFlexi lahendus osutus 13% odavamaks.<\/p>\n<p><b>Stsenaarium 2:<\/b> kaks aktiivset andmekeskust. Selles stsenaariumis projekteerime ulatunud klastrit VMware'i peal. <\/p>\n<p>Klassikaline arhitektuur koosneb virtualiseerimise serveritest, SAN-ist (FC-protokoll) ja kahest salvestuss\u00fcsteemist, mis oskavad lugeda ja kirjutada andmeid, mis on nende vahel laiali toodud. Iga salvestuss\u00fcsteemi jaoks paigutame kasuliku mahtunud salvestusruumi.<\/p>\n<p><img decoding=\"async\" alt=\"Admin ilma k\u00e4ed = h\u00fcperkonvergents?\" src=\"\/wp-content\/uploads\/2019\/10\/c3830f5bab128b724d94e727218b21b5.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n <br \/>\nHyperFlexis saame lihtsalt luua Stretch Clusteri, millel on m\u00f5lemas asukohas sama palju s\u00f5lmi. Sellisel juhul kasutatakse replikatsiooni tegurit 2+2.<\/p>\n<p><img decoding=\"async\" alt=\"Admin ilma k\u00e4ed = h\u00fcperkonvergents?\" src=\"\/wp-content\/uploads\/2019\/10\/6351c830c3fba60dc4e71a9a4245ec6f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n <br \/>\nSaime j\u00e4rgmise konfiguratsiooni:<\/p>\n<p>Klassikaline arhitektuur<\/p>\n<p>HyperFlex<\/p>\n<p>Serverid<\/p>\n<p>16 x 1U Server (384 GB RAM, 2 x Intel Gold 6132, FC HBA, 2 x 10G NIC)<\/p>\n<p>16 x HX240C-M5L (512 GB RAM, 2 x Intel Gold 6132, 1,6 TB NVMe, 12 x 3,8 TB SSD, VIC 1387)<\/p>\n<p>Salvestusseadmed<\/p>\n<p>2 x AllFlash salvestuss\u00fcsteemi (150 TB SSD)<\/p>\n<p>\u2014<\/p>\n<p>LAN<\/p>\n<p>4 x Etherneti l\u00fclitit 10G 24 ports<\/p>\n<p>\u2014<\/p>\n<p>SAN<\/p>\n<p>4 x FC l\u00fclitit 32\/16Gb 24 ports<\/p>\n<p>4 x Cisco UCS FI 6332<\/p>\n<p>Litsentsid<\/p>\n<p>VMware Ent Plus<\/p>\n<p>VMware Ent Plus<\/p>\n<p>K\u00f5ikides arvutustes ei arvestanud ma v\u00f5rgu infrastruktuuri, andmekeskuste kulusid jne: need on klassikalise arhitektuuri ja HyperFlex lahenduse puhul samad.<\/p>\n<p>Hinnalt osutus HyperFlex 5% kallimaks. Siin on oluline m\u00e4rkida, et CPU\/RAM ressursside osas oli mul Cisco puhul ebasoodne olukord, kuna t\u00e4itsin m\u00e4lu kontrollerite kanalid \u00fchtlaselt. Hind on veidi k\u00f5rgem, kuid mitte t\u00f5eliselt palju, mis selgelt n\u00e4itab, et h\u00fcperkonvergents ei ole tingimata \"rikaste m\u00e4nguasi\", vaid v\u00f5ib konkureerida standardse l\u00e4henemisega andmekeskuse ehitusele. Samuti v\u00f5ib see huvi pakkuda neile, kellel juba on Cisco UCS serverid ja vastav infrastruktuur. <\/p>\n<p>Eeliste hulka kuulub SAN ja andmemassiivide haldamise kulude puudumine, reaalajas kompressioon ja dedupeerimine, \u00fcksik sisenemispunkt toetuseks (virtualiseerimine, serverid, samuti \u2013 andmemassiivid), ruumi kokkuhoid (kuid mitte k\u00f5igis stsenaariumites), hoolduse lihtsustamine.<\/p>\n<p>Mis puutub toetusesse, siis siin saate seda \u00fchelt pakkujalt \u2013 Cisco. Kui tugineda oma kogemusele Cisco UCS serveritega, siis mulle see meeldib, HyperFlexi avamine ei olnud vajalik, k\u00f5ik t\u00f6\u00f6tas niigi. Insenerid vastavad kiiresti ja suudavad lahendada mitte ainult t\u00fc\u00fcpilisi probleeme, vaid ka keerulisi piire. M\u00f5nikord k\u00fcsin neilt: \u201eKas on v\u00f5imalik teha nii, kinnitada see?\u201d v\u00f5i \u201eMa siin konfigureerisin midagi ja see ei taha t\u00f6\u00f6tada. Aita!\u201d \u2013 nad leiavad kannatlikult \u00f5ige juhendi ja osutavad \u00f5igetele toimingutele, nad ei \u00fctle: \u201eLahendame vaid riistvaraprobleeme\u201d.<\/p>\n<h3>Viidatud lingid<\/h3>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.cisco.com\/c\/dam\/en\/us\/products\/collateral\/hyperconverged-infrastructure\/hyperflex-hx-series\/hxaf-240c-m5-specsheet.pdf\">Spetsifikatsioonid<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/croc\/blog\/146536\/\">Virtuaalne andmekeskus<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/croc\/blog\/342820\/\">Andmekeskus kirjutuslaual<\/a><\/noindex><\/li>\n<li>Minu e-post on StGeneralov@croc.ru<\/li>\n<\/ul>\n<p>Allikas: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/croc\/blog\/471508\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u042d\u0442\u043e \u043c\u0438\u0444, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0439 \u0432 \u0441\u0444\u0435\u0440\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0433\u043e \u0436\u0435\u043b\u0435\u0437\u0430. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0436\u0435 \u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0442\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f (\u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0451 \u0432 \u043e\u0434\u043d\u043e\u043c) \u043d\u0443\u0436\u043d\u044b \u043c\u043d\u043e\u0433\u043e \u0434\u043b\u044f \u0447\u0435\u0433\u043e. \u0418\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043b\u043e\u0436\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0431\u044b\u043b\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b Amazon \u0438 Google \u043f\u043e\u0434 \u0441\u0432\u043e\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u044b. \u0422\u043e\u0433\u0434\u0430 \u0438\u0434\u0435\u044f \u0431\u044b\u043b\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0444\u0435\u0440\u043c\u0443 \u0438\u0437 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0443\u0437\u043b\u043e\u0432, \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0434\u0438\u0441\u043a\u0438. \u0412\u0441\u0451 \u044d\u0442\u043e [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":29233,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-38966","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"et_EE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0410\u0434\u043c\u0438\u043d \u0431\u0435\u0437 \u0440\u0443\u043a = \u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f? | ProHoster\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T19:27:03+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T19:27:03+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Admin ilma k\u00e4ed = h\u00fcperkonvergents? | ProHoster","description":"","canonical_url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"et_EE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0410\u0434\u043c\u0438\u043d \u0431\u0435\u0437 \u0440\u0443\u043a = \u0433\u0438\u043f\u0435\u0440\u043a\u043e\u043d\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f? | ProHoster","og:url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/admin-bez-ruk-giperkonvergentsiya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:27:03+00:00","article:modified_time":"2019-10-31T19:27:03+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"38966","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 00:12:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 00:59:27","updated":"2026-01-24 00:12:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/38966","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/comments?post=38966"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/38966\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media\/29233"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media?parent=38966"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/categories?post=38966"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/tags?post=38966"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}