Š mÄs runÄjÄm par mÅ«su mÄÄ£inÄjumiem izmantot Watcher un iesniedzÄm testa ziÅojumu. MÄs periodiski veicam Å”Ädus testus liela uzÅÄmuma vai operatora mÄkoÅa balansÄÅ”anai un citÄm kritiskÄm funkcijÄm.
TÄ kÄ risinÄmÄ problÄma ir ļoti sarežģīta, var bÅ«t nepiecieÅ”ami vairÄki raksti, lai aprakstÄ«tu mÅ«su projektu. Å odien mÄs publicÄjam sÄrijas otro rakstu, kas veltÄ«ts virtuÄlo maŔīnu lÄ«dzsvaroÅ”anai mÄkonÄ«.
Kaut kÄda terminoloÄ£ija
UzÅÄmums VmWare ieviesa utilÄ«tu DRS (Distributed Resource Scheduler), lai lÄ«dzsvarotu izstrÄdÄtÄs un piedÄvÄtÄs virtualizÄcijas vides slodzi.
KÄ raksta
āVMware DRS (Distributed Resource Scheduler) ir utilÄ«ta, kas lÄ«dzsvaro skaitļoÅ”anas slodzi ar pieejamajiem resursiem virtuÄlajÄ vidÄ. LietderÄ«ba ir daļa no virtualizÄcijas komplekta ar nosaukumu VMware Infrastructure.
Izmantojot VMware DRS, lietotÄji definÄ noteikumus fizisko resursu sadalei starp virtuÄlajÄm maŔīnÄm (VM). LietderÄ«bu var konfigurÄt manuÄlai vai automÄtiskai vadÄ«bai. VMware resursu kopas var viegli pievienot, noÅemt vai reorganizÄt. Ja vÄlaties, resursu kopumus var izolÄt starp dažÄdÄm biznesa vienÄ«bÄm. Ja darba slodze vienÄ vai vairÄkÄs virtuÄlajÄs maŔīnÄs krasi mainÄs, VMware DRS pÄrdala virtuÄlÄs maŔīnas pa fiziskajiem serveriem. Ja kopÄjÄ darba slodze samazinÄs, daži fiziskie serveri var tikt Ä«slaicÄ«gi izslÄgti un darba slodze tiks konsolidÄta.
KÄpÄc ir nepiecieÅ”ama lÄ«dzsvaroÅ”ana?
MÅ«suprÄt, DRS ir obligÄta mÄkoÅa funkcija, lai gan tas nenozÄ«mÄ, ka DRS ir jÄizmanto vienmÄr un visur. AtkarÄ«bÄ no mÄkoÅa mÄrÄ·a un vajadzÄ«bÄm var bÅ«t atŔķirÄ«gas prasÄ«bas DRS un balansÄÅ”anas metodÄm. Var bÅ«t situÄcijas, kad balansÄÅ”ana nemaz nav nepiecieÅ”ama. Vai pat kaitÄ«gs.
Lai labÄk saprastu, kur un kuriem klientiem ir nepiecieÅ”ams DRS, Åemsim vÄrÄ viÅu mÄrÄ·us un uzdevumus. MÄkoÅus var iedalÄ«t publiskajos un privÄtajos. Å eit ir galvenÄs atŔķirÄ«bas starp Å”iem mÄkoÅiem un klientu mÄrÄ·iem.
PrivÄtie mÄkoÅi / Lielo uzÅÄmumu klienti
Publiskie mÄkoÅi / VidÄjie un mazie uzÅÄmumi, cilvÄki
Operatora galvenais kritÄrijs un mÄrÄ·i
Uzticama pakalpojuma vai produkta nodroÅ”inÄÅ”ana
Pakalpojumu izmaksu samazinÄÅ”ana cÄ«ÅÄ konkurÄtspÄjÄ«gÄ tirgÅ«
Servisa prasības
UzticamÄ«ba visos lÄ«meÅos un visos sistÄmas elementos
GarantÄta veiktspÄja
PrioritÄti pieŔķiriet virtuÄlajÄm maŔīnÄm vairÄkÄs kategorijÄs
InformÄcijas un fiziskÄ datu droŔība
SLA un XNUMX/XNUMX atbalsts
MaksimÄla pakalpojuma saÅemÅ”anas vienkÄrŔība
SalÄ«dzinoÅ”i vienkÄrÅ”i pakalpojumi
Atbildība par datiem gulstas uz klientu
Nav nepiecieÅ”ama VM prioritÄtes noteikÅ”ana
InformÄcijas droŔība standarta pakalpojumu lÄ«menÄ«, atbildÄ«ba uz klientu
Var būt kļūmes
Nav SLA, kvalitÄte netiek garantÄta
E-pasta atbalsts
DublÄÅ”ana nav nepiecieÅ”ama
Klientu funkcijas
Ä»oti plaÅ”s pielietojumu klÄsts.
UzÅÄmumÄ mantotÄs lietojumprogrammas.
Sarežģītas pielÄgotas arhitektÅ«ras katram klientam.
Radniecības noteikumi.
ProgrammatÅ«ra darbojas bez apstÄÅ”anÄs 7x24 režīmÄ.
DublÄÅ”anas rÄ«ki lidojumÄ.
Paredzama cikliskÄ klientu slodze.
Tipiskas lietojumprogrammas ā tÄ«kla balansÄÅ”ana, Apache, WEB, VPN, SQL
Lietojumprogramma var kÄdu laiku apturÄt
Ä»auj patvaļīgi izplatÄ«t virtuÄlÄs maŔīnas mÄkonÄ«
Klienta dublÄjums
Paredzama statistiski vidÄjÄ slodze ar lielu klientu skaitu.
Ietekme uz arhitektūru
Ä¢eoklasterizÄcija
CentralizÄta vai izplatÄ«ta krÄtuve
RezervÄts IBS
VietÄjÄ datu glabÄÅ”ana skaitļoÅ”anas mezglos
MÄrÄ·u lÄ«dzsvaroÅ”ana
VienmÄrÄ«gs slodzes sadalÄ«jums
MaksimÄlÄ lietojumprogrammas atsaucÄ«ba
MinimÄlais aizkaves laiks balansÄÅ”anai
BalansÄjiet tikai tad, kad tas ir nepÄrprotami nepiecieÅ”ams
Dažu iekÄrtu izveÅ”ana profilaktiskajai apkopei
SamazinÄt pakalpojumu izmaksas un operatora izmaksas
Dažu resursu atspÄjoÅ”ana zemas slodzes gadÄ«jumÄ
Enerģijas taupīŔana
PersonÄla izmaksu samazinÄÅ”ana
MÄs paÅ”i izdarÄm Å”Ädus secinÄjumus:
PrivÄtiem mÄkoÅiemnodroÅ”inÄta lieliem korporatÄ«vajiem klientiem, DRS var izmantot, ievÄrojot Å”Ädus ierobežojumus:
- informÄcijas droŔība un afinitÄtes noteikumu ievÄroÅ”ana balansÄÅ”anas laikÄ;
- pietiekamu resursu pieejamÄ«ba rezervÄ avÄrijas gadÄ«jumÄ;
- virtuÄlÄs maŔīnas dati atrodas centralizÄtÄ vai izkliedÄtÄ krÄtuves sistÄmÄ;
- satriecoÅ”as administrÄÅ”anas, dublÄÅ”anas un lÄ«dzsvaroÅ”anas procedÅ«ras laika gaitÄ;
- balansÄÅ”ana tikai klientu resursdatoru agregÄta ietvaros;
- balansÄÅ”ana tikai tad, ja ir spÄcÄ«ga nelÄ«dzsvarotÄ«ba, visefektÄ«vÄkÄs un droÅ”ÄkÄs VM migrÄcijas (galu galÄ migrÄcija var neizdoties);
- salÄ«dzinoÅ”i āklusoā virtuÄlo maŔīnu lÄ«dzsvaroÅ”ana (ātrokÅ”Åainuā virtuÄlo maŔīnu migrÄcija var aizÅemt ļoti ilgu laiku);
- balansÄÅ”ana, Åemot vÄrÄ āizmaksasā - krÄtuves sistÄmas un tÄ«kla slodzi (ar pielÄgotu arhitektÅ«ru lieliem klientiem);
- lÄ«dzsvaroÅ”ana, Åemot vÄrÄ katras VM individuÄlÄs uzvedÄ«bas Ä«paŔības;
- BalansÄÅ”anu vÄlams veikt Ärpus darba laika (naktÄ«s, brÄ«vdienÄs, brÄ«vdienÄs).
Publiskajiem mÄkoÅiemSniedzot pakalpojumus mazajiem klientiem, DRS var izmantot daudz biežÄk ar uzlabotÄm iespÄjÄm:
- informÄcijas droŔības ierobežojumu un radniecÄ«bas noteikumu trÅ«kums;
- balansÄÅ”ana mÄkonÄ«;
- balansÄÅ”ana jebkurÄ saprÄtÄ«gÄ laikÄ;
- balansÄjot jebkuru VM;
- "trokÅ”Åaino" virtuÄlo maŔīnu balansÄÅ”ana (lai netraucÄtu citiem);
- virtuÄlÄs maŔīnas dati bieži atrodas vietÄjos diskos;
- Åemot vÄrÄ uzglabÄÅ”anas sistÄmu un tÄ«klu vidÄjo veiktspÄju (mÄkoÅu arhitektÅ«ra ir vienota);
- balansÄÅ”ana saskaÅÄ ar vispÄrÄ«giem noteikumiem un pieejamo datu centra uzvedÄ«bas statistiku.
ProblÄmas sarežģītÄ«ba
LÄ«dzsvaroÅ”anas grÅ«tÄ«bas rada tas, ka DRS jÄdarbojas ar lielu skaitu nenoteiktu faktoru:
- katras klienta informÄcijas sistÄmas lietotÄju uzvedÄ«ba;
- informÄcijas sistÄmu serveru darbÄ«bas algoritmi;
- DBVS serveru uzvedība;
- slodze uz skaitļoÅ”anas resursiem, uzglabÄÅ”anas sistÄmÄm, tÄ«klu;
- serveru savstarpÄjÄ mijiedarbÄ«ba cÄ«ÅÄ par mÄkoÅa resursiem.
Liela skaita virtuÄlo aplikÄciju serveru un datu bÄzu slodze uz mÄkoÅu resursiem notiek laika gaitÄ, sekas var izpausties un neparedzamÄ laika periodÄ pÄrklÄties viena ar otru ar neparedzamu efektu. Pat lai kontrolÄtu salÄ«dzinoÅ”i vienkÄrÅ”us procesus (piemÄram, lai vadÄ«tu dzinÄju, Å«dens sildÄ«Å”anas sistÄmu mÄjÄs), automÄtiskajÄm vadÄ«bas sistÄmÄm ir jÄizmanto sarežģītas algoritmi ar atgriezenisko saiti.
MÅ«su uzdevums ir daudzkÄrt sarežģītÄks, un pastÄv risks, ka sistÄma nespÄs saprÄtÄ«gÄ laikÄ lÄ«dzsvarot slodzi lÄ«dz noteiktajÄm vÄrtÄ«bÄm, pat ja nav ÄrÄjas ietekmes no lietotÄjiem.
MÅ«su attÄ«stÄ«bas vÄsture
Lai atrisinÄtu Å”o problÄmu, mÄs nolÄmÄm nesÄkt no nulles, bet balstÄ«ties uz esoÅ”o pieredzi un sÄkÄm sazinÄties ar speciÄlistiem ar pieredzi Å”ajÄ jomÄ. Par laimi mÅ«su izpratne par problÄmu pilnÄ«bÄ sakrita.
Posms 1
MÄs izmantojÄm sistÄmu, kuras pamatÄ ir neironu tÄ«klu tehnoloÄ£ija, un mÄÄ£inÄjÄm optimizÄt savus resursus, pamatojoties uz to.
Å Ä« posma interese bija par jaunas tehnoloÄ£ijas izmÄÄ£inÄÅ”anu, un tÄs nozÄ«me bija nestandarta pieejas pielietoÅ”anÄ problÄmas risinÄÅ”anÄ, kur standarta pieejas bija praktiski izsmÄluÅ”Äs.
MÄs iedarbinÄjÄm sistÄmu, un mÄs patieÅ”Äm sÄkÄm lÄ«dzsvarot. MÅ«su mÄkoÅa mÄrogs neļÄva mums iegÅ«t izstrÄdÄtÄju norÄdÄ«tos optimistiskos rezultÄtus, taÄu bija skaidrs, ka balansÄÅ”ana darbojas.
TajÄ paÅ”Ä laikÄ mums bija diezgan nopietni ierobežojumi:
- Lai apmÄcÄ«tu neironu tÄ«klu, virtuÄlajÄm maŔīnÄm jÄdarbojas bez bÅ«tiskÄm izmaiÅÄm nedÄļÄm vai mÄneÅ”iem.
- Algoritms ir paredzÄts optimizÄcijai, pamatojoties uz agrÄko āvÄsturiskoā datu analÄ«zi.
- Neironu tÄ«kla apmÄcÄ«bai ir nepiecieÅ”ams diezgan liels datu un skaitļoÅ”anas resursu apjoms.
- OptimizÄciju un balansÄÅ”anu var veikt salÄ«dzinoÅ”i reti ā reizi pÄris stundÄs, kas viennozÄ«mÄ«gi ir par maz.
Posms 2
TÄ kÄ mÄs nebijÄm apmierinÄti ar lietu stÄvokli, mÄs nolÄmÄm modificÄt sistÄmu un, lai to izdarÄ«tu, atbildÄtu galvenais jautÄjums - kam mÄs to taisÄm?
PirmkÄrt ā korporatÄ«vajiem klientiem. Tas nozÄ«mÄ, ka mums ir vajadzÄ«ga sistÄma, kas darbojas Ätri, ar tiem korporatÄ«vajiem ierobežojumiem, kas tikai vienkÄrÅ”o ievieÅ”anu.
Otrais jautÄjums - Ko jÅ«s domÄjat ar vÄrdu "tÅ«lÄ«t"? ÄŖsu debaÅ”u rezultÄtÄ nolÄmÄm, ka varÄtu sÄkt ar reakcijas laiku 5ā10 minÅ«tes, lai Ä«slaicÄ«gi pÄrspriegumi neievestu sistÄmu rezonansÄ.
TreÅ”ais jautÄjums ā kÄdu izmÄru no sabalansÄtÄ serveru skaita izvÄlÄties?
Å Ä« problÄma atrisinÄjÄs pati par sevi. Parasti klienti nepadara serveru apkopojumus ļoti lielus, un tas atbilst rakstÄ sniegtajiem ieteikumiem ierobežot apkopojumus lÄ«dz 30ā40 serveriem.
TurklÄt, segmentÄjot serveru pÅ«lu, mÄs vienkÄrÅ”ojam balansÄÅ”anas algoritma uzdevumu.
Ceturtais jautÄjums ā cik mums piemÄrots ir neironu tÄ«kls ar savu ilgo mÄcÄ«Å”anÄs procesu un reto balansÄÅ”anu? MÄs nolÄmÄm no tÄ atteikties, izvÄloties vienkÄrÅ”Äkus darbÄ«bas algoritmus, lai iegÅ«tu rezultÄtus dažu sekunžu laikÄ.
Var atrast aprakstu sistÄmai, kas izmanto Å”Ädus algoritmus, un tÄs trÅ«kumus
MÄs ieviesÄm un ieviesÄm Å”o sistÄmu un saÅÄmÄm iepriecinoÅ”us rezultÄtus ā tagad tÄ regulÄri analizÄ mÄkoÅu slodzi un sniedz ieteikumus virtuÄlo maŔīnu pÄrvietoÅ”anai, kas lielÄkoties ir pareizi. Jau Å”obrÄ«d ir skaidrs, ka varam panÄkt 10-15% resursu atbrÄ«voÅ”anu jaunÄm virtuÄlajÄm maŔīnÄm, vienlaikus uzlabojot esoÅ”o darba kvalitÄti.
Kad tiek konstatÄta RAM vai CPU nelÄ«dzsvarotÄ«ba, sistÄma izdod komandas Tionix plÄnotÄjam, lai veiktu nepiecieÅ”amo virtuÄlo maŔīnu tieÅ”o migrÄciju. KÄ redzams no uzraudzÄ«bas sistÄmas, virtuÄlÄ maŔīna pÄrcÄlÄs no viena (augÅ”ÄjÄ) uz otru (apakÅ”Äjo) resursdatora un atbrÄ«voja atmiÅu augÅ”ÄjÄ resursdatorÄ (izcelts ar dzelteniem apļiem), attiecÄ«gi aizÅemot to apakÅ”ÄjÄ (izcelts baltÄ krÄsÄ). apļi).
Tagad mÄs cenÅ”amies precÄ«zÄk novÄrtÄt paÅ”reizÄjÄ algoritma efektivitÄti un cenÅ”amies atrast tajÄ iespÄjamÄs kļūdas.
Posms 3
Å Ä·iet, ka par to var nomierinÄties, gaidÄ«t pierÄdÄ«tu efektivitÄti un slÄgt tÄmu.
Bet mÅ«s mudina veikt jaunu posmu Å”Ädas acÄ«mredzamas optimizÄcijas iespÄjas
- Statistika, piemÄram, Šø parÄda, ka divu un Äetru procesoru sistÄmu veiktspÄja ir ievÄrojami zemÄka nekÄ viena procesora sistÄmÄm. Tas nozÄ«mÄ, ka visi lietotÄji saÅem ievÄrojami mazÄku izvadi no CPU, RAM, SSD, LAN, FC, kas iegÄdÄti daudzprocesoru sistÄmÄs, salÄ«dzinot ar viena procesora sistÄmÄm.
- PaÅ”iem resursu plÄnotÄjiem var bÅ«t nopietnas kļūdas, par Å”o tÄmu.
- Intel un AMD piedÄvÄtÄs tehnoloÄ£ijas operatÄ«vÄs atmiÅas un keÅ”atmiÅas uzraudzÄ«bai ļauj pÄtÄ«t virtuÄlo maŔīnu uzvedÄ«bu un izvietot tÄs tÄ, lai ātrokÅ”Åainiā kaimiÅi netraucÄtu āklusajÄmā virtuÄlajÄm maŔīnÄm.
- Parametru kopas paplaÅ”inÄÅ”ana (tÄ«kls, krÄtuves sistÄma, virtuÄlÄs maŔīnas prioritÄte, migrÄcijas izmaksas, tÄs gatavÄ«ba migrÄcijai).
KopÄ
MÅ«su darba rezultÄts balansÄÅ”anas algoritmu pilnveidoÅ”anÄ bija skaidrs secinÄjums, ka, izmantojot mÅ«sdienÄ«gus algoritmus, ir iespÄjams panÄkt bÅ«tisku datu centra resursu optimizÄciju (25-30%) un vienlaikus uzlabot klientu apkalpoÅ”anas kvalitÄti.
Uz neironu tÄ«kliem balstÄ«ts algoritms noteikti ir interesants risinÄjums, taÄu tas ir jÄpilnveido, un esoÅ”o ierobežojumu dÄļ tas nav piemÄrots Å”Äda veida problÄmu risinÄÅ”anai privÄtajiem mÄkoÅiem raksturÄ«gajos apjomos. TajÄ paÅ”Ä laikÄ algoritms uzrÄdÄ«ja labus rezultÄtus ievÄrojama izmÄra publiskajos mÄkoÅos.
VairÄk par procesoru, plÄnotÄju iespÄjÄm un augsta lÄ«meÅa balansÄÅ”anu pastÄstÄ«sim turpmÄkajos rakstos.
Avots: www.habr.com