Π naghisgot kami bahin sa among mga pagsulay sa paggamit sa Watcher ug naghatag usa ka pagsulay nga taho. Kanunay namon nga gihimo ang ingon nga mga pagsulay alang sa pagbalanse ug uban pang kritikal nga mga gimbuhaton sa usa ka dako nga negosyo o panganod sa operator.
Ang taas nga pagkakomplikado sa problema nga gisulbad mahimong magkinahanglan daghang mga artikulo aron ihulagway ang among proyekto. Karon among gipatik ang ikaduhang artikulo sa serye, nga gipahinungod sa pagbalanse sa mga virtual machine sa panganod.
Pipila ka terminolohiya
Gipaila sa kompanya sa VmWare ang DRS (Distributed Resource Scheduler) utility aron mabalanse ang load sa virtualization environment nga ilang naugmad ug gitanyag.
Ingon sa iyang pagsulat
"Ang VMware DRS (Distributed Resource Scheduler) usa ka utility nga nagbalanse sa mga load sa computing nga adunay magamit nga mga kapanguhaan sa usa ka virtual nga palibot. Ang utility kabahin sa virtualization suite nga gitawag og VMware Infrastructure.
Uban sa VMware DRS, gihubit sa mga tiggamit ang mga lagda alang sa pag-apod-apod sa pisikal nga mga kapanguhaan taliwala sa mga virtual machine (VMs). Ang utility mahimong ma-configure alang sa manwal o awtomatik nga pagkontrol. Ang mga pundok sa kapanguhaan sa VMware dali nga madugang, matangtang, o ma-organisar pag-usab. Kung gusto, ang mga pundok sa kahinguhaan mahimong ilain tali sa lainlaing mga yunit sa negosyo. Kung ang workload sa usa o daghang mga virtual nga makina mabag-o pag-ayo, ang VMware DRS nag-apod-apod usab sa mga virtual nga makina sa mga pisikal nga server. Kung ang kinatibuk-ang workload mokunhod, ang pipila ka pisikal nga mga server mahimong temporaryo nga kuhaon sa offline ug ang workload gikonsolida."
Nganong gikinahanglan ang pagbalanse?
Sa among opinyon, ang DRS usa ka kinahanglan nga adunay bahin sa panganod, bisan kung wala kini magpasabut nga ang DRS kinahanglan gamiton kanunay ug bisan diin. Depende sa katuyoan ug panginahanglan sa panganod, mahimong adunay lainlaing mga kinahanglanon alang sa DRS ug mga pamaagi sa pagbalanse. Mahimong adunay mga sitwasyon diin ang pagbalanse wala gayud gikinahanglan. O bisan makadaot.
Aron mas masabtan kung asa ug kung asa nga mga kliyente ang DRS gikinahanglan, atong tagdon ang ilang mga tumong ug tumong. Ang mga panganod mahimong bahinon sa publiko ug pribado. Ania ang mga nag-unang kalainan tali sa kini nga mga panganod ug mga katuyoan sa kustomer.
Pribado nga panganod / Dagko nga kliyente sa negosyo
Pampublikong panganod / Medium ug gagmay nga negosyo, mga tawo
Ang nag-unang sukdanan ug mga tumong sa operator
Paghatag ug kasaligan nga serbisyo o produkto
Ang pagkunhod sa gasto sa mga serbisyo sa away sa usa ka kompetisyon nga merkado
Mga kinahanglanon sa serbisyo
Kasaligan sa tanan nga lebel ug sa tanan nga mga elemento sa sistema
Garantiya nga paghimo
I-priyoridad ang mga virtual machine sa daghang mga kategorya
Impormasyon ug pisikal nga seguridad sa datos
SLA ug XNUMX/XNUMX nga suporta
Labing kasayon ββsa pagdawat sa serbisyo
Relatibong yano nga mga serbisyo
Ang responsibilidad alang sa datos anaa sa kliyente
Walay VM prioritization gikinahanglan
Ang kasiguruhan sa kasayuran sa lebel sa mga sumbanan nga serbisyo, responsibilidad sa kliyente
Mahimong adunay mga glitches
Walay SLA, dili garantiya ang kalidad
Suporta sa email
Dili kinahanglan ang pag-backup
Mga Feature sa Kliyente
Lapad kaayo nga mga aplikasyon.
Ang mga aplikasyon sa kabilin nga napanunod sa kompanya.
Mga komplikadong custom nga arkitektura alang sa matag kliyente.
Mga lagda sa affinity.
Ang software nagtrabaho nga walay paghunong sa 7x24 mode.
On-the-fly backup nga mga himan.
Predictable cyclic load sa kustomer.
Kasagaran nga mga aplikasyon - pagbalanse sa network, Apache, WEB, VPN, SQL
Ang aplikasyon mahimong mohunong sa makadiyot
Gitugotan ang arbitraryong pag-apod-apod sa mga VM sa panganod
Pag-backup sa kliyente
Ang matag-an nga istatistika nga average nga load nga adunay daghang mga kliyente.
Mga implikasyon sa arkitektura
Geoclustering
Sentralisado o giapod-apod nga pagtipig
Gireserba nga IBS
Lokal nga pagtipig sa datos sa mga compute node
Pagbalanse sa mga Tumong
Bisan load distribution
Maximum nga pagtubag sa aplikasyon
Minimum nga oras sa paglangan alang sa pagbalanse
Pagbalanse lamang kung klaro nga gikinahanglan
Pagdala sa pipila ka mga ekipo alang sa preventive maintenance
Pagpakunhod sa gasto sa serbisyo ug gasto sa operator
Pag-disable sa pipila ka mga kapanguhaan sa kaso sa ubos nga load
Makatipig kusog
Pagpakunhod sa gasto sa mga kawani
Gihimo namo ang mosunod nga mga konklusyon alang sa among kaugalingon:
Alang sa pribadong mga panganodgihatag ngadto sa dagkong mga kustomer sa korporasyon, ang DRS mahimong gamiton ubos sa mosunod nga mga pagdili:
- kasegurohan sa impormasyon ug pagkonsiderar sa mga lagda sa affinity sa dihang magbalanse;
- pagkabaton ug igong kahinguhaan nga gitagana kon adunay aksidente;
- Ang datos sa virtual machine nahimutang sa usa ka sentralisado o giapod-apod nga sistema sa pagtipig;
- makapakurat nga administrasyon, backup ug pagbalanse sa mga pamaagi sa paglabay sa panahon;
- pagbalanse lamang sulod sa usa ka aggregate sa mga host sa kliyente;
- pagbalanse lamang kung adunay kusog nga pagkadili balanse, ang labing epektibo ug luwas nga paglalin sa VM (pagkahuman, ang paglalin mahimong mapakyas);
- pagbalanse sa medyo "hilom" nga virtual nga mga makina (ang paglalin sa "saba" nga virtual nga mga makina mahimong dugay kaayo);
- pagbalanse nga gikonsiderar ang "gasto" - ang load sa storage system ug network (uban ang customized nga mga arkitektura alang sa dagkong mga kliyente);
- pagbalanse nga gikonsiderar ang indibidwal nga kinaiya nga kinaiya sa matag VM;
- Ang pagbalanse mas maayo nga buhaton sa mga oras nga walaβy trabaho (gabii, katapusan sa semana, holiday).
Para sa publikong panganodpaghatag og mga serbisyo ngadto sa gagmay nga mga kustomer, ang DRS mahimong magamit sa mas kanunay, nga adunay mga advanced nga kapabilidad:
- pagkawala sa mga pagdili sa seguridad sa impormasyon ug mga lagda sa kalambigitan;
- pagbalanse sulod sa panganod;
- pagbalanse sa bisan unsang makatarunganong panahon;
- pagbalanse sa bisan unsang VM;
- pagbalanse sa "saba" nga mga virtual machine (aron dili makadisturbo sa uban);
- Ang datos sa virtual machine kanunay nga nahimutang sa mga lokal nga disk;
- nga gikonsiderar ang kasagaran nga pasundayag sa mga sistema sa pagtipig ug mga network (ang arkitektura sa panganod nahiusa);
- pagbalanse sumala sa kinatibuk-ang mga lagda ug anaa data center kinaiya statistics.
Pagkakomplikado sa problema
Ang kalisud sa pagbalanse mao nga ang DRS kinahanglan nga molihok uban ang daghang dili sigurado nga mga hinungdan:
- kinaiya sa mga tiggamit sa matag usa sa mga sistema sa impormasyon sa mga kliyente;
- mga algorithm alang sa operasyon sa mga server sa sistema sa impormasyon;
- kinaiya sa DBMS server;
- load sa computing resources, storage systems, network;
- interaksyon sa mga server sa usag usa sa pakigbisog alang sa mga kapanguhaan sa panganod.
Ang load sa usa ka dako nga gidaghanon sa mga virtual nga aplikasyon server ug mga database sa mga kapanguhaan sa panganod mahitabo sa paglabay sa panahon, ang mga sangputanan mahimong magpakita sa ilang mga kaugalingon ug magsapaw sa usag usa sa usa ka dili matag-an nga epekto sa usa ka dili matag-an nga panahon. Bisan pa aron makontrol ang medyo yano nga mga proseso (pananglitan, aron makontrol ang usa ka makina, usa ka sistema sa pagpainit sa tubig sa balay), ang mga awtomatikong sistema sa pagkontrol kinahanglan nga mogamit komplikado. mga algorithm nga adunay feedback.
Ang among buluhaton mao ang daghang mga order sa kadako nga labi ka komplikado, ug adunay peligro nga ang sistema dili makahimo sa pagbalanse sa pagkarga sa natukod nga mga kantidad sa usa ka makatarunganon nga oras, bisan kung walaβy mga impluwensya sa gawas gikan sa mga tiggamit.
Kasaysayan sa atong mga kalamboan
Aron masulbad kini nga problema, nakahukom kami nga dili magsugod gikan sa wala, apan magtukod sa kasamtangan nga kasinatian, ug nagsugod sa pagpakig-uban sa mga espesyalista nga adunay kasinatian niini nga natad. Maayo na lang, ang among pagsabot sa problema hingpit nga nagkatakdo.
1 Stage
Naggamit kami og sistema nga gibase sa teknolohiya sa neural network ug misulay sa pag-optimize sa among mga kahinguhaan base niini.
Ang interes sa kini nga yugto mao ang pagsulay sa usa ka bag-ong teknolohiya, ug ang importansya niini mao ang paggamit sa usa ka dili standard nga pamaagi sa pagsulbad sa usa ka problema kung diin, ang ubang mga butang nga managsama, ang mga sumbanan nga pamaagi halos gikapoy sa ilang kaugalingon.
Among gilusad ang sistema, ug nagsugod gyud kami sa pagbalanse. Ang sukod sa among panganod wala magtugot kanamo nga makuha ang malaumon nga mga resulta nga gipahayag sa mga developer, apan klaro nga ang pagbalanse nagtrabaho.
Sa samang higayon, kami adunay seryoso nga mga limitasyon:
- Aron mabansay ang usa ka neural network, ang mga virtual machine kinahanglan nga modagan nga walaβy hinungdanon nga mga pagbag-o sa mga semana o bulan.
- Ang algorithm gidisenyo alang sa pag-optimize base sa pag-analisar sa naunang "historical" nga datos.
- Ang pagbansay sa usa ka neural network nanginahanglan usa ka dako nga kantidad sa datos ug mga kapanguhaan sa pag-compute.
- Ang pag-optimize ug pagbalanse mahimo nga panagsa ra - kausa matag pipila ka oras, nga klaro nga dili igo.
2 Stage
Tungod kay wala kami matagbaw sa kahimtang sa mga kalihokan, nakahukom kami nga usbon ang sistema, ug buhaton kini, tubaga pangunang pangutana β para kang kinsa man ta?
Una - alang sa mga kliyente sa korporasyon. Nagpasabut kini nga kinahanglan namon ang usa ka sistema nga dali nga molihok, nga adunay mga pagdili sa korporasyon nga gipasimple lamang ang pagpatuman.
Ikaduha nga pangutana β unsay buot nimong ipasabot sa pulong nga βdayonβ? Ingon usa ka sangputanan sa usa ka mubo nga debate, nakahukom kami nga magsugod kami sa usa ka oras sa pagtubag nga 5-10 minuto, aron ang mga mubu nga pagdagsang dili makasulod sa sistema sa resonance.
Ikatulo nga pangutana β unsa nga gidak-on sa balanse nga gidaghanon sa mga server nga pilion?
Kini nga isyu nasulbad sa iyang kaugalingon. Kasagaran, ang mga kliyente dili maghimo sa mga panagsama sa server nga dako kaayo, ug kini nahiuyon sa mga rekomendasyon sa artikulo nga limitahan ang mga panagsama sa 30-40 nga mga server.
Dugang pa, pinaagi sa pagbahin sa pool sa server, gipasimple namon ang buluhaton sa algorithm sa pagbalanse.
Ikaupat nga pangutana - unsa ka angay ang usa ka neural network alang kanato nga adunay taas nga proseso sa pagkat-on ug talagsaon nga pagbalanse? Nakahukom kami nga biyaan kini pabor sa mas simple nga mga algorithm sa operasyon aron makuha ang mga resulta sa mga segundo.
Ang usa ka paghulagway sa usa ka sistema nga naggamit sa ingon nga mga algorithm ug ang mga disbentaha niini makit-an
Among gipatuman ug gilunsad kini nga sistema ug nakadawat og makapadasig nga mga resulta - karon kini kanunay nga nag-analisar sa cloud load ug naghimo og mga rekomendasyon alang sa paglihok sa mga virtual nga makina, nga kadaghanan husto. Bisan karon klaro nga makab-ot naton ang 10-15% nga pagpagawas sa mga kahinguhaan alang sa mga bag-ong virtual machine samtang gipauswag ang kalidad sa trabaho sa mga naa na.
Kung ang usa ka imbalance sa RAM o CPU nakit-an, ang sistema nag-isyu sa mga mando sa Tionix scheduler aron ipahigayon ang live migration sa gikinahanglan nga virtual machine. Sama sa makita gikan sa sistema sa pag-monitor, ang virtual nga makina mibalhin gikan sa usa (ibabaw) ngadto sa lain (ubos) nga host ug gibuhian ang memorya sa ibabaw nga host (gi-highlight sa yellow nga mga lingin), matag usa nga nag-okupar niini sa ubos (gi-highlight sa puti. mga lingin).
Karon kami naningkamot sa mas tukma nga pagsusi sa pagka-epektibo sa kasamtangan nga algorithm ug naningkamot sa pagpangita sa posible nga mga sayop niini.
3 Stage
Mopatim-aw nga ang usa mahimong kalmado niini, maghulat alang sa napamatud-an nga pagka-epektibo ug tapuson ang hilisgutan.
Apan giduso kami sa paghimo sa usa ka bag-ong yugto pinaagi sa mosunod nga klaro nga mga oportunidad sa pag-optimize
- Estadistika, pananglitan, ΠΈ nagpakita nga ang duha-ug upat-ka-upat nga mga sistema sa processor mas ubos sa performance kay sa single-processor nga mga sistema. Kini nagpasabut nga ang tanan nga mga tiggamit makadawat labi ka gamay nga output gikan sa CPU, RAM, SSD, LAN, FC nga gipalit sa mga sistema sa multiprocessor kumpara sa mga sistema sa single-processor.
- Ang mga tig-iskedyul sa kahinguhaan mismo mahimong adunay grabe nga mga sayup, sa niini nga hilisgutan.
- Ang mga teknolohiya nga gitanyag sa Intel ug AMD alang sa pag-monitor sa RAM ug cache nagpaposible sa pagtuon sa kinaiya sa mga virtual machine ug ibutang kini sa paagi nga ang "saba" nga mga silingan dili makabalda sa "hilom" nga mga virtual machine.
- Pagpalapad sa set sa mga parameter (network, storage system, prayoridad sa virtual machine, gasto sa paglalin, pagkaandam niini alang sa paglalin).
Total
Ang resulta sa among trabaho aron mapauswag ang mga algorithm sa pagbalanse mao ang tin-aw nga konklusyon nga ang paggamit sa modernong mga algorithm posible nga makab-ot ang hinungdanon nga pag-optimize sa mga kahinguhaan sa data center (25-30%) ug sa samang higayon mapauswag ang kalidad sa serbisyo sa kostumer.
Ang usa ka algorithm nga gibase sa mga neural network siguradong usa ka makapaikag nga solusyon, apan usa nga nanginahanglan dugang nga pag-uswag, ug tungod sa naglungtad nga mga limitasyon, dili kini angay alang sa pagsulbad sa kini nga klase sa problema sa mga volume nga kasagaran sa mga pribadong panganod. Sa samang higayon, ang algorithm nagpakita sa maayong mga resulta sa publiko nga mga panganod sa mahinungdanon nga gidak-on.
Isulti namo kanimo ang dugang mahitungod sa mga kapabilidad sa mga processor, scheduler, ug high-level nga pagbalanse sa mosunod nga mga artikulo.
Source: www.habr.com