U velikim oblacima posebno je izražen problem automatske raspodjele ili izjednačavanja opterećenja na računalne resurse. Ovaj problem je također zaintrigirao TiOnyx (razvijač i operater oblaka, koji je dio grupe kompanija Rostelekoma).
I budući da je naš glavni razvojni okvir OpenStack, a mi smo, kao i svi ljudi, lenji, odlučeno je odabrati neki gotovi modul koji već postoji u sklopu platforme. Naš izbor je pao na Watcher, koji smo odlučili koristiti za svoje potrebe.
Za početak, razjasnimo pojmove i definicije.
Pojmovi i definicije
Cilj — je rezultat koji je razumljiv ljudima, promatriv i mjerljiv, koji treba biti postignut. Za postizanje svakog cilja postoji jedna ili više strategija. Strategija je implementacija algoritma koji je sposoban pronaći rješenje za dati cilj.
Akcija (Action) — je osnovni zadatak koji mijenja trenutno stanje upravljanog resursa u OpenStack klasteru, kao što su: migracija virtualne mašine (migration), promjena stanja napajanja čvora (change_node_power_state), promjena stanja nova usluge (change_nova_service_state), promjena flavo (resize), registracija NOP poruke (nop), neizvršavanje akcija tokom određenog vremenskog perioda — pauza (sleep), migracija diska (volume_migrate).
Plan akcija (Action Plan) — specifičan tok akcija, provedenih u određenom redoslijedu za postizanje specifičnog cilja. Plan akcija također sadrži procjenjivu globalnu efikasnost s nizom pokazatelja efikasnosti. Plan akcija generiše Watcher nakon uspješnog audita, kada strategija pronađe rješenje za postizanje cilja. Plan akcija se sastoji od liste uzastopnih akcija.
Audit (Audit) — je zahtjev za optimizaciju klastera. Optimizacija se izvršava kako bi se postigao jedan cilj u tom klasteru. Za svaki uspješan audit, Watcher generira Plan akcija.
Oblast audita (Audit Scope) — je skup resursa u okviru kojeg se provodi revizija (zona(e) dostupnosti, agregatori čvorova, pojedini računski čvorovi ili čvorovi za pohranu itd.). Područje revizije definira se u svakom predlošku. Ako područje revizije nije navedeno, provodi se revizija cijelog klastera.
Predložak revizije (Audit Template) — sačuvani skup postavki za pokretanje revizije. Predlošci su potrebni kako bi se višekratno pokretale revizije s istim postavkama. Predložak mora obavezno sadržavati cilj revizije, a ako strategije nisu navedene, odabiru se najprikladnije iz postojećih strategija.
Klaster (Cluster) — je skup fizičkih mašina koje pružaju računske resurse, resurse za pohranu i mrežne resurse, a njima upravlja isti upravljački čvor OpenStack.
Model podataka klastera (Cluster Data Model, CDM) — je logičko predstavljanje trenutnog stanja i topologije resursa kojima upravlja klaster.
Pokazatelj efikasnosti (Efficacy Indicator) — pokazatelj koji ukazuje na to kako se ostvaruje rješenje kreirano ovom strategijom. Pokazatelji efikasnosti specifični su za određeni cilj i obično se koriste za izračun globalne efikasnosti konačnog plana djelovanja.
Specifikacija efikasnosti (Efficacy Specification) — je skup specifičnih karakteristika povezanih sa svakim Ciljem, koji definiše različite pokazatelje efikasnosti koje strategija, koja osigurava postizanje odgovarajuće svrhe, treba osigurati u svom rješenju. Naime, svako rješenje koje predloži strategija bit će provjereno na usklađenost sa specifikacijom prije nego što se izračuna njegova globalna efikasnost.
“Brojački” motor (Scoring Engine) — je izvršna datoteka koja ima jasno definirane ulaze, jasno definirane izlaze i obavlja isključivo matematički zadatak. Tako izračun ne ovisi o okruženju u kojem se izvršava — dati će isti rezultat svugdje.
Watcher planer (Watcher Planner) — dio mehanizma donošenja odluka Watcher. Ovaj modul prima skup radnji generiranih strategijom i stvara plan radnog toka koji određuje kako planirati u vremenu tih različitih radnji i za svaku radnju, koji su njeni prethodni uvjeti.
Ciljevi i strategije Watcher
Cilj
Strategije
Dummy cilj
Dummy strategija
Dummy strategija koristeći uzorak ocjenjivačkih motora
Dummy strategija s promjenom veličine
Štednja energije
Strategija štednje energije
Konsolidacija servera
Osnovna offline konsolidacija servera
Strategija konsolidacije VM opterećenja
Balansiranje opterećenja
Strategija migracije balansiranja opterećenja
Strategija ravnoteže kapaciteta pohrane
Stabilizacija opterećenja
Buka susjeda
Buka susjeda
Termalna optimizacija
Strategija temeljena na temperaturi izlaza
Optimizacija protoka zraka
Strategija migracije uniformnog protoka zraka
Održavanje hardvera
Migracija zona
Neklasificirano
Aktuator
Dummy cilj — rezervirani cilj koji se koristi za testiranje (reserved goal that is used for testing purposes).
Povezane strategije: Dummy Strategija, Dummy strategija koristeći uzorak ocjenjivačkih motora i Dummy strategija s promjenom veličine. Dummy strategija je lažna strategija koja se koristi za integracijsko testiranje putem Tempest. Ova strategija ne pruža nikakvu korisnu optimizaciju, njen jedini cilj je korištenje Tempest testova.
Dummy strategija koristeći uzorak ocjenjivačkih motora — strategija je slična prethodnoj, razlikuje se samo po korištenju uzorka „ocjenjivačkog motora“ koji broji koristeći metode strojnog učenja.
Dummy strategija s promjenom veličine — strategija je slična prethodnoj, razlikuje se samo po korištenju promjene veličine (migracija i promjena veličine).
Nije korišteno u produkciji.
Štednja energije — smanjiti potrošnju energije. Strategija ovog cilja, Saving Energy Strategy, zajedno sa strategijom VM Workload Consolidation Strategy (Konsolidacija servera) može obavljati funkcije dinamičkog upravljanja napajanjem (DPM), koje štede električnu energiju dinamičkom konsolidacijom radnih opterećenja čak i u razdobljima niske opterećenosti resursa: virtualni strojevi se premještaju na manji broj čvorova, a nepotrebni čvorovi se isključuju. Nakon konsolidacije, strategija predlaže rješenje o uključivanju/isključivanju čvorova u skladu s postavljenim parametrima: „min_free_hosts_num“ — broj slobodnih uključenih čvorova koji čekaju opterećenje, i „free_used_percent“ — postotak slobodnih uključenih čvorova u odnosu na broj čvorova koji su zauzeti strojevima. Za rad strategije mora biti uključen i podešen Ironic za rad s uključivanjem/isključivanjem napajanja na čvorovima.
Parametri strategije
parametar
tip
po defaultu
opis
free_used_percent
Broj
10.0
omjer broja slobodnih računalnih čvorova prema broju računalnih čvorova s virtualnim mašinama
min_free_hosts_num
Int
1
minimalni broj slobodnih računalnih čvorova
U oblaku trebaju biti najmanje dva čvora. Korisna metoda je promjena stanja napajanja čvora (change_node_power_state). Sakupljanje metrika strategija ne zahtijeva.
Konsolidacija servera — minimiziranje broja računalnih čvorova (konsolidacija). Ima dvije strategije: Basic Offline Server Consolidation i VM Workload Consolidation Strategy.
Strategija Basic Offline Server Consolidation minimizira ukupni broj korištenih servera, kao i minimizira broj migracija.
Osnovna strategija zahtijeva sljedeće metrike:
metrika
usluga
dodatke
komentar
compute.node.cpu.percent
none
cpu_util
none
Parametri strategije: migration_attempts — broj kombinacija za pronalaženje potencijalnih kandidata za isključivanje (po defaultu, 0, bez ograničenja), period — interval vremena u sekundama za dobivanje statičke agregacije iz izvora podataka metrika (po defaultu, 700).
Koriste se metode: migracija, promjena stanja usluge nova (change_nova_service_state).
Strategija VM Workload Consolidation Strategy temelji se na heurističkom algoritmu prvog odgovarajućeg (first-fit), koji se fokusira na mjerenu opterećenost CPU-a i pokušava minimizirati čvorove koji imaju preveliko ili premalo opterećenje uzimajući u obzir kapacitetska ograničenja resursa. Ova strategija pruža rješenje koje dovodi do efikasnijeg korištenja resursa clustera, koristeći sljedeće četiri faze:
- Faza rasterećenja — obrada prekoračenih resursa;
- Faza konsolidacije — obrada nedovoljno korištenih resursa;
- Optimizacija rješenja — smanjenje broja migracija;
- Isključivanje neiskorištenih računalnih čvorova.
Strategija zahtijeva sljedeće metrike:
metrika
usluga
dodatke
komentar
memory
none
disk.root.size
none
Sljedeće metrike nisu obavezne, ali povećavaju točnost strategije, ako su dostupne:
metrika
usluga
dodatke
komentar
memory.resident
none
cpu_util
none
Parametri strategije: period — interval vremena u sekundama za dobivanje statičke agregacije iz izvora podataka metrika (po defaultu, 3600).
Koristi iste metode kao i prethodna strategija. Više informacija .
Balansiranje opterećenja — uravnotežiti radno opterećenje između računalnih čvorova. Cilj se sastoji od tri strategije: Strategija migracije radnog opterećenja, Stabilizacija radnog opterećenja, Strategija ravnoteže kapaciteta pohrane.
Strategija migracije radnog opterećenja pokreće migracije virtualnih mašina na temelju radnog opterećenja virtualnih mašina čvorova. Odluka o premještanju donosi se svaki put kada postotak korištenja CPU-a ili RAM-a čvora prelazi određeni prag. Prilikom toga, premještena virtualna mašina treba približiti čvor prosječnom radnom opterećenju svih čvorova.
Zahtjevi
- Korištenje fizičkih procesora;
- Minimalno dva fizička računalna čvora;
- Instaliran i podešen komponenta Ceilometer — ceilometer-agent-compute, koji radi na svakom računalnom čvoru, te Ceilometer API, kao i prikupljanje sljedećih metrika:
metrika
usluga
dodatke
komentar
cpu_util
none
memory.resident
none
Parametri strategije:
parametar
tip
po defaultu
opis
metrics
String
'cpu_util'
Metrike na kojima se temelji: 'cpu_util', 'memory.resident'.
threshold
Broj
25.0
Prag radnog opterećenja za migraciju.
period
Broj
300
Ukupno razdoblje vremena Ceilometera.
Korištena metoda — migracija.
Stabilizacija radnog opterećenja — strategija usmjerena na stabilizaciju radnog opterećenja korištenjem žive migracije. Strategija se temelji na algoritmu standardne devijacije i određuje postoji li opterećenje u klasteru, te reagira pokretanjem migracije mašina radi stabilizacije klastera.
Zahtjevi
- Korištenje fizičkih procesora;
- Minimalno dva fizička računalna čvora;
- Instaliran i podešen komponenta Ceilometer — ceilometer-agent-compute, koji radi na svakom računalnom čvoru, te Ceilometer API, kao i prikupljanje sljedećih metrika:
metrika
usluga
dodatke
komentar
cpu_util
none
memory.resident
none
Strategija ravnoteže kapaciteta pohrane (strategija je implementirana od verzije Queens) — strategija premješta diskove ovisno o opterećenju Cinder bazena. Odluka o premještanju donosi se svaki put kada koeficijent korištenja bazena premaši određeni prag. Premješteni disk trebao bi približiti bazen prosječnoj opterećenosti svih Cinder bazena.
Zahtjevi i ograničenja
- Minimalno dva Cinder bazena;
- Sposobnost migracije diskova.
- Model podataka klastera — Cinder model podataka za prikupljanje.
Parametri strategije:
parametar
tip
po defaultu
opis
volume_threshold
Broj
80.0
Pragovno stanje diskova za ravnotežu volumena.
Korištena metoda — migracija diska (volume_migrate).
Noisy Neighbor — identificirati i premjestiti “bučnog susjeda” — virtualnu mašinu s niskim prioritetom koja negativno utječe na performanse virtualne mašine s visokim prioritetom s aspekta IPC, prekomjerno koristeći Last Level Cache. Vlastita strategija: Noisy Neighbor (korisni parametar strategije — cache_threshold (zadana vrijednost — 35), prilikom pada performansi ispod određene vrijednosti započinje migracija. Za rad strategije potrebne su uključene LLC (Last Level Cache) metrike, najnoviji Intel server koji podržava CMT, kao i prikupljanje sljedećih metrika:
metrika
usluga
dodatke
komentar
cpu_l3_cache
none
Potreban je Intel .
Model podataka klastera (zadano): Nova cluster data model collector. Primjenjivana metoda — migracija.
Rad s ovom svrhom putem Dashboarda nije potpuno implementiran u Queens.
Termalna optimizacija — optimizirati temperaturni režim. Temperatura na izlazu (izduvni zrak) jedan je od važnih termalnih telemetrijskih sustava za mjerenje stanja toplinske / radne opterećenosti servera. Za cilj postoji jedna strategija — Outlet temperature based strategy, koja donosi odluke o premještanju radnih opterećenja na čvorove s povoljnim temperaturnim režimom (najniža temperatura na izlazu), kada temperatura na izlazu izvornih hostova dostigne podesivi prag.
Za rad strategije potreban je server s instaliranim i konfiguriranim Intel Power Node Managerom , kao i prikupljanje sljedećih metrika:
metrika
usluga
dodatke
komentar
hardware.ipmi.node.outlet_temperature
IPMI
Parametri strategije:
parametar
tip
po defaultu
opis
threshold
Broj
35.0
Temperaturni prag za migraciju.
period
Broj
30
Interval vremena u sekundama za dobivanje statističke agregacije iz izvora podataka metrike.
Korištena metoda — migracija.
Optimizacija protoka zraka — optimizirati režim ventilacije. Vlastita strategija — Uniform Airflow using live migration. Strategija pokreće migraciju virtualne mašine svaki put kada protok zraka od ventilatora servera premaši određeni prag.
Za rad strategije potrebni su:
- Hardver: računski čvorovi < s podrškom za NodeManager 3.0;
- Minimalno dva računska čvora;
- Instaliran i podešen na svakom računalnom čvoru komponenta ceilometer-agent-compute i Ceilometer API, koji može uspješno izvještavati o takvim metrikama kao što su protok zraka, snaga sustava, temperatura na ulazu:
metrika
usluga
dodatke
komentar
hardware.ipmi.node.airflow
IPMI
hardware.ipmi.node.temperature
IPMI
hardware.ipmi.node.power
IPMI
Za rad strategije potreban je poslužitelj s instaliranim i podešenim Intel Power Node Manager 3.0 ili novijom verzijom.
Ograničenja: Koncepcija nije namijenjena produkciji.
Preporučuje se korištenje ovog algoritma s kontinuiranim auditima, jer se u jednoj iteraciji planira migracija samo jedne virtualne mašine.
Moguće su žive migracije.
Parametri strategije:
parametar
tip
po defaultu
opis
threshold_airflow
Broj
400.0
Prag protoka zraka za migraciju Jedinica je 0.1CFM
threshold_inlet_t
Broj
28.0
Prag ulazne temperature za odluku o migraciji
threshold_power
Broj
350.0
Prag sustavne snage za odluku o migraciji
period
Broj
30
Interval vremena u sekundama za dobivanje statističke agregacije iz izvora podataka metrike.
Korištena metoda — migracija.
Održavanje hardvera — održavanje hardverskih sredstava. Strategija vezana uz ovu temu je Zone migration. Strategija je alat za učinkovitu automatsku i minimalnu migraciju virtualnih mašina i diskova u slučaju potrebe za održavanjem hardverskih sredstava. Strategija postavlja plan djelovanja u skladu s težinama: set akcija koje imaju veću težinu bit će planirani ranije od drugih. Postoje dva parametra konfiguracije: težine akcija (action_weights) i paralelizacija (parallelization).
Ograničenja: potrebna je konfiguracija težina akcija i paralelizacije.
Parametri strategije:
parametar
tip
po defaultu
opis
compute_nodes
array
Nema
Računalni čvorovi za migraciju.
storage_pools
array
Nema
Čvorovi za pohranu za migraciju.
parallel_total
cjelobrojni
6
Ukupan broj akcija koje se trebaju izvoditi paralelno.
parallel_per_node
cjelobrojni
2
Broj akcija koje se izvode paralelno za svaki računalo čvor.
parallel_per_pool
cjelobrojni
2
Broj akcija koje se izvode paralelno za svaki pohrambeni bazen.
priority
objekt
Nema
Popis prioriteta za virtualne mašine i diskove.
with_attached_volume
boolean
False
False — virtualne mašine će biti premještene nakon premještanja svih diskova. True — virtualne mašine će biti premještene nakon migracije svih povezanih diskova.
Elementi niza računala čvorova:
parametar
tip
po defaultu
opis
src_node
string
Nema
Računalni čvor s kojeg se premještaju virtualne mašine (obavezno).
dst_node
string
Nema
Računalo čvor na koji se migriraju virtualne mašine.
Elementi niza pohrambenih čvorova:
parametar
tip
po defaultu
opis
src_pool
string
Nema
Bazen pohrane iz kojeg se premještaju diskovi (obavezno).
dst_pool
string
Nema
Bazen pohrane na koji se premještaju diskovi.
src_type
string
Nema
Izvorni tip diska (obavezno).
dst_type
string
Nema
Konačni tip diska (obavezno).
Elementi prioriteta objekata:
parametar
tip
po defaultu
opis
projekt
array
Nema
Nazivi projekata.
računalo čvor
array
Nema
Nazivi računskih čvorova.
storage_pool
array
Nema
Nazivi bazena za pohranu.
compute
enum
Nema
Parametri virtualnog stroja [“vcpu_num”, “mem_size”, “disk_size”, “created_at”].
storage
enum
Nema
Parametri diskova [“size”, “created_at”].
Korištene metode — migracija virtualnih strojeva, migracija diskova.
Neklasificirano — pomoćni cilj koji se koristi za olakšavanje procesa razvoja strategije. Ne sadrži specifikacije i može se koristiti svaki put kada strategija još nije povezana s postojećim ciljem. Ovaj cilj također može poslužiti kao prijelazna etapa. Strategija povezana s ovim ciljem je Actuator.
Stvaranje novog cilja
Watcher Decision Engine ima sučelje dodatka “vanjskog cilja”, koje omogućava integraciju vanjskog cilja, koji se može postići uz pomoć strategije.
Prije nego što stvorite novi cilj, potrebno je osigurati da nijedan od postojećih ciljeva ne zadovoljava vaše potrebe.
Stvaranje novog dodatka
Da biste stvorili novi cilj, morate: proširiti klasu cilja, implementirati metodu klase get_name () za vraćanje jedinstvenog identifikatora novog cilja koji želite stvoriti. Ovaj jedinstveni identifikator trebao bi odgovarati imenu ulazne točke koju kasnije deklarirate.
Nakon toga potrebno je implementirati metodu klase get_display_name () za vraćanje prevedenog prikazanog imena cilja koji želite stvoriti (ne koristite varijablu za vraćanje prevedenog niza, kako bi se on mogao automatski prikupiti alatom za prevođenje.).
Implementirajte metodu klase get_translatable_display_name (), kako biste vratili ključ za prevođenje (zapravo englesko prikazano ime) vašeg novog cilja. Vraćena vrijednost trebala bi odgovarati nizu prevedenom u get_display_name ().
Implementirajte njegovu metodu get_efficacy_specification (), kako biste vratili specifikaciju učinkovitosti za vaš cilj. Metoda get_efficacy_specification () vraća primjerak Unclassified (), koji pruža Watcher. Ova specifikacija učinkovitosti korisna je u procesu razvoja vašeg cilja, jer odgovara praznoj specifikaciji.
→
Arhitektura Watchera (više ).

Komponente

Watcher API — komponenta koja implementira REST API koji pruža Watcher. Mehanizmi interakcije: CLI, dodatak Horizon, Python SDK.
Watcher DB — baza podataka Watchera.
Watcher Applier — komponenta koja implementira izvršenje plana djelovanja koji je stvorio komponenta Watcher Decision Engine.
Watcher Decision Engine — komponent koji odgovara za izračun skupa potencijalnih akcija za optimizaciju u cilju audita. Ako strategija nije navedena, komponenta sama bira najprikladniju.
Watcher Metrics Publisher — komponent koji prikuplja i izračunava određene metrike ili događaje te ih objavljuje na krajnjoj točki CEP. Funkcionalnost komponente također može biti omogućena preko Ceilometer publishera.
Complex Event Processing (CEP) Engine — motor kompleksne obrade događaja. Zbog performansi može biti više instanci CEP Engine koje rade istovremeno, a svaka obrađuje određenu vrstu metrike / događaja. U sustavu Watcher CEP pokreće dvije vrste akcija: — zapisivanje relevantnih događaja / metrika u bazu podataka vremenskih serija; — slanje relevantnih događaja u komponentu Watcher Decision Engine, kada taj događaj može utjecati na ishod trenutne strategije optimizacije, budući da OpenStack klaster nije statički sustav.
Interakcija komponenti odvija se putem AMQP protokola.
→
Shema interakcije s Watcher-om

Rezultati testiranja Watcher-a
- Na stranici Optimization — Action plans pojavljuje se greška 500 (kako na čistom Queens, tako i na standu s TiOnix modulima), koja se javlja samo nakon pokretanja audita i generiranja akcijskog plana, dok prazan plan otvara normalno.
- Na kartici Action details pojavljuje se greška, ne uspijeva se dobiti cilj i strategiju audita (kako na čistom Queens, tako i na standu s TiOnix modulima).
- Auditi s ciljem Dummy (testni) stvaraju se i pokreću normalno, generiraju se akcijski planovi.
- Auditi s ciljem Unclassified ne stvaraju se, budući da cilj nije funkcionalan i namijenjen je za međufazno podešavanje pri stvaranju novih strategija.
- Auditi s ciljem Workload Balancing (strategija Storage Capacity balance) stvaraju se uspješno, međutim, akcijski plan se ne generira. Optimizacija skladišnih poolova nije potrebna.
- Auditi s ciljem Workload Balancing (strategija Workload Balance Migration Strategy) stvaraju se uspješno, no akcijski plan se ne generira.
- Auditi s ciljem Workload Balancing (strategija Workload Stabilization Strategy) završavaju greškom.
- Auditi s ciljem Noisy Neighbor stvaraju se uspješno, ali akcijski plan se ne generira.
- Revizije za održavanje hardvera uspješno se stvaraju, akcijski plan se ne generira u potpunosti (generiraju se pokazatelji učinkovitosti, ali se sam popis radnji ne generira).
- Ispravke u konfiguracijama nova.conf (u default sekciji compute_monitors = cpu.virt_driver) na računarskom i upravljačkom čvorištu ne ispravljaju greške.
- Revizije za konsolidaciju poslužitelja (strategija Basic) također se završavaju s greškom.
- Revizije za konsolidaciju poslužitelja (strategija VM workload consolidation) završavaju s greškom. U logovima se javlja greška prilikom preuzimanja izvornih podataka. Rasprava o grešci, posebno, .
Pokušali smo navesti u konfiguracijskoj datoteci Watcher (nije pomoglo — rezultat su greške na svim stranicama Optimization, vraćanje na izvorni sadržaj konfiguracijske datoteke ne ispravlja situaciju):[watcher_strategies.basic]
datasource = ceilometer, gnocchi - Revizije za uštedu energije završavaju s greškom. Prema logovima, problem je ipak u nedostatku Ironic, neće raditi bez baremetal servisa.
- Revizije za termalnu optimizaciju završavaju s greškom. Traceback je isti kao za konsolidaciju poslužitelja (strategija VM workload consolidation) (greška izvornih podataka)
- Revizije za optimizaciju protoka završavaju s greškom.
Pojavljuju se i sljedeće greške prilikom završetka revizije. Traceback u logovima decision-engine.log (nije određeno stanje klastera).
→ Rasprava o grešci
Zaključak
Rezultat naših dvomjesečnih istraživanja bio je jasan zaključak da ćemo za dobivanje cjelovitog, funkcionalnog sustava uravnoteženja opterećenja morati, u ovom dijelu, aktivno raditi na unapređenju alata za platformu Openstack.
Watcher se pokazao kao ozbiljan i brzo razvijajući proizvod s ogromnim potencijalom, za čiju će punu upotrebu biti potrebna velika i ozbiljna intervencija.
Ali o tome – u sljedećim člancima ciklusa.
Izvor: habr.com
