David O’Brien (Xirus): Metriigid! Metriigid! Metriigid! Osa 1

Hiljuti avas David O’Brien oma ettevõtte Xirus (https://xirus.com.au), keskendudes Microsoft Azure Stack'i pilve toodetele. Need on mõeldud hübriidrakenduste järjepidevaks loomiseks ja töötamiseks andmekeskustes, serva asukohtades, kaugkontorites ja pilves.

David koolitab inimesi ja ettevõtteid kõiges, mis on seotud Microsoft Azure ja Azure DevOps'iga (endine VSTS) ning jätkab praktilist nõustamist ja infrastruktuuri kodifitseerimist. Ta on juba 5 aastat olnud Microsoft MVP (Microsofti kõige väärtuslikum professionaal) omanik ning sai hiljuti MVP Azure auhinna. Melbourne Microsoft Cloud’i ja Datacentre Meetup'i kaasorganisaatorina esineb O’Brien regulaarselt rahvusvahelistel konverentsidel, ühendades oma huvi maailma reisimise ja kirge IT-lugude jagamisega kogukonnaga. Davidi blogi leiate aadressilt david-obrien.net, ta avaldab ka oma e-õppe kursusi Pluralsight'is.

Ettekandes räägitakse meetrikate tähtsusest, et mõista, mis toimub teie keskkonnas ja kuidas teie rakendus töötab. Microsoft Azure'il on võimas ja lihtne viis kuvada meetrikat kõigile töökoormustele, ja ettekandes käsitletakse, kuidas neid kõiki ära kasutada.

Kell 3 öösel, pühapäeval, äratab teid ootamatult tekstisõnumi signaal: "kriitiline rakendus ei vasta taas." Mis toimub? Kus ja mis on "peatumise" põhjus? Sellest ettekandest saate teada teenustest, mida Microsoft Azure pakub klientidele logide kogumiseks ja eelkõige teie pilve töökoormuste meetrikate kogumiseks. David räägib, millised meetrikad peaksid teid huvitama pilveplatvormil töötamisel ja kuidas neid leida. Saate teada avatud lähtekoodiga tööriistadest ja armatuurlaudade koostamisest ning omandate piisavalt teadmisi oma armatuurlaudade loomiseks.

Ja kui teid kell 3 öösel taas äratab sõnum kriitilise rakenduse kokkuvarisemisest, suudate kiiresti välja selgitada selle põhjuse.

Tere päevast, täna räägime mõõdikute teemal. Minu nimi on David O'Brien, olen väikese Austraalia konsultatsiooniettevõtte Xirus kaasasutaja ja omanik. Suur tänu, et tulite siia aega veetma. Nii, miks me siin oleme? Räägime mõõdikute kohta, tegelikult räägin ma teile neist ja enne, kui alustame praktiliste asjadega, alustame teooriast.

Selgitan, mis on mõõdikud, mida nendega teha, millele tähelepanu pöörata, kuidas koguda ja integreerida mõõdikute kogumine Azure'isse ning mis on mõõdikute visualiseerimine. Näitan teile, millised need asjad Microsofti pilves välja näevad ja kuidas sellega töötada.

Enne alustamist palun, et need, kes kasutavad Microsoft Azure't, tõstaksid käe. Kes töötab AWS-iga? Näen, et vähesed. Aga Google'i? ALI Cloud? Üks inimene! Hästi. Nii, mis on mõõdikud? Ameerika Ühendriikide Rahvusstandardite ja Tehnoloogia Instituudi ametlik määratlus on järgmine: "Mõõdik on mõõtmise standard, mis kirjeldab tingimusi ja reegleid, mille kohaselt mõõdetakse mõnda omadust, ja aitab mõista mõõtmise tulemusi." Mida see tähendab?

Vaatame näiteks mõõdikut, mis käsitleb virtuaalse masina vaba diskipaiga muutumist. Oletame, et me saame numbri 90, ja see number tähistab protsente, see tähendab, et vaba diskipaik on 90%. Tahan märkida, et mõõdikute määratlemise kirjeldust, mis võtab pdf-formaadis 40 lehekülge, ei ole liiga põnev lugeda.

Mõõdik aga ei ütle, kuidas mõõtmise tulemus saadi, vaid näitab ainult seda tulemust. Mida me siis mõõdikutega teeme?

Esiteks mõõdame millegi väärtust, et hiljem kasutada mõõtmise tulemust.

Näiteks õppisime, kui palju vaba kettaruumi meil on, ja saame seda nüüd kasutada, kasutada seda mälu jne. Kui oleme mõõtmise tulemuse saanud, peame selle tõlgendama. Kui mõõtmine näitas tulemust 90, peame teadma, mida see number tähendab: kas see on vaba ruumi või kasutatud kettaruumi maht protsentides või gigabaitides, võrgu latentsus 90 ms jne, st peame mõistma mõõtmise väärtuse tähendust. Selleks, et mõõdikud üldse mõtet omaksid, peame pärast ühe mõõdiku väärtuse tõlgendamist tagama paljude väärtuste kogumise. See on väga oluline, kuna paljud inimesed ei teadvusta mõõdikute kogumise vajadust. Microsoft on mõõdikute hankimise protsessi väga lihtsaks teinud, kuid te peate ise nende kogumise eest hoolitsema. Need mõõdikud säilivad ainult 41 päeva ja 42. päeval kaovad nad. Seega, sõltuvalt teie välise või sisemise seadme omadustest, peate hoolitsema selle eest, kuidas hoida mõõdikuid kauem kui 41 päeva - logide, protokollide jne kujul. Nii et pärast kogumist peate need kuhugi paigutama, mis võimaldab vajadusel kogu mõõtmisstatistika tulemuste muutuste kohta üles otsida. Kui olete need sinna paigutanud, saate alustada nende tõhusat kasutamist.

Alles pärast mõõdikute väärtuste saamist, nende tõlgendamist ja kogumist saate luua SLA - teenuse taseme kokkuleppe. See SLA ei pruugi teie klientide jaoks erilist tähtsust omada, kuid see on olulisem teie kolleegide, juhtide ja süsteemi toimimise tagamise eest vastutavate isikute jaoks. Mõõdik võib mõõta pileteid - näiteks saab päevas 5 piletit, ja sel juhul näitab see reageerimiskiirus kasutajate päringutele ja probleemide lahendamise kiirus. Mõõdik ei peaks lihtsalt teatama, et teie veebisait laadib 20 ms jooksul või et vastamisaeg on 20 ms, mõõdik on rohkem kui lihtsalt üks tehniline näitaja.

Seega on meie vestluse eesmärk tutvustada teile mõõdikute olemuse laiendatud pilti. Mõõdik on mõeldud selleks, et saaksite sellele vaadates saada täieliku ülevaate protsessist.

Kui oleme mõõdiku saanud, saame 99% kindlusega garanteerida süsteemi töökindluse, kuna see ei ole pelgalt pilk logifailile, kus on kirjas, et süsteem töötab. 99% töökindluse garantii tähendab, et näiteks 99% juhtudest reageerib API normaalse kiirusena 30 ms. Just see on oluline teie kasutajatele, kolleegidele ja juhtidele. Paljud meie kliendid jälgivad veebiserveri logisid, kuid nad ei märka seal mingeid vigu ja arvavad, et kõik on korras. Näiteks nad näevad võrgu kiirusnäitajat 200 mb/s ja arvavad: "ok, kõik on suurepärane!". Kuid selle 200 saavutamiseks vajavad kasutajad 30 millisekundi vastusaega, ja see on just see näitaja, mida ei mõõdeta ja logifailides ei koguta. Samuti imestavad kasutajad, et veebileht laadib väga aeglaselt, kuna neil puudub vajalik mõõdik ja nad ei tea sellega seotud probleeme.

Kuna meil on olemas SLA, mis garanteerib 100% töökindluse, hakkavad kliendid väljendama rahulolematust, sest tegelikult on veebilehe kasutamine väga keeruline. Seetõttu on objektiivse SLA loomiseks vajalik näha kogu protsessi, mida loob kogutud mõõdik. See on pidev vaidluse teema mitmete teenusepakkujatega, kes ei mõista SLA loomisel, mida tähendab termin "uptime" ja enamikul juhtudel ei selgita nad oma klientidele, kuidas nende API töötab.

Kui olete loonud teenuse, näiteks API kolmanda osapoole jaoks, peate mõistma, mida tähendab saadud mõõdik 39,5 – vastus, eduka vastuse, vastus kiirusel 20 ms või kiirusel 5 ms. Just teie peate kohandama nende SLA omaenda SLA-ga, omaenda mõõdikutega.

Kui kõik see on selge, saab alustada suurepärase juhtpaneeli loomist. Öelge, kas keegi on juba kasutanud interaktiivse visualiseerimise rakendust Grafana? Suurepärane! Olen selle open source'i suur fänn, kuna see on tasuta ja sellega on lihtne kasutada.

Kui te pole veel Grafanat kasutanud, räägin teile, kuidas sellega töötada. Need, kes sündisid 80-90ndatel, mäletavad ilmselt hoolivaid karusid CareBears? Ma ei tea, kui populaarsed need karud Venemaal olid, kuid meie suhtes mõõdikute osas peaksime olema sama "hoolivad karud". Nagu ma ütlesin, vajate laia ülevaadet kogu süsteemi tööst ja see ei peaks piirduma ainult teie API, teie kodulehe või teenusega, mis töötab virtuaalmasinas.

Te peate korraldama nende mõõdikute kogumise, mis kõige paremini kajastavad kogu süsteemi tööd. Enamik teist on tarkvaraarendajad, seega teie elu muutub pidevalt, kohandudes uute tootearendusnõuetega, ja niivõrd, kuivõrd te hoolite kodeerimisprotsessidest, peate samuti hoolima mõõdikutest. Te peate teadma, kuidas mõõdik puudutab iga teie kirjutatud koodi rida. Näiteks järgmisel nädalal alustate uut turunduskampaaniat ja ootate, et teie saidile külastab suur hulk inimesi. Selle sündmuse analüüsimiseks on teil vaja mõõdikuid ja võib-olla vajad te tõeliselt terve paneeli, et jälgida nende inimeste tegevust. Mõõdikud on vajalikud selleks, et aru saada, kui edukas ja tõeliselt efektiivne on teie turunduskampaania. Need aitavad teil näiteks välja töötada tõhusa CRM-i — klientide suhete haldamise süsteemi.

Nii et alustame meie pilveteenuse Azure'iga. Siin on väga lihtne leida ja korraldada mõõdikute kogumist, kuna siin on Azure Monitor. See monitor keskendab teie süsteemi konfiguratsiooni haldamist. Iga Azure'i element, mida soovite oma süsteemis rakendada, on varustatud palju sisseehitatud mõõdikute kohandatud seadetega. See on tasuta rakendus, mis töötab otse "karbist välja" ja ei nõua mingeid eelnevaid seadistusi, te ei pea midagi kirjutama ega "ühendama" oma süsteemiga. Veendume selles, vaadates järgmist demot.

Lisaks on olemas võimalus saata neid mõõdikud kolmanda osapoole rakendustesse, nagu logide salvestamise ja analüüsi süsteem Splunk, pilvepõhine logihaldur SumoLogic, logide töötlemise tööriist ELK ja IBM Radar. Tõsi, siin on väiksed erinevused, mis sõltuvad teie kasutatavatest ressurssidest – virtuaalsetest masinatest, võrgu teenustest, Azure SQL andmebaasidest, see tähendab, et mõõdikute kasutamine varieerub vastavalt teie töökeskkonna funktsioonidele. Ma ei ütle, et need erinevused on olulised, kuid kahjuks on need siiski olemas ja seda tuleks arvesse võtta. Mõõdikute lubamine ja edastamine on võimalik mitmel viisil: läbi Portali, CLI/Power Shell või kasutades ARM mudeleid.

Enne esimest demonstreerimist vastan olemasolevatele küsimustele. Kui küsimusi ei ole, alustame. Ekraanil on näha, kuidas näeb välja Azure Monitori leht. Kas keegi teist saab öelda, et see monitor ei tööta?

Nii et nüüd on kõik korras, näete, millised on monitorite teenused. Võin öelda, et see on suurepärane ja väga lihtne tööriist igapäevaseks tööks. Selle abil saate jälgida rakendusi, võrke ja infrastruktuuri. Hiljuti on jälgimisliidest täiustatud ning kui varem olid teenused jaotatud erinevatesse kohtadesse, siis nüüd konsolideeritakse kogu teave teenuste kohta monitori avalehele.

Mõõdikute tabel on vahekaart aadressil HomeMonitorMetrics, kuhu pääseb, et näha kõiki olemasolevaid mõõdikute ning valida vajalikud. Kuid kui teil on vajalik mõõdikute kogumine sisse lülitada, peate kasutama katalooge HomeMonitorDiagnostic settings ja kontrollima mõõdikute Enabled/Disabled kaste. Vaikimisi on peaaegu kõik mõõdikud sisselülitatud, kuid kui vajate midagi täiendavat, peate muutma diagnostika staatuse Disabled-lt Enabled-ks.

Selleks tuleb klõpsata valitud mõõdiku real ja avaneval vahekaardil aktiveerida diagnostika režiim. Kui kavatsete analüüsida valitud mõõdikut, peate pärast nuppu Turn on diagnostic vajutama esile kerkival aknas kasti Send to Log Analytics.

Log Analytics on veidi sarnane Splunkiga, kuid odavam. See teenus võimaldab koguda kõiki teie mõõdikuid, logisid ja kõike, mida vajate, ning paigutada need Log Analytics'i töökeskkonda. Teenus kasutab spetsiaalset päringukeelt KQL – Kusto Quarry Language, mille tööd käsitleme järgmises demoes. Seniks olgu öeldud, et selle abil saate luua päringuid seoses mõõdikute, logide, terminite, trendide, mustrite jne. ja luua armatuurlauad.

Nii et me märkime ruutu Send to Log Analytics ja logime paneelide LOG: DataPlaneRequests, MongoRequests ja QueryRuntimeStatistics ning allpool paneelis METRIC – ruutu Requests. Seejärel anname mingisuguse nime ja salvestame seaded. Kommando Realis on see kaks rida koodi. Muide, Azure Cloud Shell meenutab selles osas Google'i, mis võimaldab samuti kasutada käsurea oma veebibrauseris. AWS-l pole midagi sarnast, seega on Azure selles osas oluliselt mugavam.

Näiteks võin ma demot käivitada veebiliidese kaudu, kasutamata selleks mingit koodi oma sülearvutis. Selleks pean autentima oma Azure'i kontoga. Edasi võin kasutada näiteks terrafone'i, kui te seda juba kasutate, oodata teenusesse ühenduse loomist ja saada töökeskkond Linux, mida Microsoft vaikimisi kasutab.

Jätkan Bash'iga, mis on integreeritud Azure Cloud Shell'i. Väga kasulik on brauserisse integreeritud IDE, kergem versioon VS Code'ist. Jätan oma veamõõdikute malli ja muudan seda ning seadistan vastavalt oma vajadustele.

Olenevalt sellest, kuidas olete selles mallis mõõdikud seadistanud, saate rakendada seda oma kogu infrastruktuuri mõõdikute loomiseks. Pärast mõõdikute rakendamist, kogumist ja salvestamist peame need visualiseerima.

Azure Monitor tegeleb ainult mõõdikute kogumisega ja ei anna võimalust saada ülevaadet teie süsteemi seisundist. Te võite kasutada mitmeid teisi rakendusi, mis töötavad Azure'ist väljaspool. Seega, kui peate jälgima kõiki protsesse, visualiseerides kõik kogutud mõõdikud ühes kohas, ei sobi Azure Monitor selleks.

Selle ülesande lahendamiseks pakub Microsoft tööriista Power BI – kompleksset ärianalüüsi tarkvara, mis sisaldab mitmesuguste andmete visualiseerimist. See on üsna kallis toode, mille hind sõltub vajalikest funktsioonidest. Vaikimisi pakub see teile 48 tüüpi töödeldavaid andmeid ja on seotud SQL Azure, Azure Data Lake Storage, Azure’i masinõppe teenuste ja Azure Databricks'iga. Kasutades skaleeritavust, saate igal 30 minutil uusi andmeid. See võib olla piisav teie vajaduste jaoks või mitte piisav, kui vajate reaalajas jälgimise visualiseerimist. Sellisel juhul on soovitatav kasutada selliseid rakendusi nagu mainitud Grafana. Lisaks on Microsofti dokumendis kirjeldatud võimalust edastada mõõdikud, logid ja sündmuste tabelid SIEM – tööriistade kaudu Splunki, SumoLogic, ELK ja IBM radar süsteemidesse.

23:40 min

Jätkub peagi...

Veidi reklaami 🙂

Aitäh, et olete meiega. Kas teile meeldivad meie artiklid? Kas soovite näha rohkem huvitavat sisu? Toetage meid, tellides teenuse või soovitades meid tuttavatele. Pilve VPS arendajatele alates $4.99, ainulaadne entry-level serverite analoog, mille oleme teie jaoks välja mõelnud: Kogu tõde VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps alates $19 või kuidas jagada serverit õigesti? (saadaval RAID1 ja RAID10 variandid, kuni 24 tuuma ja kuni 40GB DDR4).

Dell R730xd on Equinixi Tier IV andmekeskuses Amsterdamis kaks korda odavam? Ainult meie juures 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TB alates $199 Hollandis! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — alates $99! Lugege sellest Kuidas luua ettevõtte tasemel infrastruktuuri, kasutades Dell R730xd E5-2650 v4 servereid, mille hind on 9000 eurot, taskukohase hinna eest?

Allikas: habr.com