David O'Brien nedávno spustil svoju vlastnú spoločnosť Xirus (https://xirus.com.au), ktorá sa zameriava na cloudové produkty Microsoft Azure Stack. Sú navrhnuté tak, aby dôsledne vytvárali a prevádzkovali hybridné aplikácie v dátových centrách, okrajových lokalitách, vzdialených pobočkách a cloude.
David školí jednotlivcov a spoločnosti vo všetkých veciach Microsoft Azure a Azure DevOps (predtým VSTS) a stále robí praktické konzultácie a infrakódovanie. Už 5 rokov je víťazom ocenenia Microsoft MVP (Microsoft Most Valuable Professional) a nedávno získal ocenenie Azure MVP Award. Ako spoluorganizátor Melbourne Microsoft Cloud and Datacentre Meetup O'Brien pravidelne vystupuje na medzinárodných konferenciách, pričom spája svoj záujem o cestovanie po svete s vášňou pre zdieľanie IT príbehov s komunitou. Davidov blog sa nachádza na adrese , svoje online školenie zverejňuje aj na Pluralsight.
Prednáška hovorí o dôležitosti metrík pre pochopenie toho, čo sa deje vo vašom prostredí a ako vaša aplikácia funguje. Microsoft Azure má výkonný a jednoduchý spôsob zobrazovania metrík pre všetky druhy úloh a prednáška vysvetľuje, ako ich môžete všetky použiť.
V nedeľu o 3:XNUMX, keď spíte, vás zrazu zobudí textová správa: „superkritická aplikácia už neodpovedá.“ Čo sa deje? Kde a aký je dôvod „brzd“? V tejto prednáške sa dozviete o službách, ktoré Microsoft Azure ponúka zákazníkom na zhromažďovanie protokolov a najmä metrík z vašich cloudových úloh. David vám prezradí, o aké metriky by ste sa pri práci na cloudovej platforme mali zaujímať a ako sa k nim dostať. Dozviete sa o nástrojoch s otvoreným zdrojovým kódom a zostavovaní informačných panelov a získate dostatok vedomostí na vytvorenie vlastných informačných panelov.
A ak vás o 3:XNUMX opäť zobudí správa, že kritická aplikácia zlyhala, môžete rýchlo zistiť jej príčinu.
Dobré popoludnie, dnes budeme hovoriť o metrikách. Volám sa David O'Brien, som spoluzakladateľom a majiteľom malej austrálskej poradenskej spoločnosti Xirus. Ešte raz vám ďakujem, že ste sem prišli stráviť čas so mnou. Tak prečo sme tu? Ak chcete hovoriť o metrikách, alebo skôr, poviem vám o nich, a predtým, ako niečo urobíme, začnime teóriou.
Poviem vám, čo sú metriky, čo s nimi môžete robiť, čomu musíte venovať pozornosť, ako zbierať a povoliť zhromažďovanie metrík v Azure a čo je vizualizácia metrík. Ukážem vám, ako tieto veci vyzerajú v cloude Microsoftu a ako s týmto cloudom pracovať.
Skôr ako začneme, požiadam tých, ktorí používajú Microsoft Azure, o zdvihnutie ruky. Kto pracuje s AWS? Vidím ich málo. A čo Google? ALI Cloud? Jeden muž! Skvelé. Čo sú teda metriky? Oficiálna definícia amerického Národného inštitútu pre štandardy a technológie znie: „Metrika je štandard merania, ktorý popisuje podmienky a pravidlá merania vlastnosti a slúži na pochopenie výsledkov merania.“ Čo to znamená?
Zoberme si príklad metriky na zmenu voľného miesta na disku virtuálneho počítača. Napríklad dostaneme číslo 90 a toto číslo znamená percento, to znamená, že množstvo voľného miesta na disku je 90%. Podotýkam, že nie je veľmi zaujímavé čítať popis definície metriky, ktorá zaberá 40 strán vo formáte pdf.
Metrika však nehovorí, ako bol výsledok merania získaný, iba ukazuje tento výsledok. Čo robíme s metrikami?
Najprv zmeriame hodnotu niečoho, aby sme potom použili výsledok merania.
Napríklad sme zistili množstvo voľného miesta na disku a teraz ho môžeme použiť, použiť túto pamäť atď. Keď dostaneme výsledok metriky, musíme ho interpretovať. Napríklad metrika vrátila výsledok 90. Potrebujeme vedieť, čo toto číslo znamená: množstvo voľného miesta alebo množstvo použitého miesta na disku v percentách alebo gigabajtoch, latencia siete rovnajúca sa 90 ms atď. , musíme interpretovať význam metrickej hodnoty. Aby boli metriky vôbec zmysluplné, po interpretácii jednej hodnoty metriky musíme zabezpečiť, aby sa zhromaždilo viacero hodnôt. Je to veľmi dôležité, pretože veľa ľudí si neuvedomuje potrebu zhromažďovať metriky. Spoločnosť Microsoft veľmi zjednodušila zhromažďovanie metrík, ale je na vás, aby ste zabezpečili ich zhromažďovanie. Tieto metriky sú uložené iba 41 dní a zmiznú na 42. deň. V závislosti od vlastností vášho externého alebo interného zariadenia by ste sa preto mali postarať o to, ako uložiť metriky na viac ako 41 dní - vo forme protokolov, protokolov atď. Preto by ste ich po zbere mali umiestniť na nejaké miesto, ktoré vám v prípade potreby umožní vytiahnuť všetky štatistiky zmien vo výsledkoch metrík. Keď ich tam vložíte, môžete s nimi začať efektívne pracovať.
Až potom, čo získate metriky, interpretujete ich a zhromaždíte, môžete vytvoriť SLA - zmluvu o úrovni služieb. Táto zmluva SLA nemusí mať veľký význam pre vašich zákazníkov, ale skôr pre vašich kolegov, manažérov, tých, ktorí systém udržiavajú a majú obavy o jeho funkčnosť. Metrika dokáže merať počet tiketov – napríklad dostaneš 5 tiketov za deň a v tomto prípade ukazuje rýchlosť reakcie na požiadavky používateľov a rýchlosť riešenia problémov. Metrika by nemala hovoriť len o tom, že vaša stránka sa načíta za 20 ms alebo že rýchlosť odozvy je 20 ms, metrika je viac než len jeden technický indikátor.
Úlohou nášho rozhovoru je preto poskytnúť vám podrobný obraz o podstate metrík. Metrika slúži na to, že jej pohľadom môžete získať úplný obraz o procese.
Keď máme metriku, môžeme na 99 % zaručiť, že systém funguje, pretože to nie je len pohľad na súbor denníka, ktorý hovorí, že systém funguje. Záruka 99% dostupnosti znamená, že napríklad 99% času API reaguje normálnou rýchlosťou 30 ms. To je presne to, čo zaujíma vašich používateľov, vašich kolegov a manažérov. Mnohí naši klienti sledujú logy web servera, no nevšimnú si v nich žiadne chyby a myslia si, že je všetko v poriadku. Vidia napríklad rýchlosť siete 200 Mb/s a myslia si: „ok, všetko je skvelé!“ Na dosiahnutie týchto 200 však používatelia potrebujú rýchlosť odozvy 30 milisekúnd, a to je presne ten indikátor, ktorý sa nemeria a nezhromažďuje v protokolových súboroch. Používatelia sú zároveň prekvapení, že sa stránka načítava veľmi pomaly, pretože keďže nemajú potrebné metriky, nepoznajú dôvody tohto správania.
Ale keďže máme 100% dostupnosť SLA, zákazníci sa začínajú sťažovať, pretože stránka je v skutočnosti veľmi náročná na používanie. Preto na vytvorenie objektívnej SLA je potrebné vidieť úplný obraz procesu, ktorý vytvárajú zozbierané metriky. Toto je neustály problém, ktorý mám s niektorými poskytovateľmi, ktorí pri vytváraní SLA netušia, čo znamená pojem „uptime“ a vo väčšine prípadov nevysvetľujú svojim klientom, ako funguje ich API.
Ak ste vytvorili službu, napríklad API pre tretiu osobu, mali by ste pochopiť, čo znamená výsledná metrika 39,5 – odozva, úspešná odozva, odozva pri rýchlosti 20 ms alebo pri rýchlosti 5 ms. Je len na vás, aby ste ich SLA prispôsobili vašej vlastnej SLA, vašim vlastným metrikám.
Keď toto všetko zistíte, môžete začať vytvárať ohromujúci dashboard. Povedzte mi, použil už niekto interaktívnu vizualizačnú aplikáciu Grafana? Skvelé! Som veľkým fanúšikom tohto open source, pretože táto vec je zadarmo a ľahko sa používa.
Ak ste ešte Grafana nepoužili, poviem vám, ako s ňou pracovať. Každý, kto sa narodil v 80. a 90. rokoch, si pravdepodobne pamätá CareBears? Neviem, ako populárne boli tieto medvede v Rusku, ale pokiaľ ide o metriky, mali by sme byť rovnakí „starostliví medvede“. Ako som povedal, potrebujete veľký obraz o tom, ako celý systém funguje, a nemalo by to byť len o vašom API, vašom webe alebo službe spustenej vo virtuálnom stroji.
Musíte zorganizovať zbierku tých metrík, ktoré najlepšie odrážajú fungovanie celého systému. Väčšina z vás ste vývojári softvéru, takže váš život sa neustále mení, prispôsobuje sa novým požiadavkám na produkty a rovnako ako sa zaoberáte procesmi kódovania, mali by ste sa zaoberať aj metrikami. Musíte vedieť, ako metrika súvisí s každým riadkom kódu, ktorý napíšete. Napríklad budúci týždeň začínate s novou marketingovou kampaňou a očakávate, že váš web navštívi veľký počet používateľov. Na analýzu tejto udalosti budete potrebovať metriky a možno budete potrebovať celý informačný panel na sledovanie aktivity týchto ľudí. Na pochopenie úspešnosti vašej marketingovej kampane a jej skutočnej výkonnosti budete potrebovať metriky. Pomôžu vám napríklad vyvinúť efektívny CRM – systém riadenia vzťahov so zákazníkmi.
Začnime teda s našou cloudovou službou Azure. Je veľmi jednoduché nájsť a usporiadať kolekciu metrík, pretože má Azure Monitor. Tento monitor centralizuje správu konfigurácie vášho systému. Každý z prvkov Azure, ktorý chcete použiť vo svojom systéme, má predvolene povolených veľa metrík. Ide o bezplatnú aplikáciu, ktorá funguje hneď po vybalení a nevyžaduje žiadne predbežné nastavenia, do systému nemusíte nič zapisovať ani „skrutkovať“. Overíme si to pohľadom na nasledujúcu ukážku.
Okrem toho je možné odosielať tieto metriky do aplikácií tretích strán, ako je systém ukladania a analýzy protokolov Splunk, cloudová aplikácia na správu protokolov SumoLogic, nástroj na spracovanie protokolov ELK a IBM Radar. Je pravda, že existujú malé rozdiely, ktoré závisia od prostriedkov, ktoré používate – virtuálny stroj, sieťové služby, databázy Azure SQL, to znamená, že použitie metrík sa líši v závislosti od funkcií vášho pracovného prostredia. Nehovorím, že tieto rozdiely sú vážne, ale, žiaľ, stále existujú, a to by sa malo brať do úvahy. Povolenie a odosielanie metrík je možné niekoľkými spôsobmi: cez portál, CLI/Power Shell alebo pomocou ARM šablón.
Predtým, než začnem s mojím prvým demo, odpoviem na všetky vaše otázky. Ak nie sú žiadne otázky, začnime. Na obrazovke sa zobrazuje, ako vyzerá stránka Azure Monitor. Môže niekto z vás povedať, že tento monitor nefunguje?
Takže teraz je všetko v poriadku, môžete vidieť, ako vyzerajú služby monitora. Môžem povedať, že ide o výborný a veľmi jednoduchý nástroj na každodennú prácu. Dá sa použiť na monitorovanie aplikácií, sietí a infraštruktúry. Nedávno bolo vylepšené monitorovacie rozhranie a ak sa predtým služby nachádzali na rôznych miestach, teraz sú všetky informácie o službách konsolidované na domovskej stránke monitora.
Tabuľka metrík je karta pozdĺž cesty HomeMonitorMetrics, na ktorú môžete prejsť a zobraziť všetky dostupné metriky a vybrať tie, ktoré potrebujete. Ak však potrebujete povoliť zhromažďovanie metrík, musíte použiť cestu k adresáru nastavení HomeMonitorDiagnostic a začiarknuť políčka Enabled/Disabled metrics. V predvolenom nastavení sú takmer všetky metriky povolené, ale ak potrebujete povoliť niečo navyše, budete musieť zmeniť stav diagnostiky z Vypnuté na Povolené.
Ak to chcete urobiť, kliknite na riadok vybranej metriky a na karte, ktorá sa otvorí, povoľte diagnostický režim. Ak sa chystáte analyzovať vybratú metriku, potom po kliknutí na odkaz Zapnúť diagnostiku musíte v zobrazenom okne začiarknuť políčko Odoslať do protokolu analýzy.
Log Analytics je trochu podobný Splunk, ale stojí menej. Táto služba vám umožňuje zhromažďovať všetky vaše metriky, protokoly a všetko ostatné, čo potrebujete, a umiestniť ich do pracovného priestoru Log Analytics. Služba využíva špeciálny jazyk na spracovanie dotazov KQL - Kusto Quarry Language, na jeho prácu sa pozrieme v ďalšej ukážke. Zatiaľ si všimnem, že s jeho pomocou môžete vytvárať otázky týkajúce sa metrík, protokolov, výrazov, trendov, vzorov atď. a vytvárať informačné panely.
Začiarkneme teda políčko Send to Log Analytics a začiarkavacie políčka na paneli LOG: DataPlaneRequests, MongoRequests a QueryRuntimeStatistics a nižšie na paneli METRIC – políčko Requests. Potom priradíme názov a uložíme nastavenia. Na príkazovom riadku to predstavuje dva riadky kódu. Mimochodom, Azure Cloud shell v tomto zmysle pripomína Google, čo vám tiež umožňuje používať príkazový riadok vo webovom prehliadači. AWS nič také nemá, takže Azure je v tomto zmysle oveľa pohodlnejší.
Napríklad môžem spustiť demo cez webové rozhranie bez použitia akéhokoľvek kódu na mojom notebooku. Aby som to mohol urobiť, musím sa overiť pomocou svojho účtu Azure. Potom môžete použiť napríklad terrafone, ak ho už používate, počkajte na pripojenie k službe a získajte pracovné prostredie Linuxu, ktoré Microsoft štandardne používa.
Ďalej používam Bash, zabudovaný do Azure Cloud Shell. Veľmi užitočnou vecou je IDE zabudované v prehliadači, odľahčená verzia VS Code. Potom môžem prejsť do svojej šablóny metrík chýb, upraviť ju a prispôsobiť tak, aby vyhovovala mojim potrebám.
Po nastavení kolekcie metrík v tejto šablóne ju môžete použiť na vytvorenie metrík pre celú vašu infraštruktúru. Keď použijeme metriky, zhromaždíme ich a uložíme, budeme ich musieť vizualizovať.
Azure Monitor sa zaoberá iba metrikami a neposkytuje celkový obraz o stave vášho systému. Môžete mať množstvo ďalších aplikácií spustených mimo prostredia Azure. Ak teda potrebujete monitorovať všetky procesy a vizualizovať všetky zhromaždené metriky na jednom mieste, Azure Monitor na to nie je vhodný.
Na vyriešenie tohto problému spoločnosť Microsoft ponúka nástroj Power BI, komplexný softvér na podnikovú analýzu, ktorý zahŕňa vizualizáciu širokej škály údajov. Ide o pomerne drahý produkt, ktorého cena závisí od súboru funkcií, ktoré potrebujete. V predvolenom nastavení vám ponúka 48 druhov údajov na spracovanie a je prepojený s Azure SQL Data Warehouses, Azure Data Lake Storage, Azure Machine Learning Services a Azure Databricks. Pomocou škálovateľnosti môžete prijímať nové údaje každých 30 minút. To môže, ale nemusí byť dostatočné pre vaše potreby, ak potrebujete vizualizáciu monitorovania v reálnom čase. V tomto prípade sa odporúča použiť aplikácie ako Grafana, ktorú som spomínal. Okrem toho dokumentácia spoločnosti Microsoft popisuje možnosť odosielania metrík, protokolov a tabuliek udalostí pomocou nástrojov SIEM do vizualizačných systémov Splunk, SumoLogic, ELK a IBM radar.
23:40 min
Pokračovanie už čoskoro...
Nejaké inzeráty 🙂
Ďakujeme, že ste zostali s nami. Páčia sa vám naše články? Chcete vidieť viac zaujímavého obsahu? Podporte nás zadaním objednávky alebo odporučením priateľom, , jedinečný analóg serverov základnej úrovne, ktorý sme pre vás vymysleli: (k dispozícii s RAID1 a RAID10, až 24 jadier a až 40 GB DDR4).
Dell R730xd 2 krát lacnejší v dátovom centre Equinix Tier IV v Amsterdame? Len tu v Holandsku! Dell R420 – 2x E5-2430 2.2 GHz 6C 128 GB DDR3 2 x 960 GB SSD 1 Gb/s 100 TB – od 99 USD! Čítať o
Zdroj: hab.com