Дейвид О'Брайън (Xirus): Метрики! Метрика! Метрика! Част 1

Дейвид О'Брайън наскоро стартира своя собствена компания Xirus (https://xirus.com.au), фокусирана върху облачните продукти на Microsoft Azure Stack. Те са предназначени за последователно изграждане и стартиране на хибридни приложения в центрове за данни, периферни местоположения, отдалечени офиси и облак.

Дейвид обучава физически лица и компании за всички неща, свързани с Microsoft Azure и Azure DevOps (по-рано VSTS) и все още прави практически консултации и инфракодиране. Той е носител на наградата на Microsoft MVP (Microsoft Most Valuable Professional) от 5 години и наскоро получи наградата Azure MVP. Като съорганизатор на срещата на Microsoft Cloud and Datacentre в Мелбърн, О'Брайън редовно говори на международни конференции, съчетавайки интереса си да пътува по света със страстта да споделя ИТ истории с общността. Блогът на Дейвид се намира на david-obrien.net, той също публикува своето онлайн обучение на Pluralsight.

Разговорът говори за значението на показателите за разбирането на това, което се случва във вашата среда и как се представя вашето приложение. Microsoft Azure има мощен и лесен начин за показване на показатели за всички видове натоварвания и лекцията обяснява как можете да ги използвате всички.

В 3 сутринта в неделя, докато спите, внезапно се събуждате от текстово съобщение: „свръхкритично приложение отново не отговаря“. Какво става? Къде и каква е причината за "спирачките"? В тази лекция ще научите за услугите, които Microsoft Azure предлага на клиентите за събиране на регистрационни файлове и по-специално показатели от вашите облачни работни натоварвания. Дейвид ще ви каже какви показатели трябва да ви интересуват, когато работите на облачна платформа и как да стигнете до тях. Ще научите за инструментите с отворен код и изграждането на табло за управление и ще получите достатъчно знания, за да създадете свои собствени табла за управление.

И ако бъдете събудени отново в 3 сутринта от съобщение, че критично приложение се е сбило, можете бързо да разберете причината.

Добър ден, днес ще говорим за показатели. Казвам се Дейвид О'Брайън, аз съм съосновател и собственик на малка австралийска консултантска компания Xirus. Благодаря ви отново, че дойдохте тук, за да прекарате времето си с мен. И така, защо сме тук? За да говорим за показатели, или по-скоро, ще ви разкажа за тях и преди да правим нещо, нека започнем с теорията.

Ще ви кажа какво представляват метриките, какво можете да правите с тях, на какво трябва да обърнете внимание, как да събирате и активирате събирането на метрики в Azure и какво представлява визуализацията на метриките. Ще ви покажа как изглеждат тези неща в облака на Microsoft и как да работите с този облак.

Преди да започнем, ще помоля тези, които използват Microsoft Azure, да вдигнат ръка. Кой работи с AWS? Виждам малко. Какво ще кажете за Google? ALI Cloud? Един мъж! Страхотен. И така, какво представляват показателите? Официалната дефиниция на Националния институт за стандарти и технологии на САЩ е: „Метриката е стандарт за измерване, който описва условията и правилата за измерване на свойство и служи за разбиране на резултатите от измерването.“ Какво означава?

Нека вземем пример за метрика за промяна на свободното дисково пространство на виртуална машина. Например, получаваме числото 90 и това число означава процент, тоест количеството свободно дисково пространство е 90%. Отбелязвам, че не е много интересно да се чете описанието на дефиницията на показателите, което отнема 40 страници в pdf формат.

Метриката обаче не казва как е получен резултатът от измерването, тя само показва този резултат. Какво правим с показателите?

Първо измерваме стойността на нещо, за да използваме след това резултата от измерването.

Например, разбрахме количеството свободно дисково пространство и сега можем да го използваме, да използваме тази памет и т.н. След като получим метричния резултат, трябва да го интерпретираме. Например, показателят върна резултат от 90. Трябва да знаем какво означава това число: количеството свободно пространство или количеството използвано дисково пространство в проценти или гигабайти, латентност на мрежата, равна на 90 ms и т.н., т.е. , трябва да интерпретираме значението на метричната стойност. За да могат показателите изобщо да имат смисъл, след интерпретиране на една стойност на показател, трябва да гарантираме, че се събират множество стойности. Това е много важно, защото много хора не са наясно с необходимостта от събиране на показатели. Microsoft направи много лесно събирането на показатели, но от вас зависи да се уверите, че са събрани. Тези показатели се съхраняват само за 41 дни и изчезват на 42-ия ден. Следователно, в зависимост от свойствата на вашето външно или вътрешно оборудване, трябва да се погрижите как да запазите показателите за повече от 41 дни - под формата на дневници, дневници и т.н. По този начин, след събирането, трябва да ги поставите на някое място, което ви позволява да изтеглите цялата статистика на промените в резултатите от показателите, ако е необходимо. След като ги поставите там, можете да започнете да работите с тях ефективно.

Само след като получите метриките, интерпретирате ги и ги съберете, можете да създадете SLA - споразумение за ниво на обслужване. Това SLA може да не е от голямо значение за вашите клиенти; по-важно е за вашите колеги, мениджъри, тези, които поддържат системата и са загрижени за нейната функционалност. Метриката може да измерва броя на билетите - например получавате 5 билета на ден и в този случай показва скоростта на реакция на потребителските заявки и скоростта на отстраняване на проблеми. Метриката не трябва просто да казва, че вашият сайт се зарежда за 20 ms или че скоростта ви на реакция е 20 ms, една метрика е нещо повече от един технически индикатор.

Затова задачата на нашия разговор е да ви представим детайлна картина на същността на метриката. Метриката служи така, че като я разгледате, можете да получите пълна картина на процеса.

След като имаме показателя, можем 99% да гарантираме, че системата работи, защото не само гледането на лог файл казва, че системата работи. 99% гаранция за непрекъсната работа означава, че например 99% от времето API отговаря с нормална скорост от 30 ms. Точно това интересува вашите потребители, вашите колеги и мениджъри. Много от нашите клиенти следят регистрационните файлове на уеб сървъра, но не забелязват никакви грешки в тях и смятат, че всичко е наред. Например, те виждат скорост на мрежата от 200 Mb/s и си мислят: „Добре, всичко е страхотно!“ Но за да постигнат тези 200, потребителите се нуждаят от скорост на реакция от 30 милисекунди и точно това е показателят, който не се измерва и не се събира в лог файлове. В същото време потребителите са изненадани, че сайтът се зарежда много бавно, защото, като нямат необходимите показатели, те не знаят причините за това поведение.

Но тъй като имаме 100% ъптайм SLA, клиентите започват да се оплакват, защото сайтът всъщност е много труден за използване. Следователно, за да се създаде обективно SLA, е необходимо да се види пълната картина на процеса, създаден от събраните показатели. Това е постоянен проблем, който имам с някои доставчици, които, когато създават SLA, нямат представа какво означава терминът „време на работа“ и в повечето случаи не обясняват на клиентите си как работи техният API.

Ако сте създали услуга, например API за трето лице, трябва да разберете какво означава получената метрика от 39,5 - отговор, успешен отговор, отговор при скорост 20 ms или при скорост 5 ms. От вас зависи да адаптирате тяхното SLA към вашето собствено SLA, към вашите собствени показатели.

След като разберете всичко това, можете да започнете да създавате зашеметяващо табло за управление. Кажете ми, някой използвал ли е вече приложението за интерактивна визуализация Grafana? Страхотен! Аз съм голям фен на този отворен код, защото това нещо е безплатно и лесно за използване.

Ако все още не сте използвали Grafana, ще ви кажа как да работите с него. Всеки, роден през 80-те и 90-те, вероятно си спомня CareBears? Не знам колко популярни са били тези мечки в Русия, но що се отнася до показателите, трябва да сме същите „грижовни мечки“. Както казах, имате нужда от голяма картина на това как работи цялата система и не трябва да се отнася само до вашия API, уебсайта ви или услугата, работеща във виртуална машина.

Трябва да организирате събирането на тези показатели, които най-пълно отразяват работата на цялата система. Повечето от вас са разработчици на софтуер, така че животът ви непрекъснато се променя, адаптирайки се към изискванията на новите продукти и точно както се занимавате с процесите на кодиране, трябва да се интересувате и от показателите. Трябва да знаете как показателят е свързан с всеки ред код, който пишете. Например следващата седмица започвате нова маркетингова кампания и очаквате голям брой потребители да посетят вашия сайт. За да анализирате това събитие, ще ви трябват показатели и може да се нуждаете от цяло табло за управление, за да проследите активността на тези хора. Ще ви трябват показатели, за да разберете доколко успешна е вашата маркетингова кампания и как всъщност се представя. Те ще ви помогнат например да разработите ефективна CRM - система за управление на взаимоотношенията с клиенти.

И така, нека започнем с нашата облачна услуга Azure. Много е лесно да намерите и организирате колекция от показатели, защото има Azure Monitor. Този монитор централизира управлението на вашата системна конфигурация. Всеки от елементите на Azure, които искате да приложите към вашата система, има много показатели, активирани по подразбиране. Това е безплатно приложение, което работи веднага след изваждането от кутията и не изисква никакви предварителни настройки; не е необходимо да пишете или да „завинтвате“ нищо в системата си. Ще проверим това, като разгледаме следната демонстрация.

Освен това е възможно тези показатели да се изпращат до приложения на трети страни, като системата за съхранение и анализ на журнали Splunk, приложението за управление на журнали SumoLogic, базирано на облак, инструментът за обработка на журнали ELK и IBM Radar. Вярно е, че има малки разлики, които зависят от ресурсите, които използвате - виртуална машина, мрежови услуги, Azure SQL бази данни, тоест използването на метрики се различава в зависимост от функциите на вашата работна среда. Няма да кажа, че тези разлики са сериозни, но, за съжаление, те все още са налице и това трябва да се вземе предвид. Активирането и изпращането на показатели е възможно по няколко начина: чрез портал, CLI/Power Shell или използване на ARM шаблони.

Преди да започна първата си демонстрация, ще отговоря на всички въпроси, които може да имате. Ако няма въпроси, нека да започнем. Екранът показва как изглежда страницата на Azure Monitor. Може ли някой от вас да каже, че този монитор не работи?

Така че сега всичко е наред, можете да видите как изглеждат услугите на монитора. Мога да кажа, че това е отличен и много прост инструмент за ежедневна работа. Може да се използва за наблюдение на приложения, мрежи и инфраструктура. Наскоро интерфейсът за наблюдение беше подобрен и ако преди услугите бяха разположени на различни места, сега цялата информация за услугите е консолидирана на началната страница на монитора.

Таблицата с показатели е раздел по пътя на HomeMonitorMetrics, до който можете да отидете, за да видите всички налични показатели и да изберете тези, от които се нуждаете. Но ако трябва да активирате събирането на показатели, трябва да използвате пътя на директорията с настройки на HomeMonitorDiagnostic и да поставите отметка в квадратчетата за активирани/деактивирани показатели. По подразбиране почти всички показатели са активирани, но ако трябва да активирате нещо допълнително, ще трябва да промените диагностичния статус от Disabled на Enabled.

За да направите това, щракнете върху реда на избрания показател и в раздела, който се отваря, активирайте диагностичния режим. Ако ще анализирате избрания показател, след като щракнете върху връзката Turn on diagnostic, трябва да поставите отметка в квадратчето Send to Log Analytics в прозореца, който се появява.

Log Analytics е малко подобен на Splunk, но струва по-малко. Тази услуга ви позволява да събирате всичките си показатели, регистрационни файлове и всичко останало, от което се нуждаете, и да ги поставяте в работното пространство на Log Analytics. Услугата използва специален език за обработка на заявки KQL - Kusto Quarry Language, ще разгледаме работата му в следващата демонстрация. Засега ще отбележа, че с негова помощ можете да създавате заявки относно показатели, регистрационни файлове, термини, тенденции, модели и т.н. и създаване на табла за управление.

И така, поставяме отметка в квадратчето Send to Log Analytics и квадратчетата за отметка на панела LOG: DataPlaneRequests, MongoRequests и QueryRuntimeStatistics, а по-долу в панела METRIC – квадратчето Requests. След това задаваме име и запазваме настройките. В командния ред това представлява два реда код. Между другото, обвивката на Azure Cloud в този смисъл прилича на Google, което също ви позволява да използвате командния ред във вашия уеб браузър. AWS няма нищо подобно, така че Azure е много по-удобен в този смисъл.

Например, мога да стартирам демонстрация през уеб интерфейса, без да използвам никакъв код на моя лаптоп. За да направя това, трябва да се удостоверя с моя акаунт в Azure. След това можете да използвате например terrafone, ако вече го използвате, изчакайте връзката с услугата и вземете работната среда на Linux, която Microsoft използва по подразбиране.

След това използвам Bash, вграден в Azure Cloud Shell. Много полезно нещо е IDE, вграден в браузъра, олекотена версия на VS Code. След това мога да вляза в своя шаблон за показатели за грешка, да го редактирам и персонализирам, за да отговаря на нуждите ми.

След като настроите събирането на показатели в този шаблон, можете да го използвате, за да създадете показатели за цялата си инфраструктура. След като приложим показателите, съберем ги и ги съхраним, ще трябва да ги визуализираме.

Azure Monitor се занимава само с показатели и не предоставя цялостна картина на здравето на вашата система. Възможно е да имате редица други приложения, работещи извън средата на Azure. Така че, ако трябва да наблюдавате всички процеси, визуализирайки всички събрани показатели на едно място, тогава Azure Monitor не е подходящ за това.

За да реши този проблем, Microsoft предлага инструмента Power BI, цялостен софтуер за бизнес анализ, който включва визуализация на голямо разнообразие от данни. Това е доста скъп продукт, чиято цена зависи от набора от функции, от които се нуждаете. По подразбиране той ви предлага 48 вида данни за обработка и е свързан с Azure SQL Data Warehouses, Azure Data Lake Storage, Azure Machine Learning Services и Azure Databricks. Използвайки мащабируемост, можете да получавате нови данни на всеки 30 минути. Това може или не може да е достатъчно за вашите нужди, ако имате нужда от визуализация на мониторинг в реално време. В този случай е препоръчително да използвате приложения като Grafana, за който споменах. В допълнение, документацията на Microsoft описва възможността за изпращане на показатели, регистрационни файлове и таблици на събития с помощта на SIEM инструменти към системи за визуализация Splunk, SumoLogic, ELK и радар на IBM.

23:40 мин

Продължение съвсем скоро...

Малко реклами 🙂

Благодарим ви, че останахте с нас. Харесвате ли нашите статии? Искате ли да видите още интересно съдържание? Подкрепете ни, като направите поръчка или препоръчате на приятели, облачен VPS за разработчици от $4.99, уникален аналог на сървъри от начално ниво, който беше изобретен от нас за вас: Цялата истина за VPS (KVM) E5-2697 v3 (6 ядра) 10GB DDR4 480GB SSD 1Gbps от $19 или как да споделите сървър? (предлага се с RAID1 и RAID10, до 24 ядра и до 40GB DDR4).

Dell R730xd 2 пъти по-евтин в центъра за данни Equinix Tier IV в Амстердам? Само тук 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV от $199 в Холандия! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - от $99! Прочети за Как да изградим инфраструктура Corp. клас с използване на сървъри Dell R730xd E5-2650 v4 на стойност 9000 евро за стотинка?

Източник: www.habr.com