Локи - збирка дневника користећи Прометејев приступ

Поздрав, становници Хабровска! Уочи почетка новог уписа курса „ДевОпс праксе и алати“ За вас смо припремили превод занимљивог материјала.

Овај чланак је кратак увод у Локија. Пројекат Локи коју подржава Графана и има за циљ централизовано прикупљање дневника (са сервера или контејнера).

Главна инспирација за Локија била је Прометеј са идејом да примени своје приступе управљању дневником:

• коришћење ознака за складиштење података
• потрошња мало ресурса

Вратићемо се на то како Прометеј функционише и дати неке примере његове употребе у контексту Кубернетеса.

Неколико речи о Прометеју

Да бисте у потпуности разумели како Локи функционише, важно је да направите корак уназад и да се сетите мало о Прометеју.

Једна од карактеристичних карактеристика Прометеја је екстракција метрике из сабирних тачака (преко експортера) и њихово складиштење у ТСДБ (База података временских серија), уз додавање метаподатака у облику етикета.

Зашто је то потребно

Недавно је Прометхеус постао де фацто стандард у свету контејнера и Кубернетеса: његова инсталација је веома једноставна, а Кубернетес кластер долази са матичном крајњом тачком за Прометхеус. Прометхеус такође може да издвоји метрику из апликација постављених у контејнер док чува одређене налепнице. Због тога је праћење апликација веома лако имплементирати.

Нажалост, још увек не постоји решење по принципу „кључ у руке“ за управљање евиденцијама и морате сами да пронађете решење:

• управљана услуга у облаку за централизовање евиденције (АВС, Азуре или Гоогле)
• услуга праћења „надгледање као услуга“ (на пример, Датадог)
• креирање сопствене услуге прикупљања дневника.

За трећу опцију, традиционално сам користио Еластицсеарцх, упркос чињеници да нисам увек био задовољан њиме (нарочито због његове тежине и сложености конфигурације).

Локи је дизајниран да поједностави имплементацију према следећим принципима:

• бити једноставан за почетак
• троше мало ресурса
• раде самостално без посебног одржавања
• служе као додатак Прометеју за помоћ у истрагама грешака

Међутим, ова једноставност долази на рачун неких компромиса. Један од њих је да се садржај не индексира. Према томе, претрага текста није превише ефикасна нити богата и не дозвољава статистику о садржају текста. Али пошто Локи жели да буде еквивалент греп-у и допуна Прометеју, то није недостатак.

Инцидент Инвестигатион

Да бисмо боље разумели зашто Локију није потребно индексирање, вратимо се на метод истраге инцидента који су Локи програмери користили:

1 Упозорење → 2 Контролна табла → 3 Адхоц упит → 4 Агрегација евиденције → 5 Дистрибуирано праћење → 6 Поправи!
(1 Упозорење → 2 Контролна табла → 3 Адхоц упит → 4 Агрегација евиденције → 5 Дистрибуирано праћење → 6 Поправљање!)

Идеја је да добијемо неку врсту упозорења (Слацк Нотифицатион, СМС, итд.) и након тога:

• погледајте Графана контролне табле
• погледајте метрику услуге (на пример, у Прометеју)
• погледајте уносе у дневнику (на пример, у Еластицсеарцх-у)
• можда погледајте дистрибуиране трагове (Јаегер, Зипкин, итд.)
• и коначно решавање првобитног проблема.

Овде, у случају стека Графана + Прометхеус + Еластицсеарцх + Зипкин, мораћете да користите четири различита алата. Да бисте смањили време, било би лепо да можете да извршите све ове кораке користећи један алат: Графана. Вреди напоменути да је овај приступ истраживању имплементиран у Графани од верзије 6. Дакле, постаје могућ приступ подацима Прометеја директно из Графане.

Екран истраживача подељен између Прометеја и Локија

Са овог екрана можете да видите Локи дневнике који се односе на Прометхеус метрику користећи концепт подељеног екрана. Од верзије 6.5, Графана вам омогућава да рашчланите ИД праћења у уносима Локи дневника да бисте пратили везе до ваших омиљених дистрибуираних алата за праћење (Јаегер).

Локални Локи тест

Најлакши начин да Локи тестирате локално је да користите доцкер-цомпосе. Доцкер-цомпосе датотека се налази у Локи спремишту. Можете добити спремиште користећи следећу команду git:

$ git clone https://github.com/grafana/loki.git

Затим морате да одете у производни директоријум:

$ cd production

Након овога можете добити најновију верзију Доцкер слика:

$ docker-compose pull

Коначно, Локи стек се покреће следећом командом:

$ docker-compose up

Локи архитектура

Ево малог дијаграма са Локи архитектуром:

Принципи Локи архитектуре

Веб клијент покреће апликације на серверу, Промтаил прикупља евиденције и шаље их Локију, веб клијент такође шаље метаподатке Локију. Локи све агрегира и преноси Графани.
Локи је лансиран. Да бисте видели доступне компоненте, покрените следећу команду:

$ docker ps

У случају свеже инсталираног Доцкер-а, команда би требало да врати следећи резултат:

IMAGE               PORTS                  NAMES
grafana/promtail:                          production_promtail_1
grafana/grafana: m  0.0.0.0:3000->3000/tcp production_grafana_1
grafana/loki: late  80/tcp,0.0.0.0:3100... production_loki_1

Видимо следеће компоненте:

• Промтаил: агент одговоран за централизацију дневника
• Графана: познати алат за контролну таблу
• Локи: Демон централизације података

Као део класичне инфраструктуре (на пример, засноване на виртуелним машинама), Промтаил агент мора бити распоређен на свакој машини. Графана и Локи се могу инсталирати на истој машини.

Примена у Кубернетес

Инсталирање Локи компоненти на Кубернетес ће бити следеће:

• даемонСет за примену Промтаил агента на свакој од машина у кластеру сервера
• Деплоимент Локи
• а последњи је распоређивање Графана.

Срећом, Локи је доступан као Хелм пакет, што га чини лаким за примену.

Инсталација преко Хемл-а

Већ би требало да имате инсталиран Хемл. Може се преузети из ГитХуб спремишта пројекта. Инсталира се тако што се распакује архива која одговара вашој архитектури и дода кормило $PATH.

Напомена: верзија 3.0.0 Хелм-а је недавно објављена. Пошто је у њему било много измена, читаоцу се саветује да сачека мало пре него што га употреби..

Додавање извора за Хелм

Први корак је да додате „локи“ спремиште помоћу следеће команде:

$ helm add loki https://grafana.github.io/loki/charts

Након тога, можете тражити пакете под називом „локи“:

$ helm search loki

Резултат:

loki/loki       0.17.2 v0.4.0 Loki: like Prometheus, but for logs.
loki/loki-stack 0.19.1 v0.4.0 Loki: like Prometheus, but for logs.
loki/fluent-bit 0.0.2  v0.0.1 Uses fluent-bit Loki go plugin for...
loki/promtail   0.13.1 v0.4.0 Responsible for gathering logs and...

Ови пакети имају следеће карактеристике:

• пакет локи/локи одговара само Локи серверу
• пакет локи/флуент-бит омогућава вам да примените ДаемонСет користећи флуент-бин за прикупљање евиденције уместо Промтаил-а
• пакет локи/промтаил садржи агент за прикупљање датотека евиденције
• пакет локи/локи-стацк, омогућава вам да одмах распоредите Локи заједно са Промтаилом.

Инсталирање Локија

Да бисте применили Локи у Кубернетес, покрените следећу команду у именском простору „надгледање“:

$ helm upgrade --install loki loki/loki-stack --namespace monitoring

Да бисте сачували на диску, додајте параметар --set loki.persistence.enabled = true:

$ helm upgrade --install loki loki/loki-stack 
              --namespace monitoring 
              --set loki.persistence.enabled=true

Напомена: ако желите да примените Графану у исто време, додајте параметар --set grafana.enabled = true

Када покренете ову команду, требало би да добијете следећи излаз:

LAST DEPLOYED: Tue Nov 19 15:56:54 2019
NAMESPACE: monitoring
STATUS: DEPLOYED
RESOURCES:
==> v1/ClusterRole
NAME AGE
loki-promtail-clusterrole 189d
…
NOTES:
The Loki stack has been deployed to your cluster. Loki can now be added as a datasource in Grafana.
See <a href="http://docs.grafana.org/features/datasources/loki/">http://docs.grafana.org/features/datasources/loki/</a> for more details.

Гледајући стање подова у именском простору „надгледање“, можемо видети да је све распоређено:

$ kubectl -n monitoring get pods -l release=loki

Резултат:

NAME                 READY  STATUS   RESTARTS  AGE
loki-0               1/1    Running  0         147m
loki-promtail-9zjvc  1/1    Running  0         3h25m
loki-promtail-f6brf  1/1    Running  0         11h
loki-promtail-hdcj7  1/1    Running  0         3h23m
loki-promtail-jbqhc  1/1    Running  0         11h
loki-promtail-mj642  1/1    Running  0         62m
loki-promtail-nm64g  1/1    Running  0         24m

Све махуне раде. Сада је време да урадите неке тестове!

Повезивање са Графаном

Да бисте се повезали са Графаном под Кубернетес-ом, потребно је да отворите тунел до његовог под-а. Испод је команда за отварање порта 3000 за Графана под:

$ kubectl -n port-forward monitoring svc/loki-grafana 3000:80

Још једна важна тачка је потреба да се поврати администраторска лозинка Графана. Лозинка се чува у тајности loki-grafana у пољу .data.admin-user у басе64 формату.

Да бисте га вратили, потребно је да покренете следећу команду:

$ kubectl -n monitoring get secret loki-grafana 
 --template '{{index .data "admin-password" | base64decode}}'; echo

Користите ову лозинку заједно са подразумеваним налогом администратора (админ).

Дефинисање Локи извора података у Графани

Пре свега, уверите се да је Локи извор података креиран (Конфигурација/Извор података).
Ево примера:

Пример подешавања извора података за Локи

Кликом на "Тест" можете проверити везу са Локијем.

Упућивање захтева Локију

Сада идите на Графану у одељак „Истражи“. Када прима евиденције из контејнера, Локи додаје метаподатке из Кубернетеса. Тако постаје могуће прегледати дневнике одређеног контејнера.

На пример, да бисте изабрали евиденцију контејнера промтаил, можете користити следећи упит: {container_name = "promtail"}.
Овде такође не заборавите да изаберете Локи извор података.

Овај упит ће вратити активност контејнера на следећи начин:

Резултат упита у Графани

Додај на контролну таблу

Почевши од Графане 6.4, можете поставити податке дневника директно на контролну таблу. Након тога, корисник ће моћи брзо да прелази између броја захтева на свом сајту и трагова апликације.

Испод је пример контролне табле која имплементира ову интеракцију:

Пример контролне табле са Прометхеус метрикама и Локи евиденцијама

Будућност Локија

Почео сам да користим Локи још у мају/јуну са верзијом 0.1. Данас је већ објављена верзија 1, па чак и 1.1 и 1.2.

Мора се признати да верзија 0.1 није била довољно стабилна. Али 0.3 је већ показивао стварне знаке зрелости, а касније верзије (0.4, затим 1.0) су само појачале овај утисак.

После 1.0.0, нико не може имати изговор да не користи ову дивну алатку.

Даља побољшања не би требало да се односе на Локи, већ на његову интеграцију са одличном Графаном. У ствари, Графана 6.4 већ има добру интеграцију са контролним таблама.

Графана 6.5, која је недавно објављена, додатно побољшава ову интеграцију аутоматским препознавањем садржаја дневника у ЈСОН формату.

Видео испод приказује мали пример овог механизма:

Коришћење Локи жица изложених у Графани

Постаје могуће користити једно од ЈСОН поља, на пример, за:

• везе до спољног алата
• филтрирање садржаја дневника

На пример, можете кликнути на трацеИд да бисте отишли ​​на Зипкин или Јаегер.

Као и обично, радујемо се вашим коментарима и позивамо вас да то учините отворени вебинар, где ћемо разговарати о томе како се ДевОпс индустрија развила током 2019. и разговарати о могућим путевима развоја за 2020.

Извор: ввв.хабр.цом