ლოკი - ჟურნალის შეგროვება პრომეთეს მიდგომის გამოყენებით

სალამი, ხაბროვსკელებო! კურსზე ახალი ჩარიცხვის დაწყების წინა დღეს "DevOps პრაქტიკა და ინსტრუმენტები" ჩვენ მოვამზადეთ თქვენთვის საინტერესო მასალის თარგმანი.

ეს სტატია არის ლოკის მოკლე შესავალი. პროექტი ლოკი გრაფანას მხარდაჭერით და მიზნად ისახავს ჟურნალების ცენტრალიზებულ შეგროვებას (სერვერებიდან ან კონტეინერებიდან).

ლოკის მთავარი შთაგონება იყო პრომეთე ლოგის მენეჯმენტში მისი მიდგომების გამოყენების იდეით:

• ეტიკეტების გამოყენებით მონაცემების შესანახად
• მცირე რესურსების მოხმარება

ჩვენ დავუბრუნდებით პრომეთეს მუშაობას და მოვიყვანთ მისი გამოყენების რამდენიმე მაგალითს Kubernetes-ის კონტექსტში.

რამდენიმე სიტყვა პრომეთეს შესახებ

იმისათვის, რომ სრულად გავიგოთ, თუ როგორ მუშაობს ლოკი, მნიშვნელოვანია, რომ გადადგათ ნაბიჯი უკან და გაიხსენოთ ცოტა რამ პრომეთეს შესახებ.

პრომეთეს ერთ-ერთი გამორჩეული თვისებაა მეტრიკის ამოღება შეგროვების პუნქტებიდან (ექსპორტიორების მეშვეობით) და მათი შენახვა TSDB-ში (დროის სერიის მონაცემთა ბაზაში), მეტამონაცემების დამატებით ეტიკეტების სახით.

რატომ არის ეს აუცილებელი

ბოლო დროს პრომეთე გახდა დე ფაქტო სტანდარტი კონტეინერებისა და კუბერნეტების სამყაროში: მისი ინსტალაცია ძალიან მარტივია და კუბერნეტის კლასტერს გააჩნია პრომეთეს მშობლიური საბოლოო წერტილი. პრომეთეს ასევე შეუძლია მეტრიკის ამოღება კონტეინერში განლაგებული აპლიკაციებიდან კონკრეტული ეტიკეტების შენახვისას. აქედან გამომდინარე, განაცხადის მონიტორინგი ძალიან მარტივია.

სამწუხაროდ, ჯერ კიდევ არ არსებობს ანაზრაურების გამოსავალი ჟურნალის მართვისთვის და თქვენ უნდა იპოვოთ გამოსავალი თქვენთვის:

• მართული ღრუბლოვანი სერვისი ჟურნალების ცენტრალიზებისთვის (AWS, Azure ან Google)
• მონიტორინგის სერვისი „მონიტორინგი, როგორც სერვისი“ (მაგალითად, Datadog)
• საკუთარი ჟურნალის შეგროვების სერვისის შექმნა.

მესამე ვარიანტისთვის მე ტრადიციულად ვიყენებდი Elasticsearch-ს, მიუხედავად იმისა, რომ ყოველთვის არ ვიყავი კმაყოფილი მისით (განსაკუთრებით მისი სიმძიმე და კონფიგურაციის სირთულე).

Loki შეიქმნა იმისათვის, რომ გაამარტივოს განხორციელება შემდეგი პრინციპების მიხედვით:

• იყოს მარტივი დაწყება
• მოიხმარენ რამდენიმე რესურსს
• მუშაობა დამოუკიდებლად, განსაკუთრებული მოვლის გარეშე
• ემსახურება როგორც პრომეთეს დამატებას შეცდომების გამოძიების დასახმარებლად

თუმცა, ეს სიმარტივე გარკვეული კომპრომისების ხარჯზე მოდის. ერთ-ერთი მათგანი არ არის შინაარსის ინდექსირება. აქედან გამომდინარე, ტექსტის ძიება არ არის ძალიან ეფექტური ან მდიდარი და არ იძლევა სტატისტიკის საშუალებას ტექსტის შინაარსის შესახებ. მაგრამ რადგან ლოკის სურს იყოს გრეპის ეკვივალენტი და პრომეთეს შემავსებელი, ეს არ არის მინუსი.

ინციდენტის გამოძიება

უკეთ რომ გავიგოთ, რატომ არ სჭირდება Loki-ს ინდექსირება, დავუბრუნდეთ ინციდენტის გამოძიების მეთოდს, რომელიც Loki-ის დეველოპერებმა გამოიყენეს:

1 Alert → 2 Dashboard → 3 Adhoc Query → 4 Log Aggregation → 5 Distributed Tracing → 6 Fix!
(1 გაფრთხილება → 2 საინფორმაციო დაფა → 3 Adhoc მოთხოვნა → 4 ჟურნალის აგრეგაცია → 5 განაწილებული მიკვლევა → 6 დაფიქსირება!)

იდეა არის ის, რომ ჩვენ ვიღებთ რაიმე სახის გაფრთხილებას (Slack Notification, SMS და ა.შ.) და ამის შემდეგ:

• შეხედეთ Grafana-ს დაფებს
• შეხედეთ მომსახურების მეტრიკას (მაგალითად, პრომეთეში)
• შეხედეთ ჟურნალის ჩანაწერებს (მაგალითად, Elasticsearch-ში)
• იქნებ გადახედოთ განაწილებულ კვალს (იაგერი, ზიპკინი და ა.შ.)
• და ბოლოს ორიგინალური პრობლემის გამოსწორება.

აქ, Grafana + Prometheus + Elasticsearch + Zipkin სტეკის შემთხვევაში, თქვენ მოგიწევთ გამოიყენოთ ოთხი განსხვავებული ინსტრუმენტი. დროის შესამცირებლად, კარგი იქნება, რომ შეგვეძლოს ყველა ამ ნაბიჯის შესრულება ერთი ხელსაწყოს გამოყენებით: Grafana. აღსანიშნავია, რომ კვლევის ეს მიდგომა Grafana-ში დანერგილია მე-6 ვერსიიდან. ამრიგად, შესაძლებელი ხდება პრომეთეს მონაცემებზე წვდომა პირდაპირ Grafana-დან.

Explorer-ის ეკრანი გაიყო პრომეთესა და ლოკის შორის

ამ ეკრანიდან შეგიძლიათ ნახოთ Loki ჟურნალები, რომლებიც დაკავშირებულია პრომეთეს მეტრიკასთან, გაყოფილი ეკრანის კონცეფციის გამოყენებით. 6.5 ვერსიიდან, Grafana გაძლევთ საშუალებას გაანალიზოთ კვალის ID Loki ჟურნალის ჩანაწერებში, რათა მიჰყვეთ თქვენი საყვარელი განაწილებული ტრასირების ხელსაწყოების ბმულებს (Jaeger).

ადგილობრივი ლოკის ტესტი

ლოკის ლოკალურად შესამოწმებლად უმარტივესი გზაა დოკერ-კომპოზიტის გამოყენება. Docker-compose ფაილი მდებარეობს Loki საცავში. შეგიძლიათ მიიღოთ საცავი შემდეგი ბრძანების გამოყენებით git:

$ git clone https://github.com/grafana/loki.git

შემდეგ თქვენ უნდა გადახვიდეთ წარმოების დირექტორიაში:

$ cd production

ამის შემდეგ შეგიძლიათ მიიღოთ Docker სურათების უახლესი ვერსია:

$ docker-compose pull

საბოლოოდ, Loki სტეკი გაშვებულია შემდეგი ბრძანებით:

$ docker-compose up

ლოკის არქიტექტურა

აქ არის პატარა დიაგრამა ლოკის არქიტექტურით:

ლოკის არქიტექტურის პრინციპები

ვებ კლიენტი აწარმოებს აპლიკაციებს სერვერზე, Promtail აგროვებს ჟურნალებს და აგზავნის მათ Loki-ში, ვებ კლიენტი ასევე აგზავნის მეტამონაცემებს Loki-ზე. ლოკი ყველაფერს აგროვებს და გრაფანას გადასცემს.
ლოკი გაშვებულია. ხელმისაწვდომი კომპონენტების სანახავად, შეასრულეთ შემდეგი ბრძანება:

$ docker ps

ახლად დაინსტალირებული Docker-ის შემთხვევაში, ბრძანებამ უნდა დააბრუნოს შემდეგი შედეგი:

IMAGE               PORTS                  NAMES
grafana/promtail:                          production_promtail_1
grafana/grafana: m  0.0.0.0:3000->3000/tcp production_grafana_1
grafana/loki: late  80/tcp,0.0.0.0:3100... production_loki_1

ჩვენ ვხედავთ შემდეგ კომპონენტებს:

• Promtail: აგენტი, რომელიც პასუხისმგებელია ჟურნალების ცენტრალიზებაზე
• Grafana: ცნობილი დაფის ინსტრუმენტი
• ლოკი: მონაცემთა ცენტრალიზაციის დემონი

როგორც კლასიკური ინფრასტრუქტურის ნაწილი (მაგალითად, ვირტუალურ მანქანებზე დაფუძნებული), Promtail აგენტი უნდა იყოს განლაგებული თითოეულ მანქანაზე. Grafana და Loki შეიძლება დამონტაჟდეს იმავე მანქანაზე.

განლაგება Kubernetes-ში

Loki კომპონენტების დაყენება Kubernetes-ზე შემდეგი იქნება:

• daemonSet სერვერის კლასტერში თითოეულ მანქანაზე Promtail აგენტის განსათავსებლად
• განლაგება ლოკი
• და ბოლო არის გრაფანას განლაგება.

საბედნიეროდ, Loki ხელმისაწვდომია Helm პაკეტის სახით, რაც აადვილებს მას განლაგებას.

ინსტალაცია Heml-ის საშუალებით

თქვენ უკვე უნდა გქონდეთ Heml დაინსტალირებული. მისი ჩამოტვირთვა შესაძლებელია პროექტის GitHub საცავიდან. ის ინსტალირებულია თქვენი არქიტექტურის შესაბამისი არქივის ამოხსნით და საჭის დამატებით $PATH.

შენიშვნა: Helm-ის 3.0.0 ვერსია ახლახან გამოვიდა. ვინაიდან მასში ბევრი ცვლილებაა, მკითხველს ურჩევს, გამოიყენოს ცოტა ხანი..

ჰელმის წყაროს დამატება

პირველი ნაბიჯი არის "loki" საცავის დამატება შემდეგი ბრძანების გამოყენებით:

$ helm add loki https://grafana.github.io/loki/charts

ამის შემდეგ, შეგიძლიათ მოძებნოთ პაკეტები სახელწოდებით "loki":

$ helm search loki

შედეგი:

loki/loki       0.17.2 v0.4.0 Loki: like Prometheus, but for logs.
loki/loki-stack 0.19.1 v0.4.0 Loki: like Prometheus, but for logs.
loki/fluent-bit 0.0.2  v0.0.1 Uses fluent-bit Loki go plugin for...
loki/promtail   0.13.1 v0.4.0 Responsible for gathering logs and...

ამ პაკეტებს აქვთ შემდეგი მახასიათებლები:

• პაკეტი ლოკი/ლოკი ემთხვევა მხოლოდ Loki სერვერს
• პაკეტი ლოკი / fluent-bit საშუალებას გაძლევთ განათავსოთ DaemonSet fluent-bin-ის გამოყენებით ჟურნალების შესაგროვებლად Promtail-ის ნაცვლად
• პაკეტი ლოკი/პრომტეილი შეიცავს ჟურნალის ფაილების შეგროვების აგენტს
• პაკეტი ლოკი/ლოკი-სტაკი, საშუალებას გაძლევთ დაუყოვნებლივ განათავსოთ Loki Promtail-თან ერთად.

ლოკის ინსტალაცია

Loki Kubernetes-ზე დასაყენებლად, შეასრულეთ შემდეგი ბრძანება „მონიტორინგის“ სახელების სივრცეში:

$ helm upgrade --install loki loki/loki-stack --namespace monitoring

დისკზე შესანახად დაამატეთ პარამეტრი --set loki.persistence.enabled = true:

$ helm upgrade --install loki loki/loki-stack 
              --namespace monitoring 
              --set loki.persistence.enabled=true

შენიშვნა: თუ გსურთ Grafana-ს ერთდროულად დაყენება, მაშინ დაამატეთ პარამეტრი --set grafana.enabled = true

ამ ბრძანების გაშვებისას უნდა მიიღოთ შემდეგი გამომავალი:

LAST DEPLOYED: Tue Nov 19 15:56:54 2019
NAMESPACE: monitoring
STATUS: DEPLOYED
RESOURCES:
==> v1/ClusterRole
NAME AGE
loki-promtail-clusterrole 189d
…
NOTES:
The Loki stack has been deployed to your cluster. Loki can now be added as a datasource in Grafana.
See <a href="http://docs.grafana.org/features/datasources/loki/">http://docs.grafana.org/features/datasources/loki/</a> for more details.

„მონიტორინგის“ სახელების სივრცეში ღრძილების მდგომარეობის დათვალიერებისას, ჩვენ ვხედავთ, რომ ყველაფერი განლაგებულია:

$ kubectl -n monitoring get pods -l release=loki

შედეგი:

NAME                 READY  STATUS   RESTARTS  AGE
loki-0               1/1    Running  0         147m
loki-promtail-9zjvc  1/1    Running  0         3h25m
loki-promtail-f6brf  1/1    Running  0         11h
loki-promtail-hdcj7  1/1    Running  0         3h23m
loki-promtail-jbqhc  1/1    Running  0         11h
loki-promtail-mj642  1/1    Running  0         62m
loki-promtail-nm64g  1/1    Running  0         24m

ყველა ჯიში მუშაობს. ახლა დროა რამდენიმე ტესტის გაკეთება!

გრაფანასთან დაკავშირება

კუბერნეტის ქვეშ Grafana-სთან დასაკავშირებლად, თქვენ უნდა გახსნათ გვირაბი მის პოდთან. ქვემოთ მოცემულია ბრძანება 3000 პორტის გასახსნელად Grafana pod-ისთვის:

$ kubectl -n port-forward monitoring svc/loki-grafana 3000:80

კიდევ ერთი მნიშვნელოვანი წერტილი არის Grafana ადმინისტრატორის პაროლის აღდგენის აუცილებლობა. პაროლი საიდუმლოდ ინახება loki-grafana სფეროში .data.admin-user base64 ფორმატში.

მის აღსადგენად, თქვენ უნდა შეასრულოთ შემდეგი ბრძანება:

$ kubectl -n monitoring get secret loki-grafana 
 --template '{{index .data "admin-password" | base64decode}}'; echo

გამოიყენეთ ეს პაროლი ნაგულისხმევი ადმინისტრატორის ანგარიშთან ერთად (admin).

Loki მონაცემთა წყაროს განსაზღვრა Grafana-ში

უპირველეს ყოვლისა, დარწმუნდით, რომ Loki მონაცემთა წყარო შეიქმნა (Configuration/Datasource).
აი მაგალითად:

ლოკისთვის მონაცემთა წყაროს დაყენების მაგალითი

"ტესტზე" დაწკაპუნებით შეგიძლიათ შეამოწმოთ კავშირი Loki-სთან.

ლოკის მიმართ თხოვნებს

ახლა გადადით გრაფანაში "გამოკვლევის" განყოფილებაში. კონტეინერებიდან ჟურნალების მიღებისას ლოკი ამატებს მეტამონაცემებს Kubernetes-ისგან. ამრიგად, შესაძლებელი ხდება კონკრეტული კონტეინერის ჟურნალების ნახვა.

მაგალითად, პრომტეილის კონტეინერის ჟურნალების შესარჩევად, შეგიძლიათ გამოიყენოთ შემდეგი მოთხოვნა: {container_name = "promtail"}.
აქ ასევე გახსოვდეთ Loki მონაცემთა წყაროს არჩევა.

ეს მოთხოვნა დააბრუნებს კონტეინერის აქტივობას შემდეგნაირად:

შეკითხვის შედეგი Grafana-ში

საინფორმაციო დაფაზე დამატება

Grafana 6.4-დან დაწყებული, შეგიძლიათ განათავსოთ ჟურნალის ინფორმაცია პირდაპირ დაფაზე. ამის შემდეგ, მომხმარებელს შეეძლება სწრაფად გადაერთოს მის საიტზე მოთხოვნის რაოდენობასა და აპლიკაციის კვალს შორის.

ქვემოთ მოცემულია დაფის მაგალითი, რომელიც ახორციელებს ამ ურთიერთქმედებას:

საინფორმაციო დაფის ნიმუში პრომეთეს მეტრიკითა და ლოკის ჟურნალებით

ლოკის მომავალი

ლოკის გამოყენება დავიწყე მაისში/ივნისში 0.1 ვერსიით. დღეს უკვე გამოვიდა 1 ვერსია და თუნდაც 1.1 და 1.2.

უნდა ვაღიაროთ, რომ ვერსია 0.1 არ იყო საკმარისად სტაბილური. მაგრამ 0.3-მა უკვე აჩვენა სიმწიფის რეალური ნიშნები და შემდგომმა ვერსიებმა (0.4, შემდეგ 1.0) მხოლოდ გააძლიერა ეს შთაბეჭდილება.

1.0.0-ის შემდეგ, არავის აქვს საბაბი, რომ არ გამოიყენოს ეს შესანიშნავი ინსტრუმენტი.

შემდგომი გაუმჯობესება არ უნდა ეხებოდეს Loki-ს, არამედ მის ინტეგრაციას შესანიშნავ Grafana-სთან. სინამდვილეში, Grafana 6.4-ს უკვე აქვს კარგი ინტეგრაცია დაფებთან.

Grafana 6.5, რომელიც ახლახან გამოვიდა, კიდევ უფრო აუმჯობესებს ამ ინტეგრაციას ჟურნალის შინაარსის ავტომატურად ამოცნობით JSON ფორმატში.

ქვემოთ მოცემულ ვიდეოში ნაჩვენებია ამ მექანიზმის მცირე მაგალითი:

გრაფანაში გამოვლენილი ლოკის სიმების გამოყენება

შესაძლებელი ხდება JSON ველის ერთ-ერთი გამოყენება, მაგალითად, ამისთვის:

• ბმული გარე ხელსაწყოზე
• ჟურნალის შინაარსის გაფილტვრა

მაგალითად, შეგიძლიათ დააწკაპუნოთ traceId-ზე Zipkin-ზე ან Jaeger-ზე გადასასვლელად.

ჩვეულებისამებრ, ჩვენ მოუთმენლად ველით თქვენს კომენტარებს და გეპატიჟებით ღია ვებინარი, სადაც ვისაუბრებთ იმაზე, თუ როგორ განვითარდა DevOps ინდუსტრია 2019 წლის განმავლობაში და განვიხილავთ განვითარების შესაძლო გზებს 2020 წლისთვის.

წყარო: www.habr.com