დაფის შექმნა კიბანაში ჟურნალების მონიტორინგისთვის

გამარჯობა, მე მქვია ევგენი, მე ვარ B2B გუნდის ლიდერი Citymobil-ში. ჩვენი გუნდის ერთ-ერთი ამოცანაა პარტნიორებისგან ტაქსის შეკვეთის ინტეგრაციის მხარდაჭერა და სტაბილური სერვისის უზრუნველსაყოფად, ყოველთვის უნდა გვესმოდეს, რა ხდება ჩვენს მიკროსერვისებში. და ამისათვის საჭიროა მუდმივად აკონტროლოთ ჟურნალები.

Citymobil-ში ჩვენ ვიყენებთ ELK სტეკს (ElasticSearch, Logstash, Kibana) ჟურნალებთან მუშაობისთვის და იქ შემოსული მონაცემების რაოდენობა უზარმაზარია. მოთხოვნის ამ მასაში პრობლემების პოვნა, რომლებიც შეიძლება აღმოჩნდეს ახალი კოდის განლაგების შემდეგ, საკმაოდ რთულია. მათი ვიზუალური იდენტიფიკაციისთვის კიბანას აქვს Dashboard განყოფილება.

Habré-ზე საკმაოდ ბევრი სტატიაა მაგალითებით, თუ როგორ უნდა დააყენოთ ELK სტეკი მონაცემების მისაღებად და შესანახად, მაგრამ არ არსებობს შესაბამისი მასალები Dashboard-ის შესაქმნელად. ამიტომ, მე მინდა ვაჩვენო, თუ როგორ შევქმნათ მონაცემების ვიზუალური წარმოდგენა კიბანაში შემომავალი ჟურნალების საფუძველზე.

რეგულირება

უფრო გასაგებად, მე შევქმენი Docker სურათი ELK-ით და Filebeat-ით. და მოთავსებულია პატარა კონტეინერში პროგრამა Go-ში, რომელიც ჩვენი მაგალითისთვის გამოიმუშავებს სატესტო ჟურნალებს. დეტალურად არ აღვწერ ELK-ის კონფიგურაციას, ამის შესახებ საკმარისად წერია ჰაბრეზე.

კონფიგურაციის საცავის კლონირება docker-compose და ELK პარამეტრები და გაუშვით ბრძანებით docker-compose up. განზრახ არ ამატებს გასაღებს -dELK სტეკის პროგრესის სანახავად.

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

თუ ყველაფერი სწორად არის კონფიგურირებული, მაშინ ჩვენ დავინახავთ ჩანაწერს ჟურნალებში (შესაძლოა არა დაუყოვნებლივ, კონტეინერის გაშვების პროცესს მთელი დასტაზე შეიძლება რამდენიმე წუთი დასჭირდეს):

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

მისამართით localhost:5061 კიბანა უნდა გაიხსნას.

ერთადერთი, რისი კონფიგურაცია გვჭირდება, არის Kibana-სთვის ინდექსის ნიმუშის შექმნა, რომელიც შეიცავს ინფორმაციას იმის შესახებ, თუ რა მონაცემების ჩვენება. ამისათვის ჩვენ შევასრულებთ curl მოთხოვნას ან შევასრულებთ მოქმედებების სერიას გრაფიკულ ინტერფეისში.

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

ინდექსის ნიმუშის შექმნა GUI-ის საშუალებით
კონფიგურაციისთვის აირჩიეთ განყოფილება Discover მარცხენა მენიუში და გადადით ინდექსის ნიმუშის შექმნის გვერდზე.

ღილაკზე „შექმენით ინდექსის ნიმუში“ დაწკაპუნებით მივდივართ ინდექსის შექმნის გვერდზე. "ინდექსის ნიმუშის სახელი" ველში შეიყვანეთ "logstash-*". თუ ყველაფერი სწორად არის კონფიგურირებული, Kibana-ს ქვემოთ გამოჩნდება ინდექსები, რომლებიც ექვემდებარება წესს.

შემდეგ გვერდზე აირჩიეთ საკვანძო ველი დროის ნიშნულით, ჩვენს შემთხვევაში ასეა @timestamp.

ამით გამოჩნდება ინდექსის პარამეტრების გვერდი, მაგრამ ამჯერად ჩვენგან დამატებითი ქმედება არ არის საჭირო.

ახლა ჩვენ შეგვიძლია კვლავ გადავიდეთ Discover განყოფილებაში, სადაც დავინახავთ ჟურნალის ჩანაწერებს.

ჩემი გვერდი

მარცხენა მენიუში დააწკაპუნეთ Dashboard-ის შექმნის განყოფილებაზე და გადადით შესაბამის გვერდზე.

დააწკაპუნეთ ღილაკზე "ახალი დაფის შექმნა" და გადადით გვერდზე ობიექტების დასამატებლად.

დააჭირეთ ღილაკს „ახლის შექმნა“ და სისტემა მოგთხოვთ აირჩიოთ მონაცემთა ჩვენების ტიპი. კიბანას აქვს მათი დიდი რაოდენობა, მაგრამ ჩვენ განვიხილავთ "ვერტიკალური ზოლის" გრაფიკული წარმოდგენის და "მონაცემთა ცხრილის" ცხრილის შექმნას. პრეზენტაციის სხვა ტიპები კონფიგურირებულია ანალოგიურად. 

ზოგიერთ ხელმისაწვდომ ობიექტს აქვს მარკირება B და E, რაც ნიშნავს, რომ ფორმატი არის ექსპერიმენტული ან ბეტა ტესტირებაში. დროთა განმავლობაში, ფორმატი შეიძლება შეიცვალოს ან მთლიანად გაქრეს კიბანადან.

ვერტიკალური ბარი

„ვერტიკალური ზოლის“ მაგალითისთვის შევქმნათ ჩვენი სერვისის წარმატებული და წარუმატებელი პასუხების სტატუსების თანაფარდობის ჰისტოგრამა. პარამეტრების დასასრულს ვიღებთ შემდეგ გრაფიკს:

ჩვენ დავახარისხებთ ყველა მოთხოვნას პასუხის სტატუსით < 400 წარმატებულად და >= 400 პრობლემურად.

„ვერტიკალური ზოლის“ დიაგრამის შესაქმნელად, ჩვენ უნდა ავირჩიოთ მონაცემთა წყარო. აირჩიეთ ინდექსის ნიმუში, რომელიც ადრე შევქმენით.

ნაგულისხმევად, მონაცემთა წყაროს არჩევის შემდეგ გამოჩნდება ერთი მყარი გრაფიკი. მოდი დავაყენოთ.

"Buckets" ბლოკში დააჭირეთ ღილაკს "Add", აირჩიეთ "X-asis" და დააყენეთ X ღერძი. მოდით გამოვყოთ ჟურნალში ჩანაწერების მიღების დროის ნიშნულები. "Aggregation" ველში აირჩიეთ "Date Histogram", ხოლო "ველში" აირჩიეთ "@timestamp", დროის ველის მითითებით. მოდით დავტოვოთ „მინიმალური ინტერვალი“ „ავტო“ მდგომარეობაში და ის ავტომატურად მოერგება ჩვენს ეკრანს. 

ღილაკზე „განახლება“ დაწკაპუნებით, ყოველ 30 წამში ვნახავთ გრაფიკს მოთხოვნის რაოდენობით.

ახლა მოდით დავაყენოთ სვეტები Y-ღერძის გასწვრივ. ახლა ჩვენ ვაჩვენებთ მოთხოვნის მთლიან რაოდენობას არჩეულ დროის ინტერვალში.

მოდით შევცვალოთ "Aggregation" მნიშვნელობა "Sum Bucket", რომელიც მოგვცემს საშუალებას გავაერთიანოთ მონაცემები წარმატებული და წარუმატებელი მოთხოვნებისთვის. Bucket -> Aggregation ბლოკში აირჩიეთ აგრეგაცია „ფილტრებით“ და დააყენეთ ფილტრაცია „statusCode >= 400“-ით. და "მორგებული ლეიბლი" ველში, ჩვენ მივუთითებთ ინდიკატორის სახელს, რათა უფრო გასაგები იყოს ლეგენდა დიაგრამაზე და ზოგად სიაში.

პარამეტრების ბლოკის ქვეშ ღილაკზე „განახლება“ დაწკაპუნებით, ჩვენ მივიღებთ დიაგრამას პრობლემური მოთხოვნებით.

თუ დააწკაპუნებთ ლეგენდის გვერდით წრეზე, გამოჩნდება ფანჯარა, რომელშიც შეგიძლიათ შეცვალოთ სვეტების ფერი.

ახლა მოდით დავამატოთ მონაცემები წარმატებული მოთხოვნების შესახებ სქემაში. "მეტრიკის" განყოფილებაში დააჭირეთ ღილაკს "დამატება" და აირჩიეთ "Y-ღერძი".

შექმნილ მეტრიკაში ჩვენ ვაკეთებთ იგივე პარამეტრებს, როგორც მცდარი მოთხოვნებისთვის. მხოლოდ ფილტრში ვაზუსტებთ "statusCode < 400".

ახალი სვეტის ფერის შეცვლით, ვიღებთ პრობლემური და წარმატებული მოთხოვნების თანაფარდობის ჩვენებას.

ეკრანის ზედა ნაწილში "შენახვა" ღილაკზე დაჭერით და სახელის მითითებით, ჩვენ დავინახავთ პირველ დიაგრამას Dashboard-ზე.

მონაცემთა ცხრილი

ახლა განიხილეთ ცხრილის ხედი "მონაცემთა ცხრილი". მოდით შევქმნათ ცხრილი ყველა მოთხოვნილი URL-ის სიით და ამ მოთხოვნების რაოდენობით. როგორც ვერტიკალური ზოლის მაგალითზე, ჩვენ ჯერ ვირჩევთ მონაცემთა წყაროს.

ამის შემდეგ ეკრანზე გამოჩნდება ცხრილი ერთი სვეტით, რომელიც აჩვენებს შერჩეული დროის ინტერვალის მოთხოვნების მთლიან რაოდენობას.

ჩვენ მხოლოდ „ვედროების“ ბლოკს შევცვლით. დააჭირეთ ღილაკს "დამატება" და აირჩიეთ "სტრიქონების გაყოფა".

"Aggregation" ველში აირჩიეთ "Terms". და გამოჩენილ ველში "ველი" აირჩიეთ "url.keyword".

"Url" მნიშვნელობის მითითებით "Custom label" ველში და დაწკაპუნებით "განახლება", ჩვენ მივიღებთ სასურველ ცხრილს თითოეული URL-ის მოთხოვნის რაოდენობით შერჩეული პერიოდისთვის.

ეკრანის ზედა ნაწილში კვლავ დააჭირეთ ღილაკს "შენახვა" და მიუთითეთ ცხრილის სახელი, მაგალითად, Urls. მოდით დავუბრუნდეთ Dashboard-ს და ვნახოთ შექმნილი ორივე ხედი.

Dashboard-თან მუშაობა

Dashboard-ის შექმნისას ჩვენ ვაყენებთ მხოლოდ ძირითადი ხედვის პარამეტრებს ჩვენების ობიექტის პარამეტრებში. აზრი არ აქვს ობიექტებში ფილტრების მონაცემების მითითებას, მაგალითად, „თარიღის დიაპაზონი“, „გაფილტვრა მომხმარებლის აგენტის მიხედვით“, „გაფილტვრა მოთხოვნის ქვეყნის მიხედვით“ და ა.შ. ბევრად უფრო მოსახერხებელია სასურველი დროის პერიოდის მითითება ან საჭირო ფილტრაციის დაყენება შეკითხვის პანელში, რომელიც მდებარეობს ობიექტების ზემოთ.

ამ პანელზე დამატებული ფილტრები გამოყენებული იქნება მთელ Dashboard-ზე და ყველა ჩვენების ობიექტი აღდგება ფაქტობრივი გაფილტრული მონაცემების შესაბამისად.

დასკვნა

Kibana არის მძლავრი ინსტრუმენტი, რომელიც საშუალებას გაძლევთ ვიზუალურად მოახდინოთ ნებისმიერი მონაცემი მოსახერხებელი გზით. მე შევეცადე მეჩვენებინა ორი ძირითადი ტიპის ჩვენების დაყენება. მაგრამ სხვა ტიპები კონფიგურირებულია ანალოგიურად. და პარამეტრების სიმრავლე, რომელიც მე დავტოვე „კულისებში“, საშუალებას მოგცემთ ძალიან მოქნილად მოარგოთ დიაგრამები თქვენს საჭიროებებზე.

წყარო: www.habr.com