მანქანათმცოდნეობის გაგება ელასტიურ დასტაში (aka Elasticsearch, aka ELK)

შეგახსენებთ, რომ Elastic Stack ეფუძნება არარელაციურ Elasticsearch მონაცემთა ბაზას, Kibana ვებ ინტერფეისს და მონაცემთა შემგროვებლებსა და პროცესორებს (ყველაზე ცნობილი Logstash, სხვადასხვა Beats, APM და სხვა). მთელი ჩამოთვლილი პროდუქტის დასტაზე ერთ-ერთი სასიამოვნო დამატებაა მონაცემთა ანალიზი მანქანური სწავლის ალგორითმების გამოყენებით. სტატიაში ჩვენ გვესმის, რა არის ეს ალგორითმები. გთხოვთ კატის ქვეშ.

მანქანური სწავლება არის shareware Elastic Stack-ის ფასიანი ფუნქცია და შედის X-Pack-ში. მისი გამოყენების დასაწყებად, უბრალოდ გაააქტიურეთ 30-დღიანი საცდელი ვერსია ინსტალაციის შემდეგ. საცდელი პერიოდის ამოწურვის შემდეგ, შეგიძლიათ მოითხოვოთ მხარდაჭერა მის გასახანგრძლივებლად ან ხელმოწერის შესაძენად. გამოწერის ღირებულება გამოითვლება არა მონაცემთა მოცულობის, არამედ გამოყენებული კვანძების რაოდენობის მიხედვით. არა, მონაცემების მოცულობა, რა თქმა უნდა, გავლენას ახდენს საჭირო კვანძების რაოდენობაზე, მაგრამ მაინც ლიცენზირების ეს მიდგომა უფრო ჰუმანურია კომპანიის ბიუჯეტთან მიმართებაში. თუ არ არის საჭირო მაღალი პროდუქტიულობა, შეგიძლიათ დაზოგოთ ფული.

ML Elastic Stack-ში იწერება C++-ში და მუშაობს JVM-ის გარეთ, რომელშიც თავად Elasticsearch მუშაობს. ანუ, პროცესი (სხვათა შორის, მას ავტომატური ამოცნობა ჰქვია) მოიხმარს ყველაფერს, რასაც JVM არ შთანთქავს. დემო სტენდზე ეს არც ისე კრიტიკულია, მაგრამ საწარმოო გარემოში მნიშვნელოვანია ცალკეული კვანძების გამოყოფა ML ამოცანებისთვის.

მანქანათმცოდნეობის ალგორითმები იყოფა ორ კატეგორიად - მასწავლებელთან ერთად и მასწავლებლის გარეშე. Elastic Stack-ში, ალგორითმი არის "უკონტროლო" კატეგორიაში. მიერ ეს კავშირი თქვენ შეგიძლიათ ნახოთ მანქანათმცოდნეობის ალგორითმების მათემატიკური აპარატურა.

ანალიზის ჩასატარებლად, მანქანათმცოდნეობის ალგორითმი იყენებს Elasticsearch ინდექსებში შენახულ მონაცემებს. თქვენ შეგიძლიათ შექმნათ ამოცანები ანალიზისთვის როგორც Kibana ინტერფეისიდან, ასევე API-ის საშუალებით. თუ ამას Kibana-ს მეშვეობით აკეთებთ, მაშინ არ გჭირდებათ ზოგიერთი რამის ცოდნა. მაგალითად, დამატებითი ინდექსები, რომლებსაც ალგორითმი იყენებს მისი მუშაობის დროს.

ანალიზის პროცესში გამოყენებული დამატებითი ინდექსები.ml-state — ინფორმაცია სტატისტიკური მოდელების შესახებ (ანალიზის პარამეტრები);
.ml-anomalies-* — ML ალგორითმების შედეგები;
.ml-notifications — ანალიზის შედეგებზე დაფუძნებული შეტყობინებების პარამეტრები.

მონაცემთა სტრუქტურა Elasticsearch მონაცემთა ბაზაში შედგება ინდექსებისა და მათში შენახული დოკუმენტებისგან. ურთიერთობით მონაცემთა ბაზასთან შედარებით, ინდექსი შეიძლება შევადაროთ მონაცემთა ბაზის სქემას, ხოლო დოკუმენტი ჩანაწერს ცხრილში. ეს შედარება პირობითია და მოწოდებულია შემდგომი მასალის გაგების გასამარტივებლად მათთვის, ვისაც მხოლოდ სმენია Elasticsearch-ის შესახებ.

იგივე ფუნქციონირება ხელმისაწვდომია API-ის საშუალებით, როგორც ვებ ინტერფეისის საშუალებით, ამიტომ ცნებების სიცხადისთვის და გაგებისთვის, ჩვენ გაჩვენებთ, თუ როგორ უნდა დააკონფიგურიროთ იგი Kibana-ს მეშვეობით. მენიუში მარცხნივ არის Machine Learning განყოფილება, სადაც შეგიძლიათ შექმნათ ახალი სამუშაო. Kibana-ს ინტერფეისში ის გამოიყურება ქვემოთ მოცემულ სურათზე. ახლა ჩვენ გავაანალიზებთ დავალების თითოეულ ტიპს და ვაჩვენებთ ანალიზის ტიპებს, რომლებიც შეიძლება აშენდეს აქ.

Single Metric - ერთი მეტრიკის ანალიზი, Multi Metric - ორი ან მეტი მეტრიკის ანალიზი. ორივე შემთხვევაში, თითოეული მეტრიკა გაანალიზებულია იზოლირებულ გარემოში, ე.ი. ალგორითმი არ ითვალისწინებს პარალელურად გაანალიზებული მეტრიკის ქცევას, როგორც ეს შეიძლება ჩანდეს Multi Metric-ის შემთხვევაში. გამოთვლების განსახორციელებლად, სხვადასხვა მეტრიკის კორელაციის გათვალისწინებით, შეგიძლიათ გამოიყენოთ პოპულაციის ანალიზი. და Advanced ასწორებს ალგორითმებს დამატებითი ვარიანტებით გარკვეული ამოცანებისთვის.

ერთი მეტრიკა

ცვლილებების გაანალიზება ერთ მეტრში არის უმარტივესი რამ, რაც აქ შეიძლება გაკეთდეს. სამუშაოს შექმნაზე დაწკაპუნების შემდეგ, ალგორითმი მოძებნის ანომალიებს.

სფეროში აგრეგაცია თქვენ შეგიძლიათ აირჩიოთ მიდგომა ანომალიების საძიებლად. მაგალითად, როდის მინ ტიპიური მნიშვნელობების ქვემოთ მნიშვნელობები ჩაითვლება ანომალიურად. ჭამე მაქსიმალური, მაღალი საშუალო, დაბალი, საშუალო, განსხვავებული და სხვა. ყველა ფუნქციის აღწერა შეგიძლიათ იხილოთ по ссылке.

სფეროში საველე მიუთითებს რიცხვით ველზე დოკუმენტში, რომელზეც ჩავატარებთ ანალიზს.

სფეროში Bucket span - ინტერვალების სიზუსტე იმ ვადებზე, რომლებზეც განხორციელდება ანალიზი. შეგიძლიათ ენდოთ ავტომატიზაციას ან აირჩიოთ ხელით. ქვემოთ მოყვანილი სურათი არის გრანულარობის ძალიან დაბალი მაგალითი - შეიძლება გამოგრჩეთ ანომალია. ამ პარამეტრის გამოყენებით შეგიძლიათ შეცვალოთ ალგორითმის მგრძნობელობა ანომალიების მიმართ.

შეგროვებული მონაცემების ხანგრძლივობა არის მთავარი, რაც გავლენას ახდენს ანალიზის ეფექტურობაზე. ანალიზის დროს ალგორითმი განსაზღვრავს განმეორებით ინტერვალებს, ითვლის ნდობის ინტერვალებს (საწყისებს) და განსაზღვრავს ანომალიებს - ატიპიურ გადახრებს მეტრიკის ნორმალური ქცევიდან. უბრალოდ მაგალითად:

საბაზისო ხაზები მცირე მონაცემებით:

როდესაც ალგორითმს აქვს რაიმე სასწავლი, საბაზისო ხაზი ასე გამოიყურება:

დავალების დაწყების შემდეგ ალგორითმი განსაზღვრავს ანომალიურ გადახრებს ნორმიდან და ანაწილებს მათ ანომალიის ალბათობის მიხედვით (შესაბამისი ეტიკეტის ფერი მითითებულია ფრჩხილებში):

გაფრთხილება (ლურჯი): 25-ზე ნაკლები
მინორი (ყვითელი): 25-50
მაიორი (ნარინჯისფერი): 50-75
კრიტიკული (წითელი): 75-100

ქვემოთ მოცემული გრაფიკი გვიჩვენებს აღმოჩენილი ანომალიების მაგალითს.

აქ შეგიძლიათ იხილოთ რიცხვი 94, რომელიც მიუთითებს ანომალიის ალბათობაზე. გასაგებია, რომ რაკი მნიშვნელობა 100-ს უახლოვდება, ეს ნიშნავს, რომ გვაქვს ანომალია. დიაგრამის ქვემოთ მოცემული სვეტი გვიჩვენებს მეტრულ მნიშვნელობის 0.000063634% -ის უმცირეს ალბათობას, რომ იქ გამოჩნდეს.

გარდა ანომალიების ძებნისა, შეგიძლიათ პროგნოზირება აწარმოოთ კიბანაში. ეს კეთდება უბრალოდ და იგივე ხედიდან ანომალიებით - ღილაკით პროგნოზი ზედა მარჯვენა კუთხეში.

პროგნოზი კეთდება მაქსიმუმ 8 კვირით ადრე. მაშინაც კი, თუ მართლა გსურს, ეს უკვე შეუძლებელია დიზაინით.

ზოგიერთ სიტუაციაში, პროგნოზი ძალიან სასარგებლო იქნება, მაგალითად, ინფრასტრუქტურაზე მომხმარებლის დატვირთვის მონიტორინგის დროს.

მრავალმეტრიული

მოდით გადავიდეთ Elastic Stack-ის შემდეგ ML ფუნქციაზე - გავაანალიზოთ რამდენიმე მეტრიკა ერთ პარტიაში. მაგრამ ეს არ ნიშნავს იმას, რომ გაანალიზდება ერთი მეტრიკის დამოკიდებულება მეორეზე. ეს იგივეა, რაც Single Metric, მაგრამ რამდენიმე მეტრიკით ერთ ეკრანზე, ერთის მეორეზე გავლენის მარტივი შედარებისთვის. ჩვენ ვისაუბრებთ ერთი მეტრიკის მეორეზე დამოკიდებულების ანალიზზე პოპულაციის განყოფილებაში.

კვადრატზე Multi Metric-ით დაწკაპუნების შემდეგ გამოჩნდება ფანჯარა პარამეტრებით. მოდით შევხედოთ მათ უფრო დეტალურად.

ჯერ თქვენ უნდა აირჩიოთ ველები ანალიზისა და მათზე მონაცემთა აგრეგაციისთვის. აქ აგრეგაციის ვარიანტები იგივეა, რაც ერთი მეტრიკის (მაქსიმალური, მაღალი საშუალო, დაბალი, საშუალო, განსხვავებული და სხვა). გარდა ამისა, სურვილის შემთხვევაში, მონაცემები იყოფა ერთ-ერთ ველად (ველი მონაცემების გაყოფა). მაგალითში ჩვენ ეს გავაკეთეთ ველის მიხედვით OriginAirportID. გაითვალისწინეთ, რომ მეტრიკის გრაფიკი მარჯვნივ არის წარმოდგენილი, როგორც მრავალი გრაფიკი.

საველე საკვანძო ველები (ინფლუენსერები) პირდაპირ გავლენას ახდენს გამოვლენილ ანომალიებზე. ნაგულისხმევად აქ ყოველთვის იქნება მინიმუმ ერთი მნიშვნელობა და შეგიძლიათ დაამატოთ დამატებითი. ალგორითმი ანალიზისას გაითვალისწინებს ამ ველების გავლენას და აჩვენებს ყველაზე „გავლენიან“ მნიშვნელობებს.

გაშვების შემდეგ, მსგავსი რამ გამოჩნდება Kibana ინტერფეისში.

ეს არის ე.წ ანომალიების სითბოს რუკა თითოეული ველის მნიშვნელობისთვის OriginAirportID, რაზეც ჩვენ მივუთითეთ მონაცემების გაყოფა. როგორც Single Metric, ფერი მიუთითებს არანორმალური გადახრის დონეზე. მოსახერხებელია მსგავსი ანალიზის გაკეთება, მაგალითად, სამუშაო სადგურებზე, რათა თვალყური ადევნოთ მათ, ვისაც აქვს ავტორიზაციის საეჭვოდ დიდი რაოდენობა და ა.შ. ჩვენ უკვე დავწერეთ EventLog Windows-ში საეჭვო მოვლენების შესახებ, რომელიც ასევე შეიძლება შეგროვდეს და გაანალიზდეს აქ.

სითბოს რუქის ქვემოთ მოცემულია ანომალიების სია, თითოეული მათგანიდან შეგიძლიათ გადახვიდეთ ერთ მეტრულ ხედზე დეტალური ანალიზისთვის.

მოსახლეობა

სხვადასხვა მეტრიკას შორის კორელაციაში ანომალიების მოსაძებნად, Elastic Stack-ს აქვს პოპულაციის სპეციალიზებული ანალიზი. სწორედ მისი დახმარებით შეგიძლიათ მოძებნოთ ანომალიური მნიშვნელობები სერვერის მუშაობაში სხვებთან შედარებით, როდესაც, მაგალითად, იზრდება სამიზნე სისტემის მიმართ მოთხოვნები.

ამ ილუსტრაციაში პოპულაციის ველი მიუთითებს მნიშვნელობას, რომელსაც შეეხება გაანალიზებული მეტრიკა. ამ შემთხვევაში ეს არის პროცესის სახელი. შედეგად, ჩვენ დავინახავთ, თუ როგორ იმოქმედა ერთმანეთზე თითოეული პროცესის პროცესორის დატვირთვამ.

გთხოვთ გაითვალისწინოთ, რომ გაანალიზებული მონაცემების გრაფიკი განსხვავდება Single Metric-ისა და Multi Metric-ის შემთხვევებისგან. ეს გაკეთდა კიბანაში გაანალიზებული მონაცემების მნიშვნელობების განაწილების გაუმჯობესებული აღქმის დიზაინით.

გრაფიკი აჩვენებს, რომ პროცესი არანორმალურად მოიქცა სტრესი (სხვათა შორის, სპეციალური უტილიტის მიერ გენერირებული) სერვერზე პოიპუ, რომელმაც გავლენა მოახდინა (ან გავლენიანი აღმოჩნდა) ამ ანომალიის გაჩენაზე.

მოწინავე

ანალიტიკა დახვეწილი რეგულირებით. გაფართოებული ანალიზით, დამატებითი პარამეტრები გამოჩნდება Kibana-ში. შექმნის მენიუში Advanced ფილაზე დაწკაპუნების შემდეგ ჩნდება ეს ფანჯარა ჩანართებით. ჩანართი სამუშაო დეტალები ჩვენ ეს განზრახ გამოვტოვეთ, არის ძირითადი პარამეტრები, რომლებიც უშუალოდ არ არის დაკავშირებული ანალიზის დაყენებასთან.

В summary_count_field_name სურვილისამებრ, შეგიძლიათ მიუთითოთ ველის სახელი გაერთიანებული მნიშვნელობების შემცველი დოკუმენტებიდან. ამ მაგალითში, მოვლენების რაოდენობა წუთში. IN categorization_field_name მიუთითებს ველის სახელსა და მნიშვნელობას დოკუმენტიდან, რომელიც შეიცავს ცვლადის მნიშვნელობას. ამ ველზე ნიღბის გამოყენებით, შეგიძლიათ გაანალიზებული მონაცემები დაყოთ ქვეჯგუფებად. ყურადღება მიაქციეთ ღილაკს დეტექტორის დამატება წინა ილუსტრაციაში. ქვემოთ მოცემულია ამ ღილაკზე დაჭერის შედეგი.

აქ არის პარამეტრების დამატებითი ბლოკი ანომალიის დეტექტორის კონფიგურაციისთვის კონკრეტული ამოცანისთვის. ჩვენ ვგეგმავთ განვიხილოთ გამოყენების კონკრეტული შემთხვევები (განსაკუთრებით უსაფრთხოების შემთხვევები) შემდეგ სტატიებში. Მაგალითად, გამოიყურება ერთ-ერთი დაშლილი საქმე. ის ასოცირდება იშვიათად გამოჩენილი მნიშვნელობების ძიებასთან და ხორციელდება იშვიათი ფუნქცია.

სფეროში ფუნქცია თქვენ შეგიძლიათ აირჩიოთ კონკრეტული ფუნქცია ანომალიების მოსაძებნად. გარდა იშვიათი, არის კიდევ რამდენიმე საინტერესო ფუნქცია - დღის მონაკვეთი и კვირის_დრო. ისინი განსაზღვრავენ ანომალიებს მეტრიკის ქცევაში, შესაბამისად, დღის ან კვირის განმავლობაში. სხვა ანალიზის ფუნქციები არის დოკუმენტაციაში.

В ველის_სახელი მიუთითებს დოკუმენტის ველზე, რომელზეც ჩატარდება ანალიზი. By_field_name შეიძლება გამოყენებულ იქნას აქ მითითებული დოკუმენტის ველის თითოეული ინდივიდუალური მნიშვნელობის ანალიზის შედეგების გამოსაყოფად. თუ შეავსებ მეტი_ველის_სახელი თქვენ მიიღებთ მოსახლეობის ანალიზს, რომელიც ზემოთ განვიხილეთ. თუ მნიშვნელობას მიუთითებთ partition_field_name, შემდეგ დოკუმენტის ამ ველისთვის გამოითვლება ცალკეული საბაზისო ხაზები თითოეული მნიშვნელობისთვის (მნიშვნელობა შეიძლება იყოს, მაგალითად, სერვერის სახელი ან პროცესი სერვერზე). IN გამორიცხვა_ხშირი შეუძლია აირჩიოს ყველა ან არცერთი, რაც ნიშნავს დოკუმენტის ველის ხშირად წარმოქმნილი მნიშვნელობების გამორიცხვას (ან ჩართვას).

ამ სტატიაში შევეცადეთ შეგვექმნა რაც შეიძლება ლაკონური წარმოდგენა Elastic Stack-ში მანქანური სწავლის შესაძლებლობების შესახებ; ჯერ კიდევ ბევრი დეტალი დარჩა კულისებში. გვითხარით კომენტარებში რა შემთხვევების მოგვარება მოახერხეთ Elastic Stack-ის გამოყენებით და რა ამოცანებისთვის იყენებთ მას. ჩვენთან დასაკავშირებლად შეგიძლიათ გამოიყენოთ პირადი შეტყობინებები Habré-ზე ან გამოხმაურების ფორმა საიტზე.

წყარო: www.habr.com