ავტომატური სისტემის შექმნა საიტზე შემოჭრილებთან საბრძოლველად (თაღლითობა)

ბოლო ექვსი თვის განმავლობაში ვქმნიდი თაღლითობასთან ბრძოლის სისტემას (თაღლითური აქტივობა, თაღლითობა და ა.შ.) ამისთვის თავდაპირველი ინფრასტრუქტურის გარეშე. დღევანდელი იდეები, რომლებიც აღმოვაჩინეთ და განვახორციელეთ ჩვენს სისტემაში, გვეხმარება აღმოვაჩინოთ და გავაანალიზოთ მრავალი თაღლითური აქტივობა. ამ სტატიაში მსურს ვისაუბრო იმ პრინციპებზე, რომლებსაც ჩვენ მივყვეთ და რა გავაკეთეთ ჩვენი სისტემის ამჟამინდელი მდგომარეობის მისაღწევად, ტექნიკურ ნაწილში ჩაღრმავების გარეშე.

ჩვენი სისტემის პრინციპები

როდესაც გესმით ტერმინები, როგორიცაა „ავტომატური“ და „თაღლითობა“, სავარაუდოდ დაიწყებთ ფიქრს მანქანურ სწავლაზე, Apache Spark, Hadoop, Python, Airflow და სხვა ტექნოლოგიებზე Apache Foundation ეკოსისტემასა და მონაცემთა მეცნიერების სფეროში. მე ვფიქრობ, რომ არსებობს ამ ინსტრუმენტების გამოყენების ერთი ასპექტი, რომელიც ჩვეულებრივ არ არის ნახსენები: ისინი საჭიროებენ გარკვეული წინაპირობების არსებობას თქვენს საწარმოს სისტემაში, სანამ მათ გამოყენებას შეძლებთ. მოკლედ, თქვენ გჭირდებათ საწარმოს მონაცემთა პლატფორმა, რომელიც მოიცავს მონაცემთა ტბას და საცავს. მაგრამ რა მოხდება, თუ არ გაქვთ ასეთი პლატფორმა და ჯერ კიდევ გჭირდებათ ამ პრაქტიკის განვითარება? შემდეგი პრინციპები, რომლებსაც ქვემოთ აღვწერ, დაგვეხმარა მივაღწიოთ იმ წერტილს, სადაც ჩვენ შეგვიძლია ფოკუსირება გავაუმჯობესოთ ჩვენი იდეები, ვიდრე მოქმედი. თუმცა ეს არ არის პროექტის „პლატო“. გეგმაში კიდევ ბევრი რამ არის ტექნოლოგიური და პროდუქტიული თვალსაზრისით.

პრინციპი 1: ბიზნესის ღირებულება პირველ რიგში

ჩვენ ყველა ჩვენი ძალისხმევის სათავეში ვაყენებთ „ბიზნეს ღირებულებას“. ზოგადად, ნებისმიერი ავტომატური ანალიზის სისტემა მიეკუთვნება კომპლექსური სისტემების ჯგუფს ავტომატიზაციისა და ტექნიკური სირთულის მაღალი დონით. სრული გადაწყვეტის შექმნას დიდი დრო დასჭირდება, თუ მას ნულიდან შექმნით. ჩვენ გადავწყვიტეთ, პირველ რიგში დავაყენოთ ბიზნეს ღირებულება და მეორეზე ტექნოლოგიური სიმწიფე. რეალურ ცხოვრებაში ეს ნიშნავს, რომ ჩვენ არ ვიღებთ მოწინავე ტექნოლოგიას, როგორც დოგმას. ჩვენ ვირჩევთ ტექნოლოგიას, რომელიც საუკეთესოდ მუშაობს ჩვენთვის ამ მომენტში. დროთა განმავლობაში შეიძლება ჩანდეს, რომ მოგვიწევს ზოგიერთი მოდულის ხელახლა დანერგვა. ეს არის კომპრომისი, რომელიც ჩვენ მივიღეთ.

პრინციპი 2: გაძლიერებული ინტელექტი

დადებს, ადამიანების უმეტესობამ, ვინც ღრმად არ არის ჩართული მანქანათმცოდნეობის გადაწყვეტილებების შემუშავებაში, შეიძლება იფიქროს, რომ ადამიანის ჩანაცვლება არის მიზანი. სინამდვილეში, მანქანათმცოდნეობის გადაწყვეტილებები შორს არის სრულყოფილი და მხოლოდ გარკვეულ სფეროებშია შესაძლებელი ჩანაცვლება. ჩვენ თავიდანვე მივატოვეთ ეს იდეა რამდენიმე მიზეზის გამო: გაუწონასწორებელი მონაცემები თაღლითური საქმიანობის შესახებ და მანქანური სწავლების მოდელების მახასიათებლების ამომწურავი ჩამონათვალის მიწოდების შეუძლებლობა. ამის საპირისპიროდ, ჩვენ ავირჩიეთ გაძლიერებული ინტელექტის ვარიანტი. ეს არის ხელოვნური ინტელექტის ალტერნატიული კონცეფცია, რომელიც ფოკუსირებულია ხელოვნური ინტელექტის დამხმარე როლზე, ხაზს უსვამს იმ ფაქტს, რომ კოგნიტური ტექნოლოგიები შექმნილია ადამიანის ინტელექტის გასაძლიერებლად და არა მის ჩანაცვლებისთვის. [1]

ამის გათვალისწინებით, მანქანური სწავლების სრული გადაწყვეტის შემუშავება თავიდანვე მოითხოვს დიდ ძალისხმევას, რაც შეაფერხებს ჩვენი ბიზნესისთვის ღირებულების შექმნას. ჩვენ გადავწყვიტეთ აგვეშენებინა სისტემა მანქანური სწავლის მუდმივად მზარდი ასპექტით, ჩვენი დომენის ექსპერტების ხელმძღვანელობით. ასეთი სისტემის შემუშავების რთული ნაწილი არის ის, რომ მან უნდა მიაწოდოს ჩვენს ანალიტიკოსებს საქმის შესწავლა არა მხოლოდ იმის თაობაზე, არის თუ არა ეს თაღლითური აქტივობა. ზოგადად, კლიენტების ქცევაში ნებისმიერი ანომალია საეჭვო შემთხვევაა, რომელიც სპეციალისტებმა უნდა გამოიკვლიონ და როგორმე რეაგირება მოახდინონ. ამ დაფიქსირებული შემთხვევებიდან მხოლოდ რამდენიმე შეიძლება მართლაც იყოს კლასიფიცირებული, როგორც თაღლითობა.

პრინციპი 3: Rich Insights პლატფორმა

ჩვენი სისტემის ყველაზე რთული ნაწილია სისტემის მუშაობის პროცესის ბოლომდე გადამოწმება. ანალიტიკოსებმა და დეველოპერებმა მარტივად უნდა მიიღონ ისტორიული მონაცემთა ნაკრები ყველა იმ მეტრიკით, რომელიც გამოიყენეს ანალიზისთვის. გარდა ამისა, მონაცემთა პლატფორმამ უნდა უზრუნველყოს ინდიკატორების არსებული ნაკრების ახლით შევსების მარტივი გზა. პროცესებმა, რომლებსაც ჩვენ ვქმნით, და ეს არ არის მხოლოდ პროგრამული პროცესები, უნდა გააადვილოს წინა პერიოდების ხელახალი გამოთვლა, ახალი მეტრიკის დამატება და მონაცემთა პროგნოზის შეცვლა. ჩვენ შეგვეძლო ამის მიღწევა ყველა იმ მონაცემის დაგროვებით, რომელსაც ჩვენი წარმოების სისტემა გამოიმუშავებს. ასეთ შემთხვევაში მონაცემები თანდათან შემაფერხებელი გახდებოდა. ჩვენ დაგვჭირდება მზარდი რაოდენობის მონაცემების შენახვა, რომელსაც არ ვიყენებთ და დავიცვათ ისინი. ასეთ სცენარში მონაცემები დროთა განმავლობაში უფრო და უფრო არარელევანტური გახდება, მაგრამ მაინც მოითხოვს ჩვენს ძალისხმევას მის მართვაში. ჩვენთვის მონაცემთა შეგროვებას აზრი არ ჰქონდა და გადავწყვიტეთ გამოგვეყენებინა განსხვავებული მიდგომა. ჩვენ გადავწყვიტეთ მოვაწყოთ რეალურ დროში მონაცემთა საწყობები იმ სამიზნე ერთეულების ირგვლივ, რომელთა კლასიფიცირებაც გვსურს და შევინახოთ მხოლოდ ის მონაცემები, რომლებიც საშუალებას გვაძლევს შევამოწმოთ უახლესი და განახლებული პერიოდები. ამ ძალისხმევის გამოწვევა არის ის, რომ ჩვენი სისტემა არის ჰეტეროგენული მონაცემთა მრავალჯერადი მაღაზიით და პროგრამული მოდულით, რომლებიც საჭიროებენ ფრთხილად დაგეგმვას თანმიმდევრული მუშაობისთვის.

ჩვენი სისტემის დიზაინის კონცეფციები

ჩვენ გვაქვს ოთხი ძირითადი კომპონენტი ჩვენს სისტემაში: გადაყლაპვის სისტემა, გამოთვლითი სისტემა, BI ანალიზი და თვალთვალის სისტემა. ისინი ემსახურებიან კონკრეტულ იზოლირებულ მიზნებს და ჩვენ მათ იზოლირებულად ვტოვებთ განვითარების გარკვეული მიდგომების დაცვით.

ხელშეკრულებაზე დაფუძნებული დიზაინი

უპირველეს ყოვლისა, ჩვენ შევთანხმდით, რომ კომპონენტები უნდა ეყრდნობოდეს მხოლოდ გარკვეულ მონაცემთა სტრუქტურებს (კონტრაქტებს), რომლებიც გადის მათ შორის. ეს აადვილებს მათ შორის ინტეგრაციას და არ დააწესებს კომპონენტების სპეციფიკურ შემადგენლობას (და წესრიგს). მაგალითად, ზოგიერთ შემთხვევაში ეს საშუალებას გვაძლევს უშუალოდ მივიღოთ მიმღები სისტემის ინტეგრირება გაფრთხილების თვალთვალის სისტემასთან. ასეთ შემთხვევაში ეს მოხდება შეთანხმებული შეტყობინების ხელშეკრულების შესაბამისად. ეს ნიშნავს, რომ ორივე კომპონენტი იქნება ინტეგრირებული კონტრაქტის გამოყენებით, რომლის გამოყენებაც ნებისმიერ სხვა კომპონენტს შეუძლია. ჩვენ არ დავამატებთ დამატებით კონტრაქტს შეყვანის სისტემიდან თვალთვალის სისტემაში გაფრთხილებების დასამატებლად. ეს მიდგომა მოითხოვს წინასწარ განსაზღვრული მინიმალური რაოდენობის კონტრაქტების გამოყენებას და ამარტივებს სისტემას და კომუნიკაციებს. ძირითადად, ჩვენ ვიყენებთ მიდგომას სახელწოდებით "კონტრაქტი პირველი დიზაინი" და ვიყენებთ მას ნაკადის კონტრაქტებზე. [2]

სტრიმინგი ყველგან

სისტემაში სახელმწიფოს გადარჩენა და მართვა აუცილებლად გამოიწვევს მის განხორციელებას გართულებებს. ზოგადად, მდგომარეობა უნდა იყოს ხელმისაწვდომი ნებისმიერი კომპონენტიდან, ის უნდა იყოს თანმიმდევრული და უზრუნველყოს ყველაზე განახლებული მნიშვნელობა ყველა კომპონენტში და უნდა იყოს სანდო სწორი მნიშვნელობებით. გარდა ამისა, უახლესი მდგომარეობის მისაღებად მუდმივ მეხსიერებაზე ზარები გაზრდის I/O-ს რაოდენობას და ჩვენს რეალურ დროში გამოყენებული ალგორითმების სირთულეს. ამის გამო, ჩვენ გადავწყვიტეთ, რომ სახელმწიფო საცავი, თუ ეს შესაძლებელია, მთლიანად ამოგვეშალა ჩვენი სისტემიდან. ეს მიდგომა მოითხოვს, რომ ყველა საჭირო მონაცემი იყოს გადაცემული მონაცემთა ერთეულში (შეტყობინება). მაგალითად, თუ ჩვენ გვჭირდება გამოვთვალოთ ზოგიერთი დაკვირვების მთლიანი რაოდენობა (ოპერაციების რაოდენობა ან შემთხვევები გარკვეული მახასიათებლებით), ჩვენ ვიანგარიშებთ მას მეხსიერებაში და წარმოქმნით ასეთი მნიშვნელობების ნაკადს. დამოკიდებული მოდულები გამოიყენებენ დაყოფას და ჯგუფურ ნაკადს ერთეულების მიხედვით გასაყოფად და უახლეს მნიშვნელობებზე მუშაობისთვის. ამ მიდგომამ აღმოფხვრა ასეთი მონაცემების მუდმივი დისკის შენახვის აუცილებლობა. ჩვენი სისტემა იყენებს კაფკას, როგორც შეტყობინებების ბროკერს და ის შეიძლება გამოყენებულ იქნას როგორც მონაცემთა ბაზა KSQL-ით. [3] მაგრამ მისი გამოყენება მტკიცედ დააკავშირებდა ჩვენს გამოსავალს კაფკას და ჩვენ გადავწყვიტეთ არ გამოგვეყენებინა იგი. ჩვენ მიერ არჩეული მიდგომა საშუალებას გვაძლევს შევცვალოთ კაფკა სხვა შეტყობინებების ბროკერით, სისტემაში მნიშვნელოვანი შიდა ცვლილებების გარეშე.

ეს კონცეფცია არ ნიშნავს იმას, რომ ჩვენ არ ვიყენებთ დისკის შენახვას და მონაცემთა ბაზებს. სისტემის მუშაობის შესამოწმებლად და გასაანალიზებლად საჭიროა დისკზე შევინახოთ მნიშვნელოვანი რაოდენობის მონაცემები, რომელიც წარმოადგენს სხვადასხვა ინდიკატორებსა და მდგომარეობას. აქ მთავარია ის, რომ რეალურ დროში ალგორითმები არ არის დამოკიდებული ასეთ მონაცემებზე. უმეტეს შემთხვევაში, ჩვენ ვიყენებთ შენახულ მონაცემებს ოფლაინ ანალიზისთვის, გამართვისთვის და კონკრეტული შემთხვევებისა და შედეგების თვალყურის დევნებისთვის, რომლებსაც სისტემა აწარმოებს.

პრობლემები ჩვენს სისტემაში

არის გარკვეული პრობლემები, რომლებიც გარკვეულ დონეზე მოვაგვარეთ, მაგრამ უფრო გააზრებულ გადაწყვეტას მოითხოვს. ჯერ-ჯერობით მხოლოდ აქ მინდა აღვნიშნო ისინი, რადგან თითოეული პუნქტი თავისი სტატიის ღირსია.

• ჩვენ ჯერ კიდევ უნდა განვსაზღვროთ პროცესები და პოლიტიკები, რომლებიც გვეხმარება მნიშვნელოვანი და რელევანტური მონაცემების გამომუშავებაში ჩვენი ავტომატური ანალიზის, აღმოჩენისა და მონაცემთა შესწავლისთვის.
• ანალიზის შედეგების გაცნობა პირის მიერ სისტემის ავტომატურად რეგულირების პროცესში, რათა განაახლოს იგი უახლესი მონაცემებით. ეს არის არა მხოლოდ ჩვენი მოდელის განახლება, არამედ ჩვენი პროცესების განახლება და ჩვენი მონაცემების უკეთ გაგება.
• IF-ELSE-სა და ML-ის დეტერმინისტულ მიდგომას შორის ბალანსის პოვნა. ვიღაცამ თქვა: "ML არის ინსტრუმენტი სასოწარკვეთილებისთვის". ეს ნიშნავს, რომ თქვენ მოგინდებათ ML-ის გამოყენება, როდესაც აღარ გესმით, როგორ გააკეთოთ თქვენი ალგორითმის ოპტიმიზაცია და გაუმჯობესება. მეორე მხრივ, დეტერმინისტული მიდგომა არ იძლევა იმ ანომალიების გამოვლენის საშუალებას, რომლებიც არ იყო გათვალისწინებული.
• ჩვენ გვჭირდება მარტივი გზა, რათა შევამოწმოთ ჩვენი ჰიპოთეზები ან კორელაციები მონაცემებში არსებულ მეტრებს შორის.
• სისტემას უნდა ჰქონდეს ჭეშმარიტი დადებითი შედეგების რამდენიმე დონე. თაღლითობის შემთხვევები მხოლოდ მცირე ნაწილია ყველა იმ შემთხვევისა, რომელიც შეიძლება დადებითად ჩაითვალოს სისტემისთვის. მაგალითად, ანალიტიკოსებს სურთ მიიღონ ყველა საეჭვო შემთხვევა განსახილველად და მათი მხოლოდ მცირე ნაწილია თაღლითური. სისტემამ ეფექტურად უნდა მიაწოდოს ანალიტიკოსებს ყველა შემთხვევა, იქნება ეს რეალური თაღლითობა თუ უბრალოდ საეჭვო ქცევა.
• მონაცემთა პლატფორმას უნდა შეეძლოს ისტორიული მონაცემთა ნაკრების მოძიება ფრენის დროს შექმნილი და გამოთვლილი გამოთვლებით.
• სისტემის რომელიმე კომპონენტის მარტივი და ავტომატური განლაგება მინიმუმ სამ განსხვავებულ გარემოში: წარმოება, ექსპერიმენტული (ბეტა) და დეველოპერებისთვის.
• Და ბოლო მაგრამ არანაკლებ მნიშვნელოვანი. ჩვენ უნდა შევქმნათ ვრცელი საორიენტაციო პლატფორმა, რომელზეც შეგვიძლია გავაანალიზოთ ჩვენი მოდელები. [4]

ლიტერატურა

1. რა არის გაძლიერებული ინტელექტი?
2. API-პირველი დიზაინის მეთოდოლოგიის დანერგვა
3. კაფკა გარდაიქმნება „მოვლენის სტრიმინგის მონაცემთა ბაზად“
4. AUC-ROC მრუდის გაგება

წყარო: www.habr.com