მანქანური სწავლების მოქმედება Mail.ru Mail-ში

ჩემი გამოსვლების საფუძველზე Highload++ და DataFest Minsk 2019.

დღეს ბევრისთვის ფოსტა ონლაინ ცხოვრების განუყოფელი ნაწილია. მისი დახმარებით ვაწარმოებთ საქმიან მიმოწერას, ვინახავთ ყველა სახის მნიშვნელოვან ინფორმაციას, რომელიც დაკავშირებულია ფინანსებთან, სასტუმროების დაჯავშნასთან, შეკვეთებთან და ბევრ სხვასთან. 2018 წლის შუა რიცხვებში ჩვენ ჩამოვაყალიბეთ პროდუქტის სტრატეგია ფოსტის განვითარებისთვის. როგორი უნდა იყოს თანამედროვე ფოსტა?

ფოსტა უნდა იყოს ჭკვიანი, ანუ ეხმარება მომხმარებლებს ინფორმაციის მზარდი მოცულობის ნავიგაციაში: გაფილტვრა, სტრუქტურა და უზრუნველყოს იგი ყველაზე მოსახერხებელი გზით. ის უნდა იყოს სასარგებლო, რომელიც საშუალებას გაძლევთ გადაჭრათ სხვადასხვა ამოცანები პირდაპირ თქვენს საფოსტო ყუთში, მაგალითად, გადაიხადოთ ჯარიმები (ფუნქცია, რომელსაც, სამწუხაროდ, მე ვიყენებ). და ამავდროულად, რა თქმა უნდა, ფოსტამ უნდა უზრუნველყოს ინფორმაციის დაცვა, სპამის შეწყვეტა და ჰაკერებისგან დაცვა, ანუ იყოს უსაფრთხო.

ეს სფეროები განსაზღვრავს უამრავ ძირითად პრობლემას, რომელთაგან ბევრის ეფექტურად გადაჭრა შესაძლებელია მანქანური სწავლის გამოყენებით. აქ მოცემულია სტრატეგიის ფარგლებში შემუშავებული უკვე არსებული ფუნქციების მაგალითები - თითო თითოეული მიმართულებისთვის.

• სმარტ პასუხი. ფოსტას აქვს ჭკვიანი პასუხის ფუნქცია. ნერვული ქსელი აანალიზებს წერილის ტექსტს, ესმის მის მნიშვნელობას და დანიშნულებას და შედეგად გვთავაზობს პასუხების სამ ყველაზე შესაბამის ვარიანტს: დადებითი, უარყოფითი და ნეიტრალური. ეს ხელს უწყობს დროის მნიშვნელოვნად დაზოგვას წერილებზე პასუხის გაცემისას და ასევე ხშირად პასუხობს არასტანდარტულად და მხიარულად.
• ელფოსტის დაჯგუფებაონლაინ მაღაზიებში შეკვეთებთან დაკავშირებული. ჩვენ ხშირად ვყიდულობთ ონლაინ და, როგორც წესი, მაღაზიებს შეუძლიათ გამოაგზავნონ რამდენიმე ელ.წერილი თითოეული შეკვეთისთვის. მაგალითად, AliExpress-იდან, ყველაზე დიდი სერვისიდან, ბევრი ასო შემოდის ერთ შეკვეთაზე და ჩვენ გამოვთვალეთ, რომ ტერმინალის შემთხვევაში მათი რიცხვი შეიძლება 29-მდეც კი მიაღწიოს. ამიტომ, Named Entity Recognition მოდელის გამოყენებით, ჩვენ ამოვიღებთ შეკვეთის ნომერს. და სხვა ინფორმაცია ტექსტიდან და დააჯგუფე ყველა ასო ერთ თემაში. ჩვენ ასევე ვაჩვენებთ ძირითად ინფორმაციას შეკვეთის შესახებ ცალკე ველში, რაც აადვილებს ამ ტიპის ელ.წერილთან მუშაობას.

  

• ფიშინგის საწინააღმდეგო. ფიშინგი არის განსაკუთრებით საშიში თაღლითური ელ.ფოსტის ტიპი, რომლის დახმარებით თავდამსხმელები ცდილობენ მიიღონ ფინანსური ინფორმაცია (მომხმარებლის საბანკო ბარათების ჩათვლით) და შესვლა. ასეთი წერილები მიბაძა სამსახურის მიერ გამოგზავნილ რეალურს, მათ შორის ვიზუალურად. ამიტომ, Computer Vision-ის დახმარებით, ჩვენ ვაღიარებთ ლოგოებს და ასოების დიზაინის სტილს დიდი კომპანიებისგან (მაგალითად, Mail.ru, Sber, Alfa) და გავითვალისწინებთ ამას ტექსტთან და სხვა მახასიათებლებთან ერთად ჩვენს სპამისა და ფიშინგის კლასიფიკატორებში. .

მანქანა სწავლა

ცოტა რამ ზოგადად ელ.ფოსტის მანქანური სწავლის შესახებ. ფოსტა არის ძალიან დატვირთული სისტემა: დღეში საშუალოდ 1,5 მილიარდი ასო გადის ჩვენს სერვერებზე 30 მილიონი DAU მომხმარებლისთვის. დაახლოებით 30 მანქანათმცოდნეობის სისტემა მხარს უჭერს ყველა საჭირო ფუნქციას და ფუნქციას.

თითოეული ასო გადის მთელ კლასიფიკაციის მილსადენს. ჯერ ვწყვეტთ სპამს და ვტოვებთ კარგ წერილებს. მომხმარებლები ხშირად ვერ ამჩნევენ ანტისპამის მუშაობას, რადგან სპამის 95-99% შესაბამის საქაღალდეშიც კი არ ხვდება. სპამის ამოცნობა ჩვენი სისტემის ძალიან მნიშვნელოვანი ნაწილია და ყველაზე რთული, რადგან ანტი-სპამის სფეროში მუდმივი ადაპტაციაა თავდაცვისა და თავდასხმის სისტემებს შორის, რაც უწყვეტ საინჟინრო გამოწვევას უქმნის ჩვენს გუნდს.

შემდეგი, ჩვენ გამოვყოფთ წერილებს ადამიანებისგან და რობოტებისაგან. ადამიანების ელფოსტა ყველაზე მნიშვნელოვანია, ამიტომ ჩვენ ვთავაზობთ ფუნქციებს, როგორიცაა Smart Reply მათთვის. რობოტების წერილები იყოფა ორ ნაწილად: ტრანზაქციული - ეს არის მნიშვნელოვანი წერილები სერვისებიდან, მაგალითად, შესყიდვების ან სასტუმროს დაჯავშნის დადასტურებები, ფინანსები და საინფორმაციო - ეს არის ბიზნეს რეკლამა, ფასდაკლებები.

ჩვენ გვჯერა, რომ ტრანზაქციის ელ. ფოსტა თანაბარია პირადი მიმოწერის მნიშვნელობით. ისინი ხელთ უნდა იყვნენ, რადგან ხშირად გვჭირდება ინფორმაციის სწრაფად მოძიება შეკვეთის ან ავიაბილეთის დაჯავშნის შესახებ და დროს ვხარჯავთ ამ წერილების ძიებაში. ამიტომ, მოხერხებულობისთვის, ჩვენ ავტომატურად ვყოფთ მათ ექვს ძირითად კატეგორიად: მოგზაურობა, შეკვეთები, ფინანსები, ბილეთები, რეგისტრაცია და ბოლოს, ჯარიმები.

საინფორმაციო წერილები არის ყველაზე დიდი და ალბათ ნაკლებად მნიშვნელოვანი ჯგუფი, რომელიც არ საჭიროებს დაუყოვნებელ პასუხს, რადგან მომხმარებლის ცხოვრებაში მნიშვნელოვანი არაფერი შეიცვლება, თუ ის არ წაიკითხავს ასეთ წერილს. ჩვენს ახალ ინტერფეისში, ჩვენ ვანაწილებთ მათ ორ თემად: სოციალური ქსელები და საინფორმაციო ბიულეტენები, რითაც ვიზუალურად ვწმენდთ შემოსულებს და ვტოვებთ მხოლოდ მნიშვნელოვან შეტყობინებებს ხილულს.

ექსპლუატაცია

სისტემების დიდი რაოდენობა იწვევს უამრავ სირთულეს მუშაობაში. ყოველივე ამის შემდეგ, მოდელები დროთა განმავლობაში იშლება, ისევე როგორც ნებისმიერი პროგრამული უზრუნველყოფა: ფუნქციები იშლება, მანქანები იშლება, კოდი ხდება არასწორი. გარდა ამისა, მონაცემები მუდმივად იცვლება: ემატება ახლები, გარდაიქმნება მომხმარებლის ქცევის შაბლონები და ა.შ., ასე რომ, მოდელი სათანადო მხარდაჭერის გარეშე დროთა განმავლობაში უარესად და უარესად იმუშავებს.

არ უნდა დაგვავიწყდეს, რომ რაც უფრო ღრმად აღწევს მანქანური სწავლება მომხმარებელთა ცხოვრებაში, მით უფრო დიდია მათი გავლენა ეკოსისტემაზე და, შედეგად, მეტი ფინანსური ზარალი ან მოგება შეუძლიათ ბაზრის მოთამაშეებს მიიღონ. ამიტომ, მზარდი რაოდენობის სფეროებში მოთამაშეები ადაპტირებენ ML ალგორითმების მუშაობას (კლასიკური მაგალითებია რეკლამა, ძებნა და უკვე ნახსენები ანტისპამი).

ასევე, მანქანათმცოდნეობის ამოცანებს აქვს თავისებურება: სისტემაში ნებისმიერ, თუნდაც უმნიშვნელო ცვლილებას შეუძლია მოდელთან ბევრი სამუშაო მოახდინოს: მონაცემებით მუშაობა, გადამზადება, განლაგება, რასაც შეიძლება კვირები ან თვეები დასჭირდეს. ამიტომ, რაც უფრო სწრაფად იცვლება გარემო, რომელშიც თქვენი მოდელები მუშაობენ, მით უფრო მეტი ძალისხმევაა საჭირო მათ შესანარჩუნებლად. გუნდს შეუძლია შექმნას ბევრი სისტემა და ბედნიერი იყოს ამით, მაგრამ შემდეგ დახარჯოს თითქმის მთელი რესურსი მათ შესანარჩუნებლად, ახლის გაკეთების შესაძლებლობის გარეშე. ჩვენ ერთხელ შეგვხვდა ასეთი სიტუაცია ანტისპამის გუნდში. და მათ გააკეთეს აშკარა დასკვნა, რომ მხარდაჭერა უნდა იყოს ავტომატიზირებული.

ავტომატიკა

რა შეიძლება იყოს ავტომატიზირებული? ფაქტობრივად, თითქმის ყველაფერი. მე გამოვყავი ოთხი სფერო, რომელიც განსაზღვრავს მანქანათმცოდნეობის ინფრასტრუქტურას:

• მონაცემთა შეგროვება;
• დამატებითი ტრენინგი;
• განლაგება;
• ტესტირება და მონიტორინგი.

თუ გარემო არასტაბილურია და მუდმივად იცვლება, მაშინ მოდელის ირგვლივ მთელი ინფრასტრუქტურა ბევრად უფრო მნიშვნელოვანი აღმოჩნდება, ვიდრე თავად მოდელი. ეს შეიძლება იყოს კარგი ძველი ხაზოვანი კლასიფიკატორი, მაგრამ თუ მას აძლევთ სწორ ფუნქციებს და მიიღებთ კარგ გამოხმაურებას მომხმარებლებისგან, ის ბევრად უკეთ იმუშავებს, ვიდრე უახლესი ხელოვნების მოდელები ყველა ზარისა და სასტვენით.

უკუკავშირის ციკლი

ეს ციკლი აერთიანებს მონაცემთა შეგროვებას, დამატებით ტრენინგს და განლაგებას - ფაქტობრივად, მოდელის განახლების მთელ ციკლს. Რატომ არის ეს მნიშვნელოვანი? იხილეთ რეგისტრაციის განრიგი მეილში:

მანქანათმცოდნეობის დეველოპერმა დანერგა ანტი-ბოტის მოდელი, რომელიც ხელს უშლის ბოტებს ელექტრონული ფოსტით დარეგისტრირებაში. გრაფიკი ეცემა იმ მნიშვნელობამდე, სადაც მხოლოდ რეალური მომხმარებლები რჩებიან. Ყველაფერი მშვენიერია! მაგრამ გადის ოთხი საათი, ბოტები ასწორებენ სკრიპტებს და ყველაფერი ნორმალურად უბრუნდება. ამ განხორციელებაში დეველოპერმა ერთი თვე დახარჯა ფუნქციების დამატებასა და მოდელის გადამზადებაში, მაგრამ სპამერმა შეძლო ადაპტაცია ოთხ საათში.

იმისათვის, რომ არ ვიყოთ ასეთი მტკივნეული და არ მოგვიწიოს ყველაფრის შემდგომი გადაკეთება, თავიდან უნდა ვიფიქროთ იმაზე, თუ როგორი იქნება უკუკავშირის ციკლი და რას ვიზამთ, თუ გარემო შეიცვლება. დავიწყოთ მონაცემების შეგროვებით - ეს არის საწვავი ჩვენი ალგორითმებისთვის.

მონაცემთა შეგროვება

ნათელია, რომ თანამედროვე ნერვული ქსელებისთვის რაც მეტი მონაცემი, მით უკეთესი და ისინი, ფაქტობრივად, გენერირდება პროდუქტის მომხმარებლების მიერ. მომხმარებლებს შეუძლიათ დაგვეხმარონ მონაცემების მარკირებით, მაგრამ ჩვენ არ შეგვიძლია ამის ბოროტად გამოყენება, რადგან რაღაც მომენტში მომხმარებლები დაიღალებიან თქვენი მოდელების შესრულებით და გადადიან სხვა პროდუქტზე.

ერთ-ერთი ყველაზე გავრცელებული შეცდომა (აქ მე მივმართავ ენდრიუ ნგს) არის ზედმეტი ფოკუსირება მეტრიკაზე ტესტის მონაცემთა ბაზაზე და არა მომხმარებლის გამოხმაურებაზე, რაც რეალურად არის სამუშაოს ხარისხის მთავარი საზომი, რადგან ჩვენ ვქმნით. პროდუქტი მომხმარებლისთვის. თუ მომხმარებელს არ ესმის ან არ მოსწონს მოდელის მუშაობა, მაშინ ყველაფერი ფუჭდება.

ამიტომ, მომხმარებელს ყოველთვის უნდა შეეძლოს ხმის მიცემა და უნდა მიეცეს უკუკავშირის ინსტრუმენტი. თუ ვფიქრობთ, რომ საფოსტო ყუთში ფინანსებთან დაკავშირებული წერილი მოვიდა, უნდა მოვნიშნოთ „ფინანსები“ და დავხატოთ ღილაკი, რომელზეც მომხმარებელს შეუძლია დააჭიროს და თქვას, რომ ეს არ არის ფინანსები.

უკუკავშირის ხარისხი

მოდით ვისაუბროთ მომხმარებლის გამოხმაურების ხარისხზე. პირველ რიგში, თქვენ და მომხმარებელს შეგიძლიათ მოათავსოთ სხვადასხვა მნიშვნელობა ერთ კონცეფციაში. მაგალითად, თქვენ და თქვენი პროდუქტის მენეჯერები ფიქრობთ, რომ „ფინანსები“ ნიშნავს წერილებს ბანკიდან, ხოლო მომხმარებელი ფიქრობს, რომ ბებიას წერილი მისი პენსიის შესახებ ასევე ეხება ფინანსებს. მეორეც, არიან მომხმარებლები, რომლებსაც უაზროდ უყვართ ღილაკების დაჭერა ყოველგვარი ლოგიკის გარეშე. მესამე, მომხმარებელი შეიძლება ღრმად შეცდეს თავის დასკვნებში. ჩვენი პრაქტიკიდან თვალსაჩინო მაგალითია კლასიფიკატორის დანერგვა ნიგერიული სპამი, ძალიან სასაცილო ტიპის სპამი, სადაც მომხმარებელს სთხოვენ რამდენიმე მილიონი დოლარის აღებას აფრიკაში მოულოდნელად ნაპოვნი შორეული ნათესავისგან. ამ კლასიფიკატორის დანერგვის შემდეგ, ჩვენ გადავამოწმეთ ამ წერილებზე „არა სპამი“ დაწკაპუნებები და აღმოჩნდა, რომ მათი 80% იყო წვნიანი ნიგერიული სპამი, რაც მიგვითითებს იმაზე, რომ მომხმარებლები შეიძლება იყვნენ უკიდურესად გულგრილები.

და არ უნდა დაგვავიწყდეს, რომ ღილაკებზე დაწკაპუნება შეუძლიათ არა მხოლოდ ადამიანებს, არამედ ყველა სახის ბოტს, რომლებიც თავს ბრაუზერებად თვლიან. ასე რომ, დაუმუშავებელი გამოხმაურება არ არის კარგი სწავლისთვის. რა შეგიძლიათ გააკეთოთ ამ ინფორმაციასთან?

ჩვენ ვიყენებთ ორ მიდგომას:

• გამოხმაურება დაკავშირებული ML-დან. მაგალითად, გვაქვს ონლაინ ანტი-ბოტის სისტემა, რომელიც, როგორც აღვნიშნე, სწრაფ გადაწყვეტილებას იღებს შეზღუდული რაოდენობის ნიშნების საფუძველზე. და არის მეორე, ნელი სისტემა, რომელიც მუშაობს ფაქტის შემდეგ. მას აქვს მეტი მონაცემები მომხმარებლის, მისი ქცევის და ა.შ. შედეგად მიიღება ყველაზე ინფორმირებული გადაწყვეტილება, შესაბამისად მას აქვს უფრო მაღალი სიზუსტე და სისრულე. თქვენ შეგიძლიათ მიმართოთ ამ სისტემების ფუნქციონირების სხვაობას პირველზე, როგორც სასწავლო მონაცემებს. ამრიგად, უფრო მარტივი სისტემა ყოველთვის შეეცდება მიუახლოვდეს უფრო რთული სისტემის შესრულებას.
• დააჭირეთ კლასიფიკაციას. თქვენ შეგიძლიათ უბრალოდ კლასიფიციროთ თითოეული მომხმარებლის დაწკაპუნება, შეაფასოთ მისი ვალიდობა და გამოყენებადობა. ჩვენ ამას ვაკეთებთ ანტისპამის ფოსტაში, მომხმარებლის ატრიბუტების, მისი ისტორიის, გამგზავნის ატრიბუტების, თავად ტექსტისა და კლასიფიკატორების შედეგების გამოყენებით. შედეგად, ჩვენ ვიღებთ ავტომატურ სისტემას, რომელიც ამოწმებს მომხმარებლის გამოხმაურებას. და რადგან მას გაცილებით ნაკლებად სჭირდება გადამზადება, მისი მუშაობა შეიძლება გახდეს საფუძველი ყველა სხვა სისტემისთვის. ამ მოდელში მთავარი პრიორიტეტი სიზუსტეა, რადგან მოდელის სწავლება არაზუსტ მონაცემებზე სავსეა შედეგებით.

სანამ ჩვენ ვასუფთავებთ მონაცემებს და ვასწავლით ჩვენს ML სისტემებს, არ უნდა დავივიწყოთ მომხმარებლები, რადგან ჩვენთვის დიაგრამაზე ათასობით, მილიონობით შეცდომა სტატისტიკაა, მომხმარებლისთვის კი ყოველი შეცდომა ტრაგედიაა. გარდა იმისა, რომ მომხმარებელმა როგორმე უნდა იცხოვროს პროდუქტში თქვენი შეცდომით, გამოხმაურების მიღების შემდეგ, ის მოელის, რომ მსგავსი ვითარება მომავალში აღმოიფხვრება. ამიტომ, ყოველთვის ღირს მომხმარებლებისთვის არა მხოლოდ ხმის მიცემის შესაძლებლობა, არამედ ML სისტემების ქცევის გამოსწორება, მაგალითად, პირადი ევრისტიკის შექმნა თითოეული გამოხმაურების დაწკაპუნებისთვის; ფოსტის შემთხვევაში, ეს შეიძლება იყოს ფილტრაციის შესაძლებლობა. ასეთი წერილები გამგზავნის და სათაური ამ მომხმარებლისთვის.

თქვენ ასევე უნდა ააწყოთ მოდელი, რომელიც ეფუძნება ზოგიერთ მოხსენებას ან მოთხოვნას მხარდაჭერის შესახებ ნახევრად ავტომატურ ან მექანიკურ რეჟიმში, რათა სხვა მომხმარებლებს არ შეექმნათ მსგავსი პრობლემები.

ევრისტიკა სწავლისთვის

ამ ევრისტიკასა და ხელჯოხებთან დაკავშირებით ორი პრობლემაა. პირველი ის არის, რომ ყავარჯნების მუდმივად მზარდი რაოდენობა ძნელია შენარჩუნება, რომ აღარაფერი ვთქვათ მათ ხარისხსა და შესრულებაზე გრძელ მანძილზე. მეორე პრობლემა ის არის, რომ შეცდომა შეიძლება არ იყოს ხშირი და რამდენიმე დაწკაპუნება მოდელის შემდგომი მომზადებისთვის საკმარისი არ იქნება. როგორც ჩანს, ეს ორი ურთიერთდაკავშირებული ეფექტი შეიძლება მნიშვნელოვნად განეიტრალდეს შემდეგი მიდგომის გამოყენების შემთხვევაში.

1. ჩვენ ვქმნით დროებით ყავარჯენს.
2. ჩვენ მისგან მონაცემებს ვუგზავნით მოდელს, ის რეგულარულად ახლდება თავად, მათ შორის მიღებულ მონაცემებზე. აქ, რა თქმა უნდა, მნიშვნელოვანია, რომ ევრისტიკას ჰქონდეს მაღალი სიზუსტე, რათა არ შემცირდეს მონაცემთა ხარისხი სასწავლო კომპლექტში.
3. შემდეგ ჩვენ ვაყენებთ მონიტორინგს ყავარჯენის გასააქტიურებლად და თუ გარკვეული პერიოდის შემდეგ ყავარჯენი აღარ მუშაობს და მთლიანად დაფარულია მოდელით, მაშინ შეგიძლიათ უსაფრთხოდ ამოიღოთ იგი. ახლა ეს პრობლემა ნაკლებად სავარაუდოა, რომ განმეორდეს.

ასე რომ, ხელჯოხების არმია ძალიან სასარგებლოა. მთავარია, მათი მომსახურება იყოს გადაუდებელი და არა მუდმივი.

დამატებითი ტრენინგი

გადამზადება არის მომხმარებელთა ან სხვა სისტემების უკუკავშირის შედეგად მიღებული ახალი მონაცემების დამატების პროცესი და მასზე არსებული მოდელის სწავლება. დამატებითი ტრენინგის დროს შეიძლება რამდენიმე პრობლემა იყოს:

1. მოდელი შეიძლება უბრალოდ არ უჭერდეს მხარს დამატებით ტრენინგს, მაგრამ ისწავლოს მხოლოდ ნულიდან.
2. ბუნების წიგნში არსად წერია, რომ დამატებითი ტრენინგი აუცილებლად გააუმჯობესებს წარმოებაში მუშაობის ხარისხს. ხშირად პირიქით ხდება, ანუ შესაძლებელია მხოლოდ გაუარესება.
3. ცვლილებები შეიძლება იყოს არაპროგნოზირებადი. ეს საკმაოდ დახვეწილი წერტილია, რომელიც ჩვენ თვითონ დავადგინეთ. მაშინაც კი, თუ ახალმა მოდელმა A/B ტესტში აჩვენა მსგავსი შედეგები ახლანდელთან შედარებით, ეს არ ნიშნავს რომ ის იმუშავებს იდენტურად. მათი მუშაობა შეიძლება განსხვავდებოდეს მხოლოდ ერთი პროცენტით, რამაც შეიძლება გამოიწვიოს ახალი შეცდომები ან დააბრუნოს ძველი, რომელიც უკვე გამოსწორებულია. ჩვენც და მომხმარებლებმაც უკვე ვიცით როგორ ვიცხოვროთ მიმდინარე შეცდომებთან ერთად და როდესაც ახალი შეცდომების დიდი რაოდენობა ჩნდება, მომხმარებელმა შეიძლება ასევე ვერ გაიგოს რა ხდება, რადგან ის ელის პროგნოზირებად ქცევას.

ამიტომ, დამატებითი ტრენინგის დროს ყველაზე მნიშვნელოვანი ის არის, რომ მოდელი გაუმჯობესდეს, ან თუნდაც არ გაუარესდეს.

პირველი, რაც გვახსენდება, როდესაც ვსაუბრობთ დამატებით ტრენინგზე, არის აქტიური სწავლების მიდგომა. Რას ნიშნავს ეს? მაგალითად, კლასიფიკატორი განსაზღვრავს, არის თუ არა ელ. ფოსტა დაკავშირებული ფინანსებთან, და მისი გადაწყვეტილების საზღვრის ირგვლივ ვამატებთ ეტიკეტირებული მაგალითების ნიმუშს. ეს კარგად მუშაობს, მაგალითად, რეკლამაში, სადაც ბევრი გამოხმაურებაა და მოდელის ონლაინ მომზადება შეგიძლიათ. და თუ მცირე გამოხმაურებაა, მაშინ ვიღებთ უაღრესად მიკერძოებულ ნიმუშს წარმოების მონაცემთა განაწილებასთან მიმართებაში, რომლის საფუძველზეც შეუძლებელია მოდელის ქცევის შეფასება ოპერაციის დროს.

ფაქტობრივად, ჩვენი მიზანია შევინარჩუნოთ ძველი ნიმუშები, უკვე ცნობილი მოდელები და შევიძინოთ ახალი. უწყვეტობა აქ მნიშვნელოვანია. მოდელი, რომლის გამოშვებასაც ხშირად ვცდილობდით, უკვე მუშაობს, ამიტომ შეგვიძლია ფოკუსირება მის შესრულებაზე.

ფოსტაში გამოიყენება სხვადასხვა მოდელები: ხეები, ხაზოვანი, ნერვული ქსელები. თითოეულისთვის ჩვენ ვქმნით ჩვენს დამატებით სასწავლო ალგორითმს. დამატებითი ტრენინგის პროცესში ვიღებთ არა მხოლოდ ახალ მონაცემებს, არამედ ხშირად ახალ ფუნქციებსაც, რომლებსაც გავითვალისწინებთ ქვემოთ მოცემულ ყველა ალგორითმში.

ხაზოვანი მოდელები

ვთქვათ, გვაქვს ლოგისტიკური რეგრესია. ჩვენ ვქმნით ზარალის მოდელს შემდეგი კომპონენტებისგან:

• LogLoss ახალ მონაცემებზე;
• ვარეგულირებთ ახალი თვისებების წონებს (ძველს არ ვეხებით);
• ჩვენ ასევე ვსწავლობთ ძველ მონაცემებს, რათა შევინარჩუნოთ ძველი ნიმუშები;
• და, ალბათ, ყველაზე მნიშვნელოვანი: ვამატებთ ჰარმონიულ რეგულარიზაციას, რაც გარანტიას იძლევა, რომ ნორმის მიხედვით წონები ძველ მოდელთან შედარებით დიდად არ შეიცვლება.

ვინაიდან დანაკარგის თითოეულ კომპონენტს აქვს კოეფიციენტები, ჩვენ შეგვიძლია შევარჩიოთ ოპტიმალური მნიშვნელობები ჩვენი ამოცანისთვის ჯვარედინი ვალიდაციის ან პროდუქტის მოთხოვნების საფუძველზე.

Деревья

მოდით გადავიდეთ გადაწყვეტილების ხეებზე. ჩვენ შევადგინეთ შემდეგი ალგორითმი ხეების დამატებითი მომზადებისთვის:

1. წარმოება ამუშავებს 100-300 ხის ტყეს, რომელიც მომზადებულია ძველ მონაცემთა ნაკრებზე.
2. დასასრულს ვხსნით M = 5 ცალს და ვამატებთ 2M = 10 ახალს, მომზადებულს მთელ მონაცემთა ნაკრებზე, მაგრამ ახალი მონაცემებისთვის მაღალი წონით, რაც ბუნებრივია მოდელის დამატებითი ცვლილების გარანტიას იძლევა.

ცხადია, დროთა განმავლობაში, ხეების რაოდენობა მნიშვნელოვნად იზრდება და ისინი პერიოდულად უნდა შემცირდეს, რათა დაკმაყოფილდეს დრო. ამისათვის ჩვენ ვიყენებთ ახლა ყველგან გავრცელებული ცოდნის დისტილაციას (KD). მოკლედ მისი მოქმედების პრინციპის შესახებ.

1. ჩვენ გვაქვს ამჟამინდელი „კომპლექსური“ მოდელი. ჩვენ ვაწარმოებთ მას სასწავლო მონაცემთა ნაკრებზე და ვიღებთ კლასის ალბათობის განაწილებას გამოსავალზე.
2. შემდეგი, ჩვენ ვავარჯიშებთ სტუდენტის მოდელს (მოდელს ნაკლები ხეებით ამ შემთხვევაში), რათა გაიმეოროს მოდელის შედეგები კლასის განაწილების გამოყენებით, როგორც სამიზნე ცვლადი.
3. აქ მნიშვნელოვანია აღინიშნოს, რომ ჩვენ არანაირად არ ვიყენებთ მონაცემთა ნაკრების მარკირებას და, შესაბამისად, შეგვიძლია გამოვიყენოთ თვითნებური მონაცემები. რა თქმა უნდა, ჩვენ ვიყენებთ მონაცემთა ნიმუშს საბრძოლო ნაკადიდან, როგორც სასწავლო ნიმუშს სტუდენტური მოდელისთვის. ამრიგად, სავარჯიშო ნაკრები საშუალებას გვაძლევს უზრუნველვყოთ მოდელის სიზუსტე, ხოლო ნაკადის ნიმუში გარანტირებულია წარმოების განაწილების მსგავს შესრულებაზე, ანაზღაურებს სასწავლო ნაკრების მიკერძოებას.

ამ ორი ტექნიკის კომბინაცია (ხეების დამატება და მათი რიცხვის პერიოდული შემცირება ცოდნის დისტილაციის გამოყენებით) უზრუნველყოფს ახალი შაბლონების დანერგვას და სრულ უწყვეტობას.

KD-ის დახმარებით ჩვენ ასევე ვასრულებთ სხვადასხვა ოპერაციებს მოდელის მახასიათებლებზე, როგორიცაა ფუნქციების ამოღება და ხარვეზებზე მუშაობა. ჩვენს შემთხვევაში, ჩვენ გვაქვს რამდენიმე მნიშვნელოვანი სტატისტიკური მახასიათებელი (გამომგზავნის, ტექსტის ჰეშების, URL-ების და ა.შ.), რომლებიც ინახება მონაცემთა ბაზაში, რომლებიც მარცხისკენ მიდრეკილია. მოდელი, რა თქმა უნდა, არ არის მზად მოვლენების ასეთი განვითარებისთვის, რადგან წარუმატებლობის სიტუაციები არ ხდება სასწავლო კომპლექტში. ასეთ შემთხვევებში, ჩვენ ვაერთიანებთ KD და გაზრდის ტექნიკას: მონაცემთა ნაწილის ვარჯიშის დროს, ჩვენ ვშლით ან გადავაყენებთ საჭირო ფუნქციებს და ვიღებთ ორიგინალურ ეტიკეტებს (მიმდინარე მოდელის გამოსავალს) და სტუდენტის მოდელი სწავლობს ამ განაწილების გამეორებას. .

ჩვენ შევამჩნიეთ, რომ რაც უფრო სერიოზული მოდელის მანიპულირება ხდება, მით მეტია საჭირო ძაფის ნიმუშის პროცენტი.

ფუნქციის მოცილება, უმარტივესი ოპერაცია, მოითხოვს ნაკადის მხოლოდ მცირე ნაწილს, რადგან მხოლოდ რამდენიმე მახასიათებელი იცვლება და მიმდინარე მოდელი ვარჯიშობდა იმავე კომპლექტზე - განსხვავება მინიმალურია. მოდელის გასამარტივებლად (ხეების რაოდენობის რამდენჯერმე შემცირებისთვის) უკვე საჭიროა 50-დან 50-მდე. მნიშვნელოვანი სტატისტიკური მახასიათებლების გამოტოვებისთვის, რაც სერიოზულად იმოქმედებს მოდელის შესრულებაზე, საჭიროა კიდევ უფრო მეტი ნაკადი, რათა გაათანაბროთ მუშაობა. ახალი გამოტოვების მდგრადი მოდელი ყველა ტიპის ასოზე.

FastText

მოდით გადავიდეთ FastText-ზე. შეგახსენებთ, რომ სიტყვის წარმოდგენა (Embedding) შედგება თავად სიტყვისა და მისი ყველა ასო N-გრამების, ჩვეულებრივ ტრიგრამების ჩადგმის ჯამისაგან. იმის გამო, რომ შეიძლება იყოს საკმაოდ ბევრი ტრიგრამა, გამოიყენება Bucket Hashing, ანუ მთელი სივრცის გადაქცევა გარკვეულ ფიქსირებულ ჰეშმაკად. შედეგად, წონის მატრიცა მიიღება შიდა ფენის განზომილებით სიტყვების რაოდენობაზე + თაიგულებზე.

დამატებითი ვარჯიშით ჩნდება ახალი ნიშნები: სიტყვები და ტრიგრამები. არაფერი მნიშვნელოვანი არ ხდება სტანდარტული შემდგომი ტრენინგი Facebook-დან. მხოლოდ ძველი წონები ჯვარედინი ენტროპიით არის გადამზადებული ახალ მონაცემებზე. ამრიგად, ახალი ფუნქციები არ გამოიყენება; რა თქმა უნდა, ამ მიდგომას აქვს ყველა ზემოთ აღწერილი უარყოფითი მხარე, რომელიც დაკავშირებულია წარმოებაში მოდელის არაპროგნოზირებადობასთან. ამიტომ ჩვენ ცოტა შევცვალეთ FastText. ჩვენ ვამატებთ ყველა ახალ წონას (სიტყვებს და ტრიგრამას), ვაფართოებთ მთელ მატრიცას ჯვარედინი ენტროპიით და ვამატებთ ჰარმონიულ რეგულაციას ხაზოვანი მოდელის ანალოგიით, რაც გარანტიას იძლევა ძველი წონების უმნიშვნელო ცვლილების გარანტიას.

CNN

კონვოლუციური ქსელები ცოტა უფრო რთულია. თუ ბოლო ფენები დასრულებულია CNN-ში, მაშინ, რა თქმა უნდა, შეგიძლიათ გამოიყენოთ ჰარმონიული რეგულაცია და უწყვეტობის გარანტია. მაგრამ თუ საჭიროა მთელი ქსელის დამატებითი ტრენინგი, მაშინ ასეთი რეგულაცია აღარ შეიძლება გამოყენებულ იქნას ყველა ფენაზე. თუმცა, არსებობს დამატებითი ჩაშენებების მომზადება Triplet Loss-ის საშუალებით (ორიგინალური სტატია).

სამმაგი ზარალი

მაგალითად, ფიშინგის საწინააღმდეგო ამოცანის გამოყენებით, მოდით შევხედოთ Triplet Loss-ს ზოგადი თვალსაზრისით. ვიღებთ როგორც ჩვენს ლოგოს, ასევე სხვა კომპანიების ლოგოების დადებით და უარყოფით მაგალითებს. ჩვენ ვამცირებთ მანძილს პირველს შორის და ვამატებთ მანძილს მეორეს შორის, ამას ვაკეთებთ მცირე უფსკრულით, რათა უზრუნველვყოთ კლასების მეტი კომპაქტურობა.

თუ ჩვენ გავაგრძელებთ ქსელს, მაშინ ჩვენი მეტრული სივრცე მთლიანად იცვლება და ის სრულიად შეუთავსებელი ხდება წინასთან. ეს არის სერიოზული პრობლემა იმ პრობლემებში, რომლებიც იყენებენ ვექტორებს. ამ პრობლემის გადასაჭრელად, ვარჯიშის დროს ჩვენ ძველ ჩაშენებებს ავურიებთ.

ჩვენ დავამატეთ ახალი მონაცემები სასწავლო კომპლექტში და ვამზადებთ მოდელის მეორე ვერსიას ნულიდან. მეორე ეტაპზე ჩვენ ვამზადებთ ჩვენს ქსელს (Finetuning): ჯერ ბოლო ფენა სრულდება, შემდეგ კი მთელი ქსელი გაყინულია. ტრიპლეტების შედგენის პროცესში ჩვენ ვიანგარიშებთ ჩაშენებების მხოლოდ ნაწილს გაწვრთნილი მოდელის გამოყენებით, დანარჩენს - ძველის გამოყენებით. ამრიგად, დამატებითი ტრენინგის პროცესში ჩვენ უზრუნველვყოფთ v1 და v2 მეტრიკული სივრცეების თავსებადობას. ჰარმონიული რეგულაციის უნიკალური ვერსია.

მთელი არქიტექტურა

თუ ჩვენ განვიხილავთ მთელ სისტემას ანტისპამის გამოყენებით, როგორც მაგალითი, მაშინ მოდელები არ არის იზოლირებული, არამედ ბუდეები ერთმანეთში. ჩვენ ვიღებთ სურათებს, ტექსტს და სხვა ფუნქციებს, CNN-ისა და Fast Text-ის გამოყენებით ვიღებთ ჩაშენებებს. შემდეგ, ჩაშენებების თავზე გამოიყენება კლასიფიკატორები, რომლებიც უზრუნველყოფენ ქულებს სხვადასხვა კლასებისთვის (ასოების ტიპები, სპამი, ლოგოს არსებობა). სიგნალები და ნიშნები უკვე შემოდის ხეების ტყეში საბოლოო გადაწყვეტილების მისაღებად. ამ სქემის ცალკეული კლასიფიკატორები შესაძლებელს ხდის სისტემის შედეგების უკეთ ინტერპრეტაციას და უფრო კონკრეტულად კომპონენტების გადამზადებას პრობლემების შემთხვევაში, ვიდრე ყველა მონაცემი გადაწყვეტილების ხეებში ნედლი სახით გადაიტანოს.

შედეგად, ჩვენ გარანტიას ვაძლევთ უწყვეტობას ყველა დონეზე. CNN-სა და Fast Text-ის ქვედა დონეზე ვიყენებთ ჰარმონიულ რეგულაციას, შუაში მდებარე კლასიფიკატორებისთვის ასევე ვიყენებთ ჰარმონიულ რეგულაციას და სიჩქარის კალიბრაციას ალბათობის განაწილების თანმიმდევრულობისთვის. კარგად, ხეების გაძლიერება ვარჯიშობს თანდათანობით ან ცოდნის დისტილაციის გამოყენებით.

ზოგადად, მანქანური სწავლების ასეთი ჩადგმული სისტემის შენარჩუნება, როგორც წესი, მტკივნეულია, რადგან ქვედა დონეზე ნებისმიერი კომპონენტი იწვევს მთელი სისტემის განახლებას ზემოთ. მაგრამ იმის გამო, რომ ჩვენს დაყენებაში თითოეული კომპონენტი ოდნავ იცვლება და თავსებადია წინასთან, მთელი სისტემა შეიძლება განახლდეს ცალ-ცალკე, მთელი სტრუქტურის გადამზადების საჭიროების გარეშე, რაც საშუალებას აძლევს მას მხარდაჭერილი იყოს სერიოზული ზედნადების გარეშე.

განლაგება

ჩვენ განვიხილეთ მონაცემების შეგროვება და დამატებითი ტრენინგი სხვადასხვა ტიპის მოდელებისთვის, ამიტომ გადავდივართ მათ საწარმოო გარემოში განთავსებაზე.

A/B ტესტირება

როგორც ადრე ვთქვი, მონაცემების შეგროვების პროცესში ჩვენ ჩვეულებრივ ვიღებთ მიკერძოებულ ნიმუშს, საიდანაც შეუძლებელია მოდელის წარმოების შესრულების შეფასება. ამიტომ, განლაგებისას, მოდელი უნდა შევადაროთ წინა ვერსიას, რათა გავიგოთ როგორ მიდის რეალურად საქმეები, ანუ ჩაატაროთ A/B ტესტები. ფაქტობრივად, სქემების ჩამოყალიბებისა და ანალიზის პროცესი საკმაოდ რუტინულია და ადვილად შეიძლება ავტომატიზირებული იყოს. ჩვენ ეტაპობრივად ვავრცელებთ ჩვენს მოდელებს მომხმარებელთა 5%, 30%, 50% და 100%-მდე, ამავდროულად ვაგროვებთ ყველა ხელმისაწვდომ მეტრიკას მოდელის პასუხებზე და მომხმარებლის გამოხმაურებაზე. ზოგიერთი სერიოზული გამონაკლისის შემთხვევაში, ჩვენ ავტომატურად ვაბრუნებთ მოდელს, ხოლო სხვა შემთხვევაში, მომხმარებლის დაწკაპუნების საკმარისი რაოდენობის შეგროვებით, ჩვენ ვწყვეტთ პროცენტის გაზრდას. შედეგად, ჩვენ ახალ მოდელს მომხმარებელთა 50%-მდე სრულიად ავტომატურად მივაქვთ და მთელ აუდიტორიაზე გაშვება დამტკიცდება პირის მიერ, თუმცა ეს ნაბიჯი შეიძლება ავტომატიზირებული იყოს.

თუმცა, A/B ტესტირების პროცესი ოპტიმიზაციის ადგილს გვთავაზობს. ფაქტია, რომ ნებისმიერი A/B ტესტი საკმაოდ გრძელია (ჩვენს შემთხვევაში მას სჭირდება 6-დან 24 საათამდე, რაც დამოკიდებულია უკუკავშირის ოდენობაზე), რაც მას საკმაოდ ძვირს და შეზღუდული რესურსებით ხდის. გარდა ამისა, ტესტისთვის საჭიროა ნაკადის საკმარისად მაღალი პროცენტი, რათა არსებითად დააჩქაროს A/B ტესტის საერთო დრო (სტატისტიკურად მნიშვნელოვანი ნიმუშის მიღებას მეტრიკის მცირე პროცენტით შესაფასებლად შეიძლება ძალიან დიდი დრო დასჭირდეს). A/B სლოტების რაოდენობა უკიდურესად შეზღუდულია. ცხადია, ჩვენ გვჭირდება მხოლოდ ყველაზე პერსპექტიული მოდელების ტესტირება, რომელთაგან საკმაოდ ბევრს ვიღებთ დამატებითი ტრენინგის პროცესში.

ამ პრობლემის გადასაჭრელად ჩვენ მოვამზადეთ ცალკე კლასიფიკატორი, რომელიც წინასწარმეტყველებს A/B ტესტის წარმატებას. ამისათვის ჩვენ ვიღებთ გადაწყვეტილების მიღების სტატისტიკას, სიზუსტეს, გახსენებას და სხვა მეტრიკას ტრენინგის კომპლექტზე, გადადებულზე და ნიმუშზე ნაკადიდან, როგორც ფუნქციები. ჩვენ ასევე ვადარებთ მოდელს წარმოებაში არსებულ მოდელს, ევრისტიკით და ვითვალისწინებთ მოდელის სირთულეს. ყველა ამ მახასიათებლის გამოყენებით, ტესტის ისტორიაზე გაწვრთნილი კლასიფიკატორი აფასებს კანდიდატ მოდელებს, ჩვენს შემთხვევაში ეს არის ხეების ტყეები და წყვეტს რომელი გამოიყენოს A/B ტესტში.

განხორციელების დროს ამ მიდგომამ მოგვცა საშუალება რამდენჯერმე გაგვეზარდა წარმატებული A/B ტესტების რაოდენობა.

ტესტირება და მონიტორინგი

ტესტირება და მონიტორინგი, უცნაურია, არ აზიანებს ჩვენს ჯანმრთელობას, პირიქით, აუმჯობესებს მას და გვათავისუფლებს ზედმეტი სტრესისგან. ტესტირება საშუალებას გაძლევთ თავიდან აიცილოთ წარუმატებლობა, ხოლო მონიტორინგი საშუალებას გაძლევთ დროულად გამოავლინოთ ის მომხმარებლებზე ზემოქმედების შესამცირებლად.

აქ მნიშვნელოვანია გვესმოდეს, რომ ადრე თუ გვიან თქვენი სისტემა ყოველთვის უშვებს შეცდომებს - ეს გამოწვეულია ნებისმიერი პროგრამული უზრუნველყოფის განვითარების ციკლით. სისტემის განვითარების დასაწყისში ყოველთვის არის ბევრი ხარვეზი, სანამ ყველაფერი არ მოგვარდება და არ დასრულდება ინოვაციის ძირითადი ეტაპი. მაგრამ დროთა განმავლობაში ენტროპია თავის თავს იჩენს და შეცდომები ისევ ჩნდება - ირგვლივ კომპონენტების დეგრადაციისა და მონაცემების ცვლილების გამო, რაზეც დასაწყისში ვისაუბრე.

აქვე მინდა აღვნიშნო, რომ ნებისმიერი მანქანათმცოდნეობის სისტემა უნდა განიხილებოდეს მისი მოგების თვალსაზრისით მთელი მისი სასიცოცხლო ციკლის განმავლობაში. ქვემოთ მოცემული გრაფიკი გვიჩვენებს მაგალითს, თუ როგორ მუშაობს სისტემა იშვიათი ტიპის სპამის დასაჭერად (გრაფიკის ხაზი თითქმის ნულის ტოლია). ერთ დღეს, არასწორად შენახული ატრიბუტის გამო, ის გაგიჟდა. როგორც იღბლიანი იქნებოდა, არ არსებობდა მონიტორინგი არანორმალური გაშვებისთვის; შედეგად, სისტემამ დაიწყო დიდი რაოდენობით ასოების შენახვა "სპამის" საქაღალდეში გადაწყვეტილების მიღების საზღვრებთან. მიუხედავად შედეგების გამოსწორებისა, სისტემამ უკვე იმდენჯერ დაუშვა შეცდომა, რომ ხუთ წელიწადშიც არ გადაიხდის თავის თავს. და ეს არის სრული მარცხი მოდელის სასიცოცხლო ციკლის თვალსაზრისით.

ამიტომ, ისეთი მარტივი რამ, როგორიც არის მონიტორინგი, შეიძლება გახდეს გასაღები მოდელის ცხოვრებაში. სტანდარტული და აშკარა მეტრიკის გარდა, ჩვენ განვიხილავთ მოდელის პასუხებისა და ქულების განაწილებას, ასევე ძირითადი მახასიათებლების მნიშვნელობების განაწილებას. KL დივერგენციის გამოყენებით, ჩვენ შეგვიძლია შევადაროთ მიმდინარე განაწილება ისტორიულს ან A/B ტესტის მნიშვნელობებს დანარჩენ ნაკადთან, რაც საშუალებას გვაძლევს შევამჩნიოთ ანომალიები მოდელში და დროულად დავაბრუნოთ ცვლილებები.

უმეტეს შემთხვევაში, ჩვენ ვიწყებთ სისტემების პირველ ვერსიებს მარტივი ევრისტიკის ან მოდელების გამოყენებით, რომლებსაც მომავალში ვიყენებთ მონიტორინგად. მაგალითად, ჩვენ ვაკვირდებით NER მოდელს რეგულარულთან შედარებით კონკრეტული ონლაინ მაღაზიებისთვის და თუ მათთან შედარებით კლასიფიკატორის დაფარვა იკლებს, მაშინ გვესმის მიზეზები. ევრისტიკის კიდევ ერთი სასარგებლო გამოყენება!

შედეგები

მოდით კიდევ ერთხელ გადავხედოთ სტატიის ძირითად იდეებს.

• ფიბდეკი. ჩვენ ყოველთვის ვფიქრობთ მომხმარებელზე: როგორ იცხოვრებს ის ჩვენი შეცდომებით, როგორ შეძლებს მათ მოხსენებას. არ დაგავიწყდეთ, რომ მომხმარებლები არ არიან სუფთა უკუკავშირის წყარო ტრენინგის მოდელებისთვის და საჭიროა მისი გასუფთავება დამხმარე ML სისტემების დახმარებით. თუ შეუძლებელია მომხმარებლისგან სიგნალის შეგროვება, მაშინ ჩვენ ვეძებთ უკუკავშირის ალტერნატიულ წყაროებს, მაგალითად, დაკავშირებულ სისტემებს.
• დამატებითი ტრენინგი. აქ მთავარი უწყვეტობაა, ამიტომ ჩვენ ვეყრდნობით მიმდინარე წარმოების მოდელს. ვავარჯიშებთ ახალ მოდელებს ისე, რომ ისინი დიდად არ განსხვავდებოდეს წინასგან ჰარმონიული რეგულარიზაციისა და მსგავსი ხრიკების გამო.
• განლაგება. მეტრიკაზე დაფუძნებული ავტომატური განლაგება მნიშვნელოვნად ამცირებს მოდელების დანერგვის დროს. სტატისტიკის მონიტორინგი და გადაწყვეტილების მიღების განაწილება, მომხმარებლებისგან დაცემის რაოდენობა სავალდებულოა თქვენი მშვიდი ძილისა და პროდუქტიული შაბათ-კვირისთვის.

იმედი მაქვს, რომ ეს დაგეხმარებათ გააუმჯობესოთ თქვენი ML სისტემები უფრო სწრაფად, უფრო სწრაფად მიიტანოთ ისინი ბაზარზე და გახადოთ ისინი უფრო საიმედო და ნაკლებად სტრესული.

წყარო: www.habr.com