როგორ ვმუშაობთ რეკომენდაციების შერჩევის ხარისხსა და სიჩქარეზე

მე მქვია პაველ პარხომენკო, მე ვარ ML დეველოპერი. ამ სტატიაში მინდა ვისაუბრო Yandex.Zen სერვისის სტრუქტურაზე და გაგიზიაროთ ტექნიკური გაუმჯობესება, რომლის განხორციელებამ შესაძლებელი გახადა რეკომენდაციების ხარისხის გაზრდა. ამ პოსტიდან შეიტყობთ, თუ როგორ მოძებნოთ მომხმარებლისთვის ყველაზე აქტუალურიები მილიონობით დოკუმენტს შორის სულ რამდენიმე მილიწამში; როგორ გავაკეთოთ დიდი მატრიცის უწყვეტი დაშლა (მილიონობით სვეტისა და ათობით მილიონი მწკრივისაგან შემდგარი) ისე, რომ ახალმა დოკუმენტებმა ათეულ წუთში მიიღონ ვექტორი; როგორ ხელახლა გამოვიყენოთ მომხმარებლის-სტატიის მატრიცის დაშლა ვიდეოსთვის კარგი ვექტორული წარმოდგენის მისაღებად.

ჩვენი რეკომენდაციების მონაცემთა ბაზა შეიცავს სხვადასხვა ფორმატის მილიონობით დოკუმენტს: ტექსტურ სტატიებს, რომლებიც შექმნილია ჩვენს პლატფორმაზე და აღებულია გარე საიტებიდან, ვიდეოებიდან, ნარატივებიდან და მოკლე პოსტებიდან. ასეთი სერვისის განვითარება დაკავშირებულია უამრავ ტექნიკურ გამოწვევასთან. აქ არის რამდენიმე მათგანი:

• დაყავით გამოთვლითი ამოცანები: შეასრულეთ ყველა მძიმე ოპერაცია ოფლაინში და რეალურ დროში შეასრულეთ მხოლოდ მოდელების სწრაფი გამოყენება, რათა პასუხისმგებელი იყოთ 100-200 ms-ზე.
• სწრაფად გაითვალისწინეთ მომხმარებლის ქმედებები. ამისათვის აუცილებელია, რომ ყველა მოვლენა მყისიერად მიეწოდოს რეკომენდატორს და გავლენა მოახდინოს მოდელების შედეგებზე.
• გააკეთეთ არხი ისე, რომ ახალი მომხმარებლებისთვის ის სწრაფად მოერგოს მათ ქცევას. ადამიანები, რომლებიც ახლახან შეუერთდნენ სისტემას, უნდა გრძნობდნენ, რომ მათი გამოხმაურება გავლენას ახდენს რეკომენდაციებზე.
• სწრაფად გაიგეთ ვის ურჩიოთ ახალი სტატია.
• სწრაფად უპასუხეთ ახალი შინაარსის მუდმივ გაჩენას. ყოველდღიურად ათიათასობით სტატია ქვეყნდება და ბევრ მათგანს აქვს შეზღუდული სიცოცხლის ხანგრძლივობა (ვთქვათ, ახალი ამბები). ეს არის ის, რაც მათ განასხვავებს ფილმებისგან, მუსიკისგან და სხვა ხანგრძლივი და ძვირადღირებული კონტენტის შესაქმნელად.
• ცოდნის გადატანა ერთი დომენიდან მეორეზე. თუ სარეკომენდაციო სისტემას აქვს მომზადებული მოდელები ტექსტური სტატიებისთვის და ჩვენ მას ვიდეოს დავამატებთ, შეგვიძლია არსებული მოდელები ხელახლა გამოვიყენოთ ისე, რომ ახალი ტიპის კონტენტი უკეთესი იყოს.

მე გეტყვით, როგორ მოვაგვარეთ ეს პრობლემები.

კანდიდატების შერჩევა

როგორ შევამციროთ განსახილველი დოკუმენტების რაოდენობა ათასობითჯერ რამდენიმე მილიწამში, რეიტინგის ხარისხის პრაქტიკულად გაუარესების გარეშე?

დავუშვათ, ჩვენ მოვამზადეთ მრავალი ML მოდელი, შევქმენით მათზე დაფუძნებული ფუნქციები და მოვამზადეთ სხვა მოდელი, რომელიც აფასებს დოკუმენტებს მომხმარებლისთვის. ყველაფერი კარგად იქნება, მაგრამ თქვენ არ შეგიძლიათ უბრალოდ აიღოთ და გამოთვალოთ ყველა ნიშანი ყველა დოკუმენტისთვის რეალურ დროში, თუ ეს მილიონობით დოკუმენტია და რეკომენდაციები უნდა აშენდეს 100-200 ms-ში. ამოცანაა ამოირჩიოთ გარკვეული ქვეჯგუფი მილიონებიდან, რომელიც დასახელდება მომხმარებლისთვის. ამ ეტაპს ჩვეულებრივ უწოდებენ კანდიდატის შერჩევას. ამისათვის რამდენიმე მოთხოვნაა. ჯერ ერთი, შერჩევა უნდა მოხდეს ძალიან სწრაფად, რათა რაც შეიძლება მეტი დრო დარჩეს თავად რეიტინგისთვის. მეორეც, რაც მნიშვნელოვნად შევამცირეთ რეიტინგისთვის საჭირო დოკუმენტების რაოდენობა, ჩვენ მაქსიმალურად სრულად უნდა შევინარჩუნოთ მომხმარებლისთვის შესაბამისი დოკუმენტები.

კანდიდატის შერჩევის ჩვენი პრინციპი განვითარდა და ამ მომენტში მივედით მრავალსაფეხურიან სქემამდე:

პირველ რიგში, ყველა დოკუმენტი იყოფა ჯგუფებად და ყველაზე პოპულარული დოკუმენტები აღებულია თითოეული ჯგუფიდან. ჯგუფები შეიძლება იყოს საიტები, თემები, კლასტერები. თითოეული მომხმარებლისთვის, მისი ისტორიიდან გამომდინარე, ირჩევა მისთვის ყველაზე ახლოს მყოფი ჯგუფები და მათგან იღებენ საუკეთესო დოკუმენტებს. ჩვენ ასევე ვიყენებთ kNN ინდექსს რეალურ დროში მომხმარებელთან ყველაზე ახლოს მყოფი დოკუმენტების შესარჩევად. არსებობს რამდენიმე მეთოდი kNN ინდექსის შესაქმნელად; ჩვენმა საუკეთესოდ იმუშავა HNSW (იერარქიული ნავიგაციური მცირე სამყაროს გრაფიკები). ეს არის იერარქიული მოდელი, რომელიც საშუალებას გაძლევთ იპოვოთ N უახლოესი ვექტორები მომხმარებლისთვის მილიონობით მონაცემთა ბაზიდან რამდენიმე მილიწამში. ჩვენ პირველ რიგში ვადევნებთ მთელი ჩვენი დოკუმენტების მონაცემთა ბაზას ოფლაინში. ვინაიდან ინდექსში ძიება საკმაოდ სწრაფად მუშაობს, თუ არსებობს რამდენიმე ძლიერი ჩაშენება, შეგიძლიათ შექმნათ რამდენიმე ინდექსი (თითოეული ჩაშენებისთვის ერთი ინდექსი) და თითოეულ მათგანზე წვდომა რეალურ დროში.

ჩვენ ჯერ კიდევ გვაქვს ათიათასობით დოკუმენტი თითოეული მომხმარებლისთვის. ეს ჯერ კიდევ ბევრია ყველა მახასიათებლის დასათვლელად, ამიტომ ამ ეტაპზე ვიყენებთ მსუბუქ რეიტინგს - მსუბუქი მძიმე რეიტინგის მოდელს ნაკლები ფუნქციებით. ამოცანაა პროგნოზირება, თუ რომელი დოკუმენტები ექნება მძიმე მოდელს ზედა. დოკუმენტები, რომლებსაც აქვთ უმაღლესი პროგნოზირება, გამოყენებული იქნება მძიმე მოდელში, ანუ რეიტინგის ბოლო ეტაპზე. ეს მიდგომა საშუალებას გაძლევთ შეამციროთ მომხმარებლისთვის განხილული დოკუმენტების მონაცემთა ბაზა მილიონებიდან ათასობით ათეულ მილიწამში.

ALS ნაბიჯი გაშვების დროს

როგორ გავითვალისწინოთ მომხმარებლის გამოხმაურება დაწკაპუნებისთანავე?

რეკომენდაციებში მნიშვნელოვანი ფაქტორია მომხმარებლის გამოხმაურებაზე რეაგირების დრო. ეს განსაკუთრებით მნიშვნელოვანია ახალი მომხმარებლებისთვის: როდესაც ადამიანი ახლახან იწყებს სარეკომენდაციო სისტემის გამოყენებას, ის იღებს სხვადასხვა თემის დოკუმენტების არაპერსონალიზებულ არხს. როგორც კი ის პირველ დაწკაპუნებას გააკეთებს, თქვენ დაუყოვნებლივ უნდა გაითვალისწინოთ ეს და მოერგოთ მის ინტერესებს. თუ ყველა ფაქტორს ხაზგარეშე გამოთვლით, სისტემის სწრაფი რეაგირება შეფერხების გამო შეუძლებელი გახდება. ამიტომ აუცილებელია მომხმარებლის ქმედებების რეალურ დროში დამუშავება. ამ მიზნებისათვის, ჩვენ ვიყენებთ ALS ნაბიჯს გაშვების დროს მომხმარებლის ვექტორული წარმოდგენის შესაქმნელად.

დავუშვათ, რომ გვაქვს ვექტორული წარმოდგენა ყველა დოკუმენტისთვის. მაგალითად, ჩვენ შეგვიძლია შევქმნათ ჩაშენებები ოფლაინში სტატიის ტექსტზე დაყრდნობით ELMo, BERT ან მანქანური სწავლების სხვა მოდელების გამოყენებით. როგორ მივიღოთ მომხმარებლების ვექტორული წარმოდგენა იმავე სივრცეში, სისტემაში მათი ურთიერთქმედების საფუძველზე?

მომხმარებლის-დოკუმენტის მატრიცის ფორმირებისა და დაშლის ზოგადი პრინციპიმოდით გვქონდეს m მომხმარებელი და n დოკუმენტი. ზოგიერთი მომხმარებლისთვის ცნობილია მათი ურთიერთობა გარკვეულ დოკუმენტებთან. შემდეგ ეს ინფორმაცია შეიძლება წარმოდგენილი იყოს m x n მატრიცის სახით: სტრიქონები შეესაბამება მომხმარებლებს, ხოლო სვეტები შეესაბამება დოკუმენტებს. ვინაიდან პირს არ უნახავს დოკუმენტების უმეტესობა, მატრიცის უჯრედების უმეტესობა ცარიელი დარჩება, ხოლო სხვები შეივსება. თითოეული მოვლენისთვის (მოწონება, არ მოწონება, დაწკაპუნება) მატრიცაში მოცემულია გარკვეული მნიშვნელობა - მაგრამ მოდით განვიხილოთ გამარტივებული მოდელი, რომელშიც მოწონება შეესაბამება 1-ს, ხოლო არ მომწონს -1.

მოდით დავშალოთ მატრიცა ორად: P (m x d) და Q (d x n), სადაც d არის ვექტორული გამოსახულების განზომილება (ჩვეულებრივ, მცირე რიცხვია). შემდეგ თითოეულ ობიექტს შეესატყვისება d განზომილებიანი ვექტორი (მომხმარებლისთვის - მწკრივი მატრიცაში P, დოკუმენტისთვის - სვეტი Q მატრიცაში). ეს ვექტორები იქნება შესაბამისი ობიექტების ჩაშენება. იმის პროგნოზირებისთვის, მოეწონება თუ არა მომხმარებელს დოკუმენტი, შეგიძლიათ უბრალოდ გაამრავლოთ მათი ჩაშენებები.

მატრიცის დაშლის ერთ-ერთი შესაძლო გზაა ALS (ალტერნატიული უმცირესი კვადრატები). ჩვენ მოვახდენთ დაკარგვის შემდეგი ფუნქციის ოპტიმიზაციას:

აქ rui არის მომხმარებლის u ურთიერთქმედება დოკუმენტთან i, qi არის i დოკუმენტის ვექტორი, pu არის მომხმარებლის u ვექტორი.

შემდეგ ოპტიმალური მომხმარებლის ვექტორი საშუალო კვადრატული ცდომილების თვალსაზრისით (ფიქსირებული დოკუმენტის ვექტორებისთვის) ანალიტიკურად მოიძებნება შესაბამისი წრფივი რეგრესიის გადაჭრით.

ამას ეწოდება "ALS ნაბიჯი". და თავად ALS ალგორითმი არის ის, რომ ჩვენ მონაცვლეობით ვასწორებთ ერთ მატრიცას (მომხმარებლებს და სტატიებს) და ვაახლებთ მეორეს, ვპოულობთ ოპტიმალურ გადაწყვეტას.

საბედნიეროდ, მომხმარებლის ვექტორული წარმოდგენის პოვნა საკმაოდ სწრაფი ოპერაციაა, რომელიც შეიძლება გაკეთდეს გაშვების დროს ვექტორული ინსტრუქციების გამოყენებით. ეს ხრიკი საშუალებას გაძლევთ დაუყოვნებლივ გაითვალისწინოთ მომხმარებლის გამოხმაურება რეიტინგში. იგივე ჩაშენება შეიძლება გამოყენებულ იქნას kNN ინდექსში კანდიდატის შერჩევის გასაუმჯობესებლად.

განაწილებული ერთობლივი ფილტრაცია

როგორ გავაკეთოთ დამატებითი განაწილებული მატრიცის ფაქტორიზაცია და სწრაფად მოვძებნოთ ახალი სტატიების ვექტორული წარმოდგენები?

შინაარსი არ არის სარეკომენდაციო სიგნალების ერთადერთი წყარო. კიდევ ერთი მნიშვნელოვანი წყარო არის ერთობლივი ინფორმაცია. კარგი რეიტინგის მახასიათებლები ტრადიციულად შეიძლება მიღებულ იქნას მომხმარებლის-დოკუმენტის მატრიცის დაშლის შედეგად. მაგრამ როდესაც ვცდილობდით ასეთი დაშლის გაკეთებას, შეგვხვდა პრობლემები:

1. ჩვენ გვაქვს მილიონობით დოკუმენტი და ათობით მილიონი მომხმარებელი. მატრიცა მთლიანად არ ჯდება ერთ მანქანაზე და დაშლას ძალიან დიდი დრო დასჭირდება.
2. სისტემის შინაარსის უმეტესობას აქვს ხანმოკლე ვადა: დოკუმენტები აქტუალური რჩება მხოლოდ რამდენიმე საათის განმავლობაში. ამიტომ, აუცილებელია მათი ვექტორული წარმოდგენის აწყობა რაც შეიძლება სწრაფად.
3. თუ დოკუმენტის გამოქვეყნებისთანავე ააწყობთ დაშლას, საკმარის რაოდენობას მომხმარებლებს არ ექნება დრო მისი შესაფასებლად. ამიტომ, მისი ვექტორული წარმოდგენა დიდი ალბათობით არ იქნება ძალიან კარგი.
4. თუ მომხმარებელს მოსწონს ან არ მოსწონს, მაშინვე ვერ გავითვალისწინებთ ამას დაშლისას.

ამ პრობლემების გადასაჭრელად ჩვენ განვახორციელეთ მომხმარებლის-დოკუმენტის მატრიცის განაწილებული დაშლა ხშირი დამატებითი განახლებით. ზუსტად როგორ მუშაობს?

დავუშვათ, რომ გვაქვს N მანქანების კლასტერი (N არის ასეულებში) და გვინდა გავაკეთოთ მათზე მატრიცის განაწილებული დაშლა, რომელიც არ ჯდება ერთ მანქანაზე. საკითხავია, როგორ განხორციელდეს ეს დაშლა ისე, რომ, ერთი მხრივ, იყოს საკმარისი მონაცემები თითოეულ მანქანაზე და, მეორე მხრივ, ისე, რომ გამოთვლები იყოს დამოუკიდებელი?

ჩვენ გამოვიყენებთ ზემოთ აღწერილ ALS დაშლის ალგორითმს. მოდით შევხედოთ, თუ როგორ უნდა შეასრულოთ ერთი ALS ნაბიჯი განაწილებული გზით - დანარჩენი ნაბიჯები მსგავსი იქნება. ვთქვათ, გვაქვს დოკუმენტების ფიქსირებული მატრიცა და გვინდა შევქმნათ მომხმარებელთა მატრიცა. ამისათვის მას გავყოფთ N ნაწილად ხაზებით, თითოეული ნაწილი შეიცავს დაახლოებით იგივე რაოდენობის ხაზებს. თითოეულ მანქანას გავაგზავნით შესაბამისი რიგების ცარიელ უჯრედებს, ასევე დოკუმენტების ჩაშენების მატრიცას (მთლიანად). ვინაიდან მისი ზომა არ არის ძალიან დიდი და მომხმარებლის-დოკუმენტის მატრიცა, როგორც წესი, ძალიან მწირია, ეს მონაცემები ჯდება ჩვეულებრივ მანქანაზე.

ეს ხრიკი შეიძლება განმეორდეს რამდენიმე ეპოქაში, სანამ მოდელი არ მიახლოება, ფიქსირებული მატრიცის სათითაოდ მონაცვლეობა. მაგრამ მაშინაც კი, მატრიცის დაშლას შეიძლება რამდენიმე საათი დასჭირდეს. და ეს არ წყვეტს პრობლემას, რომ თქვენ გჭირდებათ სწრაფად მიიღოთ ახალი დოკუმენტების ჩაშენებები და განაახლოთ იმ ჩაშენებები, რომელთა შესახებაც მცირე ინფორმაცია იყო მოდელის შექმნისას.

დაგვეხმარა მოდელების სწრაფი ზრდადი განახლებების დანერგვა. ვთქვათ, გვაქვს ამჟამად გაწვრთნილი მოდელი. მისი ტრენინგის შემდეგ, იყო ახალი სტატიები, რომლებთანაც ჩვენი მომხმარებლები ურთიერთობდნენ, ასევე სტატიები, რომლებსაც მცირე ურთიერთქმედება ჰქონდათ ტრენინგის დროს. ასეთი სტატიების ჩაშენებების სწრაფად მისაღებად, ჩვენ ვიყენებთ მომხმარებლის ჩაშენებებს, რომლებიც მიღებულ იქნა მოდელის პირველი დიდი ტრენინგის დროს და ვაკეთებთ ერთ ALS საფეხურს დოკუმენტის მატრიცის გამოსათვლელად, მოცემული მომხმარებლის ფიქსირებული მატრიცით. ეს საშუალებას გაძლევთ მიიღოთ ჩაშენებები საკმაოდ სწრაფად - დოკუმენტის გამოქვეყნებიდან რამდენიმე წუთში - და ხშირად განაახლოთ ბოლო დოკუმენტების ჩაშენებები.

იმისათვის, რომ რეკომენდაციები დაუყოვნებლივ გავითვალისწინოთ ადამიანის ქმედებები, მუშაობის დროს ჩვენ არ ვიყენებთ მომხმარებლის ჩაშენებებს, რომლებიც მიღებულ იქნა ხაზგარეშე. ამის ნაცვლად, ჩვენ ვაკეთებთ ALS ნაბიჯს და ვიღებთ მომხმარებლის რეალურ ვექტორს.

გადაიტანეთ სხვა დომენის ზონაში

როგორ გამოვიყენოთ მომხმარებლის გამოხმაურება ტექსტურ სტატიებზე ვიდეოს ვექტორული წარმოდგენის შესაქმნელად?

თავდაპირველად, ჩვენ ვურჩევდით მხოლოდ ტექსტურ სტატიებს, ამიტომ ჩვენი მრავალი ალგორითმი მორგებულია ამ ტიპის კონტენტზე. მაგრამ სხვა ტიპის კონტენტის დამატებისას ჩვენ დაგვხვდა მოდელების ადაპტირების აუცილებლობა. როგორ მოვაგვარეთ ეს პრობლემა ვიდეო მაგალითის გამოყენებით? ერთი ვარიანტია ყველა მოდელის გადამზადება ნულიდან. მაგრამ ამას დიდი დრო სჭირდება და ზოგიერთი ალგორითმი მოითხოვს სასწავლო ნიმუშის ზომას, რომელიც ჯერ კიდევ არ არის ხელმისაწვდომი ახალი ტიპის შინაარსისთვის საჭირო რაოდენობით სერვისზე მისი ცხოვრების პირველ წუთებში.

ჩვენ სხვა გზით წავედით და ხელახლა გამოვიყენეთ ტექსტის მოდელები ვიდეოსთვის. იგივე ALS ხრიკი დაგვეხმარა შეგვექმნა ვიდეოების ვექტორული წარმოდგენები. ჩვენ ავიღეთ მომხმარებლების ვექტორული წარმოდგენა ტექსტური სტატიების საფუძველზე და გავაკეთეთ ALS ნაბიჯი ვიდეოს ნახვის ინფორმაციის გამოყენებით. ასე რომ, ჩვენ ადვილად მივიღეთ ვიდეოს ვექტორული წარმოდგენა. და გაშვების დროს ჩვენ უბრალოდ ვიანგარიშებთ სიახლოვეს ტექსტური სტატიებიდან მიღებულ მომხმარებლის ვექტორსა და ვიდეო ვექტორს შორის.

დასკვნა

რეალურ დროში რეკომენდაციების სისტემის ძირითადი შემუშავება ბევრ გამოწვევას მოიცავს. ამ მონაცემების ეფექტურად გამოსაყენებლად საჭიროა მონაცემთა სწრაფად დამუშავება და ML მეთოდების გამოყენება; შექმენით რთული განაწილებული სისტემები, რომლებსაც შეუძლიათ მინიმალურ დროში დაამუშაონ მომხმარებლის სიგნალები და შინაარსის ახალი ერთეულები; და მრავალი სხვა დავალება.

მოქმედ სისტემაში, რომლის დიზაინიც აღვწერე, მომხმარებლისთვის რეკომენდაციების ხარისხი იზრდება მის აქტიურობასთან და სერვისზე ყოფნის ხანგრძლივობასთან ერთად. მაგრამ, რა თქმა უნდა, აქ მდგომარეობს მთავარი სირთულე: სისტემას უჭირს დაუყოვნებლივ გააცნობიეროს იმ ადამიანის ინტერესები, რომელსაც მცირე ინტერაქცია აქვს შინაარსთან. ახალი მომხმარებლებისთვის რეკომენდაციების გაუმჯობესება ჩვენი მთავარი მიზანია. ჩვენ გავაგრძელებთ ალგორითმების ოპტიმიზაციას, რათა ადამიანთან დაკავშირებული შინაარსი უფრო სწრაფად მოხვდეს მის არხში და არ იყოს ნაჩვენები შეუსაბამო კონტენტი.

წყარო: www.habr.com