Yandex Resident პროგრამა, ან როგორ შეიძლება გამოცდილი Backender გახდეს ML ინჟინერი

Yandex ხსნის რეზიდენტურის პროგრამას მანქანათმცოდნეობაში გამოცდილი დეველოპერებისთვის. თუ თქვენ დაწერეთ ბევრი რამ C++/Python-ში და გსურთ ამ ცოდნის გამოყენება ML-ში, მაშინ ჩვენ გასწავლით როგორ გააკეთოთ პრაქტიკული კვლევა და მოგაწოდოთ გამოცდილი მენტორები. თქვენ იმუშავებთ Yandex-ის ძირითად სერვისებზე და მოიპოვებთ უნარებს ისეთ სფეროებში, როგორიცაა ხაზოვანი მოდელები და გრადიენტის გაძლიერება, რეკომენდაციების სისტემები, სურათების, ტექსტისა და ხმის ანალიზის ნერვული ქსელები. თქვენ ასევე შეისწავლით თუ როგორ სწორად შეაფასოთ თქვენი მოდელები ხაზგარეშე და ონლაინ მეტრიკის გამოყენებით.

პროგრამის ხანგრძლივობა ერთი წელია, რომლის განმავლობაში მონაწილეები იმუშავებენ Yandex-ის მანქანური დაზვერვისა და კვლევის დეპარტამენტში, ასევე დაესწრებიან ლექციებსა და სემინარებს. მონაწილეობა ფასიანია და მოიცავს სრულ განაკვეთზე მუშაობას: კვირაში 40 საათი, მიმდინარე წლის 1 ივლისიდან. განაცხადები ახლა ღიაა და გაგრძელდება 1 მაისამდე. 

ახლა კი უფრო დეტალურად - იმის შესახებ, თუ როგორი აუდიტორიას ველოდებით, როგორი იქნება სამუშაო პროცესი და ზოგადად, როგორ შეიძლება გადავიდეს back-end სპეციალისტმა ML-ის კარიერაზე.

დირექტიურობა

ბევრ კომპანიას აქვს რეზიდენტურის პროგრამები, მათ შორის, მაგალითად, Google და Facebook. ისინი ძირითადად გამიზნულია უმცროსი და საშუალო დონის სპეციალისტებზე, რომლებიც ცდილობენ გადადგას ნაბიჯი ML კვლევისკენ. ჩვენი პროგრამა არის განსხვავებული აუდიტორიისთვის. ჩვენ ვიწვევთ backend-ის დეველოპერებს, რომლებმაც უკვე მიიღეს საკმარისი გამოცდილება და დანამდვილებით იციან, რომ მათ კომპეტენციებში უნდა გადავიდნენ ML-ზე, მიიღონ პრაქტიკული უნარები - და არა მეცნიერის უნარები - სამრეწველო მანქანათმცოდნეობის პრობლემების გადაჭრაში. ეს არ ნიშნავს იმას, რომ ჩვენ არ ვუჭერთ მხარს ახალგაზრდა მკვლევარებს. ჩვენ მოვაწყვეთ მათთვის ცალკე პროგრამა - პრემია ილია სეგალოვიჩის სახელით, რომელიც ასევე საშუალებას გაძლევთ იმუშაოთ Yandex-ში.

სად იმუშავებს რეზიდენტი?

მანქანების დაზვერვისა და კვლევის დეპარტამენტში ჩვენ თვითონ ვავითარებთ პროექტის იდეებს. შთაგონების მთავარი წყაროა სამეცნიერო ლიტერატურა, სტატიები და ტენდენციები კვლევით საზოგადოებაში. მე და ჩემი კოლეგები ვაანალიზებთ იმას, რასაც ვკითხულობთ, ვუყურებთ, თუ როგორ შეგვიძლია გავაუმჯობესოთ ან გავაფართოვოთ მეცნიერთა მიერ შემოთავაზებული მეთოდები. ამავდროულად, თითოეული ჩვენგანი ითვალისწინებს თავის ცოდნისა და ინტერესების არეალს, აყალიბებს დავალებას იმ სფეროებიდან გამომდინარე, რომლებსაც ის მნიშვნელოვნად თვლის. პროექტის იდეა ჩვეულებრივ იბადება გარე კვლევის შედეგებისა და საკუთარი კომპეტენციების კვეთაზე.

ეს სისტემა კარგია, რადგან ის დიდწილად წყვეტს Yandex სერვისების ტექნოლოგიურ პრობლემებს მათ წარმოშობამდეც კი. როცა სერვისი პრობლემას აწყდება, მისი წარმომადგენლები მოდიან ჩვენთან, დიდი ალბათობით, აიღებენ უკვე მომზადებულ ტექნოლოგიებს, რაც რჩება მხოლოდ პროდუქტში სწორად გამოყენება. თუ რამე არ არის მზად, ჩვენ სულ ცოტა სწრაფად გავიხსენებთ, სად შეიძლება „დავიწყოთ თხრა“ და რომელ სტატიებში ვეძიოთ გამოსავალი. როგორც ვიცით, მეცნიერული მიდგომა გიგანტების მხრებზე დგომაა.

Რა უნდა ვქნა

Yandex-ში - და კონკრეტულად ჩვენს მენეჯმენტშიც კი - ვითარდება ML-ის ყველა შესაბამისი სფერო. ჩვენი მიზანია გავაუმჯობესოთ პროდუქციის ფართო სპექტრის ხარისხი და ეს არის სტიმული, რომ გამოსცადოთ ყველაფერი ახალი. გარდა ამისა, ახალი სერვისები რეგულარულად ჩნდება. ასე რომ, სალექციო პროგრამა შეიცავს მანქანური სწავლების ყველა ძირითად (კარგად დადასტურებულ) სფეროს ინდუსტრიულ განვითარებაში. კურსის ჩემი ნაწილის შედგენისას გამოვიყენე ჩემი სწავლების გამოცდილება მონაცემთა ანალიზის სკოლაში, ისევე როგორც სხვა SHAD მასწავლებლების მასალები და ნამუშევრები. ვიცი, რომ ჩემმა კოლეგებმაც იგივე გააკეთეს.

პირველ თვეებში კურსის პროგრამის მიხედვით ტრენინგი შეადგენს თქვენი სამუშაო დროის დაახლოებით 30%-ს, შემდეგ დაახლოებით 10%-ს. თუმცა, მნიშვნელოვანია გვესმოდეს, რომ თავად ML მოდელებთან მუშაობა გაგრძელდება დაახლოებით ოთხჯერ ნაკლები, ვიდრე ყველა დაკავშირებული პროცესი. ეს მოიცავს backend-ის მომზადებას, მონაცემთა მიღებას, მილსადენის დაწერას წინასწარ დამუშავებისთვის, კოდის ოპტიმიზაციას, კონკრეტულ აპარატურასთან ადაპტირებას და ა.შ. ML ინჟინერი, თუ გნებავთ, არის სრული სტეკის დეველოპერი (მხოლოდ მანქანურ სწავლაზე მეტი აქცენტით) , შეუძლია პრობლემის გადაჭრა თავიდან ბოლომდე. მზა მოდელითაც კი, თქვენ ალბათ დაგჭირდებათ კიდევ რამდენიმე მოქმედების შესრულება: მისი შესრულების პარალელიზება რამდენიმე მანქანაზე, მოამზადეთ განხორციელება სახელურის, ბიბლიოთეკის ან თავად სერვისის კომპონენტების სახით.

სტუდენტის არჩევანი
თუ გქონდა შთაბეჭდილება, რომ ჯობია გახდე ML ინჟინერი, ჯერ იმით, რომ მუშაობდე backend-ის დეველოპერად, ეს სიმართლეს არ შეესაბამება. იმავე ShAD-ში დარეგისტრირება სერვისების შემუშავების რეალური გამოცდილების გარეშე, სწავლა და ბაზარზე უკიდურესად მოთხოვნადი, შესანიშნავი ვარიანტია. Yandex-ის ბევრი სპეციალისტი ამ გზით დასრულდა თავის ამჟამინდელ პოზიციებზე. თუ რომელიმე კომპანია მზად არის შემოგთავაზოთ სამუშაო ML სფეროში დამთავრებისთანავე, თქვენც უნდა მიიღოთ შეთავაზება. ეცადეთ, გამოცდილ მენტორთან ერთად მოხვდეთ კარგ გუნდში და მოემზადეთ ბევრი რამის სწავლისთვის.

ჩვეულებრივ რა გიშლის ხელს ML-ის გაკეთებაში?

თუ ბექდერი ისწრაფვის გახდეს ML ინჟინერი, მას შეუძლია აირჩიოს განვითარების ორი სფეროდან - რეზიდენტურის პროგრამის გათვალისწინების გარეშე.

პირველ რიგში, ისწავლეთ, როგორც საგანმანათლებლო კურსის ნაწილი. გაკვეთილები Coursera დაგაახლოებთ ძირითადი ტექნიკის გაგებასთან, მაგრამ იმისთვის, რომ საკმარისად ჩაეფლო პროფესიაში, მას გაცილებით მეტი დრო უნდა დაუთმოთ. მაგალითად, დაამთავრე ShAD. წლების განმავლობაში, ShAD-ს ჰქონდა კურსების განსხვავებული რაოდენობა პირდაპირ მანქანურ სწავლაზე - საშუალოდ, დაახლოებით რვა. თითოეული მათგანი მართლაც მნიშვნელოვანი და სასარგებლოა, მათ შორის კურსდამთავრებულების აზრით. 

მეორეც, შეგიძლიათ მონაწილეობა მიიღოთ საბრძოლო პროექტებში, სადაც გჭირდებათ ამა თუ იმ ML ალგორითმის დანერგვა. თუმცა, IT განვითარების ბაზარზე ასეთი პროექტები ძალიან ცოტაა: მანქანური სწავლება არ გამოიყენება ამოცანების უმეტესობაში. ბანკებშიც კი, რომლებიც აქტიურად იკვლევენ ML-თან დაკავშირებულ შესაძლებლობებს, მხოლოდ რამდენიმე მათგანი მონაწილეობს მონაცემთა ანალიზში. თუ თქვენ ვერ შეუერთდით რომელიმე ამ გუნდს, თქვენი ერთადერთი ვარიანტია ან დაიწყოთ თქვენი საკუთარი პროექტი (სადაც, დიდი ალბათობით, დაადგენთ საკუთარ ვადებს, და ეს არ არის დაკავშირებული საბრძოლო წარმოების ამოცანებთან), ან დაიწყოთ კონკურენცია. კაგლი.

მართლაც, გაერთიანდით საზოგადოების სხვა წევრებთან და სცადეთ თავი კონკურსებში შედარებით ადვილი - განსაკუთრებით იმ შემთხვევაში, თუ აძლიერებთ თქვენს უნარებს ტრენინგით და Coursera-ზე აღნიშნული კურსებით. თითოეულ კონკურსს აქვს ვადა - ის გამოგადგებათ როგორც სტიმული და მოგამზადებთ IT კომპანიებში მსგავსი სისტემისთვის. ეს არის კარგი გზა - რომელიც, თუმცა, ასევე ცოტაა განცალკევებული რეალური პროცესებისგან. Kaggle-ზე თქვენ გეძლევათ წინასწარ დამუშავებული, თუმცა არა ყოველთვის სრულყოფილი მონაცემები; არ შესთავაზოთ ფიქრი პროდუქტში წვლილის შესახებ; და რაც მთავარია, მათ არ სჭირდებათ წარმოებისთვის შესაფერისი გადაწყვეტილებები. თქვენი ალგორითმები, ალბათ, იმუშავებს და იქნება ძალიან ზუსტი, მაგრამ თქვენი მოდელები და კოდი იქნება ფრანკენშტეინის მსგავსი სხვადასხვა ნაწილისგან შეკერილი - საწარმოო პროექტში მთელი სტრუქტურა ძალიან ნელა იმუშავებს, რთული იქნება განახლება და გაფართოება (მაგალითად, ენისა და ხმის ალგორითმები ყოველთვის ნაწილობრივ გადაიწერება ენის განვითარებისას). კომპანიებს აინტერესებთ, რომ ჩამოთვლილი სამუშაოს შესრულება შესაძლებელია არა მხოლოდ თქვენ მიერ (გასაგებია, რომ თქვენ, როგორც გადაწყვეტის ავტორს, შეგიძლიათ ამის გაკეთება), არამედ ნებისმიერ თქვენს კოლეგას. განხილულია განსხვავება სპორტსა და ინდუსტრიულ პროგრამირებას შორის много, და კაგლი ასწავლის ზუსტად „სპორტსმენებს“ - თუნდაც ეს ძალიან კარგად აკეთებს, რაც მათ საშუალებას აძლევს მიიღონ გარკვეული გამოცდილება.

მე აღვწერე განვითარების ორი შესაძლო ხაზი - სწავლება საგანმანათლებლო პროგრამების მეშვეობით და სწავლება „ბრძოლაში“, მაგალითად, კაგლზე. რეზიდენტურის პროგრამა ამ ორი მეთოდის ერთობლიობაა. თქვენ გელოდებათ ლექციები და სემინარები SAD-ის დონეზე, ისევე როგორც ჭეშმარიტად საბრძოლო პროექტები.

წყარო: www.habr.com