Яндекс тәжірибелі сервер әзірлеушілері үшін машиналық оқытуда резиденттік бағдарлама ашады. Егер сіз C++/Python тілінде көп жазған болсаңыз және осы білімді ML-де қолданғыңыз келсе, онда біз сізге тәжірибелік зерттеулерді қалай жүргізу керектігін үйретеміз және тәжірибелі тәлімгерлерді ұсынамыз. Сіз Яндекстің негізгі қызметтерінде жұмыс істейсіз және сызықтық модельдер мен градиентті күшейту, ұсыныстар жүйелері, кескіндерді, мәтінді және дыбысты талдауға арналған нейрондық желілер сияқты салаларда дағдыларға ие боласыз. Сондай-ақ, офлайн және онлайн көрсеткіштерді пайдаланып үлгілерді дұрыс бағалауды үйренесіз.
Бағдарламаның ұзақтығы - бір жыл, оның барысында қатысушылар Яндекстің машиналық барлау және зерттеу бөлімінде жұмыс істейді, сонымен қатар лекциялар мен семинарларға қатысады. Қатысу ақылы және толық жұмыс күнін қамтиды: аптасына 40 сағат, ағымдағы жылдың 1 шілдесінен бастап. және 1 мамырға дейін жалғасады.
Ал енді толығырақ – біз қандай аудиторияны күтетініміз, жұмыс процесі қандай болатыны және тұтастай алғанда, бэк-энд маманы ML саласындағы мансапқа қалай ауыса алатыны туралы.
Директива
Көптеген компанияларда резиденттік бағдарламалар бар, соның ішінде, мысалы, Google және Facebook. Олар негізінен ML зерттеулеріне қадам жасауға тырысатын кіші және орта деңгейдегі мамандарға бағытталған. Біздің бағдарлама басқа аудиторияға арналған. Біз жеткілікті тәжірибе жинақтаған және өз құзыреттерінде өнеркәсіптік машинаны оқыту мәселелерін шешуде ғалымның дағдыларын емес, практикалық дағдыларды алу үшін ML-ге ауысу керек екенін нақты білетін бэкенд әзірлеушілерін шақырамыз. Бұл жас зерттеушілерді қолдамаймыз деген сөз емес. Біз олар үшін бөлек бағдарлама ұйымдастырдық - Илья Сегаловичтің атымен аталған, ол сонымен қатар Яндексте жұмыс істеуге мүмкіндік береді.
Тұрғын қайда жұмыс істейді?
Машиналық интеллект және зерттеулер бөлімінде біз өзіміз жоба идеяларын әзірлейміз. Шабыттың негізгі көзі – ғылыми әдебиеттер, мақалалар, зерттеу қоғамдастығындағы тенденциялар. Мен және әріптестерім ғалымдар ұсынған әдістерді қалай жақсартуға немесе кеңейтуге болатынын қарастыра отырып, оқығанымызды талдаймыз. Сонымен бірге, әрқайсымыз өз білім саласы мен қызығушылықтарын ескере отырып, маңызды деп санайтын салаларға байланысты тапсырманы тұжырымдайды. Жоба идеясы әдетте сыртқы зерттеу нәтижелері мен жеке құзыреттіліктердің қиылысында туады.
Бұл жүйе жақсы, өйткені ол негізінен Яндекс қызметтерінің технологиялық мәселелерін олар пайда болғанға дейін шешеді. Қызмет проблемаға тап болған кезде, оның өкілдері бізге келеді, ең алдымен, біз дайындаған технологияларды қабылдайды, тек өнімде дұрыс қолдану ғана қалады. Егер бірдеңе дайын болмаса, біз қай жерден «қазуды» бастауға болатынын және шешімді қай мақалалардан іздеу керектігін тез еске түсіреміз. Өзіміз білетіндей, ғылыми көзқарас – алыптардың иығында тұру.
Не істеу
Яндекс-те, тіпті біздің менеджментте - ML-дің барлық тиісті бағыттары әзірленуде. Біздің мақсатымыз өнімдердің кең ассортиментінің сапасын жақсарту болып табылады және бұл барлық жаңаны сынауға ынталандыру болып табылады. Сонымен қатар, жаңа қызметтер үнемі пайда болады. Сонымен, дәріс бағдарламасы өнеркәсіптік дамуда машиналық оқытудың барлық негізгі (дәлелденген) бағыттарын қамтиды. Курстың өз бөлігін құрастырған кезде мен Деректерді талдау мектебіндегі педагогикалық тәжірибемді, сондай-ақ басқа SHAD мұғалімдерінің материалдары мен жұмыстарын пайдаландым. Менің әріптестерім де солай істегенін білемін.
Алғашқы айларда курс бағдарламасы бойынша оқыту жұмыс уақытының шамамен 30%, содан кейін шамамен 10% құрайды. Дегенмен, ML үлгілерімен жұмыс істеу барлық байланысты процестерге қарағанда шамамен төрт есе аз уақыт алатынын түсіну маңызды. Оларға серверді дайындау, деректерді қабылдау, оны алдын ала өңдеу үшін құбырды жазу, кодты оңтайландыру, белгілі бір аппараттық құралға бейімделу және т.б. кіреді. ML инженері, егер қаласаңыз, толық стек әзірлеушісі (тек машиналық оқытуға көбірек көңіл бөлетін) , мәселені басынан аяғына дейін шеше алады. Тіпті дайын үлгі болса да, сізге тағы бірнеше әрекеттерді орындау қажет болуы мүмкін: оның орындалуын бірнеше машиналарда параллельдеу, дескриптор, кітапхана немесе қызметтің өзі құрамдас бөліктері түрінде іске асыруды дайындау.
Студент таңдауы
Егер сіз алдымен сервер әзірлеушісі ретінде жұмыс істеп, ML инженері болғаныңыз дұрыс деп ойласаңыз, бұл дұрыс емес. Қызметтерді дамытуда, үйренуде және нарықта өте сұранысқа ие болуда нақты тәжірибесіз бір ShAD-ға тіркелу - тамаша нұсқа. Көптеген Яндекс мамандары өздерінің қазіргі қызметтерін осылай аяқтады. Егер қандай да бір компания оқуды бітіргеннен кейін сізге ML саласында жұмыс ұсынуға дайын болса, сіз де ұсынысты қабылдауыңыз керек шығар. Тәжірибелі тәлімгермен жақсы командаға кіруге тырысыңыз және көп нәрсені үйренуге дайын болыңыз.
ML жасауыңызға әдетте не кедергі болады?
Егер бэкендер ML инженері болуға ұмтылса, ол резиденттік бағдарламаны есепке алмай-ақ дамудың екі бағытын таңдай алады.
Біріншіден, қандай да бір білім беру курсының бөлігі ретінде оқыңыз. Coursera сізді негізгі әдістерді түсінуге жақындатады, бірақ мамандыққа жеткілікті түрде ену үшін оған көбірек уақыт бөлу керек. Мысалы, ШАД бітірген. Осы жылдар ішінде ShAD тікелей машиналық оқыту бойынша әртүрлі курстарға ие болды - орта есеппен шамамен сегіз. Олардың әрқайсысы шын мәнінде маңызды және пайдалы, оның ішінде түлектердің пікірі бойынша.
Екіншіден, сіз сол немесе басқа ML алгоритмін енгізу қажет болатын жауынгерлік жобаларға қатыса аласыз. Дегенмен, АТ дамыту нарығында мұндай жобалар өте аз: машиналық оқыту көптеген тапсырмаларда қолданылмайды. Тіпті ML-мен байланысты мүмкіндіктерді белсенді түрде зерттеп жатқан банктерде де деректерді талдаумен аз ғана айналысады. Егер сіз осы командалардың біріне қосыла алмасаңыз, сіздің жалғыз нұсқаңыз - жеке жобаңызды бастау (бұл жерде, ең алдымен, сіз өзіңіздің мерзімдеріңізді белгілейсіз және бұл жауынгерлік өндірістік тапсырмаларға қатысы жоқ) немесе жарысты бастау. Kaggle.
Шынында да, қауымдастықтың басқа мүшелерімен бірігіп, жарыстарда өзіңізді сынап көріңіз - әсіресе Coursera-дағы тренингтер мен аталған курстар арқылы өз дағдыларыңызды қолдасаңыз. Әрбір конкурстың мерзімі бар – ол сізге ынталандыру ретінде қызмет етеді және сізді IT-компаниялардағы ұқсас жүйеге дайындайды. Бұл жақсы әдіс - ол сонымен бірге нақты процестерден аздап ажырайды. Kaggle-де сізге алдын ала өңделген, бірақ әрқашан мінсіз емес деректер беріледі; өнімге қосқан үлесі туралы ойлауды ұсынбаңыз; және ең бастысы, олар өндіріске қолайлы шешімдерді қажет етпейді. Сіздің алгоритмдеріңіз жұмыс істейтін және өте дәл болуы мүмкін, бірақ сіздің модельдеріңіз бен кодтарыңыз әртүрлі бөліктерден біріктірілген Франкенштейн сияқты болады - өндірістік жобада бүкіл құрылым тым баяу жұмыс істейді, оны жаңарту және кеңейту қиын болады (мысалы, тіл және дауыс алгоритмдері тілдің дамуына қарай әрқашан ішінара қайта жазылады). Компаниялар аталған жұмысты тек өзіңіз ғана емес (шешім авторы ретінде сіз мұны істей алатыныңыз анық), сонымен қатар кез келген әріптесіңіздің де жасай алатындығына қызығушылық танытады. Спорт пен өнеркәсіптік бағдарламалаудың айырмашылығы талқыланады , және Kaggle дәл «спортшыларды» тәрбиелейді - тіпті егер ол мұны өте жақсы жасаса да, оларға тәжірибе жинауға мүмкіндік береді.
Мен дамудың екі ықтимал бағытын сипаттадым - білім беру бағдарламалары арқылы оқыту және «жауынгерлік», мысалы, Kaggle. Резидентура бағдарламасы осы екі әдістің қосындысы болып табылады. Сізді ШАД деңгейіндегі лекциялар мен семинарлар, сондай-ақ нағыз жауынгерлік жобалар күтеді.
Ақпарат көзі: www.habr.com