Yandex Resident Program, или как опитен Backender може да стане ML инженер

Yandex отваря програма за пребиваване в машинно обучение за опитни бекенд разработчици. Ако сте писали много на C++/Python и искате да приложите тези знания в ML, тогава ние ще ви научим как да правите практически изследвания и ще ви осигурим опитни ментори. Ще работите върху ключови услуги на Yandex и ще придобиете умения в области като линейни модели и градиентно усилване, системи за препоръки, невронни мрежи за анализ на изображения, текст и звук. Освен това ще научите как правилно да оценявате своите модели, като използвате показатели офлайн и онлайн.

Продължителността на програмата е една година, през която участниците ще работят в отдела за машинен интелект и изследвания на Yandex, както и ще посещават лекции и семинари. Участието е платено и включва работа на пълен работен ден: 40 часа седмично, считано от 1 юли тази година. Приложенията вече са отворени и ще продължи до 1 май. 

И сега по-подробно - за това каква аудитория чакаме, какъв ще бъде работният процес и като цяло как един back-end специалист може да премине към кариера в ML.

насоченост

Много компании имат Residency Programs, включително, например, Google и Facebook. Те са насочени основно към младши и средни специалисти, които се опитват да направят крачка към ML изследвания. Нашата програма е за различна публика. Каним бекенд разработчици, които вече са натрупали достатъчно опит и знаят със сигурност, че в своите компетенции трябва да се насочат към ML, да придобият практически умения - а не уменията на учен - за решаване на проблеми с индустриалното машинно обучение. Това не означава, че не подкрепяме младите изследователи. За тях сме организирали отделна програма - награда на името на Иля Сегалович, което също ви позволява да работите в Yandex.

Къде ще работи резидентът?

В отдела за машинен интелект и изследвания ние сами разработваме идеи за проекти. Основният източник на вдъхновение е научната литература, статиите и тенденциите в изследователската общност. Моите колеги и аз анализираме това, което четем, като търсим как можем да подобрим или разширим методите, предложени от учените. В същото време всеки от нас взема предвид своята област на знания и интереси, формулира задачата въз основа на областите, които смята за важни. Идеята за проект обикновено се ражда в пресечната точка на резултатите от външни изследвания и собствените компетенции.

Тази система е добра, защото до голяма степен решава технологичните проблеми на услугите на Yandex още преди да възникнат. Когато даден сервиз се сблъска с проблем, неговите представители идват при нас, най-вероятно за да вземат вече подготвените технологии, които остава само да бъдат правилно приложени в продукта. Ако нещо не е готово, поне бързо ще се сетим откъде можем да „започнем да копаем“ и в кои статии да търсим решение. Както знаем, научният подход е да се стои на раменете на гиганти.

Какво да правя

В Yandex - и дори конкретно в нашето управление - се разработват всички подходящи области на машинното обучение. Нашата цел е да подобрим качеството на голямо разнообразие от продукти и това служи като стимул да тестваме всичко ново. Освен това редовно се появяват нови услуги. Така че програмата за лекции съдържа всички ключови (добре доказани) области на машинното обучение в индустриалното развитие. При съставянето на моята част от курса използвах моя преподавателски опит в Училището за анализ на данни, както и материалите и работата на други учители на SHAD. Знам, че моите колеги направиха същото.

През първите месеци обучението по програмата на курса ще представлява приблизително 30% от вашето работно време, след това около 10%. Въпреки това е важно да се разбере, че работата със самите ML модели ще продължи да отнема приблизително четири пъти по-малко от всички свързани процеси. Те включват подготовка на бекенда, получаване на данни, писане на конвейер за предварителната им обработка, оптимизиране на кода, адаптиране към конкретен хардуер и т.н. ML инженерът е, ако желаете, разработчик на пълен стек (само с по-голям акцент върху машинното обучение) , способен да реши проблем от началото до края. Дори и с готов модел, вероятно ще трябва да извършите редица повече действия: да паралелизирате изпълнението му на няколко машини, да подготвите имплементация под формата на манипулатор, библиотека или компоненти на самата услуга.

Студентски избор
Ако сте останали с впечатлението, че е по-добре да станете ML инженер, като първо работите като backend разработчик, това не е вярно. Записването в същия Shad без реален опит в разработването на услуги, ученето и превръщането в изключително търсене на пазара е отличен вариант. Много специалисти на Yandex се оказаха на сегашните си позиции по този начин. Ако някоя компания е готова да ви предложи работа в областта на машинното обучение веднага след дипломирането си, вероятно също трябва да приемете предложението. Опитайте се да влезете в добър екип с опитен ментор и се пригответе да научите много.

Какво обикновено ви пречи да правите ML?

Ако backender се стреми да стане ML инженер, той може да избира от две области на развитие - без да взема предвид програмата за пребиваване.

Първо, учете като част от някакъв образователен курс. Уроците Coursera ще ви доближи до разбирането на основните техники, но за да се потопите достатъчно в професията, трябва да й отделите много повече време. Например, завършите ШАД. През годините ShaD имаше различен брой курсове директно върху машинното обучение - средно около осем. Всеки от тях е наистина важен и полезен, включително и според възпитаниците. 

Второ, можете да участвате в бойни проекти, където трябва да внедрите един или друг ML алгоритъм. Въпреки това има много малко такива проекти на пазара за ИТ разработка: машинното обучение не се използва в повечето задачи. Дори в банките, които активно проучват възможностите, свързани с машинното обучение, само няколко се занимават с анализ на данни. Ако не сте успели да се присъедините към някой от тези екипи, единствената ви възможност е или да започнете свой собствен проект (където най-вероятно ще зададете свои собствени крайни срокове и това няма много общо с бойните производствени задачи), или да започнете да се състезавате на Kaggle.

Наистина, обединете се с други членове на общността и се опитайте в състезания сравнително лесно - особено ако подкрепите уменията си с обучение и споменатите курсове в Coursera. Всяко състезание има краен срок - той ще ви послужи като стимул и ще ви подготви за подобна система в IT компаниите. Това е добър начин - който обаче е и малко откъснат от реалните процеси. На Kaggle ви се предоставят предварително обработени, макар и не винаги перфектни данни; не предлагайте да мислите за приноса към продукта; и най-важното, те не изискват решения, подходящи за производство. Вашите алгоритми вероятно ще работят и ще бъдат много точни, но вашите модели и код ще бъдат като Франкенщайн, съшити заедно от различни части - в производствен проект цялата структура ще работи твърде бавно, ще бъде трудно да се актуализира и разширява (например, езиковите и гласовите алгоритми винаги ще се пренаписват частично с развитието на езика). Компаниите се интересуват от факта, че изброената работа може да бъде извършена не само от вас самите (ясно е, че вие, като автор на решението, можете да направите това), но и от всеки ваш колега. Обсъжда се разликата между спортното и индустриалното програмиране много, а Kaggle обучава точно „спортисти“ - дори и да го прави много добре, позволявайки им да натрупат известен опит.

Описах две възможни линии на развитие - обучение чрез образователни програми и обучение „в битка“, например на Kaggle. Програмата за пребиваване е комбинация от тези два метода. Очакват ви лекции и семинари на ниво ШАД, както и наистина борбени проекти.

Източник: www.habr.com