Резидентна програма на Yandex или како искусен бекендер може да стане ML инженер

Yandex отвора програма за престој во машинско учење за искусни задни програмери. Ако сте напишале многу во C++/Python и сакате да го примените ова знаење во ML, тогаш ние ќе ве научиме како да правите практично истражување и да обезбедиме искусни ментори. Ќе работите на клучните услуги на Yandex и ќе стекнете вештини во области како што се линеарни модели и зголемување на градиент, системи за препораки, невронски мрежи за анализа на слики, текст и звук. Исто така, ќе научите како правилно да ги оценувате вашите модели користејќи метрика офлајн и онлајн.

Времетраењето на програмата е една година, во текот на која учесниците ќе работат во одделот за машинска интелигенција и истражување на Yandex, како и ќе посетуваат предавања и семинари. Учеството е платено и вклучува работа со полно работно време: 40 часа неделно, почнувајќи од 1 јули оваа година. Апликациите се сега отворени и ќе трае до 1 мај. 

И сега подетално - за каква публика чекаме, каков ќе биде работниот процес и, воопшто, како специјалист за заднина може да се префрли на кариера во МЛ.

Директивност

Многу компании имаат програми за престој, вклучувајќи ги, на пример, Google и Facebook. Тие главно се насочени кон помлади и средни специјалисти кои се обидуваат да направат чекор кон истражувањето на МЛ. Нашата програма е за различна публика. Ги покануваме програмерите кои веќе имаат стекнато доволно искуство и со сигурност знаат дека во нивните компетенции треба да се префрлат кон ML, да стекнат практични вештини - а не вештини на научник - во решавањето на проблемите со индустриското машинско учење. Тоа не значи дека не ги поддржуваме младите истражувачи. Ние им организиравме посебна програма - премија именувана по Илја Сегалович, што исто така ви овозможува да работите во Yandex.

Каде ќе работи жителот?

Во Одделот за машинска интелигенција и истражување, ние самите развиваме проектни идеи. Главниот извор на инспирација е научната литература, статии и трендови во истражувачката заедница. Моите колеги и јас го анализираме она што го читаме, гледајќи како можеме да ги подобриме или прошириме методите предложени од научниците. Во исто време, секој од нас ја зема предвид својата област на знаење и интереси, ја формулира задачата врз основа на областите што ги смета за важни. Идејата за проект обично се раѓа на пресекот на резултатите од екстерното истражување и сопствените компетенции.

Овој систем е добар затоа што во голема мера ги решава технолошките проблеми на услугите на Yandex уште пред да се појават. Кога услугата ќе се соочи со проблем, нејзините претставници доаѓаат кај нас, најверојатно да ги земат технологиите што веќе ги подготвивме, а останува само правилно да се примени во производот. Ако нешто не е подготвено, барем брзо ќе се потсетиме каде можеме да „почнеме да копаме“ и во кои статии да бараме решение. Како што знаеме, научниот пристап е да се застане на рамениците на гигантите.

Што да се прави

Во Yandex - па дури и конкретно во нашето управување - се развиваат сите релевантни области на ML. Нашата цел е да го подобриме квалитетот на широк спектар на производи, а тоа служи како поттик за тестирање на сè ново. Покрај тоа, редовно се појавуваат нови услуги. Значи, програмата за предавање ги содржи сите клучни (добро докажани) области на машинското учење во индустрискиот развој. При составувањето на мојот дел од курсот, го искористив моето наставно искуство на Факултетот за анализа на податоци, како и материјалите и работата на другите наставници од SHAD. Знам дека и моите колеги го направија истото.

Во првите месеци, обуката според програмата на курсот ќе сочинува приближно 30% од вашето работно време, а потоа околу 10%. Сепак, важно е да се разбере дека работата со самите ML модели ќе продолжи да трае приближно четири пати помалку од сите поврзани процеси. Тие вклучуваат подготовка на заднината, примање податоци, пишување на цевка за нивна претходна обработка, оптимизирање на кодот, прилагодување на специфичен хардвер, итн. Инженерот за ML е, ако сакате, развивач со целосен стек (само со поголем акцент на машинското учење) , способен да реши проблем од почеток до крај. Дури и со готов модел, веројатно ќе треба да направите уште неколку дејства: да го паралелизирате неговото извршување низ неколку машини, да подготвите имплементација во форма на рачка, библиотека или компоненти на самата услуга.

Избор на студент
Ако сте под впечаток дека е подобро да станете инженер за ML со тоа што прво ќе работите како развивач на заднина, тоа не е точно. Уписот во истиот SHAD без вистинско искуство во развивање услуги, учење и станување исклучително баран на пазарот е одлична опција. Многу специјалисти на Yandex завршија на нивните сегашни позиции на овој начин. Ако некоја компанија е подготвена да ви понуди работа во областа на МЛ веднаш по дипломирањето, веројатно треба да ја прифатите и вие понудата. Обидете се да влезете во добар тим со искусен ментор и подгответе се да научите многу.

Што обично ве спречува да правите МЛ?

Ако бекендерот се стреми да стане ML инженер, тој може да избере од две области на развој - без да ја земе предвид програмата за престој.

Прво, студирајте како дел од некој образовен курс. Лекциите Coursera ќе ве приближи до разбирање на основните техники, но за да се нурнете во професијата доволна мера, треба да и посветите многу повеќе време. На пример, дипломирајте на ShAD. Со текот на годините, ShAD имаше различен број курсеви директно за машинско учење - во просек, околу осум. Секој од нив е навистина важен и корисен, вклучително и според мислењето на дипломираните студенти. 

Второ, можете да учествувате во борбени проекти каде што треба да имплементирате еден или друг ML алгоритам. Сепак, има многу малку такви проекти на пазарот за развој на ИТ: машинското учење не се користи во повеќето задачи. Дури и во банките кои активно ги истражуваат можностите поврзани со ML, само неколку се занимаваат со анализа на податоци. Ако не можевте да се приклучите на еден од овие тимови, вашата единствена опција е или да започнете свој проект (каде, најверојатно, ќе поставите свои рокови, а тоа нема многу врска со задачите за борбено производство), или да започнете да се натпреварувате на Кагл.

Навистина, здружете се со другите членови на заедницата и пробајте се на натпревари релативно лесно - особено ако ги поткрепите вашите вештини со обука и споменатите курсеви на Coursera. Секој натпревар има рок - ќе ви послужи како поттик и ќе ве подготви за сличен систем во ИТ компаниите. Ова е добар начин - кој, сепак, е и малку разведен од реалните процеси. На Kaggle ви се дадени претходно обработени, иако не секогаш совршени, податоци; не нудијте да размислувате за придонесот за производот; и што е најважно, не бараат решенија погодни за производство. Вашите алгоритми веројатно ќе работат и ќе бидат многу прецизни, но вашите модели и код ќе бидат како Франкенштајн споени од различни делови - во производствен проект, целата структура ќе работи премногу бавно, ќе биде тешко да се ажурира и прошири (на пример, јазичните и гласовните алгоритми секогаш делумно ќе се препишуваат како што се развива јазикот). Компаниите се заинтересирани за фактот дека работата наведена може да ја извршите не само вие самите (јасно е дека вие, како автор на решението, можете да го направите тоа), туку и кој било од вашите колеги. Разликата помеѓу спортското и индустриското програмирање се дискутира много, а Кагл ги едуцира токму „спортистите“ - дури и ако тоа го прави многу добро, дозволувајќи им да стекнат одредено искуство.

Јас опишав две можни линии на развој - обука преку образовни програми и обука „во борба“, на пример на Kaggle. Програмата за престој е комбинација од овие два методи. Ве очекуваат предавања и семинари на ниво на ШАД, како и навистина борбени проекти.

Извор: www.habr.com