Pwogram rezidan Yandex, oswa ki jan yon backender ki gen eksperyans ka vin yon enjenyè ML

Yandex ap louvri yon pwogram rezidans nan aprantisaj machin pou devlopè backend ki gen eksperyans. Si ou te ekri anpil nan C++/Python epi ou vle aplike konesans sa a nan ML, Lè sa a, nou pral moutre ou ki jan fè rechèch pratik epi bay konseye ki gen eksperyans. Ou pral travay sou sèvis kle Yandex ak jwenn ladrès nan domèn tankou modèl lineyè ak ranfòse gradyan, sistèm rekòmandasyon, rezo neral pou analize imaj, tèks ak son. Ou pral aprann tou kijan pou byen evalye modèl ou yo lè l sèvi avèk mezi offline ak sou entènèt.

Dire a nan pwogram nan se yon ane, pandan ki patisipan yo pral travay nan entèlijans machin nan ak depatman rechèch nan Yandex, osi byen ke ale nan konferans ak seminè. Patisipasyon yo peye epi li enplike travay aplentan: 40 èdtan pa semèn, apati 1ye jiyè ane sa a. Aplikasyon yo louvri kounye a epi yo pral dire jiska 1 me. 

Epi, koulye a an plis detay - sou ki kalite odyans nou ap tann pou, ki pwosesis travay la pral ye ak, an jeneral, ki jan yon espesyalis back-end ka chanje nan yon karyè nan ML.

Konsantre

Anpil konpayi gen pwogram rezidans, tankou, pa egzanp, Google ak Facebook. Yo sitou vize a espesyalis jinyò ak mitan nivo ki ap eseye pran yon etap nan direksyon rechèch ML. Pwogram nou an se pou yon lòt odyans. Nou envite devlopè backend ki deja genyen ase eksperyans epi ki konnen pou asire w ke nan konpetans yo yo bezwen chanje nan direksyon ML, jwenn ladrès pratik - epi yo pa konpetans yo nan yon syantifik - nan rezoud pwoblèm aprantisaj machin endistriyèl. Sa pa vle di ke nou pa sipòte jèn chèchè yo. Nou te òganize yon pwogram separe pou yo - pri yo te rele apre Ilya Segalovich, ki tou pèmèt ou travay nan Yandex.

Ki kote rezidan an pral travay?

Nan Depatman entèlijans machin ak rechèch, nou menm nou devlope lide pwojè. Sous prensipal enspirasyon an se literati syantifik, atik, ak tandans nan kominote rechèch la. Kolèg mwen yo ak mwen analize sa nou li, gade ki jan nou ka amelyore oswa elaji metòd yo pwopoze pa syantis yo. An menm tan an, chak nan nou pran an kont domèn konesans ak enterè li, fòmile travay la ki baze sou domèn yo ke li konsidere enpòtan. Lide pou yon pwojè anjeneral fèt nan entèseksyon rezilta rechèch ekstèn ak pwòp konpetans yon moun.

Sistèm sa a bon paske li lajman rezoud pwoblèm teknolojik yo nan sèvis Yandex menm anvan yo leve. Lè yon sèvis fè fas ak yon pwoblèm, reprezantan li yo vin jwenn nou, gen plis chans pou yo pran teknoloji yo nou te deja prepare, ki tout sa ki rete se yo dwe kòrèkteman aplike nan pwodwi a. Si yon bagay pa pare, nou pral omwen byen vit sonje ki kote nou ka "kòmanse fouye" ak nan ki atik yo chèche yon solisyon. Kòm nou konnen, apwòch syantifik la se kanpe sou zepòl yo nan gran.

Kisa pou fe

Nan Yandex - e menm espesyalman nan jesyon nou an - tout domèn enpòtan nan ML yo ap devlope. Objektif nou se amelyore kalite yon gran varyete pwodwi, e sa sèvi kòm yon ankourajman pou teste tout bagay nouvo. Anplis de sa, nouvo sèvis parèt regilyèman. Se konsa, pwogram konferans la gen tout kle (byen pwouve) domèn aprantisaj machin nan devlopman endistriyèl. Lè m ap konpile pati mwen nan kou a, mwen te itilize eksperyans ansèyman mwen nan School of Data Analysis, ansanm ak materyèl ak travay lòt pwofesè SHAD yo. Mwen konnen ke kòlèg mwen yo te fè menm bagay la.

Nan premye mwa yo, fòmasyon dapre pwogram kou a pral konte pou apeprè 30% nan tan travay ou, Lè sa a, apeprè 10%. Sepandan, li enpòtan pou w konprann ke travay ak modèl ML tèt yo ap kontinye pran apeprè kat fwa mwens pase tout pwosesis ki asosye yo. Men sa yo enkli prepare backend la, resevwa done, ekri yon tiyo pou pretrete li, optimize kòd, adapte ak pyès ki nan konpitè espesifik, elatriye. Yon enjenyè ML se, si ou renmen, yon devlopè plen pil (sèlman ak yon pi gwo anfaz sou aprantisaj machin) , kapab rezoud yon pwoblèm depi nan kòmansman rive nan fen. Menm ak yon modèl ki pare, ou pral pwobableman bezwen fè yon kantite plis aksyon: paralelize ekzekisyon li sou plizyè machin, prepare yon aplikasyon nan fòm lan nan yon manch, yon bibliyotèk, oswa eleman nan sèvis la li menm.

Chwa elèv
Si ou te anba enpresyon ke li pi bon yo vin yon enjenyè ML pa premye travay kòm yon devlopè backend, sa a se pa vre. Enskri nan menm ShAD san eksperyans reyèl nan devlopman sèvis, aprann ak vin trè nan demann sou mache a se yon opsyon ekselan. Anpil espesyalis nan Yandex te fini nan pozisyon aktyèl yo nan fason sa a. Si nenpòt konpayi pare pou ofri w yon travay nan domèn ML imedyatman apre gradyasyon, ou ta dwe pwobableman aksepte òf la tou. Eseye antre nan yon ekip bon ak yon konseye ki gen eksperyans epi pare pou aprann anpil.

Ki sa ki anjeneral anpeche w fè ML?

Si yon backender vle vin yon enjenyè ML, li ka chwazi nan de domèn devlopman - san yo pa pran an kont pwogram rezidans lan.

Premyèman, etidye kòm yon pati nan kèk kou edikasyon. Leson Coursera ap mennen ou pi pre konprann teknik debaz yo, men plonje tèt ou nan pwofesyon an nan yon limit ase, ou bezwen konsakre pi plis tan nan li. Pou egzanp, gradye nan ShAD. Pandan ane yo, ShAD te gen yon kantite diferan nan kou dirèkteman sou aprantisaj machin - an mwayèn, apeprè uit. Chak nan yo se reyèlman enpòtan ak itil, ki gen ladan nan opinyon gradye yo. 

Dezyèmman, ou ka patisipe nan pwojè konba kote ou bezwen aplike youn oswa yon lòt algorithm ML. Sepandan, gen anpil kèk pwojè sa yo sou mache devlopman IT: aprantisaj machin yo pa itilize nan pifò travay. Menm nan bank ki ap aktivman eksplore opòtinite ki gen rapò ak ML, se sèlman kèk ki angaje nan analiz done. Si ou pa t 'kapab rantre nan youn nan ekip sa yo, sèl opsyon ou a se swa kòmanse pwòp pwojè ou a (kote, gen plis chans, ou pral fikse pwòp dat limit ou, e sa pa gen anpil pou wè ak travay pwodiksyon konba), oswa kòmanse konpetisyon sou Kaggle.

Vreman vre, fè ekip ak lòt manm kominote a epi eseye tèt ou nan konpetisyon relativman fasil - sitou si ou fè bak konpetans ou ak fòmasyon ak kou mansyone yo sou Coursera. Chak konpetisyon gen yon dat limit - li pral sèvi kòm yon ankourajman pou ou ak prepare w pou yon sistèm menm jan an nan konpayi IT. Sa a se yon bon fason - ki, sepandan, se tou yon ti kras divòse ak pwosesis reyèl. Sou Kaggle yo ba ou pre-trete, byenke pa toujou pafè, done; pa ofri yo reflechi sou kontribisyon an nan pwodwi a; ak pi enpòtan, yo pa mande pou solisyon apwopriye pou pwodiksyon an. Algoritm ou yo pral pwobableman travay epi yo dwe trè egzat, men modèl ou yo ak kòd yo pral tankou Frankenstein koud ansanm soti nan diferan pati - nan yon pwojè pwodiksyon, tout estrikti a ap travay twò dousman, li pral difisil pou mete ajou ak elaji (pa egzanp, langaj ak algoritm vwa yo ap toujou pasyèlman reekri pandan langaj la ap devlope). Konpayi yo enterese nan lefèt ke travay ki nan lis la ka fè pa sèlman pa ou tèt ou (li klè ke ou, kòm otè a nan solisyon an, ka fè sa), men tou pa nenpòt nan kòlèg ou yo. Yo diskite sou diferans ki genyen ant pwogram espò ak endistriyèl много, ak Kaggle edike jisteman "atlèt" - menm si li fè li trè byen, ki pèmèt yo jwenn kèk eksperyans.

Mwen te dekri de liy posib nan devlopman - fòmasyon atravè pwogram edikasyon ak fòmasyon "nan konba", pou egzanp sou Kaggle. Pwogram rezidans lan se yon konbinezon de metòd sa yo. Konferans ak seminè nan nivo ShAD, ansanm ak pwojè vrèman konbatif, ap tann ou.

Sous: www.habr.com