Yandex Resident Program, kapena Momwe Wothandizira Wodziwa Atha Kukhala Katswiri Wa ML

Yandex ikutsegula pulogalamu yokhalamo pakuphunzirira makina kwa odziwa bwino ntchito zakumbuyo. Ngati mwalemba zambiri mu C ++/Python ndipo mukufuna kugwiritsa ntchito chidziwitsochi ku ML, ndiye kuti tikuphunzitsani momwe mungafufuzire zothandiza ndikupereka alangizi odziwa zambiri. Mudzagwira ntchito pazantchito zazikulu za Yandex ndikupeza maluso m'malo monga mizere mizere ndi kukwera kwa gradient, machitidwe opangira, ma neural network osanthula zithunzi, zolemba ndi mawu. Muphunziranso momwe mungawunikire bwino mitundu yanu pogwiritsa ntchito ma metrics osapezeka pa intaneti komanso pa intaneti.

Kutalika kwa pulogalamuyo ndi chaka chimodzi, pomwe ophunzira adzagwira ntchito mu dipatimenti yaukadaulo wamakina ndi kafukufuku wa Yandex, komanso kupezeka pamisonkhano ndi maphunziro. Kutenga nawo mbali kumalipidwa ndipo kumakhudza ntchito yanthawi zonse: maola 40 pa sabata, kuyambira pa Julayi 1 chaka chino. Mapulogalamu tsopano atsegulidwa ndipo ipitilira mpaka Meyi 1. 

Ndipo tsopano mwatsatanetsatane - za mtundu wanji wa omvera omwe tikuyembekezera, momwe ntchitoyo idzakhalire komanso, makamaka, momwe katswiri wakumbuyo angasinthire ntchito ku ML.

Kuwongolera

Makampani ambiri ali ndi Mapulogalamu Okhalamo, kuphatikizapo, mwachitsanzo, Google ndi Facebook. Iwo makamaka amayang'ana akatswiri achichepere ndi apakati omwe akuyesera kuchitapo kanthu pa kafukufuku wa ML. Pulogalamu yathu ndi ya omvera osiyanasiyana. Tikuyitanitsa opanga ma backend omwe apeza kale chidziwitso chokwanira ndipo akudziwa motsimikiza kuti mu luso lawo ayenera kusunthira ku ML, kuti apeze luso lothandiza - osati luso la sayansi - pothetsa mavuto ophunzirira makina a mafakitale. Izi sizikutanthauza kuti sitikuthandizira ofufuza achichepere. Tawakonzera pulogalamu yapadera - premium dzina lake Ilya Segalovich, amenenso amalola ntchito Yandex.

Kodi wokhalamo azigwira ntchito kuti?

Mu dipatimenti ya Machine Intelligence and Research, ife tokha timapanga malingaliro a polojekiti. Gwero lalikulu la kudzoza ndi zolemba zasayansi, zolemba, ndi zomwe zikuchitika mgulu la kafukufuku. Ine ndi anzanga timasanthula zomwe timawerenga, ndikuwona momwe tingawongolere kapena kukulitsa njira zomwe asayansi akufuna. Panthawi imodzimodziyo, aliyense wa ife amaganizira za chidziwitso chake ndi zokonda zake, amapanga ntchitoyo potengera madera omwe amawaona kuti ndi ofunika. Lingaliro la polojekiti nthawi zambiri limabadwira pamzere wa zotsatira za kafukufuku wakunja ndi luso lake.

Dongosololi ndilabwino chifukwa limathetsa mavuto aukadaulo a ntchito za Yandex ngakhale asanatuluke. Utumiki ukakumana ndi vuto, oimira ake amabwera kwa ife, makamaka kutenga matekinoloje omwe tawakonzera kale, zomwe zonse zomwe zatsala ziyenera kugwiritsidwa ntchito moyenera muzogulitsa. Ngati chinachake sichinakonzekere, tidzakumbukira mwamsanga kumene "tingayambe kukumba" ndi nkhani zomwe tingayang'ane njira yothetsera vutoli. Monga tikudziwira, njira ya sayansi ndiyo kuyimirira pamapewa a zimphona.

Zoyenera kuchita

Ku Yandex - komanso makamaka pakuwongolera kwathu - madera onse ofunikira a ML akupangidwa. Cholinga chathu ndikusintha mtundu wazinthu zosiyanasiyana, ndipo izi zimakhala ngati chilimbikitso choyesa chilichonse chatsopano. Kuphatikiza apo, mautumiki atsopano amawonekera pafupipafupi. Chifukwa chake pulogalamu yophunzirira ili ndi madera onse ofunikira (otsimikiziridwa bwino) ophunzirira makina pakukula kwa mafakitale. Polemba gawo langa la maphunzirowa, ndidagwiritsa ntchito luso langa lophunzitsa ku Sukulu Yosanthula Data, komanso zida ndi ntchito za aphunzitsi ena a SHAD. Ndikudziwa kuti anzanga anachitanso chimodzimodzi.

M'miyezi yoyamba, maphunziro molingana ndi pulogalamu yamaphunziro adzawerengera pafupifupi 30% ya nthawi yanu yogwira ntchito, kenako 10%. Komabe, ndikofunikira kumvetsetsa kuti kugwira ntchito ndi mitundu ya ML pawokha kudzapitilira kuchepera kanayi kuposa njira zonse zomwe zikugwirizana nazo. Izi zikuphatikizapo kukonzekera backend, kulandira deta, kulemba payipi kuti preprocessing izo, kukhathamiritsa kachidindo, kusintha kwa hardware yeniyeni, etc. Katswiri ML ndi, ngati mukufuna, otukula zonse mapulogalamu (kokha ndi kutsindika kwambiri pa kuphunzira makina) , wokhoza kuthetsa vuto kuyambira pachiyambi mpaka kumapeto. Ngakhale ndi mtundu wopangidwa kale, mungafunike kuchita zina zingapo: kufananiza machitidwe ake pamakina angapo, kukonzekera kukhazikitsa ngati chogwirira, laibulale, kapena magawo a ntchitoyo.

Chisankho cha ophunzira
Ngati mumaganiza kuti ndi bwino kukhala injiniya wa ML pogwira ntchito ngati woyambitsa kumbuyo, izi sizowona. Kulembetsa mu ShaD yomweyo popanda chidziwitso chenicheni pakupanga ntchito, kuphunzira ndikukhala wofunidwa kwambiri pamsika ndi njira yabwino kwambiri. Akatswiri ambiri a Yandex adatha m'malo awo apano motere. Ngati kampani iliyonse yakonzeka kukupatsani ntchito m'munda wa ML mukangomaliza maphunziro, muyenera kuvomeranso ntchitoyo. Yesetsani kulowa mu gulu labwino ndi mlangizi wodziwa zambiri ndikukonzekera kuphunzira zambiri.

Ndi chiyani chomwe chimakulepheretsani kuchita ML?

Ngati backender akufuna kukhala injiniya wa ML, akhoza kusankha kuchokera kumadera awiri a chitukuko - popanda kuganizira pulogalamu yokhalamo.

Choyamba, phunzirani ngati gawo la maphunziro ena. Maphunziro ake Coursera idzakufikitsani kufupi kuti mumvetsetse njira zoyambira, koma kuti mulowe mu ntchitoyi mokwanira, muyenera kuthera nthawi yochulukirapo. Mwachitsanzo, omaliza maphunziro a ShaD. Kwa zaka zambiri, ShaD anali ndi maphunziro angapo osiyana mwachindunji pakuphunzira makina - pafupifupi, pafupifupi eyiti. Aliyense wa iwo ndi wofunika kwambiri komanso wothandiza, kuphatikizapo maganizo a omaliza maphunziro. 

Kachiwiri, mutha kutenga nawo gawo pama projekiti omenyera komwe muyenera kugwiritsa ntchito algorithm imodzi kapena ina ya ML. Komabe, pali ma projekiti ochepa kwambiri pamsika wachitukuko cha IT: kuphunzira pamakina sikugwiritsidwa ntchito pazinthu zambiri. Ngakhale m'mabanki omwe akuyang'ana mwachangu mwayi wokhudzana ndi ML, owerengeka okha ndi omwe amasanthula deta. Ngati simunathe kulowa nawo limodzi mwamaguluwa, njira yanu yokha ndikuyambitsa polojekiti yanu (komwe, mwina, mudzadziikira nthawi yanu, ndipo izi sizikukhudzana ndi ntchito zolimbana), kapena kuyamba kupikisana nawo. Kaggle.

Zowonadi, gwirizanani ndi anthu ena ammudzi ndikudziyesa nokha pamipikisano zosavuta - makamaka ngati muthandizira luso lanu ndi maphunziro komanso maphunziro omwe atchulidwa pa Coursera. Mpikisano uliwonse umakhala ndi nthawi yake yomalizira - idzakhala yolimbikitsa kwa inu ndikukonzekera dongosolo lofananalo m'makampani a IT. Iyi ndi njira yabwino - yomwe, komabe, imasiyanitsidwa pang'ono ndi njira zenizeni. Pa Kaggle mumapatsidwa deta yokonzedweratu, ngakhale kuti si yangwiro nthawi zonse; musapereke kulingalira za chopereka kwa mankhwala; ndipo chofunika kwambiri, safuna mayankho oyenera kupanga. Ma aligorivimu anu mwina adzagwira ntchito komanso kukhala olondola kwambiri, koma zitsanzo zanu ndi ma code anu adzakhala ngati Frankenstein atasokedwa pamodzi kuchokera kumadera osiyanasiyana - mu polojekiti yopangira, dongosolo lonse lidzagwira ntchito pang'onopang'ono, zidzakhala zovuta kukonzanso ndi kukulitsa (mwachitsanzo, mwachitsanzo, mwachitsanzo, pulojekitiyi idzagwiranso ntchito) chilankhulo ndi ma aligorivimu amawu nthawi zonse amalembedwanso pang'ono pomwe chilankhulo chikukula). Makampani ali ndi chidwi ndi mfundo yakuti ntchito zomwe zatchulidwazi zikhoza kuchitika osati ndi inu nokha (zikuwonekeratu kuti inu, monga wolemba yankho, mungathe kuchita izi), komanso ndi anzanu onse. Kusiyana pakati pa masewera ndi mapulogalamu a mafakitale akukambidwa много, ndipo Kaggle amaphunzitsa ndendende "othamanga" - ngakhale atachita bwino kwambiri, kuwalola kuti adziwe zambiri.

Ndidafotokoza njira ziwiri zachitukuko - maphunziro kudzera pamaphunziro ndi maphunziro "pankhondo", mwachitsanzo pa Kaggle. Pulogalamu yokhalamo ndikuphatikiza njira ziwirizi. Maphunziro ndi masemina pamlingo wa ShaD, komanso mapulojekiti olimbana nawo, akukuyembekezerani.

Source: www.habr.com