Yandex dia manokatra programa fonenana amin'ny fianarana milina ho an'ny mpamorona backend efa za-draharaha. Raha nanoratra betsaka tamin'ny C++/Python ianao ary te hampihatra izany fahalalana izany amin'ny ML, dia hampianatra anao ny fomba fanaovana fikarohana azo ampiharina sy hanome mpanoro hevitra za-draharaha izahay. Hiasa amin'ny serivisy Yandex manan-danja ianao ary hahazo fahaiza-manao amin'ny sehatra toy ny maodely tsipika sy ny fanamafisana ny gradient, rafitra fanolorana, tambajotra neural handinihana sary, lahatsoratra ary feo. Hianatra ny fomba hanombanana araka ny tokony ho izy ny maodely ianao amin'ny fampiasana metrika an-tserasera sy an-tserasera.
Ny faharetan'ny fandaharana dia herintaona, izay ahafahan'ny mpandray anjara miasa ao amin'ny departemantan'ny faharanitan-tsaina sy ny fikarohana ao amin'ny Yandex, ary manatrika lahateny sy seminera. Ny fandraisana anjara dia karamaina ary misy ny asa manontolo andro: 40 ora isan-kerinandro, manomboka ny 1 Jolay amin'ity taona ity. ary haharitra hatraminβny 1 mey.
Ary ankehitriny amin'ny antsipiriany bebe kokoa - momba ny karazana mpihaino andrasantsika, inona ny fizotran'ny asa ary, amin'ny ankapobeny, ny fomba ahafahan'ny manam-pahaizana manokana amin'ny back-end mifindra amin'ny asa ao amin'ny ML.
directionality
Orinasa maro no manana Programa Residency, anisan'izany, ohatra, Google sy Facebook. Izy ireo dia mikendry indrindra ireo manam-pahaizana zandriny sy antonony izay miezaka manao dingana mankany amin'ny fikarohana ML. Ho an'ny mpihaino hafa ny fandaharanay. Manasa ireo mpamorona backend izay efa nahazo traikefa ampy ary mahafantatra tsara fa amin'ny fahaizany dia mila mitodika mankany amin'ny ML izy ireo, mba hahazoana fahaiza-manao azo ampiharina - fa tsy ny fahaizan'ny mpahay siansa - amin'ny famahana ny olan'ny fianarana milina indostrialy. Tsy midika akory izany fa tsy manohana ireo tanora mpikaroka izahay. Nandamina fandaharana manokana ho azy ireo izahay - antsoina hoe Ilya Segalovich, izay ahafahanao miasa amin'ny Yandex.
Aiza no hiasa ny mponina?
Ao amin'ny Departemantan'ny faharanitan-tsaina sy ny fikarohana momba ny milina, ny tenanay dia mamolavola hevitra momba ny tetikasa. Ny loharanon'ny aingam-panahy dia literatiora siantifika, lahatsoratra ary fironana ao amin'ny vondrom-pikarohana. Izaho sy ny mpiara-miasa amiko dia mamakafaka izay novakianay, mijery ny fomba hanatsaranay na hanitarana ny fomba atolotry ny mpahay siansa. Amin'izany fotoana izany, ny tsirairay amintsika dia mandinika ny sehatry ny fahalalana sy ny tombontsoany, mamolavola ny asa mifototra amin'ny sehatra izay heveriny ho manan-danja. Ny hevitra ho an'ny tetikasa dia matetika teraka eo amin'ny fihaonan'ny vokatry ny fikarohana ivelany sy ny fahaiza-manao manokana.
Ity rafitra ity dia tsara satria mamaha ny olana ara-teknolojian'ny serivisy Yandex na dia alohan'ny hivoahany aza. Rehefa miatrika olana ny serivisy iray, dia manatona anay ny solontenany, azo inoana fa haka ny teknolojia efa nomaninay, izay hany sisa tavela dia ny hampiharana tsara ny vokatra. Raha misy zavatra tsy vonona, fara faharatsiny, tadidintsika haingana hoe aiza no ahafahantsika "manomboka mihady" sy izay lahatsoratra hitadiavana vahaolana. Araka ny fantatsika, ny fomba siantifika dia ny mijoro eo an-tsoroky ny goavambe.
Ny hatao
Ao amin'ny Yandex - ary indrindra indrindra eo amin'ny fitantananay - ny sehatra rehetra mifandraika amin'ny ML dia novolavolaina. Ny tanjonay dia ny hanatsara ny kalitaon'ny vokatra isan-karazany, ary izany dia fandrisihana hitsapana ny zava-baovao rehetra. Fanampin'izany, miseho tsy tapaka ireo tolotra vaovao. Noho izany, ny programa lahateny dia ahitana ny sehatra lehibe rehetra (voaporofo tsara) amin'ny fianarana milina amin'ny fampandrosoana indostrialy. Rehefa nanangona ny ampahany tamin'ny taranja aho dia nampiasa ny traikefako tamin'ny fampianarana tao amin'ny Sekolin'ny Famakafakana Data, ary koa ny fitaovana sy ny asan'ny mpampianatra SHAD hafa. Fantatro fa nanao toy izany koa ireo mpiara-miasa tamiko.
Amin'ny volana voalohany, ny fiofanana araka ny fandaharam-pianarana dia mitentina eo amin'ny 30% amin'ny fotoana iasanao, avy eo eo amin'ny 10%. Na izany aza, zava-dehibe ny mahatakatra fa ny fiaraha-miasa amin'ireo maodely ML mihitsy dia hitohy haharitra efatra heny eo ho eo noho ny dingana rehetra mifandraika amin'izany. Anisan'izany ny fanomanana ny backend, ny fandraisana angona, ny fanoratana fantsona ho an'ny fanodinana azy, ny fanatsarana ny kaody, ny fampifanarahana amin'ny fitaovana manokana, sns. Ny injeniera ML dia, raha tianao, dia mpamorona feno stack (tsy misy fanamafisana bebe kokoa amin'ny fianarana milina) , mahay mamaha olana hatramin'ny voalohany ka hatramin'ny farany. Na dia amin'ny modely efa vita aza, dia mety mila manao hetsika maromaro kokoa ianao: ampitoviana amin'ny milina maromaro ny fanatanterahana azy, manomana fampiharana amin'ny endrika tantana, tranomboky, na singa amin'ny serivisy.
Safidin'ny mpianatra
Raha toa ianao ka nieritreritra fa tsara kokoa ny lasa injeniera ML amin'ny fiasana voalohany amin'ny maha-mpamorona backend azy, dia tsy marina izany. Ny fisoratana anarana ao amin'ny ShAD mitovy tsy misy traikefa amin'ny fampiroboroboana serivisy, ny fianarana ary ny fitakiana be dia be eny an-tsena dia safidy tsara. Maro amin'ireo manam-pahaizana Yandex no niafara tamin'ny toerana misy azy amin'izao fotoana izao. Raha misy orinasa vonona hanolotra anao asa eo amin'ny sehatry ny ML avy hatrany aorian'ny fizarana diplaoma dia tokony hanaiky ihany koa ianao. Miezaha hiditra ao amin'ny ekipa tsara miaraka amin'ny mpanoro hevitra efa za-draharaha ary miomΓ na hianatra zavatra maro.
Inona matetika no misakana anao tsy hanao ML?
Raha maniry ny ho injeniera ML ny backender iray, dia afaka misafidy amin'ny sehatra roa amin'ny fampandrosoana izy - tsy miraharaha ny programa momba ny fonenana.
Voalohany, ny fianarana ho ampahany amin'ny fampianarana sasany. Coursera dia hitondra anao hanakaiky kokoa ny fahatakarana ireo teknika fototra, fa raha te hanitrika ny tenanao amin'ny asa amin'ny sehatra ampy ianao dia mila manokana fotoana bebe kokoa amin'izany. Ohatra, nahazo diplaoma avy amin'ny ShAD. Nandritra ny taona maro, ny ShAD dia nanana fampianarana isan-karazany mivantana momba ny fianarana milina - amin'ny salan'isa dia valo eo ho eo. Ny tsirairay amin'izy ireo dia tena manan-danja sy mahasoa, anisan'izany ny hevitry ny nahazo diplaoma.
Faharoa, azonao atao ny mandray anjara amin'ny tetikasa ady izay ilainao hampiharana algorithm ML iray na iray hafa. Na izany aza, vitsy dia vitsy ny tetikasa toy izany eo amin'ny tsenan'ny fampandrosoana IT: tsy ampiasaina amin'ny ankamaroan'ny asa ny fianarana milina. Na dia any amin'ny banky izay mikaroka am-pahavitrihana ny fahafahana mifandray amin'ny ML aza, dia vitsy ihany no mirotsaka amin'ny famakafakana angon-drakitra. Raha tsy afaka nanatevin-daharana ny iray amin'ireo ekipa ireo ianao, ny hany safidy azonao dia ny manomboka ny tetikasanao manokana (izay, azo inoana fa hametraka ny fe-potoanao manokana, ary tsy misy ifandraisany amin'ny asa famokarana ady izany), na manomboka mifaninana amin'ny Kaggle.
Eny tokoa, miaraha amin'ny mpikambana hafa ao amin'ny vondrom-piarahamonina ary andramo ny tenanao amin'ny fifaninanana - indrindra raha manohana ny fahaizanao amin'ny fiofanana sy ireo taranja voalaza ao amin'ny Coursera ianao. Ny fifaninanana tsirairay dia manana fe-potoana - ho famporisihana ho anao izany ary hanomana anao amin'ny rafitra mitovy amin'ny orinasa IT. Ity dia fomba tsara - izay, na izany aza, dia misaraka kely amin'ny dingana tena izy. Amin'ny Kaggle dia omena angon-drakitra efa voaomana mialoha, na dia tsy tonga lafatra foana aza; aza manolotra mieritreritra momba ny fandraisana anjara amin'ny vokatra; ary ny tena zava-dehibe dia tsy mitaky vahaolana mety amin'ny famokarana izy ireo. Ny algorithm-nao dia mety hiasa ary ho tena marina, fa ny modelyo sy ny kaody dia ho tahaka an'i Frankenstein mitambatra avy amin'ny faritra samihafa - amin'ny tetikasa famokarana dia hiasa miadana loatra ny rafitra manontolo, ho sarotra ny manavao sy manitatra (ohatra, Ny algorithm amin'ny fiteny sy feo dia haverina amin'ny ampahany foana rehefa mivoatra ilay fiteny). Ny orinasa dia liana amin'ny hoe ny asa voatanisa dia tsy vitan'ny tenanao ihany (mazava fa ianao, amin'ny maha-mpanoratra ny vahaolana, dia afaka manao izany), fa koa amin'ny mpiara-miasa aminao. Ny maha samy hafa ny fanatanjahan-tena sy ny fandaharana indostrialy no resahina , ary i Kaggle dia manabe ny βatletaβ marina - na dia manao izany tsara aza, mamela azy ireo hahazo traikefa.
Nolazaiko andalana roa mety ho fampandrosoana - ny fiofanana amin'ny alalan'ny fandaharanasa fanabeazana sy ny fiofanana βamin'ny adyβ, ohatra ao amin'ny Kaggle. Ny programa momba ny fonenana dia fitambaran'ireo fomba roa ireo. Famelabelarana sy seminera amin'ny ambaratonga ShAD, ary koa ireo tetikasa tena miady, miandry anao.
Source: www.habr.com