Yandex e bula lenaneo la bolulo thutong ea mochini bakeng sa bahlahisi ba nang le boiphihlelo ba morao-rao. Haeba u ngotse haholo ho C ++/Python 'me u batla ho sebelisa tsebo ena ho ML, joale re tla u ruta mokhoa oa ho etsa lipatlisiso tse sebetsang le ho fana ka baeletsi ba nang le phihlelo. U tla sebetsa lits'ebeletso tsa bohlokoa tsa Yandex 'me u fumane litsebo libakeng tse kang mehlala ea linear le gradient boosting, tsamaiso ea likhothaletso, marang-rang a neural bakeng sa ho hlahloba litšoantšo, mongolo le molumo. U tla boela u ithute ho lekola mefuta ea hau hantle u sebelisa metrics offline le inthaneteng.
Nako ea lenaneo ke selemo se le seng, nakong eo barupeluoa ba tla sebetsa lefapheng la bohlale ba mochine le lefapha la lipatlisiso la Yandex, hammoho le ho ea libokeng le lithupelong. Ho nka karolo ho lefuoa 'me ho kenyelletsa mosebetsi oa nako e tletseng: lihora tse 40 ka beke, ho qala ka la 1 Phupu selemong sena. mme e tla tšoarella ho fihlela la 1 Mots'eanong.
'Me joale ka lintlha tse ling - mabapi le hore na re emetse bamameli ba mofuta ofe, hore na ts'ebetso ea mosebetsi e tla ba efe le, ka kakaretso, hore na setsebi sa morao-rao se ka fetohela joang mosebetsing oa ML.
Tsepamisa maikutlo
Likhamphani tse ngata li na le Mananeo a Bolulo, ho kenyelletsa, mohlala, Google le Facebook. Li shebane haholo le litsebi tsa maemo a tlase le tse mahareng tse lekang ho nka mohato o lebisang ho lipatlisiso tsa ML. Lenaneo la rona ke la bamameli ba fapaneng. Re mema baetsi ba morao-rao ba seng ba fumane phihlelo e lekaneng 'me ba tseba hantle hore ka bokhoni ba bona ba lokela ho fetohela ho ML, ho fumana litsebo tse sebetsang - eseng tsebo ea setsebi sa saense - ho rarolla mathata a ho ithuta mechine ea indasteri. Sena ha se bolele hore ha re tšehetse bafuputsi ba bacha. Re ba hlophisitse lenaneo le arohaneng - e reheletsoeng ka Ilya Segalovich, e leng se u lumellang hore u sebetse Yandex.
Moahi o tla sebetsa hokae?
Lefapheng la Mechini ea Bohlale le Lipatlisiso, rona ka borona re hlahisa mehopolo ea merero. Mohloli o ka sehloohong oa ts'usumetso ke lingoliloeng tsa saense, lingoliloeng le mekhoa sechabeng sa lipatlisiso. ’Na le basebetsi-’moho le ’na re sekaseka seo re se balang, re sheba kamoo re ka ntlafatsang kapa ra atolosa mekhoa e hlahisitsoeng ke bo-rasaense. Ka nako e ts'oanang, e mong le e mong oa rona o ela hloko sebaka sa hae sa tsebo le lithahasello tsa hae, o etsa mosebetsi ho latela libaka tseo a li nkang e le tsa bohlokoa. Maikutlo a morero hangata a tsoaloa mateanong a liphetho tsa lipatlisiso tsa kantle le bokhoni ba motho.
Tsamaiso ena e ntle hobane haholo-holo e rarolla mathata a theknoloji ea litšebeletso tsa Yandex le pele a hlaha. Ha ts'ebeletso e tobane le bothata, baemeli ba eona ba tla ho rona, ho ka etsahala hore ba nke theknoloji eo re seng re e lokisitse, eo ho setseng ho tla sebelisoa ka nepo sehlahisoa. Haeba ho hong ho sa lokisoe, bonyane re tla hopola ka potlako moo re ka "qalang ho cheka" le hore na ke lihlooho life tseo re ka batlang tharollo. Joalokaha re tseba, mokhoa oa saense ke ho ema mahetleng a linatla.
Se o lokelang ho se etsa
Yandex - esita le ka ho khetheha tsamaisong ea rona - libaka tsohle tse amehang tsa ML li ntse li ntlafatsoa. Sepheo sa rona ke ho ntlafatsa boleng ba lihlahisoa tse ngata tse fapaneng, 'me sena se sebetsa e le khothatso ea ho leka ntho e' ngoe le e 'ngoe e ncha. Ho phaella moo, litšebeletso tse ncha li hlaha kamehla. Kahoo lenaneo la lipuo le na le libaka tsohle tsa bohlokoa (tse tiisitsoeng hantle) tsa ho ithuta mochine ho nts'etsopele ea indasteri. Ha ke hlophisa karolo ea ka ea thupelo, ke sebelisitse phihlelo ea ka ea ho ruta Sekolong sa Tlhahlobo ea Boitsebiso, hammoho le lisebelisoa le mosebetsi oa matichere a mang a SHAD. Kea tseba hore basebetsi-’moho le ’na ba ile ba etsa se tšoanang.
Likhoeling tsa pele, koetliso ho latela lenaneo la thupelo e tla nka hoo e ka bang 30% ea nako ea hau ea ho sebetsa, ebe e ka ba 10%. Leha ho le joalo, ho bohlokoa ho utloisisa hore ho sebetsa le mefuta ea ML ka botsona ho tla tsoela pele ho nka ka tlase ho makhetlo a mane ho feta lits'ebetso tsohle tse amanang. Tsena li kenyelletsa ho lokisa backend, ho amohela data, ho ngola phaephe bakeng sa ho e lokisa esale pele, ho ntlafatsa khoutu, ho ikamahanya le lisebelisoa tse itseng, joalo-joalo Moenjiniere oa ML ke, haeba u rata, moqapi oa li-full-stack (feela ka khatiso e kholo ea ho ithuta mochine) , ea khonang ho rarolla bothata ho tloha qalong ho fihlela qetellong. Leha o na le mohlala o lokiselitsoeng, o kanna oa hloka ho etsa liketso tse ling tse 'maloa: ho tsamaisana le ts'ebetso ea eona ho metjhini e mengata, ho lokisa ts'ebetsong ka mokhoa oa ho tšoara, laeborari kapa likarolo tsa ts'ebeletso ka boeona.
Khetho ea baithuti
Haeba u ne u le tlas'a maikutlo a hore ho molemo ho ba moenjiniere oa ML ka ho qala ka ho sebetsa joaloka moqapi oa morao-rao, sena hase 'nete. Ho ingolisa ho ShaD e tšoanang ntle le boiphihlelo ba 'nete ba ho nts'etsapele lits'ebeletso, ho ithuta le ho ba le tlhokeho e fetisisang' marakeng ke khetho e ntle haholo. Litsebi tse ngata tsa Yandex li ile tsa qetella li le maemong a bona a hona joale ka tsela ena. Haeba k'hamphani efe kapa efe e ikemiselitse ho u fa mosebetsi tšimong ea ML hang ka mor'a ho fumana mangolo, u lokela ho amohela kopo le uena. Leka ho kena sehlopheng se setle le moeletsi ea nang le phihlelo 'me u itokisetse ho ithuta ho hongata.
Hangata ke eng e u thibelang ho etsa ML?
Haeba motho ea ka morao a lakatsa ho ba moenjiniere oa ML, a ka khetha likarolong tse peli tsa tsoelo-pele - ntle le ho nahana ka lenaneo la bolulo.
Taba ea pele, ho ithuta e le karolo ea thupelo e itseng. Coursera e tla u atametsa ho utloisisa mekhoa ea mantlha, empa ho ikakhela ka setotsoana mosebetsing ka tekanyo e lekaneng, o hloka ho qeta nako e ngata ho eona. Ka mohlala, ba fumane lengolo la ShaD. Ho theosa le lilemo, ShaD e bile le palo e fapaneng ea lithuto ka kotloloho mabapi le ho ithuta ka mochini - ka karolelano, tse ka bang robeli. E 'ngoe le e' ngoe ea tsona e bohlokoa haholo ebile e na le thuso, ho kenyelletsa le maikutlo a ba fumaneng mangolo.
Taba ea bobeli, o ka nka karolo mererong ea ntoa moo o hlokang ho kenya ts'ebetsong algorithm e le 'ngoe ea ML. Leha ho le joalo, ho na le merero e fokolang haholo 'marakeng oa nts'etsopele ea IT: ho ithuta ka mochine ha ho sebelisoe mesebetsing e mengata. Esita le libanka tse ntseng li hlahloba ka mafolofolo menyetla e amanang le ML, ke ba seng bakae feela ba kenang tlhahlobo ea lintlha. Haeba u sa khone ho kenela se seng sa lihlopha tsena, khetho ea hau feela ke ho qala projeke ea hau (moo, ho ka etsahalang, u tla ipehela nako ea nako, 'me sena ha se amane hakaalo le mesebetsi ea tlhahiso ea ntoa), kapa u qale ho qothisana lehlokoa le bona. Kaggle.
Ka 'nete, sebelisana le litho tse ling tsa sechaba 'me u leke litlholisano - haholo-holo haeba u tšehetsa tsebo ea hau ka koetliso le lithuto tse boletsoeng ho Coursera. Tlholisano e 'ngoe le e 'ngoe e na le nako ea ho qetela - e tla sebetsa joalo ka khothatso ho uena le ho u lokisetsa tsamaiso e tšoanang lik'hamphaning tsa IT. Ena ke tsela e ntle - eo, leha ho le joalo, e boetse e arohane hanyane le lits'ebetso tsa 'nete. Ho Kaggle u fuoa data esale pele, leha e se kamehla e phethahetseng; u se ke ua fana ka ho nahana ka monehelo ho sehlahisoa; mme sa bohlokwa ka ho fetisisa, ha di hloke ditharollo tse loketseng tlhahiso. Li-algorithms tsa hau li ka 'na tsa sebetsa' me li nepahetse haholo, empa mehlala ea hau le khoutu li tla tšoana le Frankenstein e kopantsoeng hammoho ho tloha likarolong tse fapaneng - morerong oa tlhahiso, mohaho oohle o tla sebetsa butle haholo, ho tla ba thata ho ntlafatsa le ho atolosa (mohlala; puo le mantsoe li tla lula li ngoloa bocha ha puo e ntse e hola). Likhamphani li thahasella taba ea hore mosebetsi o thathamisitsoeng o ka etsoa eseng feela ke uena (ho hlakile hore uena, joaloka mongoli oa tharollo, u ka etsa sena), empa hape le ke basebetsi-'moho le uena. Phapang pakeng tsa lipapali le mananeo a indasteri e tšohloa , 'me Kaggle o ruta "baatlelete" ka nepo - leha e etsa hantle haholo, e ba lumella ho fumana boiphihlelo bo itseng.
Ke hlalositse litsela tse peli tse ka khonehang tsa nts'etsopele - koetliso ka mananeo a thuto le koetliso "ho loana", mohlala ka Kaggle. Lenaneo la bolulo ke motsoako oa mekhoa ena e 'meli. Lipuo le li-seminar boemong ba ShaD, hammoho le merero e loantšanang e le kannete, li u letetse.
Source: www.habr.com