Mmemme obibi Yandex, ma ọ bụ ka onye azụ azụ nwere ahụmahụ nwere ike isi bụrụ onye injinia ML

Yandex na-emepe mmemme obibi na mmụta igwe maka ndị mmepe azụ azụ nwere ahụmahụ. Ọ bụrụ na ịdela ọtụtụ ihe na C ++/Python ma chọọ itinye ihe ọmụma a na ML, mgbe ahụ, anyị ga-akụziri gị otu esi eme nchọpụta bara uru ma nye ndị ndụmọdụ nwere ahụmahụ. Ị ga-arụ ọrụ na ọrụ Yandex isi wee nweta nkà na mpaghara dị ka ụdị linear na nkwalite gradient, usoro nkwanye, netwọk akwara maka nyochaa onyonyo, ederede na ụda. Ị ga-amụtakwa ka esi enyocha ụdị gị nke ọma site na iji metrik na-anọghị n'ịntanetị na n'ịntanetị.

Ogologo oge nke mmemme ahụ bụ otu afọ, mgbe ndị sonyere ga-arụ ọrụ na ngalaba ọgụgụ isi na ngalaba nyocha nke Yandex, yana ịga nkuzi na ọmụmụ ihe. A na-akwụ ụgwọ nsonye yana gụnyere ọrụ oge niile: awa 40 kwa izu, malite na Julaị 1 nke afọ a. Ngwa emepeela ugbu a ma ga-adịgide ruo Mee 1. 

Ma ugbu a na nkọwa ndị ọzọ - banyere ụdị ndị na-ege ntị anyị na-echere, ihe usoro ọrụ ga-abụ na, n'ozuzu, otú onye ọkachamara azụ azụ nwere ike isi gbanwee gaa ọrụ na ML.

Lekwasị anya

Ọtụtụ ụlọ ọrụ nwere Mmemme obibi, gụnyere, ọmụmaatụ, Google na Facebook. A na-ezubere ha karịsịa maka ndị ọkachamara n'obere na ndị nọ n'ọkwa nke na-agbalị ime nzọụkwụ n'ihu nyocha ML. Ihe omume anyị bụ maka ndị na-ege ntị dị iche iche. Anyị na-akpọ ndị mmepe azụ azụ bụ ndị nwetagoro ahụmịhe zuru oke ma mara n'ezie na na ikike ha kwesịrị ịgbanwe gaa na ML, iji nweta nka bara uru - ọ bụghị nkà nke ọkà mmụta sayensị - na-edozi nsogbu mmụta igwe ụlọ ọrụ. Nke a apụtaghị na anyị anaghị akwado ndị na-eme nchọpụta na-eto eto. Anyị haziri ha mmemme dị iche - adịchaghị Aha ya bụ Ilya Segalovich, nke na-enye gị ohere ịrụ ọrụ na Yandex.

Ebee ka onye bi ga-arụ ọrụ?

Na ngalaba ọgụgụ isi na nyocha igwe, anyị onwe anyị na-azụlite echiche ọrụ. Isi mmalite nke mkpali bụ akwụkwọ sayensị, akụkọ, na usoro na mpaghara nyocha. Mụ na ndị ọrụ ibe m na-enyocha ihe anyị na-agụ, na-eleba anya ka anyị nwere ike imeziwanye ma ọ bụ gbasaa usoro ndị ọkà mmụta sayensị tụrụ aro. N'otu oge ahụ, onye ọ bụla n'ime anyị na-eburu n'uche mpaghara nke ihe ọmụma na mmasị ya, na-emepụta ọrụ ahụ dabere na akụkụ ndị ọ na-ewere dị ka ihe dị mkpa. A na-amụkarị echiche maka oru ngo na nkwụsị nke nsonaazụ nyocha nke mpụga na ikike nke onwe ya.

Usoro a dị mma n'ihi na ọ na-edozi nsogbu nkà na ụzụ nke ọrụ Yandex ọbụna tupu ha ebili. Mgbe ọrụ chere nsogbu ihu, ndị nnọchianya ya na-abịakwute anyị, o yikarịrị ka ha ga-ewere teknụzụ ndị anyị kwadebere, nke naanị ihe fọdụrụ bụ ka etinyere ya nke ọma na ngwaahịa ahụ. Ọ bụrụ na ihe adịghị njikere, ọ dịkarịa ala, anyị ga-echeta ngwa ngwa ebe anyị nwere ike "ịmalite igwu ala" na nke isiokwu anyị ga-achọ ngwọta. Dị ka anyị maara, usoro sayensị bụ iguzo n'ubu ndị dike.

Ihe a ga-eme

Na Yandex - na ọbụna kpọmkwem na njikwa anyị - a na-emepụta mpaghara niile dị mkpa nke ML. Ebumnuche anyị bụ ịkwalite ogo ngwaahịa dị iche iche, nke a na-ejekwa ozi dị ka ihe mkpali iji nwalee ihe ọ bụla ọhụrụ. Na mgbakwunye, ọrụ ọhụrụ na-apụta mgbe niile. Ya mere mmemme nkuzi ahụ nwere isi ihe niile (egosipụtara nke ọma) mpaghara mmụta igwe na mmepe ụlọ ọrụ. Mgbe m na-achịkọta akụkụ m nke usoro ọmụmụ, ejiri m ahụmahụ nkuzi m na Ụlọ Akwụkwọ nke Data Analysis, yana ihe na ọrụ nke ndị nkụzi SHAD ndị ọzọ. Ama m na ndị ọrụ ibe m mere otu ihe ahụ.

N'ime ọnwa mbụ, ọzụzụ dabere na usoro ihe omume ga-aza ihe dịka 30% nke oge ọrụ gị, mgbe ahụ ihe dịka 10%. Agbanyeghị, ọ dị mkpa ịghọta na ịrụ ọrụ na ụdị ML n'onwe ha ga-aga n'ihu na-ewe ihe dị ka okpukpu anọ karịa usoro niile metụtara. Ndị a gụnyere ịkwadebe azụ azụ, ịnata data, ide pipeline maka ịhazi ya, koodu kachasị mma, ime mgbanwe na ngwaike akọwapụtara, wdg. Onye injinia ML bụ, ọ bụrụ na-amasị gị, onye nrụpụta zuru oke (naanị na-emesi ike na mmụta igwe) , ike dozie nsogbu site na mmalite ruo n'isi. Ọbụlagodi na ụdị emebere emebere, ọ ga-adị mkpa ka ị mee ọtụtụ omume ndị ọzọ: megharịa ogbugbu ya n'ofe igwe dị iche iche, dozie mmejuputa n'ụdị aka, ọba akwụkwọ, ma ọ bụ akụkụ nke ọrụ ahụ n'onwe ya.

Nhọrọ nwata akwụkwọ
Ọ bụrụ na ị nọ n'okpuru echiche na ọ ka mma ịghọ onye injinia ML site na mbụ ịrụ ọrụ dị ka onye nrụpụta azụ, nke a abụghị eziokwu. Ịdenye aha na otu ShaAD na-enweghị ezigbo ahụmịhe na mmepe ọrụ, mmụta na ịbụ onye a na-achọsi ike na ahịa bụ nhọrọ magburu onwe ya. Ọtụtụ ndị ọkachamara Yandex kwụsịrị n'ọnọdụ ha ugbu a n'ụzọ dị otú a. Ọ bụrụ na ụlọ ọrụ ọ bụla dị njikere ịnye gị ọrụ na ngalaba ML ozugbo ị gụsịrị akwụkwọ, ị ga-anabatakwa onyinye ahụ. Gbalịa ịbanye na otu ezigbo onye ndụmọdụ nwere ahụmahụ wee dịrị njikere ịmụta ọtụtụ ihe.

Kedu ihe na-egbochi gị ime ML?

Ọ bụrụ na onye na-azụ ahịa na-achọ ịghọ onye injinia ML, ọ nwere ike ịhọrọ n'akụkụ abụọ nke mmepe - na-eburu n'uche mmemme obibi.

Mbụ, mụọ ihe dịka akụkụ nke ụfọdụ nkuzi. Ihe nkuzi a Coursera ga-eme ka ị bịaruo nso ịghọta usoro ndị bụ isi, mana iji tinye onwe gị n'ọrụ ahụ nke ọma, ịkwesịrị itinyekwu oge na ya. Dịka ọmụmaatụ, gụsịrị akwụkwọ na SHAD. N'ime afọ ndị gafeworonụ, ShaAD nwere ọnụọgụ ọmụmụ dị iche iche ozugbo na mmụta igwe - na nkezi, ihe dị ka asatọ. Onye ọ bụla n'ime ha dị ezigbo mkpa ma baa uru, gụnyere n'echiche nke ndị gụsịrị akwụkwọ. 

Nke abuo, ị nwere ike isonye na ọgụ ọgụ ebe ị chọrọ mejuputa otu ma ọ bụ ọzọ ML algọridim. Agbanyeghị, ọrụ dị otú ahụ dị ole na ole n'ahịa mmepe IT: anaghị eji mmụta igwe eme ihe n'ọtụtụ ọrụ. Ọbụna n'ụlọ akụ ndị na-arụsi ọrụ ike na-enyocha ohere metụtara ML, ọ bụ naanị ole na ole na-etinye aka na nyocha data. Ọ bụrụ na ịnweghị ike ịbanye n'otu n'ime otu ndị a, naanị nhọrọ gị bụ ịmalite ọrụ nke gị (ebe, eleghị anya, ị ga-edozi oge nke gị, nke a enweghịkwa ihe jikọrọ ya na ọrụ mmepụta ọgụ), ma ọ bụ malite ịsọ mpi. Kaggle.

N'ezie, soro ndị otu obodo jikọọ aka wee nwalee onwe gị na asọmpi dịtụ mfe - karịsịa ma ọ bụrụ na ị kwadoro nkà gị na ọzụzụ na nkuzi ndị a kpọtụrụ aha na Coursera. Asọmpi ọ bụla nwere oge ngwụcha - ọ ga-abụ ihe agbamume maka gị wee kwado gị maka usoro yiri ya na ụlọ ọrụ IT. Nke a bụ ụzọ dị mma - nke, Otú ọ dị, dịkwa ntakịrị ịgba alụkwaghịm site na ezigbo usoro. Na Kaggle, a na-enye gị usoro nhazi, n'agbanyeghị na ọ bụghị mgbe niile zuru oke, data; enyela echiche banyere ntinye aka na ngwaahịa; na nke kachasị mkpa, ha anaghị achọ ngwọta kwesịrị ekwesị maka mmepụta. Algọridim gị nwere ike ịrụ ọrụ ma bụrụ nke ọma, mana ụdị gị na koodu gị ga-adị ka Frankenstein jikọtara ọnụ site n'akụkụ dị iche iche - na ọrụ mmepụta, usoro ahụ dum ga-arụ ọrụ nwayọ nwayọ, ọ ga-esi ike imelite na ịgbasa (dịka ọmụmaatụ. algọridim asụsụ na olu ga na-edegharị akụkụ ụfọdụ ka asụsụ na-etolite). Ụlọ ọrụ nwere mmasị n'eziokwu na ọrụ ahụ edepụtara nwere ike ime ọ bụghị naanị gị onwe gị (o doro anya na gị, dị ka onye edemede nke ngwọta, nwere ike ime nke a), kamakwa site na onye ọ bụla n'ime ndị ọrụ ibe gị. A na-atụle ọdịiche dị n'etiti egwuregwu na mmemme mmepụta ihe много, na Kaggle na-akụziri "ndị na-eme egwuregwu" kpọmkwem - ọ bụrụgodị na ọ na-eme ya nke ọma, na-enye ha ohere inweta ahụmahụ ụfọdụ.

Akọwara m ahịrị mmepe abụọ enwere ike - ọzụzụ site na mmemme mmụta na ọzụzụ “na ọgụ”, dịka ọmụmaatụ na Kaggle. Mmemme obibi bụ ngwakọta nke ụzọ abụọ a. Nkuzi na nzukọ ọmụmụ na ọkwa SHAD, yana ọrụ ọgụ n'ezie, na-echere gị.

isi: www.habr.com