Ke wehe nei ʻo Yandex i kahi papahana noho ma ke aʻo ʻana i nā mīkini no nā mea hoʻomohala hope loa. Inā ua kākau nui ʻoe ma C++/Python a makemake ʻoe e hoʻopili i kēia ʻike i ML, a laila e aʻo mākou iā ʻoe pehea e hana ai i ka noiʻi kūpono a hāʻawi i nā kumu aʻoaʻo akamai. E hana ʻoe ma nā lawelawe Yandex koʻikoʻi a loaʻa nā mākau ma nā wahi e like me nā hiʻohiʻona linear a me ka hoʻonui ʻana i ka gradient, nā ʻōnaehana paipai, nā neural network no ka nānā ʻana i nā kiʻi, kikokikona a me ke kani. E aʻo nō ʻoe pehea e loiloi pono ai i kāu mau kumu hoʻohālike me ka hoʻohana ʻana i nā metric offline a me ka pūnaewele.
ʻO ka lōʻihi o ka papahana he hoʻokahi makahiki, kahi e hana ai nā poʻe i ka mīkini naʻauao a me ke keʻena noiʻi o Yandex, a me ka hele ʻana i nā haʻawina a me nā seminar. Uku ʻia ke komo ʻana a pili i ka hana manawa piha: 40 mau hola i kēlā me kēia pule, e hoʻomaka ana i Iulai 1 o kēia makahiki. a hiki i Mei 1.
A i kēia manawa i nā kikoʻī hou aku - e pili ana i ke ʻano o ka lehulehu a mākou e kali nei, he aha ke kaʻina hana a, ma ka laulā, pehea e hiki ai i kahi loea hope ke hoʻololi i kahi ʻoihana ma ML.
Kālele ana
Nui nā ʻoihana i nā Polokalamu Noho, e like me Google a me Facebook. Kuhi nui ʻia lākou i nā loea ʻōpio a me waena o ka pae e hoʻāʻo nei e hana i kahi hana i ka noiʻi ML. ʻO kā mākou papahana no nā anaina ʻokoʻa. Ke kono nei mākou i nā mea hoʻomohala backend i loaʻa mua i ka ʻike a ʻike maopopo i ko lākou mākaukau pono lākou e neʻe i ka ML, e loaʻa ai nā mākau hana - a ʻaʻole nā mākau o kahi ʻepekema - i ka hoʻoponopono ʻana i nā pilikia aʻo mīkini ʻenehana. ʻAʻole kēia manaʻo ʻaʻole mākou e kākoʻo i nā mea noiʻi ʻōpio. Ua hoʻonohonoho mākou i kahi papahana kaʻawale no lākou - i kapa ʻia ma hope o Ilya Segalovich, kahi e hiki ai iā ʻoe ke hana ma Yandex.
Ma hea kahi e hana ai ka mea noho?
Ma ke Keʻena ʻOihana Mīkini a me ka Noʻonoʻo, hoʻomohala mākou i nā manaʻo papahana. ʻO ke kumu nui o ka hoʻoulu ʻana ʻo ia ka palapala ʻepekema, nā ʻatikala, a me nā ʻano i loko o ke kaiāulu noiʻi. Ke kālailai nei au me koʻu mau hoa i ka mea a mākou i heluhelu ai, e nānā ana pehea e hiki ai iā mākou ke hoʻomaikaʻi a hoʻonui paha i nā ʻano hana a ka poʻe ʻepekema. I ka manawa like, e noʻonoʻo kēlā me kēia o mākou i kāna wahi o ka ʻike a me nā makemake, hoʻokumu i ka hana e pili ana i nā wahi āna i manaʻo ai he mea nui. Hānau pinepine ʻia ka manaʻo no kahi papahana ma ke kikowaena o nā hopena o ka noiʻi waho a me nā mākaukau ponoʻī.
Maikaʻi kēia ʻōnaehana no ka mea e hoʻoponopono nui i nā pilikia ʻenehana o nā lawelawe Yandex ma mua o ko lākou ala ʻana. Ke kū nei kahi lawelawe i kahi pilikia, hele mai kāna mau ʻelele iā mākou, ʻoi aku ka nui o ka lawe ʻana i nā ʻenehana a mākou i hoʻomākaukau ai, ʻo nā mea a pau e hoʻohana pono ʻia i ka huahana. Inā ʻaʻole i mākaukau kekahi mea, e hoʻomanaʻo koke mākou i kahi e hiki ai iā mākou ke "hoʻomaka e ʻeli" a ma nā ʻatikala e ʻimi ai i kahi hopena. E like me kā mākou ʻike, ʻo ke ala ʻepekema ʻo ke kū ʻana ma luna o nā poʻohiwi o nā pilikua.
He aha ka hana
Ma Yandex - a ʻo ia hoʻi i kā mākou hoʻokele - ke kūkulu ʻia nei nā wahi kūpono āpau o ML. ʻO kā mākou pahuhopu ka hoʻomaikaʻi ʻana i ka maikaʻi o nā ʻano huahana like ʻole, a lilo kēia i mea hoʻoikaika e hoʻāʻo i nā mea hou a pau. Eia hou, puka mau nā lawelawe hou. No laila, aia ka papahana haʻi'ōlelo i nā wahi kī a pau (hōʻoia maikaʻi) o ke aʻo ʻana i ka mīkini i ka hoʻomohala ʻenehana. I ka hōʻuluʻulu ʻana i kaʻu ʻāpana o ka papa, ua hoʻohana au i kaʻu ʻike aʻo ʻana ma ke Kula ʻIke ʻIkepili, a me nā mea a me nā hana a nā kumu SHAD ʻē aʻe. ʻIke wau ua hana like koʻu mau hoa hana.
I nā mahina mua, ʻo ka hoʻomaʻamaʻa ʻana e like me ka papahana papa e helu ʻia ma kahi o 30% o kāu manawa hana, a laila ma kahi o 10%. Eia nō naʻe, he mea nui e hoʻomaopopo i ka hana ʻana me nā hiʻohiʻona ML ponoʻī e hoʻomau i ka lawe ʻana ma kahi o ʻehā mau manawa ma mua o nā kaʻina hana pili. Hoʻopili kēia i ka hoʻomākaukau ʻana i ka hope, ka loaʻa ʻana o ka ʻikepili, ke kākau ʻana i kahi pipeline no ka hoʻomaʻamaʻa mua ʻana iā ia, ka hoʻonui ʻana i ka code, ka hoʻololi ʻana i nā lako kikoʻī, a pēlā aku. , hiki ke hoʻoponopono i kahi pilikia mai ka hoʻomaka a hiki i ka pau. ʻOiai me kahi hiʻohiʻona i hoʻomākaukau ʻia, pono paha ʻoe e hana i nā hana hou aʻe: e hoʻohālikelike i kāna hoʻokō ʻana ma waena o nā mīkini, e hoʻomākaukau i kahi hoʻokō ma ke ʻano o kahi lima, kahi waihona, a i ʻole nā ʻāpana o ka lawelawe ponoʻī.
Koho haumāna
Inā ʻoe ma lalo o ka manaʻo ʻoi aku ka maikaʻi o ka lilo ʻana i ʻenekinia ML ma ka hana mua ʻana ma ke ʻano he mea hoʻomohala hope, ʻaʻole ʻoiaʻiʻo kēia. ʻO ka hoʻopaʻa inoa ʻana i ka ShAD hoʻokahi me ka ʻike ʻole maoli i ka hoʻomohala ʻana i nā lawelawe, ke aʻo ʻana a me ka lilo ʻana i koi nui ma ka mākeke he koho maikaʻi loa. Nui nā loea Yandex i hoʻopau i ko lākou kūlana i kēia manawa. Inā mākaukau kekahi hui e hāʻawi iā ʻoe i kahi hana ma ke kula ML ma hope koke o ka puka ʻana, pono paha ʻoe e ʻae i ka hāʻawi. E hoʻāʻo e komo i kahi hui maikaʻi me kahi kumu aʻoaʻo akamai a mākaukau e aʻo i nā mea he nui.
He aha ka mea e pale ai iā ʻoe mai ka hana ML?
Inā makemake ka backender e lilo i ʻenekinia ML, hiki iā ia ke koho mai ʻelua mau wahi o ka hoʻomohala ʻana - me ka nānā ʻole i ka papahana noho.
ʻO ka mea mua, e aʻo ma ke ʻano he ʻāpana o kekahi papa hoʻonaʻauao. E hoʻokokoke ʻo Coursera iā ʻoe i ka hoʻomaopopo ʻana i nā ʻenehana kumu, akā no ka hoʻomaʻamaʻa ʻana iā ʻoe iho i ka ʻoihana i ka lawa kūpono, pono ʻoe e hāʻawi i ka manawa hou aku iā ia. No ka laʻana, puka mai ShAD. I loko o nā makahiki, he helu ʻokoʻa nā papa aʻo ʻo ShAD ma ke aʻo ʻana i ka mīkini - ma ka awelika, ma kahi o ʻewalu. He mea nui a pono kēlā me kēia o lākou, me ka manaʻo o nā haumāna puka.
ʻO ka lua, hiki iā ʻoe ke komo i nā papahana hakakā kahi āu e pono ai e hoʻokō i hoʻokahi a i ʻole ML algorithm. Eia nō naʻe, liʻiliʻi loa ia mau papahana ma ka mākeke hoʻomohala IT: ʻaʻole hoʻohana ʻia ke aʻo ʻana i ka mīkini i ka hapa nui o nā hana. ʻOiai i loko o nā panakō e ʻimi nei i nā manawa e pili ana i ka ML, he kakaikahi wale nō ka poʻe i hana i ka ʻikepili ʻikepili. Inā ʻaʻole hiki iā ʻoe ke hui pū me kekahi o kēia mau hui, ʻo kāu koho wale nō e hoʻomaka i kāu papahana ponoʻī (kahi, ʻoi aku paha, e hoʻonohonoho ʻoe i kāu mau manawa ponoʻī, a he mea liʻiliʻi kēia me nā hana hana kaua), a i ʻole e hoʻomaka i ka hoʻokūkū. Kaggle.
ʻOiaʻiʻo, hui pū me nā lālā kaiāulu ʻē aʻe a hoʻāʻo iā ʻoe iho i nā hoʻokūkū - ʻoiai inā hoʻihoʻi ʻoe i kāu mau mākau me ke aʻo ʻana a me nā papa i ʻōlelo ʻia ma Coursera. Loaʻa i kēlā me kēia hoʻokūkū ka palena manawa - e lilo ia i mea hoʻoikaika no ʻoe a hoʻomākaukau iā ʻoe no kahi ʻōnaehana like i nā hui IT. He ala maikaʻi kēia - akā naʻe, ua hoʻokaʻawale iki ʻia mai nā kaʻina hana maoli. Ma Kaggle ua hāʻawi ʻia ʻoe i ka hana mua, ʻaʻole naʻe i kūpono mau, ʻikepili; mai hāʻawi e noʻonoʻo e pili ana i ka hāʻawi ʻana i ka huahana; a ʻo ka mea nui loa, ʻaʻole lākou e koi i nā hoʻonā kūpono no ka hana ʻana. E hana paha kāu algorithms a pololei loa, akā ʻo kāu mau hiʻohiʻona a me kāu code e like me Frankenstein i humuhumu ʻia mai nā ʻāpana like ʻole - ma kahi papahana hana, e holo mālie ka hale holoʻokoʻa, paʻakikī ke hoʻonui a hoʻonui (e laʻa, 'Ōlelo a me ka leo algorithm e kākau hou 'ia kekahi hapa ke ulu ka 'ōlelo). Makemake nā ʻoihana i ka hana i helu ʻia ʻaʻole hiki iā ʻoe ke hana wale iā ʻoe iho (ua maopopo iā ʻoe, ma ke ʻano he mea kākau o ka hopena, hiki ke hana i kēia), akā na kekahi o kāu mau hoa hana. Kūkākūkā ʻia ka ʻokoʻa ma waena o nā haʻuki a me nā papahana ʻoihana , a hoʻonaʻauao pololei ʻo Kaggle i nā "ʻelele" - ʻoiai inā hana maikaʻi loa ia, e ʻae iā lākou e loaʻa kekahi ʻike.
Ua wehewehe au i ʻelua laina o ka hoʻomohala ʻana - ka hoʻomaʻamaʻa ʻana ma o nā papahana hoʻonaʻauao a me ka hoʻomaʻamaʻa "i ke kaua", no ka laʻana ma Kaggle. ʻO ka papahana noho kahi hui o kēia mau ala ʻelua. ʻO nā haʻawina a me nā seminar ma ka pae ShAD, a me nā papahana hakakā maoli, ke kali nei iā ʻoe.
Source: www.habr.com