🥇Te whakamahi i te ako miihini i Mail.ru Mail

I runga i aku korero i Highload++ me DataFest Minsk 2019.

Mo te nuinga o enei ra, ko te mēra tetahi waahanga nui o te ao ipurangi. Ma tana awhina, ka whakahaerehia e matou nga reta pakihi, te rongoa i nga momo korero nui katoa e pa ana ki nga putea, nga rahui hotera, te tuku ota me te maha atu. I waenganui o 2018, i hangaia e matou he rautaki hua mo te whanaketanga mēra. Me pehea te ahua o nga reta hou?

Me mēra atamai, ara, he awhina i nga kaiwhakamahi ki te whakatere i te piki haere o nga korero: tātari, hanganga me te whakarato i te huarahi tino pai. Ko ia tonu whai hua, ka taea e koe te whakaoti i nga momo mahi i roto i to pouaka mēra, hei tauira, te utu whaina (he mahi e kino ana, ka whakamahia e au). A, i te wa ano, ko te tikanga, me whakarato te mēra i te whakamarumaru korero, te tapahi i te mokowhiti me te tiaki i te hacking, ara, kia haumaru.

Ko enei waahi ka tautuhi i te maha o nga raruraru matua, he maha o enei ka taea te whakaoti tika ma te whakamahi i te ako miihini. Anei nga tauira o nga ahuatanga o mua kua whakawhanakehia hei waahanga o te rautaki - kotahi mo ia ahunga.

Whakautu Smart. He mahinga whakautu atamai to Mēra. Ka tātarihia e te whatunga neural te tuhinga o te reta, ka mohio ki tona tikanga me tona kaupapa, na reira ka tukuna nga whiringa whakautu e toru e tika ana: he pai, he kino me te koretake. Ka awhina tenei ki te whakaora i te wa i te wa e whakautu ana i nga reta, me te whakautu i te nuinga o nga wa kaore i te paerewa me te rorirori.
Whakarōpū īmērae pa ana ki nga ota i nga toa ipurangi. He maha nga wa ka hoko maatau ipurangi, a, hei tikanga, ka taea e nga toa te tuku imeera maha mo ia ota. Hei tauira, mai i AliExpress, te ratonga nui rawa atu, he maha nga reta ka uru mai mo te ota kotahi, a ka tatauhia e matou i roto i te keehi kapeka ka eke to raatau nama ki te 29. me etahi atu korero mai i te tuhinga me te whakarōpū i nga reta katoa ki te miro kotahi. Ka whakaatu hoki matou i nga korero taketake mo te ota i roto i te pouaka motuhake, he maamaa ake te mahi me tenei momo imeera.
Anti-hītinihanga. Ko te hītinihanga he momo tino kino o te imeera, me te awhina o nga kaiwhaiwhai ki te tiki korero putea (tae atu ki nga kaari putea a te kaiwhakamahi) me nga takiuru. Ko enei reta he rite ki nga reta i tukuna mai e te ratonga, tae atu ki te tirohanga. Na reira, ma te awhina o Rorohiko Tirohanga, ka mohio matou ki nga waitohu me te ahua hoahoa o nga reta mai i nga kamupene nui (hei tauira, Mail.ru, Sber, Alfa) me te whai whakaaro ki tenei me nga tuhinga me etahi atu waahanga kei roto i o maatau tohu tohu mo te mokowhiti me te hītinihanga. .

Te ako miihini

He iti mo te ako miihini i roto i te imeera i te nuinga. Ko te mēra he punaha tino utaina: ko te toharite o te 1,5 piriona reta ia ra e haere ana ma o maatau kaitoro mo te 30 miriona nga kaiwhakamahi DAU. Tata ki te 30 nga punaha ako miihini e tautoko ana i nga mahi me nga ahuatanga katoa.

Ka haere ia reta ki roto i te paipa whakarōpūtanga katoa. Tuatahi ka tapahia e matou te mokowhiti me te waiho i nga imeera pai. He maha nga wa kaore nga kaiwhakamahi e kite i te mahi a te antispam, na te mea ko te 95-99% o te mokowhiti kaore e mutu ki te kōpaki e tika ana. Ko te whakamohiotanga mo te Spam tetahi waahanga tino nui o ta maatau punaha, me te mea tino uaua, na te mea kei te waahi o te anti-spam he urutau tonu i waenga i nga punaha parepare me te whakaeke, e whakarato ana i te wero miihini tonu mo to taatau roopu.

I muri mai, ka wehea e matou nga reta mai i nga tangata me nga robots. Ko nga imeera mai i nga taangata te mea nui, no reira ka whakaratohia e matou nga ahuatanga penei i te Whakautu Ataata mo ratou. Kua wehea nga reta mai i nga robots ki nga wahanga e rua: tauwhitinga - he reta nui enei mai i nga ratonga, hei tauira, nga whakapumautanga o nga hokonga, nga rahui hotera ranei, nga putea me nga korero - he panui pakihi enei, he utu.

E whakapono ana matou he rite te hiranga o nga imeera tauwhitinga ki nga reta whaiaro. Me noho tata ratou, na te mea me tere tonu taatau ki te rapu korero mo te ota, te rahui tikiti rererangi ranei, a ka pau te wa ki te rapu i enei reta. Na reira, mo te waatea, ka wehewehea e matou ki nga waahanga matua e ono: te haerenga, nga ota, nga putea, nga tikiti, nga rehitatanga me te mutunga, nga whaina.

Ko nga reta korero ko te roopu nui rawa atu, he iti ake pea te mea nui, kaore e hiahiatia he whakautu wawe, na te mea kaore he mea nui ka huri i roto i te oranga o te kaiwhakamahi mena kaore ia e panui i taua reta. I roto i ta maatau atanga hou, ka tiangia e matou kia rua nga miro: ko nga whatunga hapori me nga panui, na reira ka whakawāteatia te pouakaroto me te waiho i nga karere nui ka kitea.

te faaohiparaa i

Ko te maha o nga punaha ka nui te uaua ki te mahi. I muri i nga mea katoa, ka heke nga tauira i roto i te waa, penei i nga punaha: ka pakaru nga ahuatanga, ka rahua nga miihini, ka kopikopiko te waehere. I tua atu, kei te huri haere tonu nga raraunga: ka taapirihia nga mea hou, ka whakarereketia nga tauira whanonga a nga kaiwhakamahi, me etahi atu, na te tauira kaore he tautoko tika ka kaha ake te kino me te kino i te waa.

Kaua tatou e wareware ko te hohonutanga o te ako miihini ka uru ki roto i nga oranga o nga kaiwhakamahi, ka nui ake te paanga ki runga i te rauwiringa kaiao, a, na reira, ka nui ake nga ngaronga putea, hua moni ranei ka riro i nga kaitoro maakete. Na reira, i roto i te piki haere o nga waahi, kei te urutau nga kaitakaro ki nga mahi a ML algorithms (ko nga tauira matarohia ko te panui, rapu me te antispam kua whakahuahia).

Ano hoki, he mea motuhake nga mahi ako miihini: ahakoa he iti noa nga huringa i roto i te punaha ka nui te mahi me te tauira: te mahi me nga raraunga, te whakangungu, te tuku, ka roa pea nga wiki, marama ranei. No reira, ko te tere o te hurihanga o te taiao e whakahaere ana o tauira, ka nui ake te kaha ki te pupuri. Ka taea e te roopu te hanga i te maha o nga punaha me te koa ki a raatau, engari ka whakapau tata katoa o ana rawa ki te pupuri i a raatau, me te kore e whai waahi ki te mahi hou. I tetahi wa ka tutaki matou i tetahi ahuatanga i roto i te roopu antispam. Na ka whakatauhia e ratou ko te tautoko me mahi aunoa.

Aunoa

He aha ka taea te mahi aunoa? Tata ki nga mea katoa, mau. E wha nga waahanga kua tautuhia e au e whakaatu ana i te hanganga ako miihini:

kohinga raraunga;
whakangungu atu;
horahia;
whakamatautau me te aroturuki.

Mena kaore i te pumau te taiao me te huri haere tonu, katahi ka huri nga hanganga katoa huri noa i te tauira he mea nui ake i te tauira ake. He pai te whakarōpū raina tawhito, engari ki te whangai koe i nga ahuatanga tika me te whiwhi urupare pai mai i nga kaiwhakamahi, ka pai ake te mahi i nga tauira State-Of-The-Art me nga pere me nga whiowhio katoa.

Koropiko Urupare

Ko tenei huringa e whakakotahi ana i te kohinga raraunga, te whakangungu taapiri me te tohatoha - me te mea, ko te huringa whakahou tauira katoa. He aha te mea nui? Tirohia te rarangi rehitatanga i roto i te mēra:

Kua whakatinanahia e tetahi kaiwhakawhanake ako miihini he tauira anti-bot e aukati ana i nga karetao ki te rehita ki te imeera. Ka heke te kauwhata ki te uara ka noho tonu nga kaiwhakamahi tuturu. He rawe nga mea katoa! Engari e wha haora ka pahemo, ka takawiri nga karetao i o raatau tuhinga, ka hoki nga mea katoa ki te tikanga. I roto i tenei whakatinanatanga, kotahi marama te kaiwhakawhanake ki te taapiri i nga ahuatanga me te whakangungu ano i te tauira, engari ka taea e te kaiwawao te urutau i roto i nga haora e wha.

Kia kore ai e tino mamae rawa atu, kia kore ai e mahi ano i nga mea katoa a muri ake nei, me whakaaro i te tuatahi ka pehea te ahua o te hurihanga urupare me te aha ka mahia mena ka huri te taiao. Me timata ma te kohi raraunga - koinei te wahie mo a tatou algorithms.

Te kohinga raraunga

E marama ana mo nga whatunga neural hou, ko te nui ake o nga raraunga, ko te pai ake, ko te mea pono, i hangaia e nga kaiwhakamahi o te hua. Ka taea e nga kaiwhakamahi te awhina ia matou ma te tohu i nga raraunga, engari kaore e taea e matou te tukino i tenei, na te mea i etahi wa ka ngenge nga kaiwhakamahi ki te whakaoti i o tauira ka huri ki tetahi atu hua.

Ko tetahi o nga hapa tino noa (i konei ka korero ahau ki a Andrew Ng) he tino aro nui ki nga inenga i runga i te huingararaunga whakamatautau, kaua ki nga urupare mai i te kaiwhakamahi, koinei tonu te inenga matua o te kounga o te mahi, na te mea ka hangaia e matou. he hua mo te kaiwhakamahi. Mena kaore te kaiwhakamahi e mohio, kaore ranei e pai ki te mahi o te tauira, ka pakaru nga mea katoa.

Na reira, me kaha tonu te kaiwhakamahi ki te pooti me te hoatu he taputapu mo te urupare. Ki te whakaaro tatou kua tae mai he reta e pa ana ki te putea ki roto i te pouaka mera, me tohu "putea" me te tuhi i tetahi paatene ka taea e te kaiwhakamahi te panui me te kii ehara tenei i te putea.

Te kounga urupare

Me korero tatou mo te kounga o nga urupare a nga kaiwhakamahi. Tuatahi, ka taea e koe me te kaiwhakamahi te whakauru i nga tikanga rereke ki te kaupapa kotahi. Hei tauira, ko koe me o kaiwhakahaere hua e whakaaro ana ko te "putea" ko nga reta mai i te peeke, ka whakaaro te kaiwhakamahi ko te reta mai i te kuia mo tana penihana e pa ana ki te putea. Tuarua, kei reira nga kaiwhakamahi e aroha ana ki te pehi i nga paatene kaore he arorau. Tuatoru, ka pohehe pea te kaiwhakamahi ki ana whakatau. Ko tetahi tauira whakamiharo mai i a maatau mahi ko te whakatinanatanga o te whakarōpūtanga pāme Nigeria, he momo mokowhiti tino rorirori ka tonohia te kaiwhakamahi ki te tango e hia miriona taara mai i tetahi whanaunga tawhiti i kitea ohorere mai i Awherika. I muri i te whakatinanatanga o tenei whakarōpūtanga, ka tirohia e matou nga pao "Not Spam" i runga i enei imeera, ka puta ko te 80% o ratou he mokowhiti a Nigeria, e kii ana ka tino pohehe nga kaiwhakamahi.

A kaua e wareware ka taea te patene i nga patene ehara i te mea ko nga tangata anake, engari ko nga momo potae katoa e kii ana he kaitirotiro. No reira kaore e pai te whakahoki korero mata mo te ako. Ka aha koe ki enei korero?

Ka whakamahia e matou nga huarahi e rua:

He urupare mai i te ML hono. Hei tauira, kei a matou he punaha anti-bot ipurangi, e rite ana ki taku korero, he tere te whakatau i runga i te iti o nga tohu. A he punaha tuarua, puhoi ka mahi i muri i te meka. He nui ake nga raraunga mo te kaiwhakamahi, tana whanonga, aha atu. Ko te mutunga, ko te whakatau tino mohio ka mahia; na reira, he teitei ake te tika me te whakaotinga. Ka taea e koe te whakatika i te rereketanga o te mahi o enei punaha ki te tuatahi hei raraunga whakangungu. No reira, ka ngana tonu tetahi punaha ngawari ki te whakatata atu ki nga mahi o tetahi punaha uaua ake.
Pāwhiritia te whakarōpūtanga. Ka taea e koe te whakarōpū noa i ia paatene kaiwhakamahi, te arotake i tona whaimana me te whakamahi. Ka mahia e matou tenei i roto i te mēra antispam, ma te whakamahi i nga huanga kaiwhakamahi, tona hitori, nga huanga kaituku, te tuhinga ake me te hua o nga kaitoha. Ko te mutunga, ka whiwhi tatou i tetahi punaha aunoa e whakamana ana i nga urupare a nga kaiwhakamahi. A, i te mea me iti ake te whakangungu, ka taea e ana mahi te putake mo etahi atu punaha katoa. Ko te kaupapa matua i roto i tenei tauira ko te tino tika, na te mea ko te whakangungu i te tauira mo nga raraunga kore tika he nui nga hua.

I a matou e horoi ana i nga raraunga me te whakangungu ano i a matou punaha ML, kaua matou e wareware ki nga kaiwhakamahi, na te mea mo matou, mano, miriona hapa i runga i te kauwhata he tatauranga, a mo te kaiwhakamahi, he aitua katoa. I tua atu i te mea me noho tonu te kaiwhakamahi me to hapa i roto i te hua, i muri i tana whiwhinga urupare, e tumanako ana ia ka whakakorehia he ahuatanga penei i te wa kei te heke mai. Na reira, he mea tika kia hoatu ki nga kaiwhakamahi te whai waahi ki te pooti, engari ki te whakatika ano i te whanonga o nga punaha ML, te hanga, hei tauira, heuristics whaiaro mo ia panui urupare; mo te mēra, koinei pea te kaha ki te tātari. ko enei reta na te kaituku me te taitara mo tenei kaiwhakamahi.

Me hanga ano e koe he tauira i runga i etahi purongo, tono ranei hei tautoko i roto i te aratau ahua-aunoa, a-ringa ranei kia kore ai etahi atu kaiwhakamahi e pa ki nga raru penei.

Heuristics mo te ako

E rua nga raruraru o enei heuristics me nga tootoo. Ko te mea tuatahi he uaua ki te mau tonu te maha o nga tootoo, waihoki te kounga me te mahi mo te waa roa. Ko te raru tuarua ko te hapa kaore pea i te maha, karekau e ranea etahi pao hei whakangungu ake i te tauira. Ko te ahua nei ka tino whakakorehia enei paanga kore e rua mena ka whakamahia te huarahi e whai ake nei.

Ka hangaia e matou he toka rangitahi.
Ka tukuna e matou he raraunga mai i a ia ki te tauira, ka whakahou ano i a ia ano, tae atu ki nga raraunga kua riro. I konei, ko te tikanga, he mea nui kia nui te tika o te heuristics kia kore ai e whakaiti i te kounga o nga raraunga i roto i te huinga whakangungu.
Na ka whakatauhia e matou te aro turuki ki te whakaoho i te korukoru, a ki te roa ka mutu te mahi o te korukoru ka kapi katoa e te tauira, katahi ka taea e koe te tango marie. Inaianei kare pea e puta ano tenei raru.

Na he tino whai hua te ope tootoo. Ko te mea nui ko ta raatau mahi he mea akiaki, ehara i te mea pumau.

He whakangungu taapiri

Ko te whakangungu ano te tikanga o te taapiri i nga raraunga hou i puta mai i nga urupare mai i nga kaiwhakamahi, i etahi atu punaha ranei, me te whakangungu i tetahi tauira o mua. He maha nga raruraru me etahi atu whakangungu:

Kaore pea te tauira e tautoko i etahi atu whakangungu, engari ka ako noa mai i te wahanga.
Kaore he waahi i roto i te pukapuka o te taiao i tuhia ko etahi atu whakangungu ka tino pai ake te kounga o te mahi i roto i te mahi. I te nuinga o nga wa ka puta te rereke, ara, ko te kino anake ka taea.
Ko nga huringa kaore e taea te tohu. He tohu ngawari tenei kua tohua e maatau ake. Ahakoa he tauira hou i roto i te whakamatautau A/B e whakaatu ana i nga hua rite ki te tauira o naianei, ehara tenei i te mea ka rite te mahi. Ka rereke pea a raatau mahi i roto i te kotahi paiheneti noa, tera pea ka mau mai nga hapa hou, ka whakahoki mai ranei i nga mea tawhito kua oti kee te whakatika. Kua mohio matou me nga kaiwhakamahi me pehea te noho me nga hapa o naianei, a ka ara ake te maha o nga hapa hou, kare pea te kaiwhakamahi e mohio ki nga mea e tupu ana, na te mea e tumanako ana ia ki te whanonga matapae.

Na reira, ko te mea nui i roto i nga whakangungu taapiri ko te whakarite kia pai ake te tauira, kia kaua e kino.

Ko te mea tuatahi ka puta ki te hinengaro ina korero tatou mo etahi atu whakangungu ko te huarahi Ako Hohe. He aha te tikanga o tenei? Hei tauira, ka whakatauhia e te kaikorero mehemea e pa ana tetahi imeera ki te putea, me te taha o tana rohe whakatau ka taapirihia e matou he tauira o nga tauira kua tapaina. He pai tenei, hei tauira, i roto i nga panui, he maha nga urupare ka taea e koe te whakangungu i te tauira i runga ipurangi. A, ki te mea he iti nga urupare, katahi ka whiwhi tatou i tetahi tauira tino paanui e pa ana ki te tohatoha raraunga whakaputa, i runga i te mea kaore e taea te arotake i te whanonga o te tauira i te wa e mahi ana.

Inaa, ko ta matou whainga ko te pupuri i nga tauira tawhito, nga tauira kua mohiotia, me te whiwhi tauira hou. He mea nui te haere tonu i konei. Ko te tauira, i whakapau kaha matou ki te whakaputa, kei te mahi kee, na reira ka taea e matou te aro ki ana mahi.

Ka whakamahia nga tauira rereke i roto i te mēra: rakau, raina, whatunga neural. Mo ia tangata ka hanga e matou a maatau ake algorithm whakangungu. I roto i te tukanga o te whakangungu atu, ka whiwhi matou i nga raraunga hou, engari he maha nga waahanga hou, ka whakaarohia e matou i roto i nga algorithms katoa i raro nei.

Nga tauira raina

Me kii kei a tatou te whakahekenga arorau. Ka hangaia e matou he tauira ngaro mai i nga waahanga e whai ake nei:

LogLoss i runga i nga raraunga hou;
ka whakaritea e matou nga taumahatanga o nga ahuatanga hou (kaore matou e pa ki nga mea tawhito);
ka ako ano tatou i nga raraunga tawhito hei pupuri i nga tauira tawhito;
a, pea, ko te mea tino nui: ka taapirihia e matou te Harmonic Regularization, e kii ana kaore e rereke nga taumahatanga ki te tauira tawhito kia rite ki te tikanga.

I te mea he whakareatanga o ia waahanga Ngaronga, ka taea e taatau te kowhiri i nga uara tino pai mo a maatau mahi ma te whakamana-whakawhiti, i runga ranei i nga whakaritenga hua.

Trees

Me neke atu ki nga rakau whakatau. Kua whakaemihia e matou te algorithm e whai ake nei mo etahi atu whakangungu rakau:

Ka whakahaerehia e te hanga he ngahere 100-300 nga rakau, e whakangungua ana i runga i te huinga raraunga tawhito.
I te mutunga ka tangohia e matou te M = 5 nga wahi me te taapiri i te 2M = 10 nga mea hou, kua whakangungua i runga i te huinga raraunga katoa, engari me te taumaha teitei mo nga raraunga hou, e whakapumau ana i te whakarereketanga o te tauira.

Ma te mohio, ka roa te wa, ka nui haere te maha o nga rakau, a me whakaitihia i ia wa kia tutuki ai nga waa. Ki te mahi i tenei, ka whakamahia e matou te Maamaa Matauranga (KD) kei nga waahi katoa. He poto mo te kaupapa o tana mahi.

Kei a matou te tauira "matatini" o naianei. Ka whakahaerehia e matou i runga i te huinga raraunga whakangungu ka whiwhi i te tohatoha tūponotanga o te akomanga i te putanga.
I muri mai, ka whakangunguhia e matou te tauira tauira (te tauira me te iti ake o nga rakau i tenei keehi) ki te whakahoki ano i nga hua o te tauira ma te whakamahi i te tohatoha o te akomanga hei taurangi taurangi.
He mea nui kia kite i konei kaore matou e whakamahi i te tohu huinga raraunga i nga huarahi katoa, na reira ka taea e matou te whakamahi i nga raraunga noa. Ko te tikanga, ka whakamahia e matou he tauira raraunga mai i te awa whawhai hei tauira whakangungu mo te tauira tauira. Na, ko te huinga whakangungu ka taea e tatou te whakarite i te tika o te tauira, a, ko te tauira o te awa e whakamana ana i te mahi rite mo te tohatoha whakaputa, ka utua mo te rītaha o te huinga whakangungu.

Ko te whakakotahitanga o enei tikanga e rua (te taapiri i nga rakau me te whakaiti i te maha o te waa ma te whakamahi i te Maamaatanga Maatauranga) ka mau te whakaurunga o nga tauira hou me te haere tonu.

Ma te awhina a KD, ka mahi ano matou i nga mahi rereke mo nga ahuatanga tauira, penei i te tango i nga ahuatanga me te mahi i nga waahi. I roto i to maatau, he maha nga waahanga tatauranga nui (na nga kaituku, nga tuhinga tuhinga, URL, me etahi atu) kei te rongoa i roto i te papaarangi, ka ngaro. Ko te tauira, ko te tikanga, kaore i te rite mo te whakawhanaketanga o nga huihuinga, na te mea kaore nga ahuatanga kore e puta i te huinga whakangungu. I roto i enei ahuatanga, ka whakakotahihia e matou nga tikanga KD me te whakanui ake: i te wa e whakangungu ana mo tetahi waahanga o te raraunga, ka tangohia, ka tautuhi ano ranei i nga ahuatanga e tika ana, ka tango i nga tapanga taketake (nga putanga o te tauira o naianei), ka ako te tauira tauira ki te tukurua i tenei tohatoha. .

I kite matou ko te kaha ake o te raweke tauira, ka nui ake te paheketanga o te tauira miro e hiahiatia ana.

Ko te tango i nga ahuatanga, ko te mahi tino ngawari, he iti noa te waahanga o te rere, na te mea he ruarua noa nga ahuatanga ka huri, a ko te tauira o naianei i whakangungua i runga i te huinga kotahi - he iti noa te rereketanga. Hei whakangawari i te tauira (he whakaiti i te maha o nga rakau i nga wa maha), kua hiahiatia te 50 ki te 50. A, mo te whakakore i nga ahuatanga tauanga nui ka tino pa ki te mahi o te tauira, me nui ake te rere o te rere ki te whakatika i nga mahi o te tauira hou-atete ki nga momo reta katoa.

Kuputuhi Tere

Me neke atu ki te FastText. Me whakamaumahara ahau ki a koe ko te ahua o te kupu ko te whakahiatotanga o te whakaurunga o te kupu ake me ona reta katoa N-karamu, ko te tikanga tapatoru. I te mea he maha tonu nga tapatoru, ka whakamahia te Peere Hashing, ara, te huri i te waahi katoa ki roto i tetahi mapi tohu tohu. Ko te mutunga, ka riro te matrix taumaha me te rahi o te paparanga o roto mo ia maha o nga kupu + peere.

Me etahi atu whakangungu, ka puta nga tohu hou: nga kupu me nga tapatoru. Kaore he mea nui ka tupu i roto i nga whakangungu whai muri mai i a Facebook. Ko nga taumaha tawhito anake me te whakawhiti-entropy ka whakangunguhia ki nga raraunga hou. No reira, kaore nga waahanga hou e whakamahia ana, ko te tikanga, kei roto i tenei huarahi nga ngoikoretanga katoa i whakaahuahia i runga ake nei e pa ana ki te koretake o te tauira i roto i te whakaputa. Koinei te take i whakarereke iti ai a FastText. Ka taapirihia e matou nga pauna hou katoa (kupu me nga tapatoru), ka whakawhanuihia te matrix katoa me te cross-entropy me te taapiri i te whakakotahitanga pai ma te whakataurite ki te tauira raina, e whakamana ana i te huringa iti o nga taumahatanga tawhito.

CNN

Ko nga whatunga convolutional he ahua uaua ake. Mena kua oti nga paparanga whakamutunga i roto i te CNN, katahi ka taea e koe te tono kia rite tonu te whakakotahi me te whakamana i te haere tonu. Engari ki te hiahiatia etahi atu whakangungu mo te whatunga katoa, ka kore e taea te whakamahi i taua whakaritenga ki nga paparanga katoa. Heoi, he whiringa ki te whakangungu i nga whakaurunga taapiri ma te Ngaronga Takitoru (tuhinga taketake).

Ngaronga Takitoru

Ma te whakamahi i tetahi mahi anti-hītinihanga hei tauira, me titiro ki te Ngaronga Takitoru i roto i nga tikanga whanui. Ka tangohia e matou to maatau tohu, me nga tauira pai me te kino o nga tohu o etahi atu kamupene. Ka whakaitihia e matou te tawhiti i waenga i te tuatahi me te whakanui ake i te tawhiti i waenga i te tuarua, ka mahia e matou me te iti o te waahi hei whakarite kia tino pai ake nga karaehe.

Mena ka whakangungu tonu taatau i te whatunga, ka huri katoa to maatau mokowā ine, ka kore e hototahi ki te waa o mua. He raru nui tenei mo nga raru e whakamahi ana i nga vectors. Hei whakatika i tenei raru, ka uru tatou ki nga whakaurunga tawhito i te wa whakangungu.

Kua taapirihia e matou he raraunga hou ki te huinga whakangungu me te whakangungu i te putanga tuarua o te tauira mai i te wahanga. I te waahanga tuarua, ka whakangungu ano matou i to maatau whatunga (Finetuning): tuatahi kua oti te paparanga whakamutunga, katahi ka kore e whakatio te whatunga katoa. I roto i te mahi tito toru, ka tatauhia e matou tetahi waahanga o nga whakaurunga ma te whakamahi i te tauira kua whakangungua, ko te toenga - ma te whakamahi i te mea tawhito. No reira, i roto i nga mahi whakangungu taapiri, ka whakarite maatau i te hototahi o nga mokowā metric v1 me v2. He putanga ahurei o te whakaritenga orite.

Te hoahoanga katoa

Mena ka whakaarohia e tatou te katoa o te punaha e whakamahi ana i te antispam hei tauira, karekau nga tauira e wehea, engari ka noho ki roto i a raatau ano. Ka tango pikitia, tuhinga me etahi atu ahuatanga, ma te whakamahi i te CNN me te Kuputuhi Tere ka whiwhi whakauru. I muri mai, ka whakamahia nga kaikorero ki runga ake o nga whakaurunga, e whakaatu ana i nga tohu mo nga momo karaehe (momo reta, mokowhiti, he tohu tohu). Ko nga tohu me nga tohu kei te uru kee ki te ngahere rakau mo te whakatau whakamutunga. Ko nga whakarōpū takitahi i roto i tenei kaupapa ka taea te whakamaarama pai ake i nga hua o te punaha me te whakangungu ano i nga waahanga mena ka raru, kaua ki te whangai i nga raraunga katoa ki nga rakau whakatau i roto i te ahua mata.

Ko te mutunga, ka whakamanahia e matou te haere tonu i ia taumata. I te taumata o raro i roto i te CNN me te Kuputuhi Tere ka whakamahia e matou te whakariteritenga orite, mo nga kaikorero kei waenganui ka whakamahia ano hoki e matou te whakariteritenga orite me te whakatikatika reiti mo te rite o te tohatoha tupono. Kaati, ka whakangunguhia te whakanui rakau, ma te whakamahi ranei i te Mahinga Maatauranga.

I te nuinga o te waa, ko te pupuri i taua punaha ako miihini kohanga he mamae, na te mea ko tetahi waahanga kei te taumata o raro ka arahi ki te whakahou ki te punaha katoa o runga. Engari i te mea i roto i ta maatau tatūnga ka rereke nga waahanga o ia waahanga me te hototahi ki te mea o mua, ka taea te whakahou i te punaha katoa i ia waahanga me te kore e hiahia ki te whakangungu ano i te hanganga katoa, ka taea ai te tautoko me te kore e tino nui.

Hoatuhia

Kua korerohia e matou te kohinga raraunga me etahi atu whakangungu mo nga momo tauira rereke, no reira kei te neke atu matou ki te tuku ki te taiao whakaputa.

Te whakamatautau A/B

Ka rite ki taku korero i mua ake nei, i roto i te tukanga o te kohikohi raraunga, i te nuinga o te wa ka whiwhi tatou i te tauira rītaha, mai i te mea kaore e taea te arotake i nga mahi whakaputa o te tauira. Na reira, i te wa e tukuna ana, me whakataurite te tauira ki te putanga o mua kia mohio ai koe he pehea te haere o nga mea, ara, whakahaere i nga whakamatautau A/B. Otirā, he mahinga noa te tukanga o te huri me te tātari i nga tūtohi, ka taea te mahi aunoa. Ka huri haerehia a maatau tauira ki te 5%, 30%, 50% me te 100% o nga kaiwhakamahi, i te wa e kohikohi ana i nga inenga e waatea ana mo nga whakautu tauira me nga urupare a nga kaiwhakamahi. Mo etahi o nga mea tino nui, ka huri aunoa matou i te tauira, a, mo etahi atu keehi, kua kohia e matou te maha o nga pao kaiwhakamahi, ka whakatau matou ki te whakanui ake i te ōrau. Ko te mutunga, ka kawea mai e matou te tauira hou ki te 50% o nga kaiwhakamahi katoa, a ko te whakaputanga ki te hunga whakarongo katoa ka whakaaetia e tetahi tangata, ahakoa ka taea te mahi aunoa.

Heoi, ko te tukanga whakamatautau A/B he waahi mo te arotautanga. Ko te meka he tino roa nga whakamatautau A/B (i roto i ta maatau keehi mai i te 6 ki te 24 haora i runga i te nui o nga urupare), na te mea he utu nui me te iti o nga rauemi. I tua atu, he nui te paheketanga o te rere mo te whakamatautau kia tere ake te wa katoa o te whakamatautau A/B (te kimi tauira tino nui ki te arotake i nga inenga i te paheketanga iti ka roa te waa), na reira he iti rawa te maha o nga mokamoka A/B. Ma te maarama, me whakamatau noa i nga tauira tino pai rawa atu, he maha nga mea ka whakawhiwhia ki a maatau i te waa whakangungu taapiri.

Hei whakaoti i tenei rapanga, i whakangungua e matou he wehewehe wehewehe e tohu ana i te angitu o te whakamatautau A/B. Ki te mahi i tenei, ka tangohia e matou nga tatauranga whakatau, te Tika, te Maharahara me etahi atu inenga i runga i te huinga whakangungu, i runga i te mea kua roa, me te tauira mai i te awa hei ahuatanga. Ka whakatauritea ano e matou te tauira ki te tauira o naianei kei te hanga, me te heuristic, me te whakaaro ki te Matatini o te tauira. Ma te whakamahi i enei ahuatanga katoa, ka arotakehia e te kaikorero kua whakangungua mo te hitori o te whakamatautau i nga tauira kaitono, i roto i a maatau he ngahere rakau enei, ka whakatau ko wai hei whakamahi i te whakamatautau A/B.

I te wa o te whakatinanatanga, na tenei huarahi i taea e matou te whakanui ake i te maha o nga whakamatautau A/B angitu i nga wa maha.

Te Whakamatau me te Aroturuki

Ko te whakamatautau me te aro turuki, he mea rerekee, kaore e kino to tatou hauora; engari, engari, ka pai ake, ka mawhiti i a tatou i te ahotea kore. Ma te whakamatautau ka taea e koe te aukati i te kore, me te tirotiro ka taea e koe te kite i te waa ki te whakaiti i te paanga ki nga kaiwhakamahi.

He mea nui ki te maarama i konei ka pohehe tonu to punaha - na te huringa whanaketanga o tetahi punaha. I te timatanga o te whakawhanaketanga o te punaha he maha tonu nga pepeke tae noa ki te taunga o nga mea katoa ka oti te waahanga o te mahi auaha. Engari i te roanga o te wa, ka mate te entropy, ka puta ano nga hapa - na te kino o nga waahanga huri noa me nga huringa o nga raraunga, i korerohia e au i te timatanga.

I konei e hiahia ana ahau ki te mahara ko tetahi punaha ako miihini me whakaaro mai i te tirohanga o ona hua puta noa i tona huringa ora katoa. Ko te kauwhata i raro nei e whakaatu ana i te ahua o te mahi a te punaha ki te hopu i tetahi momo mokowhiti onge (kei te tata ki te kore te raina o te kauwhata). I tetahi ra, na te he o te keteroki huanga, ka porangi ia. I te waimarie, karekau he aro turuki mo te whakaohooho kino; na reira, ka tiimata te punaha ki te penapena reta i roto i nga rahinga nui ki te kōpaki "spam" i te rohe whakatau. Ahakoa te whakatika i nga hua, kua maha nga hapa o te punaha e kore e utua mo ia ano i roto i nga tau e rima. A he tino kore tenei mai i te tirohanga o te huringa ora o te tauira.

Na reira, ko te mea ngawari penei i te aro turuki ka noho matua ki te oranga o te tauira. I tua atu i nga inenga paerewa me te kitea, ka whakaarohia e matou te tohatoha o nga whakautu tauira me nga kaute, me te tohatoha o nga uara ahuatanga matua. Ma te whakamahi i te rereketanga o te KL, ka taea e taatau te whakataurite i te tohatoha o naianei me te mea o mua, i nga uara ranei o te whakamatautau A/B me te toenga o te awa, e taea ai e tatou te kite i nga rereketanga o te tauira me te huri i nga huringa i roto i te waa.

I te nuinga o nga wa, ka whakarewahia e matou o matou putanga tuatahi o nga punaha ma te whakamahi i nga heuristic ngawari me nga tauira ka whakamahia e matou hei aroturuki a muri ake nei. Hei tauira, ka aro turuki matou i te tauira NER ki te whakataurite ki nga mea o ia ra mo nga toa tuihono motuhake, a, ki te heke te kapinga whakarōpūtanga ki te whakatauritea ki a raatau, katahi ka mohio matou ki nga take. Ko tetahi atu whakamahinga whaihua o te heuristic!

Ngā putanga

Me titiro ano tatou ki nga whakaaro matua o te tuhinga.

Whakapapa. Ka whakaaro tonu matou mo te kaiwhakamahi: me pehea e ora ai ia me o tatou he, me pehea e taea ai e ia te ripoata. Kaua e wareware ko nga kaiwhakamahi ehara i te puna o nga urupare parakore mo nga tauira whakangungu, me whakakorehia me te awhina o nga punaha ML awhina. Mena kaore e taea te kohi tohu mai i te kaiwhakamahi, ka rapu maatau mo etahi atu puna urupare, hei tauira, nga punaha hono.
He whakangungu taapiri. Ko te mea nui i konei ko te haere tonu, no reira ka whakawhirinaki matou ki te tauira whakaputa o naianei. Ka whakangungu matou i nga tauira hou kia kore ai e rerekee mai i o mua na te mea he riterite te whakakotahitanga me nga mahi tinihanga.
Hoatuhia. Ko te tuku-aunoa i runga i nga inenga ka tino whakaitihia te wa mo te whakatinana tauira. Ko te aro turuki i nga tatauranga me te tohatoha o nga mahi whakatau, ko te maha o nga takahanga mai i nga kaiwhakamahi he whakahau mo to moe okiokinga me to wiki whai hua.

Ae, ko taku tumanako ka awhina tenei ki a koe ki te whakapai ake i o punaha ML, kia tere ake te maakete, kia pono ake ai, kia iti ake te taumaha.

Source: will.com

Te mahi ako miihini i Mail.ru Mail