A, no te mea ko to mahi ki te hanga i tetahi mea ataahua, kaore koe e korero nui mo taua mea, no te mea ko te hua kei mua i nga kanohi o te katoa. Engari ki te whakakorehia e koe nga tuhinga mai i nga taiapa, kaore he tangata e kite i to mahi i te mea he pai te ahua o nga taiapa, tae noa ki te whakakore i tetahi mea he.
Ko nga ratonga ka taea e koe te tuku korero, te arotake, te tuku karere, te tuku ake ranei i nga pikitia ka pa ki te raru o te mokowhiti, te tinihanga me te mahi kino. Kaore e taea te karo i tenei, engari me mahi.
Ko Mikhail toku ingoa, kei te mahi ahau i te roopu Antispam, e tiaki ana i nga kaiwhakamahi o nga ratonga Yandex mai i enei raru. He iti noa te kite i a maatau mahi (he pai tena!), no reira i tenei ra ka korero atu ahau ki a koe. Ka ako koe i te wa e kore e whai hua te whakaōrite me te aha ehara ko te tika anake te tohu o tona whaihua. Ka korero ano tatou mo te oati ma te whakamahi i te tauira o nga ngeru me nga kuri me te aha i etahi wa ka whai hua ki te "whakaaro mai i te kaipahua."
He maha atu nga ratonga e puta mai ana i Yandex kei reira nga kaiwhakamahi e whakaputa ana i o raatau ihirangi. Ka taea e koe te patai, te tuhi whakautu ranei ki Yandex.Q, matapaki i nga korero o te ruri i Yandex.District, tohatoha nga tikanga hokohoko i roto i nga korerorero i runga i te Yandex.Maps. Engari ka tipu te hunga whakarongo o te ratonga, ka tino ataahua ki nga kaipahua me nga kaikorero. Ka haere mai ratou ki te whakaki i nga korero: ka tukuna he moni ngawari, ka panui i nga rongoa whakamiharo me te oati i nga painga hapori. Na te hunga mokowhiti, ka ngaro moni etahi o nga kaiwhakamahi, ko etahi ka ngaro te hiahia ki te whakapau i te waa ki runga i tetahi ratonga koretake kua tipuhia e te mokowhiti.
A ehara ko tenei anake te raru. Ka whakapau kaha matou ki te tiaki i nga kaiwhakamahi mai i nga kaipahua, engari ki te hanga i tetahi ahua pai mo te whakawhitiwhiti korero. Mena ka pa te tangata ki te oati me te kohukohu i roto i nga korero, tera pea ka wehe atu ka kore e hoki mai. Ko te tikanga me kaha ano koe ki te whakahaere i tenei.
Tukutuku Ma
He rite tonu ki a matou, ko nga whanaketanga tuatahi i whanau i roto i te Rapu, i te waahanga e whawhai ana i te mokowhiti i nga hua rapu. Tata ki te tekau tau ki muri, ko te mahi tātari i nga ihirangi pakeke mo nga rapunga a te whanau me nga patai karekau he whakautu mai i te waahanga 18+ ka puta ki reira. Koinei te ahua o nga papakupu tuatahi i patohia e te ringa o te porn me te oati, i whakakiia e nga kaitätari. Ko te mahi matua ko te whakarōpū i nga tono ki nga waahi e pai ana ki te whakaatu i nga ihirangi pakeke me nga waahi kaore. Mo tenei mahi, i kohia te tohu, i hangaia nga heuristics, i whakangunguhia nga tauira. Koinei te ahua o nga whanaketanga tuatahi mo te tātari i nga ihirangi kore e hiahiatia.
I te wa o te wa, ka timata te UGC (nga ihirangi i hangaia e te kaiwhakamahi) ki Yandex - nga karere i tuhia e nga kaiwhakamahi ake, a ko Yandex anake te whakaputa. Mo nga take i whakaahuatia i runga ake nei, he maha nga karere kaore e taea te whakaputa me te kore e titiro - me whakaōrite. Na ka whakatau ratou ki te hanga i tetahi ratonga hei whakamarumaru mai i nga mokowhiti me nga kaipatu mo nga hua Yandex UGC katoa me te whakamahi i nga whanaketanga ki te tarai i nga ihirangi kore e hiahiatia i roto i te Rapu. Ko te ratonga i kiia ko "Tukutuku Maama".
Nga mahi hou me te awhina mai i nga kaiwhaiwhai
I te tuatahi, he ngawari noa te mahi aunoatanga mo matou: i tukuna mai e nga ratonga nga tuhinga ki a matou, a ka whakahaerehia e matou nga papakupu korero kino, papakupu porn me nga korero i runga i a raatau - i whakahiatohia e nga kaitätari nga mea katoa. Engari i te wa o te wa, i whakamahia te ratonga i roto i te piki haere o nga hua Yandex, a me ako matou ki te mahi me nga raruraru hou.
I te nuinga o nga wa, hei utu mo te arotake, ka whakaputahia e nga kaiwhakamahi he huinga reta kore, e ngana ana ki te whakanui ake i o raatau whakatutukitanga, i etahi wa ka panuihia e ratou to kamupene ki nga arotake o te kamupene whakataetae, a i etahi wa ka pohehe noa nga whakahaere me te tuhi i tetahi arotake mo te toa poaka: " He ika tino maoa!” Tera pea i tetahi ra ka ako te mohio hangai ki te tino mohio ki te tikanga o tetahi tuhinga, engari inaianei ka raru te mahi aunoa i te tangata.
I tino marama kaore e taea e matou te mahi me te kore he tohu a-ringa, a ka taapirihia e matou tetahi waahanga tuarua ki to maatau ara-a-te tuku mo te tirotiro a te tangata. Ko nga tuhinga kua whakaputaina kaore i kitea e te kaikorero he raru i whakauruhia ki reira. Ka taea e koe te whakaaro ngawari ki te nui o nga mahi penei, no reira kaore matou i whirinaki ki nga kai-ateha anake, engari i whai waahi ano matou ki te "whakaaro nui o te mano", ara, ka tahuri matou ki nga tolokers mo te awhina. Ma ratou e awhina i a maatau ki te mohio he aha te miihini i ngaro, na reira ka ako.
Keteroki atamai me te Hashing LSH
Ko tetahi atu raruraru i pa ki a matou i te wa e mahi ana me nga korero ko te mokowhiti, he mea tika ake ranei, ko tona nui me te tere o te horapa. I te wa i timata ai te tipu tere o te hunga whakarongo a Yandex.Region, ka tae mai nga kaiwhaiwhai ki reira. I ako ratou ki te karo i nga korero auau ma te whakarereke paku i te tuhinga. Ko te Spam, ko te tikanga, i kitea tonu ka mukua, engari i runga i te tauine o Yandex, he karere kore e whakaaetia i tukuna ahakoa mo te 5 meneti ka kitea e nga rau o nga tangata.
Ae ra, kaore tenei i pai ki a matou, a ka hanga e matou te keteroki kuputuhi atamai i runga i te LSH (). He penei te mahi: ka whakanoatia e matou te tuhinga, ka tangohia nga hononga mai i a ia ka tapahia ki nga karamu n (nga raupapa o nga reta). I muri mai, ka tatauhia nga tohu o nga n-karamu, a ko te vector LSH o te tuhinga i hangaia mai i a raatau. Ko te tohu ko nga tuhinga rite, ahakoa he paku rereke, ka huri hei vector rite.
Na tenei otinga i taea ai te whakamahi ano i nga whakatau a nga kaitoha me nga kaitoro mo nga tuhinga rite. I te wa o te whakaeke mokowhiti, i te wa i paahitia te karere tuatahi i te karapa ka uru ki roto i te keteroki me te whakatau "spam", ko nga karere hou katoa, tae noa ki nga mea whakarereke, ka whiwhi i te whakatau kotahi, ka mukua aunoa. I muri mai, i ako matou me pehea te whakangungu me te whakangungu aunoa i nga kaiwhakamaori mokowhiti, engari ko tenei "keteroki atamai" i noho tonu ki a matou me te awhina i a matou ki waho.
He whakarōpū kupu pai
I te kore e whai wa ki te okioki mai i te whawhai i te mokowhiti, i mohio matou ko te 95% o a matou ihirangi kei te whakaōrite ā-ringa: ka tauhohe noa nga kaiwhakatakoto tikanga ki nga takahi, a he pai te nuinga o nga tuhinga. Ka utaina e matou nga kaihoroi i roto i nga keehi 95 o te 100 ka whakawhiwhia te tohu "Kei te pai nga mea katoa". Me mahi au i tetahi mahi rereke - te hanga whakarōpūtanga o nga mea pai, ina koa kua nui nga tohu kua kohia i tenei waa.
He penei te ahua o te whakarōpū tuatahi: ka whakamaarama i te tuhinga (whakaitihia nga kupu ki te ahua tuatahi), ka maka ki waho nga waahanga awhina katoa o te whaikorero me te whakamahi i te "papakupu o te papakupu pai". Mena he "pai" nga kupu katoa o te tuhinga, karekau he takahitanga o te tuhinga katoa. I runga i nga ratonga rereke, ko tenei huarahi i tukuna mai i te 25 ki te 35% aunoatanga o te tohu a-ringa. Ae ra, ehara tenei huarahi i te pai: he ngawari ki te whakakotahi i etahi kupu harakore me te whiwhi korero tino kino, engari i taea ai e maatau te eke tere ki te taumata pai o te miihini me te whai wa ki te whakangungu i nga tauira uaua ake.
Ko nga putanga e whai ake nei o nga kaiwhakatakoto tuhinga pai kua whakauruhia he tauira raina, rakau whakatau, me o raatau huinga. Hei tohu i te kino me te tawai, hei tauira, ka whakamatauhia e matou te whatunga neural BERT. He mea nui kia mau ki te tikanga o te kupu i roto i te horopaki me te hononga o nga kupu mai i nga rerenga rereke, a he pai te mahi a BERT mo tenei. (Na, ko nga hoa mahi no News , me pehea te whakamahi hangarau mo te mahi kore-paerewa - te kimi hapa i roto i nga pane.) Ko te mutunga, ka taea te whakaaunoa ki te 90% o te rere, i runga i te ratonga.
Te tika, te whakaoti me te tere
Ki te whakawhanake, me maarama koe he aha nga painga ka kawea mai e etahi o nga kaitoha aunoa, nga huringa i roto, me te mea kei te heke te kounga o nga arowhai a-ringa. Hei mahi i tenei, ka whakamahia e matou nga inenga tika me te maumahara.
Ko te tika te owehenga o nga whakatau tika i waenga i nga whakatau katoa mo nga ihirangi kino. Ko te teitei ake o te tika, ka iti ake nga hua teka. Mena kaore koe e aro ki te tika, na i roto i te ariā ka taea e koe te whakakore i nga mokowhiti katoa me nga mea kino, me te taha o te haurua o nga karere pai. I tetahi atu taha, ki te whakawhirinaki koe ki te tika, ko te hangarau pai rawa atu ko te mea kaore e mau i tetahi. Na reira, he tohu ano mo te whakaotinga: ko te wahanga o nga ihirangi kino kua tautuhia i waenga i te tapeke o nga ihirangi kino. Ko enei inenga e rua ka taurite tetahi ki tetahi.
Hei ine, ka whakatauirahia e matou te katoa o te awa taumai mo ia ratonga, ka hoatu tauira ihirangi ki nga kaiaromatawai mo te aromatawai tohunga me te whakataurite ki nga otinga miihini.
Engari tera ano tetahi tohu nui.
I tuhia e au i runga ake ka kitea he karere kore e whakaaetia e nga rau tangata ahakoa i roto i te 5 meneti. Na ka tatauhia e hia nga wa i whakaatuhia ai e matou nga korero kino ki nga tangata i mua i to huna. He mea nui tenei na te mea kaore e ranea ki te mahi pai - me tere hoki te mahi. A, i te wa i hanga e matou he parepare ki te oati, ka tino rongo matou.
Antimatism te whakamahi i te tauira o te ngeru me te kuri
He rerenga waiata iti. Ko etahi e kii ana ko nga korero kino me nga kohukohu ehara i te mea kino penei i nga hononga kino, kaore ano i te hoha penei i te mokowhiti. Engari ka whakapau kaha matou ki te pupuri i nga tikanga pai mo te whakawhitiwhiti korero mo nga miriona o nga kaiwhakamahi, a kaore nga tangata e pai ki te hoki ki nga waahi e tawai ana ratou. Ehara i te mea ko te aukati i te oati me te kohukohu ka tuhia ki roto i nga ture o nga hapori maha, tae atu ki a Habré. Engari ka huri ke.
Kaore e taea e nga papakupu oati te whakatutuki i nga taonga katoa o te reo Rusia. Ahakoa te mea e wha noa nga pakiaka oati, mai i a raatau ka taea e koe te hanga i te maha o nga kupu kaore e taea te hopu e nga miihini auau. I tua atu, ka taea e koe te tuhi i tetahi waahanga o te kupu i roto i te whakawhiti, whakakapi i nga reta me nga huinga rite, te whakarereke i nga reta, te taapiri i nga wheturangi, me etahi atu. E whakaute ana matou i nga ture a Habr, no reira ka whakaatu matou i tenei ehara ma nga tauira ora, engari ma nga ngeru me nga kuri.
"Ture," ka kii te ngeru. Engari kei te mohio tatou he kupu rereke te korero a te ngeru...
I timata matou ki te whakaaro mo te "whakaritea puhoi" mo ta matou papakupu me te mahi o mua: i tukuna e matou te whakamaoritanga, nga mokowā kapia me te tohu tohu, ka rapu tauira me te tuhi i nga korero motuhake ki runga. I puta mai nga hua o tenei huarahi, engari he maha nga wa i whakaitihia ai te tika me te kore e tutuki i te hiahia.
Na ka whakatau matou ki te "whakaaro mai i nga kaipahua." I timata matou ki te whakauru i te ngangau ki roto i nga raraunga i a matou ano: na matou i whakarereke nga reta, i hanga i nga hapa, i whakakapi i nga reta ki nga momo tuhi, me era atu. Ko te tohu tuatahi mo tenei i tangohia ma te whakamahi papakupu whariki ki te roopu nui o nga tuhinga. Mena ka tango koe i tetahi rerenga korero ka whiria e koe i roto i nga huarahi maha, ka mutu he maha nga rerenga korero. Ma tenei ka taea e koe te whakanui ake i te tauira whakangungu tekau nga wa. Ko te mea i toe ko te whakangungu i runga i te puna wai i puta mai i etahi tauira atamai iti ake ranei e whai whakaaro ana ki te horopaki.
He moata rawa ki te korero mo te whakatau whakamutunga. Kei te whakamatautau tonu matou i nga huarahi mo tenei raru, engari kua kite kee matou ko te kupenga honohono tohu ngawari o te maha o nga paparanga he tino pai ake i nga papakupu me nga miihini auau: ka taea te whakanui ake i te tika me te maumahara.
Ae ra, kei te mohio tatou ka maha tonu nga huarahi ki te karo i te miihini tino matatau rawa atu, ina koa he tino morearea te take: tuhia kia kore ai e marama te miihini poauau. I konei, penei i te whawhai ki te mokowhiti, ko ta matou whainga ko te whakakore i te kaha ki te tuhi i tetahi mea kino; ko ta matou mahi ko te whakarite kia kore te keemu e utu mo te rama.
Ko te whakatuwhera i te waahi ki te whakapuaki i to whakaaro, te whakawhitiwhiti korero me te korero ehara i te mea uaua. He uaua ake ki te whakatutuki i nga tikanga haumaru, whakamarie me te manaaki tangata. A, ki te kore tenei karekau he whanaketanga o tetahi hapori.
Source: will.com