Ka hana o ka mīkini aʻo ma Mail.ru Mail

Ma muli o kaʻu mau ʻōlelo ma Highload++ a me DataFest Minsk 2019.

No ka poʻe he nui i kēia lā, he ʻāpana koʻikoʻi ka leka uila o ke ola pūnaewele. Me kāna kōkua, hana mākou i nā leka ʻoihana, mālama i nā ʻano ʻike koʻikoʻi āpau e pili ana i ke kālā, nā hoʻopaʻa hōkele, ke kau ʻana i nā kauoha a me nā mea hou aku. Ma waena o 2018, ua hoʻokumu mākou i kahi hoʻolālā huahana no ka hoʻomohala ʻana i ka leka uila. He aha ke ʻano o ka leka uila o kēia wā?

Pono e leka uila akamai, ʻo ia hoʻi, ke kōkua ʻana i nā mea hoʻohana e hoʻokele i ka nui o ka ʻike: kānana, hoʻolālā a hāʻawi iā ia ma ke ala kūpono loa. ʻO ia paha pono, e ʻae iā ʻoe e hoʻoponopono i nā hana like ʻole i loko o kāu pahu leta, no ka laʻana, e uku i nā uku (kahi hana, ʻaʻole naʻe, hoʻohana wau). A i ka manawa like, ʻoiaʻiʻo, pono e hāʻawi ka leka uila i ka pale ʻike, ʻoki i ka spam a pale aku i ka hacking, ʻo ia hoʻi, e palekana.

Hōʻike kēia mau wahi i nā pilikia koʻikoʻi, hiki ke hoʻoponopono maikaʻi ʻia me ka hoʻohana ʻana i ka mīkini aʻo. Eia nā laʻana o nā hiʻohiʻona i kūkulu ʻia ma ke ʻano he ʻāpana o ka hoʻolālā - hoʻokahi no kēlā me kēia ʻaoʻao.

• ʻO ka pane pane. He hiʻona pane akamai ka leka uila. Hoʻopili ka neural network i ke kikokikona o ka leka, hoʻomaopopo i kona ʻano a me ke kumu, a ma muli o ka hāʻawi ʻana i nā koho pane kūpono ʻekolu: maikaʻi, maikaʻi ʻole a me ke kū ʻole. Kōkua kēia i ka mālama nui ʻana i ka manawa i ka pane ʻana i nā leka, a pane pinepine hoʻi i ke ʻano maʻamau a me ka ʻakaʻaka.
• Hoʻopili i nā leka uilapili i nā kauoha ma nā hale kūʻai pūnaewele. Kūʻai pinepine mākou ma ka pūnaewele, a, ma ke ʻano he kānāwai, hiki i nā hale kūʻai ke hoʻouna i nā leka uila no kēlā me kēia kauoha. No ka laʻana, mai AliExpress, ka lawelawe nui loa, hele mai ka nui o nā leka no hoʻokahi kauoha, a ua helu mākou i ka hihia terminal hiki i kā lākou helu ke piʻi i ka 29. No laila, me ka hoʻohana ʻana i ke ʻano hoʻohālike i kapa ʻia ʻo Entity Recognition, lawe mākou i ka helu kauoha. a me nā ʻike ʻē aʻe mai ka kikokikona a hui pū i nā leka a pau i hoʻokahi pae. Hōʻike pū mākou i ka ʻike kumu e pili ana i ke kauoha i loko o kahi pahu kaʻawale, kahi e maʻalahi ai ka hana me kēia ʻano leka uila.

  

• Antiphishing. ʻO ka phishing kahi ʻano leka uila hoʻopunipuni weliweli loa, me ke kōkua o nā mea hoʻouka kaua e hoʻāʻo e loaʻa i ka ʻike kālā (me nā kāleka panakō a ka mea hoʻohana) a me nā loina. Hoʻohālike ia mau leka i nā mea maoli i hoʻouna ʻia e ka lawelawe, me ka ʻike maka. No laila, me ke kōkua o Computer Vision, ʻike mākou i nā hōʻailona a me ke ʻano hoʻolālā o nā leka mai nā hui nui (e like me Mail.ru, Sber, Alfa) a noʻonoʻo i kēia me nā kikokikona a me nā hiʻohiʻona ʻē aʻe i kā mākou spam a me phishing classifiers. .

Aʻo mīkini

He wahi liʻiliʻi e pili ana i ke aʻo ʻana i ka mīkini ma ka leka uila ma ka laulā. He ʻōnaehana paʻa loa ka leka: ʻo ka awelika o 1,5 biliona leka i kēlā me kēia lā e hele i kā mākou mau kikowaena no 30 miliona mau mea hoʻohana DAU. Ma kahi o 30 mau ʻōnaehana aʻo mīkini e kākoʻo i nā hana pono a me nā hiʻohiʻona.

Ke hele nei kēlā me kēia leka i kahi pipeline hoʻonohonoho holoʻokoʻa. ʻO ka mua mākou e ʻoki i ka spam a waiho i nā leka uila maikaʻi. ʻAʻole ʻike pinepine nā mea hoʻohana i ka hana a antispam, no ka mea, ʻaʻole i pau ka 95-99% o ka spam i ka waihona kūpono. ʻO ka ʻike Spam he ʻāpana koʻikoʻi o kā mākou ʻōnaehana, a ʻo ka mea paʻakikī loa, ʻoiai ma ke kahua o ka anti-spam aia kahi hoʻololi mau ma waena o nā ʻōnaehana pale a me ka hoʻouka ʻana, e hāʻawi ana i kahi hoʻokūkū ʻenekinia mau no kā mākou hui.

A laila, hoʻokaʻawale mākou i nā leka mai nā kānaka a me nā robots. ʻO nā leka uila mai nā kānaka ka mea nui, no laila hāʻawi mākou i nā hiʻohiʻona e like me Smart Reply no lākou. Hoʻokaʻawale ʻia nā leka mai nā robots i ʻelua mau ʻāpana: transactional - he mau leka koʻikoʻi kēia mai nā lawelawe, no ka laʻana, nā hōʻoia o nā kūʻai ʻana a i ʻole nā ​​hōkele hōkele, kālā, a me ka ʻike - ʻo ia nā hoʻolaha pāʻoihana, nā uku.

Ke manaʻoʻiʻo nei mākou ua like ka nui o nā leka uila i nā leka pilikino. Pono lākou ma ka lima, no ka mea, pono mākou e ʻimi wikiwiki i ka ʻike e pili ana i kahi kauoha a i ʻole ka hoʻopaʻa ʻana i nā tiketi ea, a hoʻolilo mākou i ka manawa e ʻimi ai i kēia mau leka. No laila, no ka maʻalahi, hoʻokaʻawale mākou iā lākou i ʻeono mau ʻāpana: huakaʻi, kauoha, kālā, tiketi, hoʻopaʻa inoa a, hope, uku.

ʻO nā leka ʻike ka pūʻulu nui a liʻiliʻi paha, ʻaʻole pono e pane koke, no ka mea ʻaʻohe mea nui e loli i ke ola o ka mea hoʻohana inā ʻaʻole ʻo ia e heluhelu i kēlā leka. Ma kā mākou interface hou, hoʻokaʻawale mākou iā lākou i ʻelua mau ʻāpana: ʻoihana pūnaewele a me nā nūhou, no laila e hoʻomaʻemaʻe ʻike i ka pahu pahu a waiho wale i nā memo koʻikoʻi e ʻike ʻia.

ʻO ka hana

ʻO ka nui o nā ʻōnaehana e hoʻopilikia i ka hana. Ma hope o nā mea a pau, hoʻohaʻahaʻa nā hiʻohiʻona i ka manawa, e like me nā polokalamu: haki nā hiʻohiʻona, hāʻule nā ​​mīkini, kekee ke code. Eia hou, ke loli mau nei ka ʻikepili: hoʻohui ʻia nā mea hou, hoʻololi ʻia nā ʻano hana o ka mea hoʻohana, a pēlā aku, no laila, ʻoi aku ka maikaʻi o ka hana ʻana me ke kākoʻo kūpono ʻole i ka wā.

ʻAʻole pono mākou e poina i ka hohonu o ka aʻo ʻana o ka mīkini i loko o ke ola o nā mea hoʻohana, ʻoi aku ka nui o ka hopena i loaʻa iā lākou ma ka kaiaola, a ma muli o ka hopena, ʻoi aku ka nui o nā poho kālā a i ʻole nā ​​​​mea pāʻani mākeke. No laila, i ka nui o nā wahi, ke hoʻololi nei nā mea pāʻani i ka hana o ML algorithms (nā hiʻohiʻona maʻamau ka hoʻolaha, ʻimi a me ka antispam i ʻōlelo ʻia).

Eia kekahi, he ʻano ʻokoʻa nā hana aʻo mīkini: hiki i kekahi, ʻoi aku ka liʻiliʻi, ke hoʻololi i ka ʻōnaehana hiki ke hana i nā hana he nui me ke kumu hoʻohālike: hana me ka ʻikepili, hoʻomaʻamaʻa hou, hoʻolaha, hiki ke lawe i nā pule a i ʻole mau mahina. No laila, ʻoi aku ka wikiwiki o ke kaiapuni kahi e hana ai kāu mau hiʻohiʻona, ʻoi aku ka nui o ka hoʻoikaika ʻana e mālama iā lākou. Hiki i kahi hui ke hana i nā ʻōnaehana he nui a hauʻoli iā ia, akā e hoʻopau kokoke i kāna mau kumuwaiwai e mālama iā lākou, me ka ʻole o ka manawa e hana ai i kekahi mea hou. Ua ʻike mākou i kahi kūlana i ka hui antispam. A ua hana lākou i ka hopena maopopo e pono ke kākoʻo ʻia.

Automation

He aha ka mea hiki ke hoʻohana ʻia? ʻO nā mea āpau, ʻoiaʻiʻo. Ua ʻike au i ʻehā mau ʻāpana e wehewehe i ka ʻōnaehana aʻo mīkini:

• ʻohi ʻikepili;
• hoʻonaʻauao hou;
• kau aku;
• hoʻāʻo a nānā.

Inā paʻa ʻole ke kaiapuni a hoʻololi mau, a laila ʻoi aku ka nui o ka ʻōnaehana holoʻokoʻa a puni ke kumu hoʻohālike ma mua o ke kumu hoʻohālike ponoʻī. He papa laina laina kahiko maikaʻi paha ia, akā inā ʻoe e hānai iā ia i nā hiʻohiʻona kūpono a loaʻa nā manaʻo maikaʻi mai nā mea hoʻohana, e ʻoi aku ka maikaʻi ma mua o nā hiʻohiʻona State-Of-The-Art me nā bele a me nā kīwī āpau.

Loop Manaʻo

Hoʻohui kēia pōʻaiapuni i ka hōʻiliʻili ʻikepili, ka hoʻomaʻamaʻa hou a me ka hoʻolaha ʻana - ʻoiaʻiʻo, ʻo ka holoʻokoʻa hōʻano hou. No ke aha he mea nui? E nānā i ka papa inoa inoa ma ka leka uila:

Ua hoʻokō ka mea hoʻomohala aʻo mīkini i kahi hoʻohālike anti-bot e pale ai i nā bots mai ke kākau inoa ʻana ma ka leka uila. Hāʻule ka pakuhi i kahi waiwai kahi e koe ai nā mea hoʻohana maoli. Nui nā mea a pau! Akā, hala nā hola ʻehā, hoʻololi nā bots i kā lākou mau palapala, a hoʻi nā mea āpau i ka maʻamau. Ma kēia hoʻokō, ua hoʻohana ka mea hoʻomohala i hoʻokahi mahina e hoʻohui i nā hiʻohiʻona a hoʻomaʻamaʻa hou i ke kumu hoʻohālike, akā hiki i ka spammer ke hoʻololi i nā hola ʻehā.

I ʻole e ʻeha nui loa a ʻaʻole pono e hana hou i nā mea āpau ma hope, pono mākou e noʻonoʻo mua i ke ʻano o ka loop loop a me kā mākou e hana ai inā loli ke kaiapuni. E hoʻomaka kākou me ka ʻohi ʻana i ka ʻikepili - ʻo ia ka wahie no kā mākou algorithms.

ʻOhi ʻikepili

He mea maopopo no nā pūnaewele neural hou, ʻoi aku ka nui o ka ʻikepili, ʻoi aku ka maikaʻi, a ʻo ia ka mea i hana ʻia e nā mea hoʻohana o ka huahana. Hiki i nā mea hoʻohana ke kōkua iā mākou ma ka hōʻailona ʻana i ka ʻikepili, akā ʻaʻole hiki iā mākou ke hōʻino i kēia, no ka mea i kekahi manawa e luhi nā mea hoʻohana i ka hoʻopiha ʻana i kāu mau hiʻohiʻona a hoʻololi i kahi huahana ʻē aʻe.

ʻO kekahi o nā hewa maʻamau (eia wau e kuhikuhi iā Andrew Ng) ʻoi aku ka nui o ka nānā ʻana i nā metric ma ka dataset hoʻāʻo, ʻaʻole i ka pane mai ka mea hoʻohana, ʻo ia ke ana nui o ka maikaʻi o ka hana, ʻoiai mākou e hana nei. he huahana no ka mea hoʻohana. Inā ʻaʻole maopopo ka mea hoʻohana a makemake ʻole paha i ka hana o ke kumu hoʻohālike, a laila ua pau nā mea āpau.

No laila, hiki i ka mea hoʻohana ke koho balota a pono e hāʻawi ʻia i mea hana no ka manaʻo. Inā manaʻo mākou ua hiki mai kahi leka e pili ana i ke kālā i loko o ka pahu leta, pono mākou e kaha iā ia "kālā" a huki i kahi pihi e hiki ai i ka mea hoʻohana ke kaomi a ʻōlelo ʻaʻole kēia kālā.

Manaʻo maikaʻi

E kamaʻilio e pili ana i ka maikaʻi o ka manaʻo o ka mea hoʻohana. ʻO ka mea mua, hiki iā ʻoe a me ka mea hoʻohana ke hoʻokomo i nā manaʻo like ʻole i hoʻokahi manaʻo. No ka laʻana, manaʻo ʻoe a me kāu mau luna huahana ʻo "kālā" ke ʻano o nā leka mai ka panakō, a manaʻo ka mea hoʻohana ʻo kahi leka mai ke kupuna wahine e pili ana i kāna penihana e pili pū ana i ke kālā. ʻO ka lua, aia nā mea hoʻohana i makemake ʻole e paʻi i nā pihi me ka ʻole o ka loiloi. ʻO ke kolu, hiki i ka mea hoʻohana ke kuhihewa nui i kāna mau hopena. ʻO kahi hiʻohiʻona koʻikoʻi mai kā mākou hana ʻo ka hoʻokō ʻana i kahi classifier Spam Nigeria, he ʻano ʻakaʻaka loa o ka spam kahi i noi ʻia ai ka mea hoʻohana e lawe i mau miliona kālā mai kahi ʻohana mamao i loaʻa koke ʻia ma ʻApelika. Ma hope o ka hoʻokō ʻana i kēia classifier, ua nānā mākou i nā kaomi "Not Spam" ma kēia mau leka uila, a ua ʻike ʻia he 80% o lākou he spam Nigerian juicy, e hōʻike ana he hiki ke hoʻopunipuni nā mea hoʻohana.

A mai poina e hiki ke paʻi ʻia nā pihi ʻaʻole wale e ka poʻe, akā e nā ʻano bots a pau e hoʻohālike nei he polokalamu kele pūnaewele. No laila ʻaʻole maikaʻi nā manaʻo makaʻala no ke aʻo ʻana. He aha kāu e hana ai me kēia ʻike?

Hoʻohana mākou i ʻelua ala:

• Manaʻo manaʻo mai ML pili. No ka laʻana, loaʻa iā mākou kahi ʻōnaehana anti-bot pūnaewele, e like me kaʻu i ʻōlelo ai, e hoʻoholo wikiwiki e pili ana i kahi helu o nā hōʻailona. A aia kahi lua, ʻōnaehana lohi e hana ma hope o ka ʻoiaʻiʻo. Loaʻa iā ia ka ʻikepili hou aʻe e pili ana i ka mea hoʻohana, kāna ʻano, etc. ʻO ka hopena, ua hana ʻia ka hoʻoholo ʻike loa; no laila, ʻoi aku ka kiʻekiʻe o ka pololei a me ka piha. Hiki iā ʻoe ke kuhikuhi i ka ʻokoʻa o ka hana ʻana o kēia mau ʻōnaehana i ka mea mua e like me ka ʻikepili aʻo. No laila, e ho'āʻo mau ka ʻōnaehana maʻalahi e hoʻokokoke i ka hana o kahi mea paʻakikī.
• Kaomi hoʻokaʻawale. Hiki iā ʻoe ke hoʻokaʻawale i kēlā me kēia mea hoʻohana kaomi, loiloi i kona kūpono a me ka hoʻohana. Hana mākou i kēia ma ka leka uila antispam, me ka hoʻohana ʻana i nā ʻano mea hoʻohana, kāna mōʻaukala, nā ʻano mea hoʻouna, ka kikokikona ponoʻī a me ka hopena o nā papa helu. ʻO ka hopena, loaʻa iā mākou kahi ʻōnaehana aunoa e hōʻoia i ka manaʻo o ka mea hoʻohana. A no ka mea pono e hoʻomaʻamaʻa pinepine ʻia, hiki i kāna hana ke lilo i kumu no nā ʻōnaehana ʻē aʻe. ʻO ka mea nui i loko o kēia kükohu ka pololei, no ka mea, ua piha ka hoʻonaʻauao ʻana i ke kŘkohu ma ka ʻikepili pololei ʻole i nā hopena.

ʻOiai mākou e hoʻomaʻemaʻe ana i ka ʻikepili a hoʻomaʻamaʻa hou i kā mākou ʻōnaehana ML, ʻaʻole pono mākou e poina e pili ana i nā mea hoʻohana, no ka mea, no mākou, he mau tausani, miliona mau hewa i ka pakuhi, a no ka mea hoʻohana, he pōʻino kēlā me kēia bug. Ma waho aʻe o ka pono o ka mea hoʻohana e noho me kāu hewa i ka huahana, ma hope o ka loaʻa ʻana o ka manaʻo, manaʻo ʻo ia e hoʻopau ʻia kahi kūlana like i ka wā e hiki mai ana. No laila, ʻoi aku ka maikaʻi o ka hāʻawi ʻana i nā mea hoʻohana ʻaʻole wale i ka manawa e koho balota, akā e hoʻoponopono pū i ka ʻano o nā ʻōnaehana ML, e hana ana, no ka laʻana, heuristics pilikino no kēlā me kēia kaomi pane; i ka hihia o ka leka uila, hiki i kēia ke kānana. ia mau leka na ka mea hoʻouna a me ke poʻo inoa no kēia mea hoʻohana.

Pono ʻoe e kūkulu i kumu hoʻohālike e pili ana i kekahi mau hōʻike a i ʻole nā ​​noi e kākoʻo i ke ʻano semi-aunoa a i ʻole ka manual i ʻole e loaʻa nā mea hoʻohana ʻē aʻe i nā pilikia like.

Heuristics no ke aʻo ʻana

ʻElua pilikia me kēia mau heuristic a me nā koʻokoʻo. ʻO ka mea mua, he paʻakikī ka mālama ʻana i ka nui o nā koʻokoʻo, e waiho wale i ko lākou maikaʻi a me kā lākou hana i ka wā lōʻihi. ʻO ka lua o ka pilikia, ʻaʻole i nui ka hewa, a ʻaʻole lawa kekahi mau kaomi e hoʻomaʻamaʻa hou i ke kumu hoʻohālike. Me he mea lā e hiki ke hoʻopau nui ʻia kēia mau hopena pili ʻole inā hoʻohana ʻia kēia ʻano hana.

1. Hana mākou i kahi koʻokoʻo manawa.
2. Hoʻouna mākou i ka ʻikepili mai ia mea i ke kumu hoʻohālike, hoʻomaikaʻi mau ia iā ia iho, me ka ʻikepili i loaʻa. Maʻaneʻi,ʻoiaʻiʻo, he mea nui ka pololei o ka heuristics iʻole e hōʻemi i ka maikaʻi o kaʻikepili i ka hoʻonohonoho hoʻonaʻauao.
3. A laila hoʻonohonoho mākou i ka nānā ʻana e hoʻomaka i ke koʻokoʻo, a inā ma hope o kekahi manawa ʻaʻole hana ke koʻokoʻo a uhi ʻia e ke kumu hoʻohālike, a laila hiki iā ʻoe ke wehe palekana. I kēia manawa ʻaʻole paha e hiki hou mai kēia pilikia.

No laila he mea pono loa ka pūʻali koʻokoʻo. ʻO ka mea nui, he wikiwiki kā lākou lawelawe a ʻaʻole mau.

Hoʻomaʻamaʻa hou

ʻO ka hoʻomaʻamaʻa hou ʻana ke kaʻina o ka hoʻohui ʻana i nā ʻikepili hou i loaʻa ma muli o nā manaʻo mai nā mea hoʻohana a i ʻole nā ​​ʻōnaehana ʻē aʻe, a me ke aʻo ʻana i kahi kumu hoʻohālike e kū nei. Nui paha nā pilikia me ka hoʻomaʻamaʻa hou aku:

1. ʻAʻole kākoʻo wale ke kumu hoʻohālike i ka hoʻomaʻamaʻa hou ʻana, akā e aʻo wale mai ka ʻōpala.
2. ʻAʻohe wahi o ka puke o ke ʻano i kākau ʻia e hoʻomaikaʻi ʻia ka hoʻomaʻamaʻa hou ʻana i ka maikaʻi o ka hana i ka hana. ʻO ka manawa pinepine ka mea kūʻē, ʻo ia hoʻi, hiki ke hōʻino wale.
3. Hiki ke ʻike ʻole ʻia nā loli. He wahi maʻalahi kēia a mākou i ʻike ai no mākou iho. ʻOiai inā hōʻike ʻia kahi hoʻohālike hou i ka hoʻāʻo A/B i nā hopena like i ka hoʻohālikelike ʻia me ka mea o kēia manawa, ʻaʻole ia he manaʻo e hana like ia. ʻOkoʻa paha kā lākou hana i hoʻokahi pākēneka, hiki ke lawe mai i nā hewa hou a i ʻole e hoʻihoʻi i nā hewa kahiko i hoʻoponopono ʻia. Ua ʻike mua mākou a me nā mea hoʻohana i ke ʻano o ka noho ʻana me nā hewa o kēia manawa, a i ka wā e ala mai ai ka nui o nā hewa hou, ʻaʻole maopopo paha ka mea hoʻohana i ka mea e hana nei, no ka mea, ke manaʻo nei ʻo ia i ka hana wānana.

No laila, ʻo ka mea nui loa i ka hoʻomaʻamaʻa hou ʻana, ʻo ia ka hōʻoia ʻana e hoʻomaikaʻi ʻia ke kumu hoʻohālike, a i ʻole ma ka liʻiliʻi ʻaʻole i hōʻeha ʻia.

ʻO ka mea mua i manaʻo ʻia ke kamaʻilio mākou e pili ana i ka hoʻomaʻamaʻa hou ʻana, ʻo ia ke ʻano Active Learning. He aha ke ʻano o kēia? No ka laʻana, hoʻoholo ka classifier inā pili ka leka uila i ke kālā, a ma kahi o kona palena hoʻoholo e hoʻohui mākou i kahi laʻana o nā laʻana i hōʻailona ʻia. Hana maikaʻi kēia, no ka laʻana, i ka hoʻolaha, kahi i nui ai nā manaʻo a hiki iā ʻoe ke hoʻomaʻamaʻa i ke kumu hoʻohālike ma ka pūnaewele. A inā he liʻiliʻi nā manaʻo, a laila loaʻa iā mākou kahi laʻana pili loa e pili ana i ka hāʻawi ʻana i ka ʻikepili hana, ma ke kumu hiki ʻole ke loiloi i ke ʻano o ke kumu hoʻohālike i ka wā e hana ai.

ʻO ka ʻoiaʻiʻo, ʻo kā mākou pahuhopu ka mālama ʻana i nā mamana kahiko, nā hiʻohiʻona i ʻike mua ʻia, a loaʻa i nā mea hou. He mea nui ka hoʻomau ma ʻaneʻi. ʻO ke kumu hoʻohālike, a mākou i hana pinepine ai i nā ʻeha nui e ʻōwili i waho, ke hana nei, no laila hiki iā mākou ke nānā aku i kāna hana.

Hoʻohana ʻia nā hiʻohiʻona like ʻole i ka leka uila: nā lāʻau, linear, neural networks. No kēlā me kēia, hana mākou i kā mākou algorithm hoʻomaʻamaʻa hou. I ke kaʻina o ka hoʻomaʻamaʻa hou, loaʻa iā mākou ʻaʻole wale nā ​​​​ʻikepili hou, akā pinepine nā hiʻohiʻona hou, a mākou e noʻonoʻo ai i nā algorithm āpau ma lalo.

Nā hiʻohiʻona laina

E ʻōlelo mākou he hoʻihoʻi logistic mākou. Hoʻokumu mākou i kahi kumu hoʻohālike mai nā ʻāpana aʻe:

• LogLoss ma ka ʻikepili hou;
• hoʻomaʻamaʻa mākou i nā paona o nā hiʻohiʻona hou (ʻaʻole mākou e hoʻopā i nā mea kahiko);
• aʻo pū mākou mai nā ʻikepili kahiko i mea e mālama ai i nā mamana kahiko;
• a, paha, ʻo ka mea nui loa: hoʻohui mākou i ka Harmonic Regularization, e hōʻoiaʻiʻo ana ʻaʻole e loli nui nā paona e pili ana i ka hiʻohiʻona kahiko e like me ka maʻamau.

No ka mea he coefficient kēlā me kēia ʻāpana Loss, hiki iā mākou ke koho i nā waiwai maikaʻi loa no kā mākou hana ma o ka cross-validation a i ʻole e pili ana i nā koi huahana.

Nā Kumulāʻau

E neʻe kākou i nā lāʻau hoʻoholo. Ua hōʻuluʻulu mākou i kēia algorithm no ka hoʻomaʻamaʻa hou ʻana i nā lāʻau:

1. Ke holo nei ka hana i kahi ululāʻau o 100-300 lāʻau, i aʻo ʻia ma kahi hoʻonohonoho ʻikepili kahiko.
2. I ka hopena, wehe mākou i ka M = 5 mau ʻāpana a hoʻohui i ka 2M = 10 mau mea hou, i aʻo ʻia ma ka hoʻonohonoho ʻikepili holoʻokoʻa, akā me ke kaumaha kiʻekiʻe no ka ʻikepili hou, e hōʻoiaʻiʻo maoli i kahi hoʻololi hoʻonui i ke kumu hoʻohālike.

ʻIke loa, i ka wā lōʻihi, piʻi nui ka nui o nā kumulāʻau, a pono e hoʻemi ʻia i kēlā me kēia manawa i mea e hoʻokō ai i nā manawa. No ka hana ʻana i kēia, hoʻohana mākou i ka Knowledge Distillation (KD) i kēia manawa. ʻO ka pōkole e pili ana i ke kumu o kāna hana.

1. Loaʻa iā mākou ke ʻano "paʻakikī" o kēia manawa. Holo mākou iā ia ma ka hoʻonohonoho ʻikepili hoʻomaʻamaʻa a loaʻa i ka puʻunaue likelika papa ma ka puka.
2. A laila, hoʻomaʻamaʻa mākou i ke kumu hoʻohālike haumāna (ke kumu hoʻohālike me ka liʻiliʻi o nā kumulāʻau i kēia hihia) e hana hou i nā hopena o ke kŘkohu me ka hoʻohana ʻana i ka puʻunaue papa e like me ka hoʻololi ʻana.
3. He mea nui e hoʻomaopopo ma ʻaneʻi ʻaʻole mākou e hoʻohana i ka markup set data ma kekahi ʻano, a no laila hiki iā mākou ke hoʻohana i ka ʻikepili arbitrary. ʻOiaʻiʻo, hoʻohana mākou i kahi hāpana ʻikepili mai ke kahawai hakakā ma ke ʻano he laʻana aʻo no ke kumu hoʻohālike haumāna. No laila, ʻo ka hoʻonohonoho hoʻomaʻamaʻa e ʻae iā mākou e hōʻoia i ka pololei o ke kŘkohu, a ʻo ka hāpana kahawai e hōʻoiaʻiʻo i ka hana like ma ka hāʻawi ʻana i ka hana, e uku ana i ke ʻano o ka hoʻonohonoho hoʻomaʻamaʻa.

ʻO ka hui pū ʻana o kēia mau ʻano hana ʻelua (hoʻohui ʻana i nā kumulāʻau a hōʻemi i ko lākou helu i kēlā me kēia manawa me ka hoʻohana ʻana i ka Knowledge Distillation) e hōʻoia i ka hoʻokomo ʻana i nā mamana hou a me ka hoʻomau piha.

Me ke kōkua o KD, hana mākou i nā hana like ʻole ma nā hiʻohiʻona hiʻohiʻona, e like me ka wehe ʻana i nā hiʻohiʻona a me ka hana ʻana i nā āpau. I kā mākou hihia, loaʻa iā mākou kekahi mau hiʻohiʻona helu koʻikoʻi (e nā mea hoʻouna, nā hashes kikokikona, URL, a me nā mea ʻē aʻe) i mālama ʻia i loko o ka waihona, kahi e hāʻule ʻole. ʻO ke kumu hoʻohālike, ʻoiaʻiʻo, ʻaʻole mākaukau no ka hoʻomohala ʻana i nā hanana, no ka mea, ʻaʻole i loaʻa nā kūlana hemahema i ka hoʻonohonoho hoʻomaʻamaʻa. Ma ia mau hihia, hoʻohui mākou i nā ʻenehana KD a me ka hoʻonui ʻana: i ka wā e aʻo ai i kahi hapa o ka ʻikepili, wehe a hoʻoponopono hou i nā hiʻohiʻona pono, a lawe mākou i nā lepili kumu (nā huahana o ke kumu hoʻohālike o kēia manawa), a aʻo ke kumu hoʻohālike e hana hou i kēia māhele. .

Ua ʻike mākou ʻoi aku ka nui o ka hana hoʻohālike koʻikoʻi, ʻoi aku ka nui o ka pākēneka o ka laʻana milo i koi ʻia.

ʻO ka wehe ʻana i nā hiʻohiʻona, ʻo ka hana maʻalahi, koi wale i kahi hapa liʻiliʻi o ke kahe, no ka mea, ʻelua mau hiʻohiʻona e hoʻololi, a ua aʻo ʻia ke kumu hoʻohālike o kēia manawa ma ka hoʻonohonoho like - he liʻiliʻi ka ʻokoʻa. No ka maʻalahi o ke kŘkohu (e ho'ēmi i ka nui o nā lāʻau i nā manawa he nui), 50 a 50. A no ka waiho ʻana i nā hiʻohiʻona helu koʻikoʻi e hoʻopilikia nui i ka hana ʻana o ke kumu hoʻohālike, ʻoi aku ka nui o ke kahe e koi ʻia e pae i ka hana o ka kumu hoʻohālike hou ʻole-pale i nā ʻano leka a pau.

kikokikona wikiwiki

E neʻe kākou i ka FastText. E hoʻomanaʻo wau iā ʻoe ʻo ka hōʻike (Embedding) o kahi huaʻōlelo aia ka huina o ka hoʻopili ʻana o ka huaʻōlelo ponoʻī a me kāna mau hua N-gram a pau, maʻa mau trigrams. Ma muli o ka nui o nā trigrams, hoʻohana ʻia ka Bucket Hashing, ʻo ia hoʻi, ka hoʻololi ʻana i ka wahi holoʻokoʻa i kahi hashmap paʻa. ʻO ka hopena, loaʻa ka matrix kaumaha me ka nui o ka papa i loko no ka helu o nā huaʻōlelo + bākeke.

Me ka hoʻomaʻamaʻa hou, ʻike ʻia nā hōʻailona hou: nā huaʻōlelo a me nā trigrams. ʻAʻohe mea nui i ka hoʻomaʻamaʻa hahai maʻamau mai Facebook. Hoʻomaʻamaʻa hou ʻia nā mea kaupaona kahiko me ka cross-entropy ma ka ʻikepili hou. No laila, ʻaʻole hoʻohana ʻia nā hiʻohiʻona hou; ʻoiaʻiʻo, aia kēia ala i nā hemahema āpau i hōʻike ʻia ma luna nei e pili ana i ka hiki ʻole o ke kumu hoʻohālike i ka hana. ʻO ia ke kumu i hoʻololi iki ai mākou i ka FastText. Hoʻohui mākou i nā mea kaupaona hou a pau (nā huaʻōlelo a me nā trigrams), e hoʻonui i ka matrix holoʻokoʻa me ka cross-entropy a hoʻohui i ka harmonic regularization ma o ka hoʻohālikelike ʻana me ke ʻano laina, e hōʻoiaʻiʻo ana i kahi loli liʻiliʻi o nā kaupaona kahiko.

CNN

ʻOi aku ka paʻakikī o nā pūnaewele convolutional. Inā hoʻopau ʻia nā papa hope i ka CNN, a laila, ʻoiaʻiʻo, hiki iā ʻoe ke hoʻopili i ka harmonic regularization a hōʻoia i ka hoʻomau. Akā inā koi ʻia ka hoʻomaʻamaʻa hou ʻana o ka pūnaewele holoʻokoʻa, a laila ʻaʻole hiki ke hoʻopili hou ʻia kēlā regularization i nā papa āpau. Eia nō naʻe, aia kahi koho e hoʻomaʻamaʻa i nā hoʻopili hoʻohui ma o Triplet Loss (ʻatikala kumu).

Pohō ʻekolu

Ke hoʻohana nei i kahi hana anti-phishing ma ke ʻano he laʻana, e nānā i Triplet Loss ma nā ʻōlelo maʻamau. Lawe mākou i kā mākou logo, a me nā hiʻohiʻona maikaʻi a maikaʻi ʻole o nā logo o nā hui ʻē aʻe. Hoʻemi mākou i ka mamao ma waena o ka mua a hoʻonui i ka mamao ma waena o ka lua, hana mākou i kēia me kahi liʻiliʻi liʻiliʻi e hōʻoia i ka compactness o nā papa.

Inā mākou e hoʻomaʻamaʻa hou i ka pūnaewele, a laila hoʻololi loa kā mākou metric space, a lilo ia i mea kūpono ʻole me ka mea ma mua. He pilikia koʻikoʻi kēia i nā pilikia e hoʻohana ana i nā vectors. No ka hoʻopau ʻana i kēia pilikia, e hoʻohui mākou i nā hoʻopili kahiko i ka wā aʻo.

Ua hoʻohui mākou i nā ʻikepili hou i ka hoʻonohonoho hoʻomaʻamaʻa ʻana a ke aʻo nei mākou i ka mana lua o ke kumu hoʻohālike mai ka wā ʻōpala. Ma ka papa ʻelua, hoʻomaʻamaʻa hou mākou i kā mākou pūnaewele (Finetuning): hoʻopau mua ka papa hope, a laila unfrozen ka pūnaewele holoʻokoʻa. I ke kaʻina o ka haku ʻana i nā triplets, helu wale mākou i kahi hapa o ka hoʻopili ʻana me ka hoʻohana ʻana i ke kumu hoʻohālike, ʻo ke koena - me ka hoʻohana ʻana i ka mea kahiko. No laila, i ke kaʻina o ka hoʻomaʻamaʻa hou ʻana, hōʻoia mākou i ka hoʻohālikelike ʻana o nā metric space v1 a me v2. He mana kū hoʻokahi o ka harmonic regularization.

Hoʻolālā holoʻokoʻa

Inā mākou e noʻonoʻo i ka ʻōnaehana holoʻokoʻa e hoʻohana ana i ka antispam ma ke ʻano he laʻana, a laila ʻaʻole hoʻokaʻawale nā ​​hiʻohiʻona, akā hoʻopaʻa ʻia i loko o kekahi. Lawe mākou i nā kiʻi, kikokikona a me nā hiʻohiʻona ʻē aʻe, me ka hoʻohana ʻana iā CNN a me Fast Text e loaʻa iā mākou nā hoʻopili. A laila, hoʻopili ʻia nā papa helu ma luna o nā mea hoʻopili, e hāʻawi ana i nā helu no nā papa like ʻole (nā ʻano leka, spam, hele ʻana o kahi logo). Ke komo nei nā hōʻailona a me nā hōʻailona i ka ululāʻau no ka hoʻoholo hope loa. Hiki i nā mea hoʻonohonoho hoʻokahi i kēia papahana ke wehewehe maikaʻi i nā hopena o ka ʻōnaehana a hoʻomaʻamaʻa hou i nā ʻāpana i ka pilikia, ma mua o ka hānai ʻana i nā ʻikepili āpau i nā lāʻau hoʻoholo ma ke ʻano maka.

ʻO ka hopena, hōʻoia mākou i ka hoʻomau i kēlā me kēia pae. Ma ka papa haʻahaʻa ma CNN a me Fast Text, hoʻohana mākou i ka harmonic regularization, no ka mea hoʻohālikelike i ka waena, hoʻohana pū mākou i ka harmonic regularization a me ka calibration rate no ka kūlike o ka hāʻawi likelika. ʻAe, hoʻomaʻamaʻa ʻia ka hoʻonui ʻana i ka lāʻau a i ʻole ka hoʻohana ʻana i ka Knowledge Distillation.

Ma keʻano maʻamau, ʻo ka mālama ʻana i kēlā ʻōnaehana aʻo mīkini pūnana he mea maʻamau ia, no ka mea, ʻo kēlā me kēia ʻāpana ma ka pae haʻahaʻa e alakaʻi i kahi mea hou i ka ʻōnaehana holoʻokoʻa ma luna. Akā, no ka mea i loko o kā mākou hoʻonohonoho hoʻololi liʻiliʻi kēlā me kēia ʻāpana a kūpono me ka mea ma mua, hiki ke hoʻonui ʻia ka ʻōnaehana holoʻokoʻa i kēlā me kēia ʻāpana me ka ʻole o ka hoʻomaʻamaʻa hou ʻana i ka hale holoʻokoʻa, e hiki ai ke kākoʻo ʻia me ka ʻole o ke poʻo koʻikoʻi.

Hoʻopili

Ua kūkākūkā mākou i ka hōʻiliʻili ʻikepili a me ka hoʻomaʻamaʻa hou ʻana o nā ʻano hiʻohiʻona like ʻole, no laila ke neʻe nei mākou i kā lākou hoʻolaha ʻana i ka ʻenehana hana.

Hoʻāʻo A/B

E like me kaʻu i ʻōlelo ai ma mua, i ke kaʻina o ka hōʻiliʻili ʻana i ka ʻikepili, loaʻa pinepine mākou i kahi laʻana, kahi hiki ʻole ke loiloi i ka hana hana o ke kumu hoʻohālike. No laila, i ka wā e kau ai, pono e hoʻohālikelike ʻia ke kumu hoʻohālike me ka mana o mua i mea e hoʻomaopopo ai i ka holo maoli ʻana o nā mea, ʻo ia hoʻi, e hana i nā hoʻokolohua A/B. ʻO ka ʻoiaʻiʻo, ʻo ke kaʻina o ka ʻōwili ʻana a me ka nānā ʻana i nā pakuhi he mea maʻamau a hiki ke maʻalahi. Hoʻopili mālie mākou i kā mākou mau hiʻohiʻona i ka 5%, 30%, 50% a me 100% o nā mea hoʻohana, ʻoiai e hōʻiliʻili ana i nā metric āpau i loaʻa i nā pane kumu hoʻohālike a me nā manaʻo hoʻohana. I ka hihia o kekahi mau outliers koʻikoʻi, e hoʻohuli 'akomi mākou i ke kumu hoʻohālike, a no nā hihia ʻē aʻe, i ka hōʻiliʻili ʻana i ka nui o nā kaomi mea hoʻohana, hoʻoholo mākou e hoʻonui i ka pakeneka. ʻO ka hopena, lawe mākou i ke kumu hoʻohālike hou i ka 50% o nā mea hoʻohana me ka maʻalahi loa, a ʻo ka rollout i ka lehulehu holoʻokoʻa e ʻae ʻia e kekahi kanaka, ʻoiai hiki ke hoʻohana ʻia kēia hana.

Eia naʻe, hāʻawi ke kaʻina hana hoʻāʻo A/B i ka lumi no ka hoʻonui ʻana. ʻO ka ʻoiaʻiʻo, he lōʻihi loa ka hoʻāʻo A/B (i kā mākou hihia e lawe ʻia mai 6 a 24 mau hola ma muli o ka nui o nā manaʻo manaʻo), ʻo ia ke kumu kūʻai nui a me nā kumu waiwai. Eia hou, pono ke kiʻekiʻe kiʻekiʻe o ke kahe no ka hoʻāʻo ʻana e wikiwiki i ka manawa holoʻokoʻa o ka hoʻāʻo A/B (ʻo ke kiʻi ʻana i kahi laʻana koʻikoʻi nui no ka loiloi ʻana i nā metric ma kahi pākēneka liʻiliʻi hiki ke lōʻihi loa). palena loa ka helu o nā puka A/B. ʻOiaʻiʻo, pono mākou e hoʻāʻo wale i nā hiʻohiʻona maikaʻi loa, i loaʻa iā mākou he nui i ka wā o ke kaʻina aʻo hou.

No ka hoʻoponopono ʻana i kēia pilikia, ua aʻo mākou i kahi papa ʻokoʻa e wānana ana i ka kūleʻa o kahi hoʻāʻo A/B. No ka hana ʻana i kēia, lawe mākou i nā ʻikepili hoʻoholo, Precision, Recall a me nā ana ʻē aʻe ma ka hoʻonohonoho hoʻomaʻamaʻa, ma ka mea i hoʻopaneʻe ʻia, a ma ka hāpana mai ke kahawai e like me nā hiʻohiʻona. Hoʻohālikelike mākou i ke kumu hoʻohālike me ka mea i hana ʻia i kēia manawa, me ka heuristic, a noʻonoʻo i ka Paʻakikī o ke kumu hoʻohālike. Ke hoʻohana nei i kēia mau hiʻohiʻona a pau, e loiloi ana kahi classifier i aʻo ʻia ma ka mōʻaukala hoʻāʻo i nā hiʻohiʻona moho, i kā mākou hihia he mau ulu lāʻau kēia, a hoʻoholo i ka mea e hoʻohana ai i ka hoʻāʻo A/B.

I ka manawa o ka hoʻokō ʻana, ua ʻae kēia ala iā mākou e hoʻonui i ka nui o nā hoʻokolohua A/B kūleʻa i nā manawa he nui.

Hoʻāʻo a nānā

ʻO ka hoʻāʻo ʻana a me ka nānā ʻana, ʻaʻole hoʻopōʻino i ko mākou olakino; akā, ma ka ʻokoʻa, hoʻomaikaʻi lākou a hoʻomaha iā mākou i ke koʻikoʻi pono ʻole. ʻO ka hoʻāʻo ʻana e ʻae iā ʻoe e pale i kahi hemahema, a hiki i ka nānā ʻana ke ʻike iā ia i ka manawa e hōʻemi i ka hopena i nā mea hoʻohana.

He mea nui e hoʻomaopopo ma ʻaneʻi ʻo ka liʻiliʻi a ma hope paha e hana hewa mau kāu ʻōnaehana - ma muli o ke kaʻina hoʻomohala o kekahi polokalamu. I ka hoʻomaka ʻana o ka hoʻomohala ʻana i ka ʻōnaehana he nui mau nā pōpoki a hiki i ka hoʻopau ʻana o nā mea a pau a hoʻopau ʻia ke kahua nui o ka hana hou. Akā i ka wā lōʻihi, lawe ʻia ka entropy, a ʻike hou ʻia nā hewa - ma muli o ka degradation o nā ʻāpana a puni a me nā loli i ka ʻikepili, aʻu i kamaʻilio ai ma ka hoʻomaka.

Maanei, makemake wau e ʻike pono e noʻonoʻo ʻia kekahi ʻōnaehana aʻo mīkini mai ka ʻike o kāna loaʻa kālā i loko o kona ola holoʻokoʻa. Hōʻike ka pakuhi ma lalo i kahi laʻana o ka hana ʻana o ka ʻōnaehana no ka hopu ʻana i kahi ʻano spam kakaʻikahi (ʻo ka laina ma ka pakuhi kokoke i ka zero). I kekahi lā, ma muli o kahi hiʻohiʻona i hūnā hewa ʻia, ua pupule ʻo ia. E like me ka laki, ʻaʻohe mākaʻikaʻi no ka hoʻoulu ʻana i nā mea ʻino; ʻo ka hopena, ua hoʻomaka ka ʻōnaehana e mālama i nā leka i ka nui o ka waihona "spam" ma ka palena hoʻoholo. ʻOiai ka hoʻoponopono ʻana i nā hopena, ua hana hewa ka ʻōnaehana i nā manawa he nui ʻaʻole e uku iā ia iho i loko o ʻelima mau makahiki. A he hāʻule piha kēia mai ka manaʻo o ke kaʻina ola o ke kumu hoʻohālike.

No laila, hiki i kahi mea maʻalahi e like me ka nānā ʻana ke lilo i kī i ke ola o kahi kumu hoʻohālike. Ma waho aʻe o nā metric maʻamau a maopopo, noʻonoʻo mākou i ka māhele ʻana o nā pane kumu hoʻohālike a me nā helu, a me ka puʻunaue ʻana i nā waiwai hiʻohiʻona nui. Ke hoʻohana nei i ka KL divergence, hiki iā mākou ke hoʻohālikelike i ka māhele o kēia manawa me ka mōʻaukala a i ʻole nā ​​waiwai i ka hoʻāʻo A/B me ke koena o ke kahawai, e hiki ai iā mākou ke ʻike i nā anomalies i ke kumu hoʻohālike a huli i nā loli i ka manawa kūpono.

I ka hapanui o nā hihia, hoʻomaka mākou i kā mākou mau mana mua o nā ʻōnaehana me ka hoʻohana ʻana i nā heuristic maʻalahi a i ʻole nā ​​hiʻohiʻona a mākou e hoʻohana ai i ka nānā ʻana i ka wā e hiki mai ana. No ka laʻana, nānā mākou i ka hiʻohiʻona NER i ka hoʻohālikelike ʻana me nā mea maʻamau no nā hale kūʻai pūnaewele kikoʻī, a inā hāʻule ka uhi classifier i ka hoʻohālikelike ʻana me lākou, a laila maopopo mākou i nā kumu. ʻO kekahi hoʻohana pono o ka heuristic!

Nā hopena

E hele hou kākou i nā manaʻo nui o ka ʻatikala.

• Fibdeck. Manaʻo mau mākou e pili ana i ka mea hoʻohana: pehea e ola ai me kā mākou mau hewa, pehea e hiki ai iā ia ke hōʻike iā lākou. Mai poina ʻaʻole ʻo nā mea hoʻohana ke kumu o ka manaʻo maʻemaʻe no nā hiʻohiʻona hoʻomaʻamaʻa, a pono e hoʻomaʻemaʻe ʻia me ke kōkua o nā ʻōnaehana ML kōkua. Inā ʻaʻole hiki ke hōʻiliʻili i kahi hōʻailona mai ka mea hoʻohana, a laila e ʻimi mākou i nā kumuwaiwai ʻē aʻe o ka manaʻo, no ka laʻana, nā ʻōnaehana pili.
• Hoʻomaʻamaʻa hou. ʻO ka mea nui ma aneʻi ʻo ka hoʻomau, no laila ke hilinaʻi nei mākou i ke ʻano hana hana o kēia manawa. Hoʻomaʻamaʻa mākou i nā hiʻohiʻona hou i ʻole lākou e ʻokoʻa i ka mea ma mua ma muli o ka harmonic regularization a me nā hoʻopunipuni like.
• Hoʻopili. ʻO ka hoʻopololei ʻana ma muli o nā metric e hoʻemi nui i ka manawa no ka hoʻokō ʻana i nā kumu hoʻohālike. ʻO ka nānā ʻana i nā helu helu a me ka hāʻawi ʻana i ka hoʻoholo ʻana, pono ka helu o nā hāʻule mai nā mea hoʻohana no kāu hiamoe hoʻomaha a me ka hopena hopena.

ʻAe, ke manaʻolana nei au e kōkua kēia iā ʻoe e hoʻomaikaʻi i kāu ʻōnaehana ML me ka wikiwiki, e hoʻolilo iā lākou i ka mākeke wikiwiki, a hoʻolilo iā lākou i hilinaʻi a emi ʻole ke kaumaha.

Source: www.habr.com