E ipapisitse le lipuo tsa ka ho Highload ++ le DataFest Minsk 2019.
Ho ba bangata kajeno, mangolo ke karolo ea bohlokoa bophelong ba Inthanete. Ka thuso ea eona, re tsamaisa mangolo a khoebo, re boloka mefuta eohle ea tlhahisoleseling ea bohlokoa e amanang le lichelete, ho behela lihotele, ho fana ka litaelo le tse ling tse ngata. Bohareng ba 2018, re thehile leano la sehlahisoa bakeng sa nts'etsopele ea mangolo. Mangolo a kajeno a lokela ho ba joang?
Mail e tlameha ho ba bohlale, ke hore, ho thusa basebelisi ho tsamaisa boitsebiso bo ntseng bo eketseha: sefa, sebopeho le ho fana ka eona ka tsela e bonolo ka ho fetisisa. O lokela hoba jwalo molemo, ho u lumella ho rarolla mesebetsi e sa tšoaneng hantle ka lebokoseng la hau la poso, mohlala, ho lefa lichelete (mosebetsi oo, ka bomalimabe, ke o sebelisang). 'Me ka nako e ts'oanang, ehlile, mangolo a tlameha ho fana ka ts'ireletso ea tlhahisoleseling, ho khaola spam le ho sireletsa khahlanong le ho qhekella, ke hore, bolokehileng.
Libaka tsena li hlalosa mathata a mangata a bohlokoa, ao bongata ba ona a ka rarolloang ka katleho ho sebelisoa ho ithuta ka mochine. Mona ke mehlala ea likarolo tse seng li ntse li le teng tse ntlafalitsoeng e le karolo ea leano - e 'ngoe bakeng sa tataiso ka 'ngoe.
- Tlhaloso e bohlale. Mail e na le karolo ea karabo e bohlale. Neural network e hlahloba mongolo oa lengolo, e utloisisa moelelo le morero oa eona, 'me ka lebaka leo e fana ka likhetho tse tharo tse nepahetseng ka ho fetisisa tsa ho arabela: tse ntle, tse mpe le tse sa nke lehlakore. Sena se thusa ho boloka nako haholo ha o araba mangolo, hape hangata o araba ka tsela e sa tloaelehang le e qabolang.
- Li-imeile tsa lihlophae amanang le litaelo mabenkeleng a marang-rang. Re atisa ho reka Inthaneteng, 'me, e le molao, mabenkele a ka romela mangolo-tsoibila a' maloa bakeng sa odara ka 'ngoe. Ka mohlala, ho tloha ho AliExpress, tšebeletso e kholo ka ho fetisisa, mangolo a mangata a kena bakeng sa taelo e le 'ngoe,' me re ile ra bala hore tabeng ea ho qetela palo ea bona e ka fihla ho 29. Ka hona, ka ho sebelisa mohlala oa Named Entity Recognition, re ntša nomoro ea taelo. le lintlha tse ling tse tsoang mongolong ebe o kopanya litlhaku tsohle ka khoele e le 'ngoe. Re boetse re bonts'a lintlha tsa mantlha mabapi le odara ka lebokoseng le arohaneng, e leng se etsang hore ho be bonolo ho sebetsa le mofuta ona oa lengolo-tsoibila.
- Khahlanong le phishing. Phishing ke mofuta o kotsi ka ho khetheha oa bomenemene oa imeile, ka thuso eo bahlaseli ba lekang ho fumana boitsebiso ba lichelete (ho kenyeletsoa le likarete tsa banka tsa mosebedisi) le ho kena. Litlhaku tse joalo li etsisa tsa sebele tse rometsoeng ke tšebeletso, ho akarelletsa le pono. Ka hona, ka thuso ea Computer Vision, re lemoha li-logos le mokhoa oa ho qapa mangolo a tsoang ho lik'hamphani tse kholo (mohlala, Mail.ru, Sber, Alfa) 'me re nahane ka sena hammoho le litemana le likarolo tse ling ho lihlopha tsa rona tsa spam le phishing. .
Ho ithuta ka mochini
Hanyenyane ka ho ithuta ka mochine ka imeile ka kakaretso. Mail ke sistimi e tlatsitsoeng haholo: palohare ea litlhaku tse 1,5 bilione ka letsatsi li feta har'a li-server tsa rona bakeng sa basebelisi ba DAU ba limilione tse 30. Litsamaiso tse ka bang 30 tsa ho ithuta ka mochini li tšehetsa mesebetsi le likarolo tsohle tse hlokahalang.
Lengolo le leng le le leng le feta har'a phaephe eohle ea lihlopha. Pele re khaola spam mme re siea li-imeile tse ntle. Hangata basebelisi ha ba hlokomele mosebetsi oa antispam, hobane 95-99% ea spam ha e qetelle e le foldareng e nepahetseng. Ho lemoha spam ke karolo ea bohlokoa haholo ea tsamaiso ea rona, 'me e thata ka ho fetisisa, kaha tšimong ea anti-spam ho na le phetoho e sa khaotseng pakeng tsa mekhoa ea tšireletso le ea tlhaselo, e fanang ka phephetso e tsoelang pele ea boenjiniere bakeng sa sehlopha sa rona.
Ka mor'a moo, re arola mangolo ho batho le liroboto. Li-imeile tse tsoang ho batho ke tsona tsa bohlokoa ka ho fetisisa, kahoo re fana ka likarolo tse kang Smart Reply bakeng sa bona. Mangolo a tsoang ho liroboto a arotsoe likarolo tse peli: transaction - tsena ke mangolo a bohlokoa a tsoang litšebeletsong, mohlala, litiiso tsa ho reka kapa ho boloka lihotele, lichelete le tlhahisoleseding - tsena ke papatso ea khoebo, litheolelo.
Re lumela hore mangolo-tsoibila a transaction a lekana le mangolo a motho ka mong. Li lokela ho ba teng, hobane hangata re hloka ho fumana kapele leseli mabapi le odara kapa pehelo ea litekete tsa sefofane, 'me re qeta nako re batla mangolo ana. Ka hona, bakeng sa boiketlo, re li arola ka bo eona ka mekhahlelo e tšeletseng e meholo: maeto, litaelo, lichelete, litekete, ho ngolisa, 'me qetellong, likotlo.
Litlhaku tsa boitsebiso ke sehlopha se seholo ka ho fetisisa le mohlomong se seng sa bohlokoa haholo, se sa hlokeng karabo e potlakileng, kaha ha ho letho la bohlokoa le tla fetoha bophelong ba mosebedisi haeba a sa bale lengolo le joalo. Sebokeng sa rona se secha, re li liha ka likhoele tse peli: marang-rang a sechaba le likoranta, ka hona re hlakola lebokose la poso le ho siea melaetsa ea bohlokoa feela e bonahalang.
Tshebetso
Litsamaiso tse ngata li baka mathata a mangata ts'ebetsong. Ntle le moo, mehlala e senyeha ha nako e ntse e ea, joalo ka software efe kapa efe: likarolo lia robeha, mechini e hloleha, khoutu ea khopama. Ho phaella moo, lintlha li lula li fetoha: tse ncha lia eketsoa, mekhoa ea boitšoaro ba basebelisi e fetoloa, joalo-joalo, kahoo mohlala o se nang tšehetso e nepahetseng o tla sebetsa le ho feta le ho feta ka nako.
Ha rea lokela ho lebala hore ho ithuta ka mochini ho tebileng ho kenella bophelong ba basebelisi, ho ba le tšusumetso e kholo ho tikoloho, 'me, ka lebaka leo, tahlehelo e eketsehileng ea lichelete kapa phaello ea libapali tsa mebaraka li ka e fumana. Ka hona, libakeng tse ntseng li eketseha, libapali li ikamahanya le mosebetsi oa li-algorithms tsa ML (mehlala ea khale ke papatso, lipatlisiso le antispam e seng e boletsoe).
Hape, mesebetsi ea ho ithuta ka mochine e na le ntho e ikhethang: leha e le efe, esita le e nyenyane, phetoho ea tsamaiso e ka hlahisa mosebetsi o mongata ka mohlala: ho sebetsa ka data, ho koetlisa, ho tsamaisoa, ho ka nka libeke kapa likhoeli. Ka hona, ha tikoloho eo mehlala ea hau e sebetsang ho eona e fetoha ka potlako, ho hlokahala boiteko bo bongata ho e boloka. Sehlopha se ka etsa litsamaiso tse ngata 'me sa e thabela, empa se sebelisa hoo e batlang e le lisebelisoa tsohle tsa sona ho li boloka, ntle le monyetla oa ho etsa ntho leha e le efe e ncha. Re kile ra kopana le boemo bo joalo sehlopheng sa antispam. 'Me ba entse qeto e hlakileng ea hore tšehetso e hloka ho iketsetsa.
Boiketsetso
Ke eng e ka iketsetsang? Hoo e ka bang tsohle, hantle-ntle. Ke hloaile libaka tse 'ne tse hlalosang lisebelisoa tsa ho ithuta ka mochini:
- pokello ea lintlha;
- koetliso e eketsehileng;
- tsamaisa;
- teko & ho beha leihlo.
Haeba tikoloho e sa tsitsa 'me e lula e fetoha, joale lisebelisoa tsohle tse potolohileng mohlala li fetoha tsa bohlokoa haholo ho feta mohlala ka boeona. E ka 'na ea e-ba sekhetho se setle sa khale, empa haeba u se fepa likarolo tse nepahetseng' me u fumana maikutlo a matle ho tsoa ho basebelisi, se tla sebetsa hantle ho feta mefuta ea State-Of-The-Art e nang le litloloko tsohle le liloli.
Feedback Loop
Potoloho ena e kopanya pokello ea lintlha, koetliso e eketsehileng le ho tsamaisoa - ha e le hantle, potoloho eohle ea ntlafatso ea mohlala. Ke hobane'ng ha e le ea bohlokoa? Sheba lenane la ho ngolisa ka poso:
Moetsi oa ho ithuta ka mochini o kentse tšebetsong mofuta oa anti-bot o thibelang bots ho ingolisa ka lengolo-tsoibila. Kerafo e theohela boleng moo ho setseng basebelisi ba 'nete feela. Tsohle di monate! Empa lihora tse 'nè li feta, bots ba fetola mangolo a bona,' me ntho e 'ngoe le e' ngoe e khutlela ho tloaelehileng. Ts'ebetsong ena, moqapi o ile a qeta khoeli a eketsa likarolo le ho koetlisa mohlala hape, empa spammer o ile a khona ho ikamahanya le maemo ka lihora tse 'nè.
E le hore re se ke ra utloa bohloko haholo 'me re se ke ra tlameha ho etsa ntho e' ngoe le e 'ngoe hape hamorao, re tlameha ho qala ka ho nahana hore na loop ea maikutlo e tla shebahala joang le hore na re tla etsa'ng haeba tikoloho e fetoha. Ha re qale ka ho bokella data - ena ke mafura bakeng sa li-algorithms tsa rona.
Pokello ea lintlha
Ho hlakile hore bakeng sa marang-rang a morao-rao a neural, boitsebiso bo bongata, bo molemo, 'me ha e le hantle, bo hlahisoa ke basebelisi ba sehlahisoa. Basebelisi ba ka re thusa ka ho tšoaea data, empa re ke ke ra sebelisa sena hampe, hobane ka nako e 'ngoe basebelisi ba tla khathala ke ho tlatsa mehlala ea hau mme ba fetohele sehlahisoa se seng.
E 'ngoe ea liphoso tse tloaelehileng (mona ke bua ka Andrew Ng) e tsepamisitse maikutlo haholo ho metrics ho dataset ea tlhahlobo, eseng ho fana ka maikutlo a tsoang ho mosebedisi, e leng eona tekanyo e ka sehloohong ea boleng ba mosebetsi, kaha re theha. sehlahisoa bakeng sa mosebedisi. Haeba mosebeletsi a sa utloisise kapa a sa rate mosebetsi oa mohlala, joale ntho e 'ngoe le e' ngoe e senyehile.
Ka hona, mosebelisi o lokela ho lula a khona ho vouta mme a fuoe sesebelisoa sa maikutlo. Haeba re nahana hore lengolo le amanang le lichelete le fihlile ka lebokoseng la poso, re lokela ho le tšoaea "lichelete" ebe re hula konopo eo mosebedisi a ka e tobetsang mme a re sena ha se lichelete.
Maikutlo a boleng
Ha re bue ka boleng ba maikutlo a basebelisi. Taba ea pele, uena le mosebelisi le ka beha meelelo e fapaneng mohopolong o le mong. Ka mohlala, uena le batsamaisi ba lihlahisoa tsa hau le nahana hore "chelete" e bolela mangolo a tsoang bankeng, 'me mosebedisi o nahana hore lengolo le tsoang ho nkhono oa penshene le lona le bolela lichelete. Taba ea bobeli, ho na le basebelisi ba ratang ho tobetsa likonopo ntle le mabaka. Taba ea boraro, mosebelisi a ka 'na a fosa haholo liqetong tsa hae. Mohlala o tsotehang oa ts'ebetso ea rona ke ho kenya ts'ebetsong ea lihlopha , mofuta o qabolang haholo oa spam moo mosebelisi a kopuoang ho nka lidolara tse limilione tse 'maloa ho tsoa ho mong ka tšohanyetso ea fumanoeng a le hōle Afrika. Kamora ho kenya tšebetsong sehlopha sena, re ile ra sheba ho tobetsa "Not Spam" ho li-imeile tsena, 'me ha fumaneha hore 80% ea tsona e ne e le li-spam tsa Nigeria tse monate, e leng se fanang ka maikutlo a hore basebelisi ba ka ba bonolo haholo.
Hape re se ke ra lebala hore likonopo li ka totoba eseng feela ke batho, empa hape le ka mefuta eohle ea bots e iketsang eka ke sebapali. Kahoo maikutlo a tala ha a molemo bakeng sa ho ithuta. U ka etsa'ng ka boitsebiso boo?
Re sebelisa mekhoa e 'meli:
- Maikutlo a tsoang ho ML e hokahaneng. Ka mohlala, re na le tsamaiso ea marang-rang ea anti-bot, eo, joalokaha ke boletse, e etsa qeto e potlakileng ho latela palo e lekanyelitsoeng ea matšoao. Mme ho na le sistimi ea bobeli, e liehang e sebetsang kamora 'nete. E na le lintlha tse ngata mabapi le mosebelisi, boitšoaro ba hae, jj. Ka lebaka leo, ho etsoa qeto e nang le tsebo e ngata; ka hona, e na le ho nepahala le ho phetheha ho holimo. U ka lebisa phapang ts'ebetsong ea litsamaiso tsena ho ea pele e le data ea koetliso. Ka hona, tsamaiso e bonolo e tla lula e leka ho atamela ts'ebetso ea e rarahaneng haholoanyane.
- Tobetsa sehlopha. U ka khetha feela ho penya mosebelisi ka mong, ho lekola bonnete ba eona le ts'ebeliso ea eona. Re etsa sena ka mangolo a antispam, re sebelisa litšoaneleho tsa mosebedisi, histori ea hae, litšobotsi tsa motho ea romelang molaetsa, mongolo ka boeona le sephetho sa lihlopha. Ka lebaka leo, re fumana sistimi e ikemetseng e netefatsang maikutlo a basebelisi. 'Me kaha e hloka ho koetlisoa hape khafetsa, mosebetsi oa eona e ka ba motheo oa litsamaiso tse ling kaofela. Ntho e ka sehloohong e ka sehloohong ea mohlala ona ke ho nepahala, hobane ho koetlisa mohlala ka lintlha tse sa nepahalang ho tletse liphello.
Ha re ntse re hloekisa data le ho tsoela pele ho koetlisa litsamaiso tsa rona tsa ML, ha rea lokela ho lebala ka basebelisi, hobane ho rona, likete, limilione tsa liphoso ho graph ke lipalo-palo, 'me ho mosebelisi, phoso e' ngoe le e 'ngoe ke tlokotsi. Ho phaella tabeng ea hore ka tsela e itseng mosebedisi o tlameha ho phela le phoso ea hau sehlahisoa, ka mor'a ho fumana maikutlo, o lebeletse hore boemo bo tšoanang bo tla felisoa nakong e tlang. Ka hona, kamehla ho bohlokoa ho fa basebelisi monyetla oa ho vouta eseng feela, empa hape le ho lokisa boits'oaro ba lits'ebetso tsa ML, ho theha, mohlala, li-heuristics tsa motho ka mong bakeng sa tokomane e 'ngoe le e' ngoe ea maikutlo; molemong oa mangolo, ona e ka ba bokhoni ba ho sefa. litlhaku tse joalo ka moromelli le sehlooho sa mosebelisi enoa.
U boetse u hloka ho theha mohlala ho latela litlaleho tse ling kapa likopo tsa ho ts'ehetsa ka mokhoa oa semi-automatic kapa manual e le hore basebelisi ba bang ba se ke ba ba le mathata a tšoanang.
Heuristics bakeng sa ho ithuta
Ho na le mathata a mabeli ka li-heuristics le lithupa. Ea pele ke hore palo ea lithupa tse ntseng li eketseha ho thata ho li boloka, ho sa bue letho ka boleng ba tsona le ts'ebetso ea tsona ka nako e telele. Bothata ba bobeli ke hore phoso e ka 'na ea se ke ea e-ba teng khafetsa,' me ho tobetsa tse 'maloa ho tsoela pele ho koetlisa mohlala ho ke ke ha lekana. Ho ka bonahala eka liphello tsena tse peli tse sa amaneng li ka fokotsoa haholo haeba mokhoa o latelang o sebelisoa.
- Re etsa crutch ea nakoana.
- Re romella data ho tsoa ho eona ho ea ho mohlala, e lula e inchafatsa, ho kenyelletsa le data e amoheloang. Mona, ha e le hantle, ke habohlokoa hore li-heuristics li be le ho nepahala ho phahameng e le hore li se ke tsa fokotsa boleng ba boitsebiso bo hlophisitsoeng ba koetliso.
- Ka mor'a moo, re beha leihlo ho qala crutch, 'me haeba ka mor'a nako e itseng crutch ha e sa sebetsa 'me e koahetsoe ka ho feletseng ke mohlala, joale u ka e tlosa ka mokhoa o sireletsehileng. Hona joale bothata bona ha bo na monyetla oa ho etsahala hape.
Kahoo lebotho la lithupa le molemo haholo. Ntho e ka sehloohong ke hore tšebeletso ea bona e potlakile ebile e se ea ka ho sa feleng.
Koetliso e eketsehileng
Ho ikoetlisa hape ke mokhoa oa ho eketsa lintlha tse ncha tse fumanoeng ka lebaka la maikutlo a tsoang ho basebelisi kapa mekhoa e meng, le ho koetlisa mohlala o teng ho eona. Ho ka ba le mathata a 'maloa ka koetliso e eketsehileng:
- Mohlala o kanna oa se tšehetse koetliso e eketsehileng, empa ithute ho tloha qalong feela.
- Ha ho kae kapa kae bukeng ea tlhaho moo ho ngotsoeng hore koetliso e eketsehileng ka sebele e tla ntlafatsa boleng ba mosebetsi tlhahisong. Hangata ho etsahala se fapaneng, ke hore, ho senyeha feela ho ka khoneha.
- Liphetoho e ka ba tse sa lebelloang. Ena ke ntlha e poteletseng eo re ikhethetseng eona. Le haeba mohlala o mocha tlhahlobong ea A/B o bontša liphetho tse tšoanang ha o bapisoa le oa hajoale, sena ha se bolele hore o tla sebetsa ka mokhoa o ts'oanang. Mosebetsi oa bona o ka ’na oa fapana ka karolo e le ’ngoe feela lekholong, e leng se ka ’nang sa tlisa liphoso tse ncha kapa tsa khutlisetsa tsa khale tse seng li lokisitsoe. Ka bobeli rona le basebelisi re se re ntse re tseba ho phela le liphoso tsa hona joale, 'me ha palo e kholo ea liphoso tse ncha e hlaha, mosebedisi le eena a ka' na a se ke a utloisisa se etsahalang, hobane o lebeletse boitšoaro bo sa lebelloang.
Ka hona, ntho ea bohlokoa ka ho fetisisa thupelong e eketsehileng ke ho netefatsa hore mohlala o ntlafatsoa, kapa bonyane ha o mpefala.
Ntho ea pele e tlang kelellong ha re bua ka koetliso ea tlatsetso ke mokhoa oa ho Ithuta ka Matla. See se bolelang? Mohlala, mokhethoa o etsa qeto ea hore na lengolo-tsoibila le amana le lichelete, 'me ho potoloha moeli oa qeto re kenya mohlala oa mehlala e ngotsoeng. Sena se sebetsa hantle, ka mohlala, lipapatsong, moo ho nang le maikutlo a mangata 'me u ka koetlisa mohlala oa inthaneteng. 'Me haeba ho na le maikutlo a fokolang, joale re fumana mohlala o leeme haholo o amanang le tlhahiso ea data ea tlhahiso, motheong oa hore ho ke ke ha khoneha ho hlahloba boitšoaro ba mohlala nakong ea ts'ebetso.
Ha e le hantle, sepheo sa rona ke ho boloka mekhoa ea khale, mehlala e seng e tsejoa, le ho fumana e mecha. Tsoelopele ke ea bohlokoa mona. Mohlala, oo hangata re neng re nka bohloko bo boholo ho o hlahisa, o se o ntse o sebetsa, kahoo re ka tsepamisa maikutlo tšebetsong ea oona.
Mefuta e fapaneng e sebelisoa ka poso: lifate, linear, neural networks. Bakeng sa e mong le e mong re iketsetsa algorithm ea rona ea koetliso e eketsehileng. Nakong ea koetliso e eketsehileng, ha re fumane lintlha tse ncha feela, empa hape le likarolo tse ncha, tseo re tla li ela hloko ho li-algorithms tsohle tse ka tlase.
Mehlala ea mela
Ha re re re na le ho fokotseha ha lintho. Re theha mohlala oa tahlehelo ho tsoa ho likarolo tse latelang:
- LogLoss ho data e ncha;
- re hlophisa boima ba likarolo tse ncha (ha re ame tsa khale);
- re boetse re ithuta ho data ea khale e le ho boloka mekhoa ea khale;
- 'me, mohlomong, ntho ea bohlokoa ka ho fetisisa: re eketsa Harmonic Regularization, e leng se tiisang hore litekanyo li ke ke tsa fetoha haholo ha li bapisoa le mohlala oa khale ho ea ka mokhoa o tloaelehileng.
Kaha karolo e 'ngoe le e 'ngoe ea Tahlehelo e na le li-coefficients, re ka khetha boleng bo nepahetseng bakeng sa mosebetsi oa rona ka ho netefatsa kapa ho latela litlhoko tsa sehlahisoa.
Lifate
Ha re feteleng lifateng tsa liqeto. Re hlophisitse algorithm e latelang bakeng sa koetliso e eketsehileng ea lifate:
- Tlhahiso e tsamaisa moru oa lifate tsa 100-300, tse koetlisitsoeng ka sete ea khale ea data.
- Qetellong re tlosa likotoana tsa M = 5 ebe re eketsa 2M = 10 tse ncha, tse koetlisitsoeng ho sete ea data eohle, empa ka boima bo phahameng ba data e ncha, eo ka tlhaho e tiisang phetoho e ntseng e eketseha ea mohlala.
Ho hlakile hore ha nako e ntse e ea, palo ea lifate e eketseha haholo, 'me e tlameha ho fokotsoa nako le nako e le hore e finyelle nako. Ho etsa sena, re sebelisa "KD" e fumanehang hohle hona joale. Ka bokhutšoanyane ka molao-motheo oa ts'ebetso ea eona.
- Re na le "mohlala o rarahaneng" oa hajoale. Re e tsamaisa ho sete ea data ea koetliso mme re fumana kabo ea monyetla oa sehlopha ho tlhahiso.
- Ka mor'a moo, re koetlisa mohlala oa liithuti (mohlala o nang le lifate tse fokolang tabeng ena) ho pheta liphetho tsa mohlala ho sebelisa kabo ea lihlopha e le sepheo se fapaneng.
- Ho bohlokoa ho hlokomela mona hore ha re sebelise letšoao la sete ea data ka tsela efe kapa efe, ka hona re ka sebelisa data e sa reroang. Ha e le hantle, re sebelisa mohlala oa data ho tloha mocheng oa ntoa e le mohlala oa koetliso bakeng sa mohlala oa seithuti. Ka hona, sete sa koetliso se re lumella ho netefatsa ho nepahala ha mohlala, 'me mohlala oa molapo o tiisa ts'ebetso e ts'oanang kabong ea tlhahiso, ho lefella leeme la sete ea koetliso.
Ho kopana ha mekhoa ena e 'meli (ho eketsa lifate le ho fokotsa nako le nako palo ea tsona ka ho sebelisa Tsebo ea Distillation) ho tiisa ho kenngoa ha mekhoa e mecha le ho tsoela pele ka ho feletseng.
Ka thuso ea KD, re boetse re etsa ts'ebetso e fapaneng ho likarolo tsa mohlala, joalo ka ho tlosa likarolo le ho sebetsa ka likheo. Tabeng ea rona, re na le lintlha tse 'maloa tsa bohlokoa tsa lipalo-palo (ka ba romellang, li-hashes tsa mongolo, li-URL, joalo-joalo) tse bolokiloeng ho database, tse atisang ho hlōleha. Mohlala, ha e le hantle, ha o e-s'o itokisetse tsoelo-pele e joalo ea liketsahalo, kaha maemo a ho hlōleha ha a hlahe ka har'a setsi sa koetliso. Maemong a joalo, re kopanya mekhoa ea KD le ea ho eketsa: ha re koetlisa karolo ea data, re tlosa kapa re tsosolosa likarolo tse hlokahalang, 'me re nka li-labels tsa pele (lihlahisoa tsa mohlala oa hona joale),' me mohlala oa seithuti o ithuta ho pheta kabo ena. .
Re hlokometse hore mokhoa o tebileng oa ho qhekella o etsahala, ho ba le peresente e kholo ea sampole ea khoele e hlokahalang.
Ho tlosoa ha likarolo, ts'ebetso e bonolo ka ho fetisisa, e hloka karolo e nyenyane feela ea phallo, kaha likarolo tse 'maloa feela li fetoha,' me mohlala oa hona joale o koetlisitsoe ka sete e le 'ngoe - phapang e nyenyane. Ho nolofatsa mohlala (ho fokotsa palo ea lifate ka makhetlo a mangata), ho se ho hlokahala 50 ho isa ho 50. 'Me bakeng sa ho siuoa ha lintlha tsa bohlokoa tsa lipalo-palo tse tla ama ts'ebetso ea mohlala ka ho teba, ho hlokahala hore ho be le phallo e eketsehileng ho lekanya mosebetsi oa mofuta o mocha o hananang le ho se sieo mefuteng eohle ea litlhaku.
FastText
Ha re feteleng ho FastText. E re ke u hopotse hore kemelo (Embedding) ea lentsoe e na le kakaretso ea ho kenyeletsoa ha lentsoe ka bolona le tlhaku eohle ea lona N-grams, hangata li-trigrams. Kaha ho ka ba le li-trigrams tse ngata, ho sebelisoa Bucket Hashing, ke hore, ho fetola sebaka sohle hore e be hashmap e itseng e tsitsitseng. Ka lebaka leo, boima ba 'mele bo fumanoa ka boholo ba sekhahla se ka hare ho palo ea mantsoe + linkho.
Ka koetliso e eketsehileng, matšoao a macha a hlaha: mantsoe le trigrams. Ha ho letho le bohlokoa le etsahalang thupelong e tloaelehileng ea ho latela ho tsoa ho Facebook. Ke litekanyo tsa khale feela tse nang le cross-entropy tse koetlisoang hape ho data e ncha. Ka hona, likarolo tse ncha ha li sebelisoe; ehlile, mokhoa ona o na le mefokolo eohle e boletsoeng ka holimo e amanang le ho se tsejoe esale pele ha mohlala oa tlhahiso. Ke kahoo re fetotseng FastText hanyane. Re eketsa litekanyo tsohle tse ncha (mantsoe le li-trigrams), re holisa matrix kaofela ka cross-entropy mme re eketsa mokhoa oa ho lumellana ka mokhoa oa papiso le mohlala oa linear, o tiisang phetoho e sa reng letho ho boima ba khale.
CNN
Marang-rang a Convolutional a batla a rarahane ho feta. Haeba likarolo tsa ho qetela li phethiloe ho CNN, joale, ehlile, o ka etsa kopo ea ho tloaeleha ha harmonic le ho netefatsa tsoelo-pele. Empa haeba ho hlokahala koetliso e eketsehileng ea marang-rang kaofela, joale ho tloaeleha ho joalo ho ke ke ha hlola ho sebelisoa likarolong tsohle. Leha ho le joalo, ho na le khetho ea ho koetlisa li-embeddings ka Triplet Loss ().
Tahlehelo Hararo
Ho sebelisa mosebetsi o khahlanong le phishing e le mohlala, ha re shebeng Tahlehelo ea Triplet ka kakaretso. Re nka letšoao la rona, hammoho le mehlala e metle le e mebe ea li-logos tsa lik'hamphani tse ling. Re fokotsa sebaka se pakeng tsa ea pele le ho eketsa sebaka se pakeng tsa ea bobeli, re etsa sena ka lekhalo le lenyenyane ho netefatsa hore lihlopha li kopane.
Haeba re tsoela pele ho koetlisa marang-rang, joale sebaka sa rona sa metric se fetoha ka ho feletseng, 'me se fetoha se sa lumellaneng ka ho feletseng le se fetileng. Ena ke bothata bo tebileng bo amanang le mathata a sebelisang li-vector. Ho rarolla bothata bona, re tla kopanya li-embeddings tsa khale nakong ea koetliso.
Re kentse lintlha tse ncha setsing sa koetliso 'me re koetlisa mofuta oa bobeli oa mohlala ho tloha qalong. Mothating oa bobeli, re tsoela pele ho koetlisa marang-rang a rona (Finetuning): pele lera la ho qetela le phethiloe, ebe marang-rang kaofela ha a na serame. Ha re ntse re etsa li-triplets, re bala karolo feela ea li-embeddings re sebelisa mohlala o koetlisitsoeng, tse ling kaofela - re sebelisa ea khale. Kahoo, ts'ebetsong ea koetliso e eketsehileng, re netefatsa ho lumellana ha libaka tsa metric v1 le v2. Phetolelo e ikhethang ea harmonic regularization.
Meaho eohle
Haeba re nahana ka tsamaiso eohle e sebelisang antispam e le mohlala, joale mehlala ha e arohane, empa e lutse ka hare ho e 'ngoe. Re nka linepe, mongolo le likarolo tse ling, re sebelisa CNN le Fast Text, re fumana mengolo. Ka mor'a moo, li-classifiers li sebelisoa ka holim'a li-embeddings, tse fanang ka lintlha bakeng sa lihlopha tse fapaneng (mefuta ea litlhaku, spam, boteng ba logo). Lipontšo le matšoao li se li ntse li kena morung oa lifate bakeng sa qeto ea ho qetela e tla etsoa. Lihlopha tsa batho ka bomong morerong ona li etsa hore ho khonehe ho hlalosa hantle liphello tsa tsamaiso le ka ho khetheha ho koetlisa likarolo haeba ho na le mathata, ho e-na le ho fepa lintlha tsohle ka lifate tsa liqeto ka mokhoa o tala.
Ka lebaka leo, re netefatsa ho tsoelapele maemong ohle. Boemong bo tlase ho CNN le Fast Text re sebelisa harmonic regularization, bakeng sa lihlopha tse bohareng re boetse re sebelisa harmonic regularization le tekanyo ea tekanyo bakeng sa ho lumellana ha monyetla oa ho ajoa. Le ha ho le joalo, ho holisa lifate ho koetlisoa ka sekhahla kapa ho sebelisa Tsebo ea Distillation.
Ka kakaretso, ho boloka mochini o joalo oa ho ithuta oa mochini hangata ke bohloko, kaha karolo efe kapa efe e maemong a tlase e lebisa ntlafatsong ea sistimi eohle e kaholimo. Empa kaha ho seta ha rona karolo e 'ngoe le e' ngoe e fetoha hanyenyane 'me e lumellana le e fetileng, tsamaiso eohle e ka ntlafatsoa ka sengoathoana ntle le tlhokahalo ea ho tsosolosa mohaho oohle, o lumellang hore o tšehetsoe ntle le ho feta holimo.
Tsamaisa
Re buisane ka pokello ea lintlha le koetliso e eketsehileng ea mefuta e fapaneng ea mehlala, kahoo re tsoela pele ho kenngoa ha bona sebakeng sa tlhahiso.
Teko ea A/B
Joalokaha ke boletse pejana, ts'ebetsong ea ho bokella lintlha, hangata re fumana mohlala o leeme, oo ho oona ho ke keng ha khoneha ho hlahloba ts'ebetso ea tlhahiso ea mohlala. Ka hona, ha ho tsamaisoa, mohlala o tlameha ho bapisoa le mofuta o fetileng ho utloisisa hore na lintho li ntse li tsamaea joang, ke hore, ho etsa liteko tsa A / B. Ha e le hantle, mokhoa oa ho hlahisa le ho hlahloba lichate ke mokhoa o tloaelehileng 'me o ka iketsetsa habonolo. Re hlahisa mefuta ea rona butle-butle ho 5%, 30%, 50% le 100% ea basebelisi, ha re ntse re bokella metrics eohle e teng mabapi le likarabo tsa mehlala le maikutlo a basebelisi. Tabeng ea li-outliers tse tebileng, re khutlisa mohlala ka bohona, 'me maemong a mang, ha re bokelletse palo e lekaneng ea ho tobetsa ha basebelisi, re etsa qeto ea ho eketsa liperesente. Ka lebaka leo, re tlisa mohlala o mocha ho 50% ea basebelisi ka ho feletseng, 'me ho phatlalatsoa ho bamameli bohle ho tla amoheloa ke motho, le hoja mohato ona o ka iketsetsa.
Leha ho le joalo, ts'ebetso ea tlhahlobo ea A/B e fana ka sebaka sa ho ntlafatsa. 'Nete ke hore tlhahlobo efe kapa efe ea A / B e telele haholo (ho rona e nka lihora tse 6 ho isa ho tse 24 ho latela palo ea maikutlo), e leng se etsang hore e theko e boima haholo ebile e na le lisebelisoa tse fokolang. Ho feta moo, ho hlokahala peresente e phahameng e lekaneng ea phallo bakeng sa tlhahlobo ho potlakisa nako eohle ea tlhahlobo ea A/B (ho thaotha sampole ea bohlokoa ka lipalo ho lekola metrics ka liperesente tse nyane ho ka nka nako e telele haholo), e leng se etsang palo ea libaka tsa A/B tse fokolang haholo. Ho hlakile hore re hloka ho leka feela mehlala e ts'episang, eo re e fumanang haholo nakong ea koetliso e eketsehileng.
Ho rarolla bothata bona, re koetliselitse sehlopha se arohaneng se bolelang esale pele katleho ea tlhahlobo ea A/B. Ho etsa sena, re nka lipalo-palo tsa ho etsa liqeto, Precision, Recall le lintlha tse ling mabapi le sete ea koetliso, ho e chechisetsoang morao, le sampole e tsoang molapong e le likarolo. Re boetse re bapisa mohlala le oa hona joale oa tlhahiso, ka heuristics, 'me re nahanela ho rarahana ha mohlala. Ka ho sebelisa likarolo tsena kaofela, mokhethoa ea koetliselitsoeng nalaneng ea liteko o lekola mehlala ea ba khethiloeng, molemong oa rona ena ke meru ea lifate, 'me o etsa qeto ea hore na a sebelise efe tlhahlobong ea A/B.
Nakong ea ts'ebetsong, mokhoa ona o ile oa re lumella ho eketsa palo ea liteko tsa A / B tse atlehileng ka makhetlo a 'maloa.
Teko & Tlhokomelo
Ho etsa liteko le ho beha leihlo, ka mokhoa o makatsang, ha li lematse bophelo bo botle ba rona; ho fapana le hoo, lia bo ntlafatsa le ho re imolla khatellong e sa hlokahaleng. Teko e u lumella ho thibela ho hloleha, 'me ho beha leihlo ho u lumella ho e bona ka nako ho fokotsa tšusumetso ho basebelisi.
Ho bohlokoa ho utloisisa mona hore haufinyane sistimi ea hau e tla lula e etsa liphoso - sena se bakoa ke potoloho ea nts'etsopele ea software efe kapa efe. Qalong ea tsoelo-pele ea tsamaiso ho lula ho e-na le likokoana-hloko tse ngata ho fihlela ntho e 'ngoe le e' ngoe e lula fatše 'me mohato o ka sehloohong oa ts'ebetso o phethoa. Empa ha nako e ntse e ea, entropy e nka mathata a eona, 'me liphoso li hlaha hape - ka lebaka la ho senyeha ha likarolo tse potolohileng le liphetoho tsa data, tseo ke buileng ka tsona qalong.
Mona ke rata ho hlokomela hore mokhoa leha e le ofe oa ho ithuta oa mochine o lokela ho nkoa ho ea ka pono ea phaello ea eona ho pholletsa le nako eohle ea bophelo ba eona. Kerafo e ka tlase e bontša mohlala oa kamoo tsamaiso e sebetsang kateng ho tšoara mofuta o sa tloaelehang oa spam (mohala o setšoantšong o haufi le zero). Ka letsatsi le leng, ka lebaka la tšobotsi e sa bolokehang ka nepo, o ile a hlanya. Joalo ka lehlohonolo, ho ne ho se na leihlo bakeng sa ts'ebetso e sa tloaelehang; ka lebaka leo, sistimi e ile ea qala ho boloka mangolo ka bongata ho foldara ea "spam" moeling oa ho etsa liqeto. Ho sa tsotellehe ho lokisa liphello, tsamaiso e se e entse liphoso ka makhetlo a mangata hoo e ke keng ea itefa le ka mor'a lilemo tse hlano. 'Me sena ke ho hlōleha ho feletseng ho tloha ponong ea potoloho ea bophelo ea mohlala.
Ka hona, ntho e bonolo joalo ka ho beha leihlo e ka fetoha senotlolo bophelong ba mohlala. Ho phaella ho metrics e tloaelehileng le e totobetseng, re nahana ka kabo ea likarabo tsa mohlala le lintlha, hammoho le kabo ea boleng ba likarolo tsa bohlokoa. Ka ho sebelisa phapano ea KL, re ka bapisa kabo ea hajoale le ea nalane kapa boleng ba tlhahlobo ea A/B le molatsoana o mong, e leng se re lumellang ho hlokomela mefokolo ea mohlala le ho khutlisa liphetoho ka nako e nepahetseng.
Hangata, re qala mefuta ea rona ea pele ea litsamaiso re sebelisa li-heuristics tse bonolo kapa mefuta eo re e sebelisang ho beha leihlo nakong e tlang. Ka mohlala, re beha leihlo mohlala oa NER ha o bapisoa le o tloaelehileng bakeng sa mabenkele a khethehileng a marang-rang, 'me haeba tšireletso ea lihlopha e theoha ha e bapisoa le eona, joale re utloisisa mabaka. Tšebeliso e 'ngoe ea bohlokoa ea heuristics!
Liphello
Ha re hlahlobeng lintlha tsa sehlooho tsa sehlooho hape.
- Fibdeck. Re lula re nahana ka mosebelisi: hore na o tla phela joang le liphoso tsa rona, hore na o tla khona ho li tlaleha joang. U se ke ua lebala hore basebelisi ha se mohloli oa maikutlo a hloekileng bakeng sa mehlala ea koetliso, 'me e hloka ho hlakoloa ka thuso ea lisebelisoa tse thusang tsa ML. Haeba ho ke ke ha khoneha ho bokella letšoao ho tswa ho mosebedisi, joale re batla mehloli e meng ea maikutlo, mohlala, litsamaiso tse hokahaneng.
- Koetliso e eketsehileng. Ntho e ka sehloohong mona ke ho tsoela pele, kahoo re itšetlehile ka mohlala oa hona joale oa tlhahiso. Re koetlisa mefuta e mecha e le hore e se ke ea fapana haholo le e fetileng ka lebaka la ho tloaeleha ha harmonic le maqheka a tšoanang.
- Tsamaisa. Ho tsamaisa ka boits'oaro ho ipapisitsoe le metrics ho fokotsa haholo nako ea ho kenya ts'ebetsong mefuta. Ho beha lipalo-palo leihlo le kabo ea ho etsa liqeto, palo ea ho theoha ho tsoa ho basebelisi e tlamehile hore u robale u phomotse le mafelo-beke a monate.
Ke ts'epa hore sena se tla u thusa ho ntlafatsa lits'ebetso tsa hau tsa ML kapele, ho li etsa hore li rekisoe kapele, 'me li etse hore li tšepahale, li se ke tsa imeloa kelellong.
Source: www.habr.com