Masinõppe rakendamine Mail.ru-s

Minu ettekannete põhjal Highload++ ja DataFest Minsk 2019.

Paljude jaoks on täna e-post eluliselt oluline osa veebielust. Selle abil peame ärikirjavahetust, hoiame erinevat olulist teavet seoses rahanduse, hotellide broneerimise, tellimuste vormistamise ja muu sellisega. 2018. aasta keskpaiku formuleerisime meiliteenuse arendamise tootestrateegia. Milline peaks olema kaasaegne e-post?

E-post peab olema nutikas, ehk see peab aitama kasutajatel navigeerida kasvavas infohulgas: filtreerima, struktureerima ja esitama seda kõige mugavamal viisil. Samuti peab see olema kasulik, võimaldades lahendada erinevaid ülesandeid otse postkastis, näiteks trahvide maksmine (funktsioon, mida ma, kahjuks, kasutan). Samuti peab e-post tagama informatiivse kaitse, filtreerides spämm ja kaitstes häkkimiste eest, ehk olema turvalisest.

Need suunad määravad hulga põhieesmärke, millest paljusid saab tõhusalt lahendada masinõppe abil. Siin on näited juba rakendatud funktsioonidest, mis on välja töötatud strateegia raames – iga suuna kohta üks.

• Nutikas vastus. E-postis on nutika vastamise funktsioon. Neuraalvõrk analüüsib kirja sisu, mõistab selle tähendust ja eesmärki ning pakub seejärel välja kolm sobivaimat vastusevarianti: positiivne, negatiivne ja neutraalne. See aitab oluliselt säästa aega kirjadele vastamisel ning sageli ka vastata ebatavalistel ja lõbusatel viisidel.
• Kirjade rühmitamine, mis on seotud internetipoodidest tehtud tellimustega. Me teeme tihti oste internetis ja tavaliselt saadavad poed igale tellimusele mitu kirja. Näiteks AliExpressilt, suurimalt teenusest, tuleb ühe tellimuse kohta palju kirju, ja me oleme arvestanud, et sellisel juhul võib nende koguarv ulatuda 29. Seetõttu kasutame nime märgendamise mudelit, et eristada tellimuse numbrit ja muud teavet tekstist ning rühmitada kõik kirjad ühe niidi alla. Samuti kuvame põhiteabe tellimuse kohta eraldi kastis, mis lihtsustab töötamist selle tüüpi kirjadega.

  

• Antifishing. Phishing on eriti ohtlik petmisviis, millega üritavad kurjategijad saada kätte finantsteavet (sealhulgas kasutaja pangakaarditeavet) ja kasutajatunnuseid. Sellised kirjad jäljendavad tõelisi, teenuse poolt saadetud kirju, sealhulgas visuaalselt. Seetõttu tuvastame Computer Vision abil suurte ettevõtete (näiteks Mail.ru, Sber, Alfa) logod ja stiili ning arvestame neid koos teksti ja muude tunnustega oma spämm- ja phishingu klassifitseerijates.

Masinõpe

Veidi masinõppest e-kirjade raames. E-post on kõrge koormusega süsteem: meie serverite kaudu läbib keskmiselt 1,5 miljardit kirja päevas 30 miljoni DAU kasutaja kohta. Kõiki vajalikke funktsioone ja funktsioone teenindab umbes 30 masinõppimise süsteemi.

Iga kiri läbib terve klassifitseerimise konveieri. Esiteks filtreerime välja spämmi ja jätame alles head kirjad. Kasutajad ei märka tihti antispämmifunktsiooni, kuna 95–99% spämmi ei jõua isegi vastava kausta. Spämmi tuvastamine on meie süsteemi väga oluline ja samas ka kõige keerulisem osa, kuna antispam valdkonnas toimub pidev kohandamine kaitsesüsteemide ja rünnakute vahel, mis esitab meie meeskonnale pideva inseneriväljakutse.

Seejärel jagame kirjad inimeste ja robotite vahel. Inimeste poolt saadetud kirjad on kõige olulisemad, seetõttu pakume neile funktsioone nagu Nutikas vastus. Robotite saadetud kirjad jagatakse kaheks: tehingulised — need on olulised kirjad teenustelt, näiteks ostude või hotellibroneeringute kinnitused, finantskirjad, ja informatiivsed — need on ärireklaam, allahindlused.

Me arvame, et tehinguliste kirjade olulisus on võrreldav isiklike kirjadega. Need peavad olema käepärast, kuna sageli on vajalik kiiresti leida teavet tellimuse või lennupileti broneeringu kohta, ja me kulutame aega nende kirjade otsimisele. Seetõttu jagame need mugavuse huvides automaatselt kuue peamise kategooria vahel: reisid, tellimused, finantsid, piletid, registreerimised ja lõpuks trahvid.

Informatiivsed kirjad on kõige arvukam ja tõenäoliselt vähem oluline rühm, mis ei nõua kohest reageerimist, kuna midagi olulist ei muutu kasutaja elus, kui ta sellist teadet ei loe. Meie uues liideses koondame need kahte niidi: sotsiaalmeedia ja uudiskirjad, puhastades visuaalselt postkasti ja jättes nähtavale vaid olulised kirjad.

Töötamine

Paljusid süsteeme on keeruline hallata. Mudelid kuluvad aja jooksul, nagu igasugune tarkvara: sümptomid murduvad, masinad ebaõnnestuvad ja tekivad vigased koodid. Lisaks muutuvad andmed pidevalt: lisatakse uusi, kasutajate käitumismustrid muutuvad jne, seega mudel, mida ei toetata piisavalt, hakkab aja jooksul üha halvemini toimima.

Ära unusta, et mida sügavamale masinõpe tungib kasutajate ellu, seda suurem mõju on neil ökosüsteemile ja seetõttu võivad turu mängijad saada suuremaid rahalisi kaotusi või kasumeid. Seetõttu kohanduvad järjest enam valdkondi tegijad ML-algoritmidega (klassikalised näited — reklaam, otsing ja juba mainitud rämpsposti tõrje).

Masinõppe ülesannetel on ka omadused: ükskõik milline, isegi väike, muudatus süsteemis võib tekitada palju tööd mudeliga: andmetöötlus, ümberõpe, juurutamine, mis võib kesta nädal või isegi kuu. Seetõttu, mida kiiremini muutub keskkond, milles teie mudelid töötavad, seda rohkem pingutusi nende toetamine nõuab. Meeskond võib luua palju süsteeme ja rõõmustada, aga seejärel kulutada peaaegu kõik ressursid nende hooldamiseks, ilma et oleks võimalik midagi uut teha. Sarnase olukorraga silmitsi seisisime kunagi rämpsposti tõrjeteamiga. Ja tegime ilmselge järelduse, et hooldus tuleb automatiseerida.

Automatiseerimine

Mida saab automatiseerida? Tegelikult peaaegu kõike. Olen välja toonud neli suunda, mis määravad masinõppe infrastruktuuri:

• andmete kogumine;
• ümberõpe;
• juurutamine;
• testimine & monitooring.

Kui keskkond on ebastabiilne ja pidevalt muutub, siis kogu infrastruktuur mudeli ümber osutub palju olulisemaks kui mudel ise. See võib olla vana hea lineaarne klassifikaator, kuid kui sinna õigesti sisestada omadused ja luua hea tagasiside kasutajatelt, töötab see palju paremini kui State-Of-The-Art mudelid koos kõikide toimingutega.

Tagasiside tsükkel

See tsükkel ühendab andmete kogumise, ümberõppe ja juurutamise — sisuliselt kogu mudeli uuendamise tsükli. Miks see oluline on? Vaata meiliregistreerimise graafikut:

Masinõppe arendaja rakendas rämpspostivastase mudeli, mis ei luba botidel postkasti registreeruda. Graafik langeb tasemeni, kus jäävad vaid tõelised kasutajad. Kõik on suurepärane! Kuid neli tundi hiljem kohandavad rämpspostitajad oma skripte ja kõik naaseb tagasi tasemele, kust alustas. Antud rakenduses kulutas arendaja kuu, lisades omadusi ja koolitades mudelit, kuid rämpspostitaja suutis nelja tunni jooksul kohanduda.

Et mitte tunda hiljem piinavat valu ega pidada kõike uuesti tegema, tuleb alguses mõelda, kuidas tagasiside tsükkel välja näeb ja mida me teeme, kui keskkond muutub. Alustame andmete kogumisest — see on meie algoritmide kütus.

Andmete kogumine

On selge, et kaasaegsetele närvivõrkudele kehtib reegel: mida rohkem andmeid, seda parem, ja need genereerivad sisuliselt toote kasutajad. Kasutajad võivad meid aidata andmeid märgistades, kuid seda ei tohi liialdada, sest kasutajad väsivad mingil hetkel teie mudelite koolitamisest ja lähevad teiste toodete juurde.

Üks levinumaid vigu (siin viitan Andrew Ng-le) — liiga tugev orienteerumine testdatalaste metrikatele, mitte kasutajate tagasisidele, mis on tegelikult kvaliteedi peamine mõõdupuu, kuna loome toodet kasutajale. Kui kasutajale ei meeldi või ei mõista mudeli tööd, siis pole asjal mõtet.

Seetõttu peab kasutajal alati olema võimalus hääletada, talle tuleb anda tööriist tagasiside andmiseks. Kui me arvame, et postkasti on saabunud e-kiri, mis kuulub finantsdomeenisse, tuleb see märgistada kui 'finants' ning joonistada nupp, mida kasutaja saab vajutada ja öelda, et see ei ole finants.

Tagasiside kvaliteet

Räägime kasutajate tagasiside kvaliteedist. Esiteks, teil ja kasutajal võivad olla erinevad tähendused samale mõistele. Näiteks teie ja tootemanagerid arvavad, et 'finants' tähendab panku, samas kui kasutaja arvab, et kirja pensionist, mis tuli vanaemalt, võib samuti klassifitseerida finantsina. Teiseks, on kasutajaid, kes meelevaldsetelt vajutavad nuppudele, ilma igasuguse loogikata. Kolmandaks, kasutaja võib oma järeldustes sügavalt eksida. Hea näide meie praktikast — klassifikaatori rakendamine nigeri rämpspostile. Teiseks, mõned kasutajad vajavad nuppude vajutamisel, ilma igasuguse loogikata. Kolmandaks, kasutaja võib oma järeldustes sügavalt eksida. Hea näide meie praktikast — klassifikaatori juurutamine, üsna naljakas rämps, kus kasutajale pakutakse, et ta saab kätte mitmeid miljoneid dollareid järsku leitud kaugelt sugulase käest Aafrikas. Pärast selle klassifikaatori rakendamist kontrollisime klikke „Ei ole rämps”, ja selgus, et 80% neist on mahukas nigeeria rämps, mis näitab, et kasutajad võivad olla äärmiselt usaldavad.

Ja ärgem unustagem, et nuppudele võivad klõpsida mitte ainult inimesed, vaid ka igasugused robotid, kes teesklevad olevat brauserid. Nii et too tühi tagasiside ei sobi koolituseks. Mida nende andmetega siis teha?

Kasutame kahte lähenemist:

• Seotud ML tagasiside. Näiteks on meil veebipõhine antirämpsusüsteem, mis, nagu ma juba mainisin, teeb kiire otsuse piiratud arvu tunnuste põhjal. Ja on teine, aeglane süsteem, mis töötab pärast fakti. Sellel on rohkem andmeid kasutaja kohta, tema käitumise kohta jne. Tulemusena teeb see kõige mõistlikuma otsuse, seega on selle täpsus ja täielikkus kõrgem. Selle süsteemi töö erinevust saab suunata esimesse süsteemi õppimiseks. Nii püüab lihtsam süsteem alati läheneda keerukama süsteemi tulemusele.
• Klõpsude klassifitseerimine. Võime lihtsalt klassifitseerida iga kasutaja kliki, hinnata selle kehtivust ja kasutatavust. Me teeme seda e-kirjade antirämpsus, kasutades kasutaja tunnuseid, tema ajalugu, saatja tunnuseid, teksti ning klassifikaatorite töö tulemust. Tulemuseks on automaatne süsteem, mis valideerib kasutaja tagasisidet. Ja kuna seda tuleb koolitada oluliselt harvemini, võib selle töö saada ülejäänud süsteemide aluseks. Selle mudeli põhiprioriteet on täpsus, kuna mudeli koolitamine ebatäpsete andmete peal toob kaasa negatiivseid tagajärgi.

Kuna me puhastame andmeid ja koolitame meie ML-süsteeme, ei tohi unustada kasutajaid, sest tuhandeid, miljoneid vigu diagrammil – see on statistika, aga iga veaküsimuse puhul on kasutajale tegemist tragöödiaga. Peale selle, et kasutajal tuleb elada teie toote vea tõttu, ootab ta tagasiside järel, et sarnase olukorra kordumist tulevikus vältida. Seetõttu tuleks alati anda kasutajatele mitte ainult võimalus hääletada, vaid ka parandada ML-süsteemide käitumist, luues näiteks isiklikud heuristikad igaks tagasiside klikiks, kui tegemist on e-kirjadega, see võib tähendada võimalust filtreerida sarnaseid kirju saatja ja pealkirja alusel antud kasutaja jaoks.

Samuti tuleb mingite raportite või tugiteenusega seotud päringute põhjal poolautomaatsete või käsitsi meetoditega mudelit parandada, et ka teised kasutajad ei kannataks sarnaste probleemide all.

Heuristikad koolitamiseks

Heuristikatest ja parandustest on kaks probleemi. Esiteks, pidevalt kasvava arvu paranduste hooldamine on keeruline, rääkimata nende kvaliteedist ja pikaajalistest toimingutest. Teine probleem on see, et viga ei pruugi esineda sageli ja mõni klikk mudeli koolitamiseks ei pruugi olla piisav. Tundub, et neid kahte mitte seotud efekti on võimalik märkimisväärselt tasakaalustada, kui rakendada järgmist lähenemist.

1. Loome ajutise paranduse.
2. Suuname andmed sellest mudelisse, see koolitub regulaarselt, sealhulgas saadud andmete põhjal. Siin on loomulikult oluline, et heuristika oleks kõrge täpsusega, et mitte vähendada andmete kvaliteeti treeningkomplektis.
3. Seejärel paneme jälgimise sellele, kas parandust hakatakse rakendama, ja kui mingil hetkel enam parandust ei rakendata ja see on täiesti kaetud mudeli poolt, siis saab selle julgelt eemaldada. Nüüd ei esine tõenäoliselt seda probleemi enam.

Nii et paranduste armee on väga kasulik. Peamine on see, et nende teenus oleks ajutine, mitte püsi.

Uuendus

Uuendamine on protsess, mille käigus lisatakse uusi andmeid, saadud kasutajatelt tagasiside või teistest süsteemidest, ning vanale mudelile nende põhjal. Uuendamisel võib olla mitmeid probleeme:

1. Mudel ei pruugi lihtsalt toetada uuendamist, vaid õppida ainult nullist.
2. Looduse raamatus ei ole kirjutatud, et uuendamine töö kvaliteeti produktsioonis tingimata parandab. Tihti juhtub hoopis vastupidine, see tähendab, et võimalik on ainult halvenemine.
3. Muudatused võivad olla ettearvamatud. See on üsna delikaatne aspekt, mille oleme enda jaoks välja selgitanud. Isegi kui uus mudel A/B-testimisel näitab sarnaseid tulemusi võrreldes praegusega, ei tähenda see, et see toimiks sama moodi. Nende töö võib erinev olla isegi ühes protsendipunktis, mis võib põhjustada uusi vigu või tuua tagasi juba lahendatud vanad vead. Praeguste vigadega oleme õppinud elama, ja kui tekivad paljud uued vead, ei pruugi kasutaja ka mõista, mis toimub, kuna ta ootab ettearvatavat käitumist.

Seetõttu on kõige olulisem uue koolituse puhul garantii, et mudelit tõeliselt parendada või vähemalt mitte halvendada.

Esimene asi, mis meelde tuleb, kui räägime uue koolituse teemal, on lähenemine, mida nimetatakse aktiivseks õppimiseks. Mida see tähendab? Näiteks klassifkaator määrab, kas kiri kuulub rahandusse, ning selle otsuste piiril lisame proovide valimi, mis on märgistatud. See töötab hästi näiteks reklaami puhul, kus tagasisidet on palju ning mudelit saab koolitada online-režiimis. Kui aga tagasiside on vähe, saame väga kallutatud valimi, mis ei peegelda andmete tootmisjaotust ja mille põhjal ei saa mudeli käitumist hindada.

Tegelikult on meie eesmärk säilitada vanad mustrid, mis mudelile juba teada, ja omandada uusi. Siin on oluline järjepidevus. Mudel, mille oleme suure vaevaga välja töötanud, töötab juba, seega saame tugineda selle tulemuslikkusele.

E-mails kasutatakse erinevaid mudeleid: puud, lineaarsed, tehisintellektid. Igaühe jaoks koostame oma uue koolituse algoritmi. Uue koolituse käigus saame mitte ainult uusi andmeid, vaid tihti ka uusi tunnuseid, mida arvestame kõigis allpool olevates algoritmides.

Lineaarmudelid

Oletame, et meil on logistiline regressioon. Koostame mudeli kaotuse järgmiste komponentide põhjal:

• LogLoss uute andmete osas;
• regulaarime uute tunnuste kaalu (vanaid ei puuduta);
• õppime ka vanade andmete põhjal, et säilitada vanad mustrid;
• ja tõenäoliselt kõige olulisem: rakendame harmoonilist regulaarimist, mis tagab, et kaalude muutus ei oleks liiga suur võrreldes vana mudeliga normi järgi.

Kuna iga kaotuse komponendil on koefitsiendid, saame oma ülesande jaoks optimaalsed väärtused leida ristvalideerimise käigus või lähtuda tootmisnõuetest.

Puud

Liigume lahenduspuideni. Oleme välja töötanud järgmise puudega koolituse algoritmi:

1. Töö käib 100–300 puu metsaga, mis on koolitatud vana andmestiku põhjal.
2. Eemaldame lõpus M = 5 tükki ja lisame 2M = 10 uut, mis on koolitatud kogu andmestiku põhjal, kuid uute andmete puhul kõrge kaalu seadistusega, mis loogiliselt tagab mudeli järkjärgulise muutmise.

On ilmne, et aja jooksul puude arv suureneb, ning neid tuleb perioodiliselt vähendada, et ajaraamid püsiksid. Selleks kasutame laialdaselt tuntud teadmiste destilleerimist (KD). Lühidalt selle tööpõhimõttest.

1. Meil on praegune "keeruline" mudel. Käivitame selle treeningu andmestikul ja saame väljundiks klasside tõenäosuste jaotuse.
2. Seejärel õpetame õpilasmudelit (antud juhul mudelit, kus on vähem puid) kordama mudeli tulemusi, kasutades klasside jaotust sihimuutuja nagu.
3. Siin on oluline märkida, et me ei kasuta mingisugust andmestiku märgistamist, seega saame kasutada mistahes andmeid. Loomulikult kasutame voogude andmesampla, kui koolitusvalimi jaoks mudeli õpilasi. Seega tagab koolitusvõrk meie mudeli täpsuse, ning voogude proov tagab sarnase töötluse tootmisjaotuses, kompenseerides koolitusvalimi kallutatuse.

Nende kahe tehnika (puude lisamine ja nende arvu perioodiline vähendamine rakendades teadmiste destilleerimist) kombinatsioon tagab uute mustrite sisenemise ja täieliku järjepidevuse.

KD abil eristame ka mudeli tunnuste operatsioone, näiteks tunnuste kustutamist ja puuduva infoga töötamist. Meie juhul on meil olemas hulk olulisi statistilisi tunnuseid (saajate, tekstihashide, URL-ide jne kohta), mis salvestatakse andmebaasi, kellel on tõrke omadus. Tootja, loomulikult, ei ole selliseks arengu suunaks valmis, kuna treeningkomplektis ei esine tõrkeolukordi. Sel puhul kombineerime KD ja uue andmete laiendamise tehnikate: treeningu ajal eemaldame või nullime vajalikud tunnused, samas peame etiketid (praeguse mudeli väljundid) algsetena, mudel-õpilane õpib seda jaotust kordama.

Oleme märganud, et mida tõsisemalt manipuleeritakse mudelitega, seda suurem on protsentuaalne vajadus voolu proovide järele.

Tunnuste eemaldamiseks, kõige lihtsama operatsiooni jaoks, on vajalik vaid väike osa voolust, kuna muudetakse vaid paar tunnust, ja praegune mudel on õppinud samas andmekogus — erinevus on minimaalne. Mudeli lihtsustamiseks (puude arvu vähendamine mitu korda) on vajalik juba 50 protsenti voolust. Oluliste statistiliste tunnuste, mis tõsiselt mõjutavad mudeli tulemuslikkust, puudumise korral on vaja veelgi rohkem voolu, et tasakaalustada uue kadudele vastupidava mudeli tööd kõikide kirjatüüpide puhul.

FastText

Liigume edasi FastTexti juurde. Meenutame, et sõna esindus (Embedding) koosneb sõna enda embedding'ist ja kõigist tema kirjalikest N-gramm'idest, tavaliselt trigrammidest. Kuna trigramme võib olla üsna palju, kasutatakse Bucket Hashingut, st kogu ruumi muundamine mingiks fikseeritud hash-mapi. Lõppkokkuvõttes saab kaalumatriis sisemise kihi suurusest sõnade arvu + bakettide arvu.

Täiendõppe käigus ilmnevad uued tunnused: sõnad ja trigrammid. Facebooki standardsetel täiendõpingutel ei toimu midagi olulist. Täiendatakse vaid vanu kaalu uudse krosseentroopia tõttu uutes andmetes. Seega ei kasutata uusi tunnuseid, loomulikult on sellel lähenemisel kõik eelnevalt mainitud puudused, mis on seotud mudeli ettearvamatusega tootmises. Seetõttu oleme FastTexti veidi edasi arendanud. Lisame kõik uued kaalu (sõnad ja trigrammid), õpime kogu matriisi krosseentroopia põhjal ning lisame harmoonilise regulariseerimise, nagu lineaarse mudeli puhul, mis tagab, et vanad kaalu ei muutu oluliselt.

CNN

Konvolutsiooniliste võrkudega on veidi keerulisem. Kui CNN-is täiendatakse viimaseid kihtide, siis loomulikult saab rakendada harmoonilist regulariseerimist ja tagada järjepidevuse. Kuid juhul, kui vajalik on kogu võrgustiku täiendamine, siis sellist regulariseerimist ei saa kõigile kihtidele rakendada. Siiski on võimalik treenida täiendavaid embeddinge läbi Triplet Loss (originaalartikkel).

Triplet Loss

Vaatleme Triplet Loss'i näitel antifishingu ülesannet üldiselt. Võtame meie logosid, samuti positiivseid ja negatiivseid näiteid teiste ettevõtete logo kohta. Minimeerime kauguse esimeste vahel ja maksimeerime kauguse teiste vahel, tehes seda väikese varuga, et tagada klasside suurem kompaktne.

Kui me täiendame võrku, siis muutub meie meetriline ruum täielikult ja see muutub absoluutse ühilduvuse puudumisega eelnevatega. See on tõsine probleem ülesannetes, kus kasutatakse vektoreid. Selle probleemi vältimiseks segame õppe käigus vanu embeddinge.

Olemegi lisanud uusi andmeid treeningkomplekti ja koolitame teise mudeli versiooni nullist. Teises etapis täiendame meie võrgustikku (Finetuning): esmalt täiendatakse viimane kiht ja seejärel vabastatakse kogu võrk. Kolmnurkade koostamise käigus arvutame vaid osa embeddinge, kasutades koolitatavat mudelit, ülejäänud — kasutades vana. Nii tagame täiendamise käigus v1 ja v2 meetriliste ruumide ühilduvuse. Omapärane variant harmoonilisest regulariseerimisest.

Terve arhitektuur

Kui vaadata kogu süsteemi antispammimise näite põhjal, siis mudelid ei ole isoleeritud, vaid üksteise sisse ehitatud. Võtame pildid, teksti ja muud tunnused, saades CNN-i ja FastTexti abil embeddinge. Edasi, embeddinge peal rakendatakse klassifikaatoreid, mis annavad punkte eri klassidele (kirjatüüpide, spami, logo olemasolu). Punktid ja tunnused liiguvad puude metsa, et langetada lõplik otsus. Erilised klassifikaatorid selle skeemi raames võimaldavad paremini tõlgendada süsteemi töö tulemusi ja sihipäraselt täiendama komponente probleemide ilmnemisel, kui kõik andmed toimetatakse puuotsusele.

Kokkuvõttes tagame sujuvuse igas etapis. Alumises kihis kasutame CNN-i ja Fast Text-i jaoks harmoonilist regulatsiooni, keskastme klassifikaatorite puhul samuti harmoonilist regulatsiooni ja skooride kalibreerimist tõenäosuse jaotuse ühtlustamiseks. Boostimise puudujääkide õpetamine toimub järk-järgult või Knowledge Distillation'i meetodil.

Tavaliselt toob sellise keeruka masinõppe süsteemi tugi kaasa probleeme, kuna iga alumise kihi komponent nõuab ülejäänud süsteemi uuendamist. Kuid meie seadistuses muutub iga komponent minimaalselt ja see on eelnevaga ühilduv, seega saab kogu süsteemi ajakohastada osade kaupa ilma, et peaksime kogu struktuuri uuesti õpetama, võimaldades selle toetamist ilma suuremate kuludeta.

Juhtimistöö

Oleme arutanud andmete kogumist ja erinevat liiki mudelite täiendõpet, seega liigume nende juurutamise juurde tootmiskeskkonnas.

A/B-testimine

Nagu juba varem mainisin, saame andmete kogumise protsessis tavaliselt kallutatud valimi, mille alusel ei ole võimalik mudeli tootmisvõimet hinnata. Seetõttu tuleb mudeli juurutamisel kindlasti võrrelda seda eelneva versiooniga, et mõista, kuidas asjad tegelikult on, ja seega viia läbi A/B teste. Tegelikult on mudelite välja panemine ja graafikute analüüs piisavalt rutiinne ja hästi automatiseeritav protsess. Me juurutame oma mudeleid järk-järgult 5%, 30%, 50% ja 100% kasutajateni, samal ajal kogudes kõiki saadaval olevaid mõõdikuid mudeli vastuste ja kasutajate tagasiside kohta. Töötame automaatselt tagasi mudeli, kui ilmnevad tõsised kõrvalekalded, ja teiste olukordade korral, kui saavutame piisava arvu kasutaja klikke, teeme otsuse protsendi suurendamiseks. Lõppkokkuvõttes viime uue mudeli 50% kasutajateni täiesti automaatselt, samas kui ülejäänud auditooriumi heakskiitmiseks on vajalik inimese sekkumine, kuigi ka see samm on automatiseeritav.

Kuid A/B-testimise protsess pakub optimeerimise võimalusi. Asi on selles, et iga A/B-test on piisavalt pikk (meie puhul kestab see 6 kuni 24 tundi, sõltuvalt tagasiside mahust), mis muudab selle suhteliselt kalliks ja piiratud ressurssidega. Lisaks sellele on vajalik testimiseks piisavalt kõrge läbivoolu protsent, et põhimõtteliselt kiirendada kogu A/B-testimise aega (statistiliselt olulise valimi kogumine väikse protsendi korral võib võtta väga kaua aega), mis teeb A/B slotid äärmiselt piiratud. On ilmne, et me peame testima ainult kõige lootustandvamaid mudeleid, millest me täiendõppe käigus palju leiame.

Selle probleemi lahendamiseks oleme koolitanud eraldi klassifikaatori, mis ennustaks A/B-testimise edukust. Selleks võtame tunnustena arvesse otsuste vastuvõtmise statistikat, Precisionit, Recalli ja muid mõõdikuid õppe komplektis, eraldi komplektis ja voos oleva näidisega. Samuti võrdleme mudelit tootmises oleva mudeliga, hüpoteesidega ning arvestame mudeli keerukust (Complexity). Kasutades kõiki neid tunnuseid, hindab ajalooliste testide põhjal koolitatud klassifikaator kandidaadimudeleid, meie puhul siis puude metsi, ja teeb otsuse, millise neist saata A/B-testimisele.

Selle lähenemise rakendamine on võimaldanud mitmekordselt suurendada edukate A/B-testide arvu.

Testimine & jälgimine

Testimine ja jälgimine ei kahjusta meie tervist, vaid pigem vastupidi, parandavad seda ja vabastavad tarbetutest stressidest. Testimine aitab vältida tõrkeid ja jälgimine tuvastab need õigeaegselt, et vähendada mõju kasutajatele.

Siin on oluline mõista, et varem või hiljem teeb teie süsteem alati vigu — see on seotud igasuguse tarkvara arenduse tsükliga. Süsteemi arendamise alguses on alati palju vigu, kuni kõik stabiliseerub ja peamine uuenduste etapp lõppenud. Kuid aja jooksul haarab entropia taas võimu ning vead tekivad uuesti — komponentide degradeerimise ja andmete muutuste tõttu, millest ma esialgselt rääkisin.

Siin tahaksin rõhutada, et igat masinõppesüsteemi tuleks vaadata selle kasulikkuse kontekstis kogu elutsükli vältel. Alltoodud graafikul on näidatud haruldase rämpsposti tuvastamise süsteemi töö näide (graafik näitab nulli ümbrust). Kord tekkis probleem vale vahemälu tõttu, mistõttu süsteem eksis. Kahjuks polnud anomaaliate jälgimiseks monitooringut, mis viis olukorrani, et süsteem hakkas salvestama kirju spami kausta suurel hulgal. Kuigi tagajärjed parandati, ei suuda süsteem juba nii palju vigu teha, et end isegi viie aasta jooksul tasa teenida. See on täielik ebaõnnestumine mudeli elutsükli kontekstis.

Seetõttu võib selline lihtne asi nagu monitooring osutuda mudeli jaoks kriitiliseks. Lisaks tavapärastele ja ilmsetele mõõdikutele vaatleme ka mudeli vastuste ja skooride jaotust ning võtmeomaduste väärtuste jaotust. KL-divergenssi abil saame võrrelda hetkejaotust ajaloolise jaotusega või A/B-testimise tulemusi ülejäänud vooluga, mis võimaldab mudelis tuvastada anomaaliaid ja aegsasti muudatusi tagasi võtta.

Enamikul juhtudel käivitame oma esimesed süsteemiversioonid lihtsate heuristikute või mudelite abil, mida hiljem kasutame monitooringuks. Näiteks jälgime NER-mudelit võrreldes regulaarsete väljenditega teatud e-kauplustes ning kui klassifikaatori katvust võrreldes nendega saab vähendatud, uurime põhjuseid. Veel üks kasulik heuristikute rakendamine!

Kokkuvõte

Käime veel kord üle artikli peamised mõtted.

• Fibdäk. Alati mõtleme kasutajale: kuidas nad saavad elada meie vigadega ja kuidas nad saavad neist teada anda. Ärge unustage, et kasutajad ei ole puhta tagasiside allikas mudelite koolitamiseks, ning seda tuleks puhastada täiendavate ML-süsteemide abil. Kui kasutaja signaalide kogumiseks pole võimalusi, otsime alternatiivseid tagasiside allikaid, näiteks seotud süsteeme.
• Uuendus. Siin on oluline järjepidevus, seega toetume praegusele tootmis mudelile. Uusi mudeleid koolitame nii, et need ei erineks oluliselt eelmisest, kasutades harmoonilist reguleerimist ja sarnaseid trikke.
• Juhtimistöö. Automaatne juurutamine mõõdikute põhjal vähendab oluliselt mudelite juurutamise aega. Statistika ja otsuste vastuvõtmise jaotuse jälgimine, kasutajatelt saadud tagasiside arvu jälgimine on kohustuslik, et suudaksite rahulikult magada ja produktiivseid puhkepäevi nautida.

Loodetavasti aitab see, mida lugesite, teil kiiremini parandada teie ML-süsteeme, kiirendada nende turule toomist ja muuta need usaldusväärsemaks, vähendades tööst tingitud stressi.

Allikas: habr.com