{"id":53143,"date":"2019-11-24T00:00:00","date_gmt":"2019-11-23T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru"},"modified":"2020-02-18T14:01:00","modified_gmt":"2020-02-18T11:01:00","slug":"ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru","title":{"rendered":"Zastosowanie uczenia maszynowego w Poczcie Mail.ru","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/ee5728dccb94b849ad3bfd9cf84ad74d.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<i>Na podstawie moich wyst\u0105pie\u0144 na Highload++ i DataFest Minsk 2019.<\/i><\/p>\n<p>Dla wielu z nas poczta sta\u0142a si\u0119 nieod\u0142\u0105czn\u0105 cz\u0119\u015bci\u0105 \u017cycia w sieci. Dzi\u0119ki niej prowadzimy biznesow\u0105 korespondencj\u0119, przechowujemy wszelkie wa\u017cne informacje zwi\u0105zane z finansami, rezerwacjami hoteli, sk\u0142adaniem zam\u00f3wie\u0144 i nie tylko. W po\u0142owie 2018 roku sformu\u0142owali\u015bmy strategi\u0119 rozwoju produktu poczty. Jaka powinna by\u0107 nowoczesna poczta?<\/p>\n<p>Poczta musi by\u0107 <b>inteligentna<\/b>, to znaczy pomaga\u0107 u\u017cytkownikom w orientacji w rosn\u0105cej ilo\u015bci informacji: filtrowa\u0107, strukturyzowa\u0107 i dostarcza\u0107 je w najwygodniejszy spos\u00f3b. Powinna by\u0107 <b>przydatna<\/b>, pozwalaj\u0105c na wykonywanie r\u00f3\u017cnych zada\u0144 bezpo\u015brednio w skrzynce pocztowej, na przyk\u0142ad p\u0142acenie za mandaty (funkcja, z kt\u00f3rej, niestety, korzystam). Oczywi\u015bcie poczta musi zapewnia\u0107 ochron\u0119 informacji, odcinaj\u0105c spam i chroni\u0105c przed w\u0142amaniami, czyli by\u0107 <b>bezpiecznej<\/b>.<br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nTe kierunki determinuj\u0105 szereg kluczowych zada\u0144, z kt\u00f3rych wiele mo\u017cna efektywnie rozwi\u0105za\u0107 przy u\u017cyciu uczenia maszynowego. Oto przyk\u0142ady ju\u017c dzia\u0142aj\u0105cych funkcji, opracowanych w ramach strategii \u2014 po jednym na ka\u017cdy kierunek.<\/p>\n<ul>\n<li><b>Inteligentna odpowied\u017a<\/b>. W poczcie istnieje funkcja inteligentnej odpowiedzi. Sie\u0107 neuronowa analizuje tekst e-maila, rozumie jego sens i cel, a w efekcie proponuje trzy najbardziej odpowiednie warianty odpowiedzi: pozytywny, negatywny i neutralny. To znacznie oszcz\u0119dza czas przy odpowiadaniu na e-maile, a tak\u017ce cz\u0119sto pozwala na nietypowe i zabawne odpowiedzi.\n<\/li>\n<li><b>Grupowanie e-maili<\/b>, zwi\u0105zanych z zam\u00f3wieniami w internetowych sklepach. Cz\u0119sto robimy zakupy online, a sklepy zazwyczaj mog\u0105 wysy\u0142a\u0107 po kilka wiadomo\u015bci na ka\u017cde zam\u00f3wienie. Na przyk\u0142ad od AliExpress, najwi\u0119kszego serwisu, przychodzi wiele wiadomo\u015bci dotycz\u0105cych jednego zam\u00f3wienia, i obliczyli\u015bmy, \u017ce w ekstremalnym przypadku ich liczba mo\u017ce wynosi\u0107 nawet 29. Dlatego za pomoc\u0105 modelu rozpoznawania nazwanych jednostek \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u043c \u043d\u043e\u043c\u0435\u0440 zam\u00f3wienia i inne informacje z tekstu i grupujemy wszystkie e-maile w jeden w\u0105tek. Wy\u015bwietlamy r\u00f3wnie\u017c podstawowe informacje o zam\u00f3wieniu w oddzielnym pasku, co u\u0142atwia prac\u0119 z tego typu wiadomo\u015bciami.\n<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/8b37b0bf0c0d152498027bc25d476128.jpg\" style=\"display:block;margin: 0 auto;\" \/>\n<\/li>\n<li><b>Antyphishing<\/b>. Phishing to szczeg\u00f3lnie niebezpieczny typ oszustwa, w kt\u00f3rym przest\u0119pcy pr\u00f3buj\u0105 zdoby\u0107 informacje finansowe (w tym dane kart bankowych u\u017cytkownik\u00f3w) oraz loginy. Tego typu wiadomo\u015bci podszywaj\u0105 si\u0119 pod prawdziwe wiadomo\u015bci wysy\u0142ane przez serwisy, w tym r\u00f3wnie\u017c wizualnie. Dlatego przy pomocy Computer Vision rozpoznajemy logotypy i styl wiadomo\u015bci du\u017cych firm (na przyk\u0142ad Mail.ru, Sber, Alfa) i uwzgl\u0119dniamy to obok tre\u015bci oraz innych cech w naszych klasyfikatorach spamu i phishingu.\n<\/li>\n<\/ul>\n<p><\/p>\n<h2>Uczenie maszynowe<\/h2>\n<p>\nKilka s\u0142\u00f3w o uczeniu maszynowym w poczcie w og\u00f3le. Poczta to system o du\u017cym obci\u0105\u017ceniu: przez nasze serwery przechodzi \u015brednio 1,5 miliarda wiadomo\u015bci dziennie dla 30 milion\u00f3w u\u017cytkownik\u00f3w DAU. Obs\u0142uguj\u0105 wszystkie niezb\u0119dne funkcje i cechy oko\u0142o 30 system\u00f3w uczenia maszynowego. <\/p>\n<p>Ka\u017cda wiadomo\u015b\u0107 przechodzi przez ca\u0142y proces klasyfikacji. Najpierw odrzucamy spam i pozostawiamy dobre wiadomo\u015bci. U\u017cytkownicy cz\u0119sto nie zauwa\u017caj\u0105 dzia\u0142ania antyspamu, poniewa\u017c 95-99% spamu nawet nie trafia do odpowiedniego folderu. Rozpoznawanie spamu to bardzo wa\u017cna cz\u0119\u015b\u0107 naszego systemu i jedna z najtrudniejszych, poniewa\u017c w zakresie antyspamu trwa ci\u0105g\u0142a adaptacja mi\u0119dzy systemami ochrony a atakami, co stanowi nieprzerwane wyzwanie in\u017cynieryjne dla naszego zespo\u0142u.<\/p>\n<p>Nast\u0119pnie dzielimy wiadomo\u015bci od ludzi i robot\u00f3w. Wiadomo\u015bci od ludzi s\u0105 najwa\u017cniejsze, dlatego dla nich oferujemy funkcje takie jak Smart Reply. Wiadomo\u015bci od robot\u00f3w dziel\u0105 si\u0119 na dwie cz\u0119\u015bci: transakcyjne \u2014 to wa\u017cne wiadomo\u015bci z serwis\u00f3w, na przyk\u0142ad potwierdzenia zakup\u00f3w lub rezerwacji hotelowych, finansowe oraz informacyjne \u2014 to reklama biznesowa, zni\u017cki. <\/p>\n<p>Uwa\u017camy, \u017ce wiadomo\u015bci transakcyjne pod wzgl\u0119dem znaczenia s\u0105 r\u00f3wne osobistej korespondencji. Musz\u0105 by\u0107 pod r\u0119k\u0105, poniewa\u017c cz\u0119sto potrzebujemy szybko znale\u017a\u0107 informacje o zam\u00f3wieniu lub rezerwacji biletu lotniczego, a my tracimy czas na ich poszukiwanie. Dlatego dla wygody automatycznie dzielimy je na sze\u015b\u0107 g\u0142\u00f3wnych kategorii: podr\u00f3\u017ce, zam\u00f3wienia, finanse, bilety, rejestracje i wreszcie mandaty.<\/p>\n<p>Listy informacyjne to najliczniejsza i, by\u0107 mo\u017ce, najmniej istotna grupa, kt\u00f3ra nie wymaga natychmiastowej reakcji, poniewa\u017c nic istotnego nie zmieni si\u0119 w \u017cyciu u\u017cytkownika, je\u015bli nie przeczyta takiego listu. W naszym nowym interfejsie grupujemy je w dwa w\u0105tki: media spo\u0142eczno\u015bciowe i newslettery, w ten spos\u00f3b wizualnie porz\u0105dkuj\u0105c skrzynk\u0119 i pozostawiaj\u0105c na widoku tylko wa\u017cne wiadomo\u015bci.<\/p>\n<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/175773879daaa29d1542a98070cb7972.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>Eksploatacja<\/h3>\n<p>\nSzeroka gama system\u00f3w powoduje wiele trudno\u015bci w eksploatacji. Modele z czasem degraduje, podobnie jak wszelkie oprogramowanie: pojawiaj\u0105 si\u0119 usterki, maszyny zawodz\u0105, nawarstwia si\u0119 b\u0142\u0119dny kod. Ponadto dane nieustannie si\u0119 zmieniaj\u0105: dodawane s\u0105 nowe, a wzorce zachowa\u0144 u\u017cytkownik\u00f3w ulegaj\u0105 transformacji, dlatego model bez odpowiedniego wsparcia z czasem b\u0119dzie dzia\u0142a\u0107 coraz gorzej. <\/p>\n<p>Nie mo\u017cna r\u00f3wnie\u017c zapomina\u0107, \u017ce im g\u0142\u0119bsze przenikanie uczenia maszynowego w \u017cycie u\u017cytkownik\u00f3w, tym wi\u0119kszy wp\u0142yw wywieraj\u0105 oni na ekosystem, a co za tym idzie, tym wi\u0119ksze straty finansowe lub zyski mog\u0105 osi\u0105gn\u0105\u0107 gracze rynkowi. Dlatego w coraz wi\u0119kszej liczbie obszar\u00f3w gracze dostosowuj\u0105 si\u0119 do pracy algorytm\u00f3w ML (klasyczne przyk\u0142ady to reklama, wyszukiwanie oraz ju\u017c wspomniany antyspam).<\/p>\n<p>Ponadto zadania uczenia maszynowego maj\u0105 szczeg\u00f3ln\u0105 cech\u0119: ka\u017cde, nawet niewielkie, zmiana w systemie mo\u017ce generowa\u0107 mn\u00f3stwo pracy zwi\u0105zanej z modelem: praca z danymi, ponowne uczenie, wdro\u017cenie, co mo\u017ce przeci\u0105ga\u0107 si\u0119 na tygodnie lub miesi\u0105ce. Dlatego im szybciej zmienia si\u0119 \u015brodowisko, w kt\u00f3rym operuj\u0105 twoje modele, tym wi\u0119cej wysi\u0142ku wymaga ich wsparcie. Zesp\u00f3\u0142 mo\u017ce stworzy\u0107 wiele system\u00f3w i cieszy\u0107 si\u0119 tym, a potem wydawa\u0107 prawie wszystkie zasoby na ich utrzymanie, bez mo\u017cliwo\u015bci wprowadzenia nowo\u015bci. Z podobn\u0105 sytuacj\u0105 spotkali\u015bmy si\u0119 kiedy\u015b w zespole antyspamu. I doszli\u015bmy do oczywistego wniosku, \u017ce wsparcie nale\u017cy zautomatyzowa\u0107.<\/p>\n<h3>Automatyzacja<\/h3>\n<p>\nCo mo\u017cna zautomatyzowa\u0107? W zasadzie prawie wszystko. Wyodr\u0119bni\u0142em cztery kierunki, kt\u00f3re okre\u015blaj\u0105 infrastruktur\u0119 uczenia maszynowego:<\/p>\n<ul>\n<li>zbieranie danych;\n<\/li>\n<li>douczenie;\n<\/li>\n<li>wdro\u017cenie;\n<\/li>\n<li>testowanie &amp; monitorowanie.\n<\/li>\n<\/ul>\n<p>\nJe\u015bli \u015brodowisko jest niestabilne i ci\u0105gle si\u0119 zmienia, to ca\u0142a infrastruktura wok\u00f3\u0142 modelu jest znacznie wa\u017cniejsza ni\u017c sam model. Mo\u017ce to by\u0107 stary dobry klasyfikator liniowy, ale je\u015bli odpowiednio przeka\u017cemy cechy i nawi\u0105\u017cemy dobr\u0105 informacj\u0119 zwrotn\u0105 od u\u017cytkownik\u00f3w, b\u0119dzie dzia\u0142a\u0142 znacznie lepiej ni\u017c modele State-Of-The-Art z wszystkimi udogodnieniami.<\/p>\n<h4>Cykle informacji zwrotnej<\/h4>\n<p>\nTen cykl \u0142\u0105czy zbieranie danych, dalsze uczenie i wdra\u017canie \u2014 w zasadzie ca\u0142y cykl aktualizacji modelu. Dlaczego to jest wa\u017cne? Zobacz wykres rejestracji w poczcie:<\/p>\n<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/f3c98bd49a101754cf299821a40e2b8e.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nProgramista uczenia maszynowego wdro\u017cy\u0142 model antybota, kt\u00f3ry nie pozwala botom rejestrowa\u0107 si\u0119 w poczcie. Wykres spada do warto\u015bci, gdzie pozostaj\u0105 tylko prawdziwi u\u017cytkownicy. Wszystko jest w porz\u0105dku! Ale po czterech godzinach, boti\u015bci dostosowuj\u0105 swoje skrypty i wszystko wraca do normy. W tym wdro\u017ceniu programista sp\u0119dzi\u0142 miesi\u0105c dodaj\u0105c cechy i doszkalaj\u0105c model, ale spammer w ci\u0105gu czterech godzin m\u00f3g\u0142 si\u0119 dostosowa\u0107.<\/p>\n<p>Aby nie bola\u0142o to tak strasznie i nie trzeba by\u0142o potem wszystkiego przerabia\u0107, nale\u017cy od razu my\u015ble\u0107 o tym, jak b\u0119dzie wygl\u0105da\u0142 cykl informacji zwrotnej i co zrobimy, je\u015bli \u015brodowisko si\u0119 zmieni. Zacznijmy od zbierania danych \u2014 to paliwo dla naszych algorytm\u00f3w.<\/p>\n<h2>Zbieranie danych<\/h2>\n<p>\nJasne, \u017ce nowoczesne sieci neuronowe potrzebuj\u0105 coraz wi\u0119cej danych, a te w zasadzie generuj\u0105 u\u017cytkownicy produktu. U\u017cytkownicy mog\u0105 pom\u00f3c poprzez oznaczanie danych, ale nie mo\u017cna z tego nadu\u017cywa\u0107, poniewa\u017c w pewnym momencie u\u017cytkownikom znudzi si\u0119 dalsze uczenie naszych modeli i przejd\u0105 do innego produktu. <\/p>\n<p>Jednym z najcz\u0119stszych b\u0142\u0119d\u00f3w (tutaj odwo\u0142uj\u0119 si\u0119 do Andrew Ng) jest zbyt du\u017ca orientacja na metryki na zestawie testowym, a nie na informacj\u0119 zwrotn\u0105 od u\u017cytkownika, co w rzeczywisto\u015bci jest g\u0142\u00f3wnym miernikiem jako\u015bci pracy, poniewa\u017c tworzymy produkt dla u\u017cytkownika. Je\u015bli u\u017cytkownik nie rozumie lub nie podoba mu si\u0119 dzia\u0142anie modelu, to znaczy, \u017ce wszystko jest bez sensu. <\/p>\n<p>Dlatego u\u017cytkownik zawsze powinien mie\u0107 mo\u017cliwo\u015b\u0107 zag\u0142osowania, nale\u017cy da\u0107 mu narz\u0119dzie do informacji zwrotnej. Je\u015bli uwa\u017camy, \u017ce w skrzynce znalaz\u0142o si\u0119 pismo dotycz\u0105ce finans\u00f3w, nale\u017cy je oznaczy\u0107 jako \u201efinanse\u201d i stworzy\u0107 przycisk, kt\u00f3ry u\u017cytkownik mo\u017ce nacisn\u0105\u0107 i powiedzie\u0107, \u017ce to nie finanse.<\/p>\n<h3>Jako\u015b\u0107 informacji zwrotnej<\/h3>\n<p>\nPorozmawiajmy o jako\u015bci opinii u\u017cytkownik\u00f3w. Po pierwsze, Ty i u\u017cytkownik mo\u017cecie r\u00f3\u017cnie interpretowa\u0107 to samo poj\u0119cie. Na przyk\u0142ad, Ty i mened\u017cerowie produkt\u00f3w uwa\u017cacie, \u017ce \"finanse\" to wiadomo\u015bci z banku, podczas gdy u\u017cytkownik my\u015bli, \u017ce list od babci o emeryturze r\u00f3wnie\u017c dotyczy finans\u00f3w. Po drugie, s\u0105 u\u017cytkownicy, kt\u00f3rzy bezmy\u015blnie naciskaj\u0105 przyciski bez jakiejkolwiek logiki. Po trzecie, u\u017cytkownik mo\u017ce by\u0107 g\u0142\u0119boko w b\u0142\u0119dzie w swoich wnioskach. Jasny przyk\u0142ad z naszej praktyki to wdro\u017cenie klasyfikatora <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9D%D0%B8%D0%B3%D0%B5%D1%80%D0%B8%D0%B9%D1%81%D0%BA%D0%B8%D0%B5_%D0%BF%D0%B8%D1%81%D1%8C%D0%BC%D0%B0\">nigeryjskiego spamu<\/a><\/noindex>, do\u015b\u0107 zabawnego typu spamu, w kt\u00f3rym u\u017cytkownik jest proszony o odebranie kilku milion\u00f3w dolar\u00f3w od nagle odnalezionego dalekiego krewnego w Afryce. Po wdro\u017ceniu tego klasyfikatora sprawdzili\u015bmy klikni\u0119cia \"Nie spam\" na tych wiadomo\u015bciach i okaza\u0142o si\u0119, \u017ce 80% z nich to soczysty nigeryjski spam, co wskazuje na to, \u017ce u\u017cytkownicy mog\u0105 by\u0107 niezwykle ufni.<\/p>\n<p>I nie zapominajmy, \u017ce klikaj\u0105 nie tylko ludzie, ale tak\u017ce r\u00f3\u017cne boty, kt\u00f3re udaj\u0105 przegl\u0105darki. Zatem surowe opinie nie nadaj\u0105 si\u0119 do uczenia. Co mo\u017cna zrobi\u0107 z tymi informacjami?<\/p>\n<p>Zastosowali\u015bmy dwa podej\u015bcia: <\/p>\n<ul>\n<li><b>Opinie od powi\u0105zanego ML<\/b>. Na przyk\u0142ad mamy system antybota online, kt\u00f3ry, jak ju\u017c wspomnia\u0142em, podejmuje szybkie decyzje na podstawie ograniczonej liczby cech. Istnieje r\u00f3wnie\u017c drugi, wolniejszy system dzia\u0142aj\u0105cy post factum. Ma on wi\u0119cej danych o u\u017cytkowniku, jego zachowaniu, itd. W rezultacie podejmowana jest najbardziej wywa\u017cona decyzja, co oznacza, \u017ce ma ona wy\u017csz\u0105 dok\u0142adno\u015b\u0107 i kompletno\u015b\u0107. Mo\u017cna skierowa\u0107 r\u00f3\u017cnic\u0119 w dzia\u0142aniu tych system\u00f3w do pierwszego jako dane do nauki. W ten spos\u00f3b prostszy system b\u0119dzie zawsze stara\u0142 si\u0119 zbli\u017cy\u0107 do wydajno\u015bci bardziej z\u0142o\u017conego.\n<\/li>\n<li><b>Klasyfikacja klikni\u0119\u0107<\/b>Mo\u017cna po prostu klasyfikowa\u0107 ka\u017cdy klik u\u017cytkownika, ocenia\u0107 jego wa\u017cno\u015b\u0107 i mo\u017cliwo\u015b\u0107 wykorzystania. Tak robimy w antyspamie poczty, wykorzystuj\u0105c cechy u\u017cytkownika, jego histori\u0119, cechy nadawcy, sam tekst i wyniki pracy klasyfikator\u00f3w. W rezultacie uzyskujemy automatyczny system, kt\u00f3ry waliduje feedback od u\u017cytkownik\u00f3w. Poniewa\u017c wymaga on znacznie rzadszego dalszego uczenia, mo\u017ce sta\u0107 si\u0119 podstaw\u0105 dla wszystkich innych system\u00f3w. G\u0142\u00f3wnym priorytetem w tym modelu jest precyzja, poniewa\u017c uczenie modelu na niedok\u0142adnych danych niesie ze sob\u0105 niebezpiecze\u0144stwa. \n<\/li>\n<\/ul>\n<p>\nPodczas gdy oczyszczamy dane i dalej uczymy nasze systemy ML, nie mo\u017cna zapomina\u0107 o u\u017cytkownikach, poniewa\u017c dla nas tysi\u0105ce, miliony b\u0142\u0119d\u00f3w na wykresie to statystyki, a dla u\u017cytkownika ka\u017cdy b\u0142\u0105d to tragedia. Opr\u00f3cz tego, \u017ce u\u017cytkownik musi jako\u015b \u017cy\u0107 z twoim b\u0142\u0119dem w produkcie, po zg\u0142oszeniu oczekuje, \u017ce podobna sytuacja nie powt\u00f3rzy si\u0119 w przysz\u0142o\u015bci. Dlatego zawsze warto da\u0107 u\u017cytkownikom nie tylko mo\u017cliwo\u015b\u0107 g\u0142osowania, ale i poprawiania zachowania system\u00f3w ML, tworz\u0105c na przyk\u0142ad osobiste heurystyki dla ka\u017cdego klikni\u0119cia feedbacku; w przypadku poczty mo\u017ce to by\u0107 mo\u017cliwo\u015b\u0107 filtracji podobnych wiadomo\u015bci wed\u0142ug nadawcy i tematu dla tego u\u017cytkownika.<\/p>\n<p>Nale\u017cy r\u00f3wnie\u017c na podstawie niekt\u00f3rych raport\u00f3w lub zg\u0142osze\u0144 do wsparcia w p\u00f3\u0142automatycznym lub r\u0119cznym trybie dostosowa\u0107 model, aby inni u\u017cytkownicy r\u00f3wnie\u017c nie cierpieli z powodu podobnych problem\u00f3w.<\/p>\n<h3>Heurystyki do uczenia<\/h3>\n<p>\nZ danymi heurystyk i obej\u015b\u0107 s\u0105 dwa problemy. Pierwszy polega na tym, \u017ce stale rosn\u0105ca liczba obej\u015b\u0107 jest trudna do utrzymania, nie m\u00f3wi\u0105c ju\u017c o ich jako\u015bci i pracy na d\u0142u\u017csz\u0105 met\u0119. Drugi problem polega na tym, \u017ce b\u0142\u0105d mo\u017ce nie by\u0107 cz\u0119sty, i kilka klikni\u0119\u0107 do dalszego uczenia modelu mo\u017ce by\u0107 niewystarczaj\u0105ce. Wydaje si\u0119, \u017ce te dwa niespowi\u0105zane efekty mo\u017cna znacznie zniwelowa\u0107, stosuj\u0105c nast\u0119puj\u0105ce podej\u015bcie.<\/p>\n<ol>\n<li>Tworzymy tymczasowe obej\u015bcie. \n<\/li>\n<li>Przekazujemy dane z niego do modelu, kt\u00f3ry regularnie si\u0119 uczy, w tym na podstawie otrzymanych danych. Oczywi\u015bcie wa\u017cne jest, aby heurystyka mia\u0142a wysok\u0105 precyzj\u0119, aby nie obni\u017ca\u0107 jako\u015bci danych w zestawie do treningu. \n<\/li>\n<li>Nast\u0119pnie w\u0142\u0105czamy monitoring, aby \u015bledzi\u0107 dzia\u0142anie obej\u015bcia, a je\u015bli po pewnym czasie obej\u015bcie przestaje dzia\u0142a\u0107 i ca\u0142kowicie pokrywa si\u0119 z modelem, mo\u017cna je z czystym sumieniem usun\u0105\u0107. Teraz ten problem raczej nie powt\u00f3rzy si\u0119.\n<\/li>\n<\/ol>\n<p>\nTak wi\u0119c armia obej\u015b\u0107 jest bardzo przydatna. Najwa\u017cniejsze, aby ich u\u017cycie by\u0142o pilne, a nie sta\u0142e. <\/p>\n<h2>Douczenie<\/h2>\n<p>\nDouczenie to proces dodawania nowych danych, uzyskanych w wyniku informacji zwrotnej od u\u017cytkownik\u00f3w lub innych system\u00f3w, oraz szkolenia istniej\u0105cego modelu na ich podstawie. Mog\u0105 wyst\u0105pi\u0107 r\u00f3\u017cne problemy z douczeniem:<\/p>\n<ol>\n<li>Model mo\u017ce po prostu nie obs\u0142ugiwa\u0107 douczenia, a uczy\u0107 si\u0119 tylko od podstaw. \n<\/li>\n<li>Nigdzie w ksi\u0119dze natury nie jest napisane, \u017ce douczenie koniecznie poprawi jako\u015b\u0107 dzia\u0142ania w produkcji. Cz\u0119sto zdarza si\u0119 wr\u0119cz odwrotnie, to znaczy mo\u017cliwe jest jedynie pogorszenie.\n<\/li>\n<li>Zmiany mog\u0105 by\u0107 nieprzewidywalne. To do\u015b\u0107 delikatna kwestia, kt\u00f3r\u0105 odkryli\u015bmy dla siebie. Nawet je\u015bli nowy model w testach A\/B pokazuje podobne wyniki w por\u00f3wnaniu z aktualnym, nie oznacza to wcale, \u017ce b\u0119dzie dzia\u0142a\u0142 w identyczny spos\u00f3b. Ich dzia\u0142anie mo\u017ce r\u00f3\u017cni\u0107 si\u0119 w jakim\u015b jednym procencie, co mo\u017ce prowadzi\u0107 do nowych b\u0142\u0119d\u00f3w lub przywracania ju\u017c naprawionych b\u0142\u0119d\u00f3w. Z obecnymi b\u0142\u0119dami zar\u00f3wno my, jak i u\u017cytkownicy ju\u017c sobie radzimy, a gdy pojawia si\u0119 du\u017ca liczba nowych b\u0142\u0119d\u00f3w, u\u017cytkownik mo\u017ce r\u00f3wnie\u017c nie rozumie\u0107, co si\u0119 dzieje, poniewa\u017c oczekuje przewidywalnego zachowania.\n<\/li>\n<\/ol>\n<p>\nDlatego najwa\u017cniejsz\u0105 rzecz\u0105 w douczeniu jest z gwarancj\u0105 poprawi\u0107 model, lub przynajmniej go nie pogarsza\u0107. <\/p>\n<p>Pierwsza my\u015bl, kt\u00f3ra przychodzi do g\u0142owy, gdy m\u00f3wimy o douczeniu, to podej\u015bcie Active Learning. Co to oznacza? Na przyk\u0142ad klasyfikator okre\u015bla, czy e-mail dotyczy finans\u00f3w, i wok\u00f3\u0142 jego granic decyzji dodajemy pr\u00f3bk\u0119 z oznaczonymi przyk\u0142adami. Dzia\u0142a to dobrze, na przyk\u0142ad w reklamie, gdzie istnieje wiele informacji zwrotnych i mo\u017cna uczy\u0107 model w trybie online. A je\u015bli informacji zwrotnych jest ma\u0142o, otrzymujemy mocno zniekszta\u0142con\u0105 pr\u00f3bk\u0119 w odniesieniu do produkcji danych, na podstawie kt\u00f3rej nie mo\u017cna oceni\u0107 zachowania modelu w trakcie u\u017cytkowania.<\/p>\n<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/fd1b3e07bfaf896dde3248e43537f61a.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nNaszym celem jest w rzeczywisto\u015bci zachowanie starych wzorc\u00f3w, znanych ju\u017c modeli, oraz nabywanie nowych. Wa\u017cna jest tu kontynuacja. Model, kt\u00f3ry z wielkim trudem wprowadzili\u015bmy, ju\u017c dzia\u0142a, wi\u0119c mo\u017cemy kierowa\u0107 si\u0119 jego wydajno\u015bci\u0105. <\/p>\n<p>W poczcie stosuje si\u0119 r\u00f3\u017cne modele: drzewa, modele liniowe, sieci neuronowe. Dla ka\u017cdego opracowujemy w\u0142asny algorytm dalszego uczenia. W trakcie tego procesu pojawiaj\u0105 si\u0119 nie tylko nowe dane, ale cz\u0119sto tak\u017ce nowe cechy, kt\u00f3re b\u0119dziemy uwzgl\u0119dnia\u0107 we wszystkich poni\u017cszych algorytmach.<\/p>\n<h3>Modele liniowe<\/h3>\n<p>\nPowiedzmy, \u017ce mamy regresj\u0119 logistyczn\u0105. Sk\u0142adamy funkcj\u0119 strat modelu z nast\u0119puj\u0105cych sk\u0142adnik\u00f3w:<\/p>\n<ul>\n<li>LogLoss na nowych danych;\n<\/li>\n<li>regularizujemy wagi nowych cech (starych nie zmieniamy);\n<\/li>\n<li>uczymy si\u0119 r\u00f3wnie\u017c na starych danych, aby zachowa\u0107 stare wzorce;\n<\/li>\n<li>i, by\u0107 mo\u017ce, co najwa\u017cniejsze: dodajemy Harmonic Regularization, kt\u00f3ra gwarantuje niewielk\u0105 zmian\u0119 wag w por\u00f3wnaniu do starego modelu wed\u0142ug normy.\n<\/li>\n<\/ul>\n<p>\nPoniewa\u017c ka\u017cdy sk\u0142adnik utraty ma swoje wsp\u00f3\u0142czynniki, mo\u017cemy dobra\u0107 optymalne warto\u015bci do naszego zadania na podstawie walidacji krzy\u017cowej lub w zale\u017cno\u015bci od wymaga\u0144 produktowych.<\/p>\n<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/00ae86d23afb780f5e260e61f833d4bd.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>Drzewa<\/h3>\n<p>\nPrzejd\u017amy do drzew decyzyjnych. Opracowali\u015bmy nast\u0119puj\u0105cy algorytm dalszego uczenia drzew:<\/p>\n<ol>\n<li>Na produkcji dzia\u0142a las z 100\u2013300 drzew, kt\u00f3ry zosta\u0142 wyuczony na starym zbiorze danych.\n<\/li>\n<li>Na ko\u0144cu usuwamy 5 drzew i dodajemy 10 nowych, kt\u00f3re s\u0105 wyuczone na ca\u0142ym zbiorze danych, ale z wysok\u0105 wag\u0105 dla nowych danych, co naturalnie gwarantuje inkrementaln\u0105 zmian\u0119 modelu.\n<\/li>\n<\/ol>\n<p>\nOczywiste jest, \u017ce z biegiem czasu liczba drzew znacznie wzrasta, a nale\u017cy je okresowo redukowa\u0107, aby zmie\u015bci\u0107 si\u0119 w czasach. W tym celu wykorzystujemy powszechnie stosowane obecnie distylacj\u0119 wiedzy (KD). Kr\u00f3tko o zasadzie jej dzia\u0142ania.<\/p>\n<ol>\n<li>Mamy obecny \u201eskomplikowany\u201d model. Uruchamiamy go na treningowym zbiorze danych i otrzymujemy rozk\u0142ad prawdopodobie\u0144stw klas na wyj\u015bciu.\n<\/li>\n<li>Nast\u0119pnie uczymy model ucznia (model z mniejsz\u0105 liczb\u0105 drzew w tym przypadku) powtarza\u0107 wyniki pracy modelu, u\u017cywaj\u0105c rozk\u0142adu klas jako zmiennej docelowej.\n<\/li>\n<li>Warto zauwa\u017cy\u0107, \u017ce nie korzystamy z oznacze\u0144 zestawu danych, dlatego mo\u017cemy u\u017cywa\u0107 dowolnych danych. Oczywi\u015bcie, wykorzystujemy pr\u00f3bk\u0119 danych z produkcyjnego strumienia jako zbi\u00f3r treningowy dla modelu ucznia. W ten spos\u00f3b zbi\u00f3r treningowy pozwala nam zapewni\u0107 dok\u0142adno\u015b\u0107 modelu, a pr\u00f3bka strumienia gwarantuje podobn\u0105 wydajno\u015b\u0107 w rozwoju produkcyjnym, kompensuj\u0105c przesuni\u0119cie zbioru treningowego.\n<\/li>\n<\/ol>\n<p>\n<img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/3fdfcb9b1e5a6fa824226a429afc475a.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nPo\u0142\u0105czenie tych dw\u00f3ch technik (dodawanie drzew i okresowe ich zmniejszanie za pomoc\u0105 metody Knowledge Distillation) zapewnia wprowadzenie nowych wzorc\u00f3w oraz pe\u0142n\u0105 ci\u0105g\u0142o\u015b\u0107.<\/p>\n<p>Za pomoc\u0105 KD wykonujemy r\u00f3wnie\u017c operacje r\u00f3\u017cnicowania cech modelu, na przyk\u0142ad usuwanie cech i obs\u0142ug\u0119 brak\u00f3w. W naszym przypadku posiadamy szereg wa\u017cnych cech statystycznych (dotycz\u0105cych nadawc\u00f3w, hashy tekstowe, adresy URL itd.), kt\u00f3re przechowywane s\u0105 w bazie danych, maj\u0105cej tendencj\u0119 do odmowy. Model, rzecz jasna, nie jest przygotowany na tego rodzaju rozw\u00f3j sytuacji, poniewa\u017c w zbiorze treningowym nie wyst\u0119puj\u0105 sytuacje odmowy. W takich przypadkach \u0142\u0105czymy techniki KD i augmentacji: podczas treningu dla cz\u0119\u015bci danych usuwamy lub zerujemy potrzebne cechy, a etykiety (wyniki obecnego modelu) bierzemy z oryginalnych, a model-ucze\u0144 uczy si\u0119 powtarza\u0107 to rozk\u0142ad.<\/p>\n<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/5e1f5af9a359646a49f4fe88ffed1025.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nZauwa\u017cyli\u015bmy, \u017ce im powa\u017cniejsza manipulacja modelami, tym wi\u0119kszy procent pr\u00f3bek strumienia jest wymagany.<\/p>\n<p>Aby usun\u0105\u0107 cechy, najprostsz\u0105 operacj\u0119, wystarczy niewielka cz\u0119\u015b\u0107 strumienia, poniewa\u017c zmienia si\u0119 tylko kilka cech, a obecny model by\u0142 trenowany na tym samym zbiorze \u2014 r\u00f3\u017cnica jest minimalna. Aby upro\u015bci\u0107 model (zmniejszaj\u0105c liczb\u0119 drzew kilka razy), potrzeba ju\u017c 50 na 50. A na braki wa\u017cnych cech statystycznych, kt\u00f3re znacz\u0105co wp\u0142ywaj\u0105 na wydajno\u015b\u0107 modelu, potrzeba jeszcze wi\u0119kszej ilo\u015bci strumienia, aby wyr\u00f3wna\u0107 dzia\u0142anie nowego modelu odpornego na braki we wszystkich typach wiadomo\u015bci. <\/p>\n<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/8f3729cfff43be9ecdc47d532daa8d6f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>FastText<\/h3>\n<p>\nPrzejd\u017amy do FastText. Przypomn\u0119, \u017ce reprezentacja (Embedding) s\u0142owa sk\u0142ada si\u0119 z sumy embeddingu samego s\u0142owa oraz wszystkich jego literowych N-gram, zazwyczaj tr\u00f3jek. Poniewa\u017c tr\u00f3jek mo\u017ce by\u0107 znacznie wi\u0119cej, stosuje si\u0119 Bucket Hashing, czyli przekszta\u0142cenie ca\u0142ej przestrzeni w pewn\u0105 sta\u0142\u0105 map\u0119 hash. Ostatecznie macierz wag uzyskuje rozmiar wewn\u0119trznej warstwy na liczb\u0119 s\u0142\u00f3w + bucket\u00f3w. <\/p>\n<p>Podczas dalszego uczenia pojawiaj\u0105 si\u0119 nowe cechy: s\u0142owa i tr\u00f3jki. W standardowym dalszym uczeniu od Facebooka nic istotnego si\u0119 nie dzieje. Uczone s\u0105 jedynie stare wagi z krzy\u017cow\u0105 entropi\u0105 na nowych danych. Tak wi\u0119c nowe cechy nie s\u0105 oczywi\u015bcie wykorzystywane, co sprawia, \u017ce podej\u015bcie to ma wszystkie wcze\u015bniej opisane wady zwi\u0105zane z nieprzewidywalno\u015bci\u0105 modelu w produkcji. Dlatego nieco poprawili\u015bmy FastText. Dodajemy wszystkie nowe wagi (s\u0142owa i tr\u00f3jki), uczymy ca\u0142\u0105 macierz z krzy\u017cow\u0105 entropi\u0105 i dodajemy harmonijne regularizacje na wz\u00f3r modelu liniowego, co gwarantuje nieistotne zmiany starych wag.<\/p>\n<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/4491639587d1c91ac91d77b587ee0111.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>CNN<\/h3>\n<p>\nZ sieciami konwolucyjnymi jest nieco trudniej. Je\u015bli w CNN uczone s\u0105 ostatnie warstwy, mo\u017cna oczywi\u015bcie stosowa\u0107 harmonijn\u0105 regularizacj\u0119 i zapewni\u0107 ci\u0105g\u0142o\u015b\u0107. Ale w przypadku, gdy wymagana jest nauka ca\u0142ej sieci, to tak\u0105 regularizacj\u0119 ju\u017c trudno zastosowa\u0107 we wszystkich warstwach. Istnieje jednak opcja z nauk\u0105 komplementarnych embedding\u00f3w za pomoc\u0105 Triplet Loss (<noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1503.03832\">oryginalny artyku\u0142<\/a><\/noindex>).<\/p>\n<h4>Triplet Loss<\/h4>\n<p>\nNa przyk\u0142adzie zadania antyphishingowego om\u00f3wimy w og\u00f3lnych zarysach Triplet Loss. We\u017amy nasze logo oraz pozytywne i negatywne przyk\u0142ady logo innych firm. Minimalizujemy odleg\u0142o\u015b\u0107 mi\u0119dzy pierwszymi i maksymalizujemy odleg\u0142o\u015b\u0107 mi\u0119dzy drugimi, robimy to z ma\u0142\u0105 przerw\u0105, aby zapewni\u0107 wi\u0119ksz\u0105 kompaktowo\u015b\u0107 klas. <\/p>\n<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/dc8547fa042286798eb5c2f0887c4da6.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nJe\u015bli uczymy sie\u0107 ponownie, to ca\u0142kowicie zmienia si\u0119 przestrze\u0144 metryczn\u0105, a staje si\u0119 ona ca\u0142kowicie niekompatybilna z poprzedni\u0105. To powa\u017cny problem w zadaniach, kt\u00f3re wykorzystuj\u0105 wektory. Aby obej\u015b\u0107 ten problem, b\u0119dziemy mieszali podczas uczenia stare embeddingi.<\/p>\n<p>Dodali\u015bmy nowe dane do zestawu treningowego i od podstaw szkolimy drug\u0105 wersj\u0119 modelu. W drugim etapie doszkalaj\u0105 nasz\u0105 sie\u0107 (Finetuning): najpierw doszkalany jest ostatni warstwa, a potem odblokowywana jest ca\u0142a sie\u0107. W procesie tworzenia triplet\u00f3w obliczamy tylko cz\u0119\u015b\u0107 embedding\u00f3w przy u\u017cyciu uczonego modelu, a reszt\u0119 \u2014 za pomoc\u0105 starego. W ten spos\u00f3b, podczas doszkalania zapewniamy zgodno\u015b\u0107 przestrzeni metrycznych v1 i v2. To specyficzna forma regularizacji harmonicznej.<\/p>\n<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/854d4fcc97775b24e6863cc38743cd27.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>Architektura w ca\u0142o\u015bci<\/h3>\n<p>\nJe\u015bli spojrzymy na ca\u0142y system w kontek\u015bcie antyspamu, to modele nie s\u0105 izolowane, lecz zagnie\u017cd\u017cone w sobie. Bierzemy obrazy, tekst i inne cechy, przy pomocy CNN i Fast Text uzyskujemy embeddingi. Nast\u0119pnie na embeddingach stosujemy klasyfikatory, kt\u00f3re wydaj\u0105 wyniki dla r\u00f3\u017cnych klas (rodzaje wiadomo\u015bci, spam, obecno\u015b\u0107 logo). Wyniki i cechy trafiaj\u0105 do lasu drzew, gdzie podejmowane jest ostateczne decyzje. Oddzielne klasyfikatory w tym modelu pozwalaj\u0105 lepiej interpretowa\u0107 wyniki dzia\u0142ania systemu i bardziej precyzyjnie doszkala\u0107 komponenty w przypadku wyst\u0105pienia problem\u00f3w, zamiast podawa\u0107 wszystkie dane w surowej formie do drzew decyzyjnych.<\/p>\n<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/30effc5ef7398db5f085b6dd415647d3.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nW rezultacie gwarantujemy ci\u0105g\u0142o\u015b\u0107 na ka\u017cdym poziomie. Na najni\u017cszym poziomie w CNN i Fast Text stosujemy regularizacj\u0119 harmoniczn\u0105, dla klasyfikator\u00f3w w \u015brodku \u2014 r\u00f3wnie\u017c regularizacj\u0119 harmoniczn\u0105 i kalibracj\u0119 wynik\u00f3w dla zgodno\u015bci rozk\u0142adu prawdopodobie\u0144stwa. A boosting drzew jest trenowany inkrementalnie lub za pomoc\u0105 Knowledge Distillation.<\/p>\n<p>Og\u00f3lnie rzecz bior\u0105c, wsparcie dla tak z\u0142o\u017conego systemu uczenia maszynowego zazwyczaj stanowi problem, poniewa\u017c ka\u017cda zmian na ni\u017cszym poziomie prowadzi do aktualizacji ca\u0142ego systemu wy\u017cej. Jednak w naszym setupie ka\u017cdy komponent zmienia si\u0119 nieznacznie i jest zgodny z poprzednim, co pozwala na aktualizacj\u0119 ca\u0142ego systemu w kawa\u0142kach bez konieczno\u015bci ponownego uczenia ca\u0142ej struktury, co umo\u017cliwia jego utrzymanie bez powa\u017cnego nadmiernego obci\u0105\u017cenia. <\/p>\n<h2>Wdro\u017cenie<\/h2>\n<p>\nOm\u00f3wili\u015bmy zbieranie danych i doszkalanie r\u00f3\u017cnych typ\u00f3w modeli, teraz przechodzimy do ich wdro\u017cenia w \u015brodowisku produkcyjnym.<\/p>\n<h3>A\/B testowanie<\/h3>\n<p>\nJak ju\u017c wcze\u015bniej wspomnia\u0142em, podczas zbierania danych zazwyczaj uzyskujemy wyb\u00f3r zniekszta\u0142cony, na podstawie kt\u00f3rego niemo\u017cliwe jest ocenienie wydajno\u015bci produkcyjnej modelu. Dlatego wdra\u017caj\u0105c model, nale\u017cy go niezb\u0119dnie por\u00f3wnywa\u0107 z poprzedni\u0105 wersj\u0105, aby zrozumie\u0107, jak faktycznie id\u0105 sprawy, co oznacza przeprowadzanie test\u00f3w A\/B. Proces wdra\u017cania i analizowania wynik\u00f3w jest w rzeczywisto\u015bci do\u015b\u0107 rutynowy i \u015bwietnie nadaje si\u0119 do automatyzacji. Nasze modele wprowadzamy stopniowo dla 5%, 30%, 50% i 100% u\u017cytkownik\u00f3w, jednocze\u015bnie gromadz\u0105c wszystkie dost\u0119pne metryki dotycz\u0105ce odpowiedzi modelu oraz opinii u\u017cytkownik\u00f3w. W przypadku powa\u017cnych odchyle\u0144 automatycznie wycofujemy model, a w pozosta\u0142ych przypadkach, po zgromadzeniu wystarczaj\u0105cej liczby klikni\u0119\u0107 u\u017cytkownik\u00f3w, podejmujemy decyzj\u0119 o zwi\u0119kszeniu procentu. W rezultacie nowy model wprowadzamy do 50% u\u017cytkownik\u00f3w ca\u0142kowicie automatycznie, a zatwierdzenie wprowadzenia dla ca\u0142ej publiczno\u015bci dokonuje cz\u0142owiek, cho\u0107 tak\u017ce ten krok mo\u017cna zautomatyzowa\u0107.<\/p>\n<p>Jednak proces test\u00f3w A\/B stwarza mo\u017cliwo\u015bci optymalizacji. Polega na tym, \u017ce ka\u017cdy test A\/B jest do\u015b\u0107 d\u0142ugi (w naszym przypadku trwa od 6 do 24 godzin w zale\u017cno\u015bci od liczby opinii), co czyni go do\u015b\u0107 kosztownym i wymagaj\u0105cym ograniczonych zasob\u00f3w. Poza tym potrzebny jest wystarczaj\u0105co wysoki procent ruchu do testu, aby w istocie przyspieszy\u0107 ca\u0142kowity czas testu A\/B (uzyskiwanie statystycznie istotnej pr\u00f3bki do oceny metryk przy ma\u0142ym procencie mo\u017ce zaj\u0105\u0107 bardzo du\u017co czasu), co czyni liczb\u0119 slot\u00f3w A\/B niezwykle ograniczon\u0105. Oczywiste jest, \u017ce musimy wprowadza\u0107 do test\u00f3w tylko najbardziej obiecuj\u0105ce modele, kt\u00f3rych w procesie dalszego uczenia otrzymujemy ca\u0142kiem sporo.<\/p>\n<p>Aby rozwi\u0105za\u0107 ten problem, wytrenowali\u015bmy oddzielny klasyfikator, kt\u00f3ry przewiduje sukces testu A\/B. W tym celu jako cechy bierzemy statystyki podejmowania decyzji, Precision, Recall oraz inne metryki na zbiorze ucz\u0105cym, na zbiorze walidacyjnym oraz na pr\u00f3bie z ruchu. Por\u00f3wnujemy r\u00f3wnie\u017c model z aktualnym modelem w produkcji, z heurystykami i bierzemy pod uwag\u0119 z\u0142o\u017cono\u015b\u0107 modelu. U\u017cywaj\u0105c wszystkich tych cech, wytrenowany na historii test\u00f3w klasyfikator ocenia modele kandyduj\u0105ce, w naszym przypadku s\u0105 to lasy drzew, i podejmuje decyzj\u0119, kt\u00f3ry z nich wprowadzi\u0107 do testu A\/B. <\/p>\n<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/41b121987209a663075be399e83f5a50.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nW momencie wdro\u017cenia podej\u015bcie to pozwoli\u0142o na wielokrotne zwi\u0119kszenie liczby udanych test\u00f3w A\/B.<\/p>\n<h3>Testowanie &amp; monitoring<\/h3>\n<p>\nTestowanie i monitorowanie, co mo\u017ce by\u0107 zaskakuj\u0105ce, nie szkodzi naszemu zdrowiu, wr\u0119cz przeciwnie, poprawia je i redukuje zb\u0119dny stres. Testowanie pozwala zapobiega\u0107 awariom, a monitoring \u2013 wykrywa\u0107 je na czas, aby zminimalizowa\u0107 wp\u0142yw na u\u017cytkownik\u00f3w.<\/p>\n<p>Wa\u017cne jest zrozumienie, \u017ce pr\u0119dzej czy p\u00f3\u017aniej Tw\u00f3j system zawsze b\u0119dzie mia\u0142 b\u0142\u0119dy \u2013 jest to zwi\u0105zane z cyklem rozwoju ka\u017cdego oprogramowania. Na pocz\u0105tku rozwoju jest wiele b\u0142\u0119d\u00f3w, dop\u00f3ki wszystko nie zostanie ustabilizowane i nie zako\u0144czy si\u0119 g\u0142\u00f3wny etap wprowadzania nowych funkcji. Jednak z czasem entropia robi swoje i b\u0142\u0119dy zn\u00f3w si\u0119 pojawiaj\u0105 \u2013 z powodu degradacji komponent\u00f3w oraz zmian danych, o kt\u00f3rych wspomnia\u0142em na pocz\u0105tku.<\/p>\n<p>Chcia\u0142bym zwr\u00f3ci\u0107 uwag\u0119, \u017ce ka\u017cdy system uczenia maszynowego nale\u017cy ocenia\u0107 z punktu widzenia jego rentowno\u015bci w ca\u0142ym cyklu \u017cycia. Poni\u017cej na wykresie przedstawiony jest przyk\u0142ad dzia\u0142ania systemu wychwytuj\u0105cego rzadki typ spamu (na wykresie linia w okolicy zera). Kiedy\u015b, z powodu niew\u0142a\u015bciwie przechowywanego atrybutu, system oszala\u0142. Co gorsza, nie by\u0142o monitoringu anomalii, w wyniku czego system zacz\u0105\u0142 zapisywa\u0107 wiadomo\u015bci do folderu \u201espam\u201d w du\u017cych ilo\u015bciach na granicy podejmowania decyzji. Mimo naprawy konsekwencji, system pope\u0142ni\u0142 ju\u017c tyle b\u0142\u0119d\u00f3w, \u017ce nie zwr\u00f3ci si\u0119 w ci\u0105gu pi\u0119ciu lat. To ca\u0142kowita klapa z perspektywy cyklu \u017cycia modelu. <\/p>\n<p><img decoding=\"async\" alt=\"Zastosowanie uczenia maszynowego w Poczcie Mail.ru\" src=\"\/wp-content\/uploads\/2019\/11\/65efd799537ceea3761cabc3a764ba90.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDlatego tak prosta rzecz jak monitoring mo\u017ce sta\u0107 si\u0119 kluczowa w \u017cyciu modelu. Opr\u00f3cz standardowych i oczywistych metryk, analizujemy rozk\u0142ad odpowiedzi i wynik\u00f3w modelu, a tak\u017ce rozk\u0142ad warto\u015bci kluczowych atrybut\u00f3w. Dzi\u0119ki dywergencji KL mo\u017cemy por\u00f3wna\u0107 obecny rozk\u0142ad z historycznym lub warto\u015bciami z testu A\/B z pozosta\u0142ym strumieniem, co pozwala dostrzega\u0107 anomalie w modelu i w por\u0119 cofa\u0107 zmiany.<\/p>\n<p>W wi\u0119kszo\u015bci przypadk\u00f3w uruchamiamy nasze pierwsze wersje system\u00f3w przy u\u017cyciu prostych heurystyk lub modeli, kt\u00f3re w przysz\u0142o\u015bci stosujemy do monitorowania. Na przyk\u0142ad monitorujemy model NER w por\u00f3wnaniu do wyra\u017ce\u0144 regularnych dla konkretnych sklep\u00f3w internetowych, a je\u015bli pokrycie klasyfikatora zmniejsza si\u0119 w por\u00f3wnaniu z nimi, analizujemy przyczyny. To kolejny przydatny spos\u00f3b zastosowania heurystyk!<\/p>\n<h2>Podsumowanie<\/h2>\n<p>\nPrzejd\u017amy jeszcze raz przez kluczowe my\u015bli artyku\u0142u.<\/p>\n<ul>\n<li><b>Fibd\u00e6k<\/b>. Zawsze my\u015blimy o u\u017cytkowniku: jak b\u0119dzie \u017cy\u0142 z naszymi b\u0142\u0119dami, jak b\u0119dzie m\u00f3g\u0142 je zg\u0142osi\u0107. Nie zapominajmy, \u017ce u\u017cytkownicy nie s\u0105 \u017ar\u00f3d\u0142em czystych informacji zwrotnych do nauki modeli, a ich nale\u017cy oczyszcza\u0107 za pomoc\u0105 pomocniczych system\u00f3w ML. Je\u015bli nie ma mo\u017cliwo\u015bci zebrania sygna\u0142u od u\u017cytkownika, szukamy alternatywnych \u017ar\u00f3de\u0142 feedbacku, na przyk\u0142ad zwi\u0105zanych system\u00f3w. \n<\/li>\n<li><b>Douczenie<\/b>. Kluczow\u0105 kwesti\u0105 jest tu kontynuacja, dlatego opieramy si\u0119 na aktualnym modelu produkcyjnym. Nowe modele uczymy tak, aby znacznie si\u0119 nie r\u00f3\u017cni\u0142y od poprzedniego, stosuj\u0105c harmoniczn\u0105 regularyzacj\u0119 i podobne sztuczki.<\/li>\n<li><b>Wdro\u017cenie<\/b>. Automatyczne wdro\u017cenie na podstawie metryk znacznie skraca czas wprowadzania modeli. Monitorowanie statystyk i dystrybucji podejmowania decyzji, liczby fa\u0142szywych sygna\u0142\u00f3w od u\u017cytkownik\u00f3w, jest niezb\u0119dne dla twojego spokojnego snu i produktywnych weekend\u00f3w.\n<\/li>\n<\/ul>\n<p>\nC\u00f3\u017c, mam nadziej\u0119, \u017ce przeczytane pomo\u017ce Ci szybciej poprawi\u0107 Twoje systemy ML, przyspieszy\u0107 ich wprowadzenie na rynek i uczyni\u0107 je bardziej niezawodnymi, zmniejszaj\u0105c stres zwi\u0105zany z prac\u0105.<br \/>\n<br \/>\u0179r\u00f3d\u0142o: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/mailru\/blog\/476714\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u043e \u043c\u043e\u0442\u0438\u0432\u0430\u043c \u043c\u043e\u0438\u0445 \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 Highload++ \u0438 DataFest Minsk 2019 \u0433. \u0414\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043f\u043e\u0447\u0442\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u043e\u0442\u044a\u0435\u043c\u043b\u0435\u043c\u043e\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u0436\u0438\u0437\u043d\u0438 \u0432 \u0441\u0435\u0442\u0438. \u0421 \u0435\u0435 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u044b \u0432\u0435\u0434\u0435\u043c \u0431\u0438\u0437\u043d\u0435\u0441-\u043f\u0435\u0440\u0435\u043f\u0438\u0441\u043a\u0443, \u0445\u0440\u0430\u043d\u0438\u043c \u0432\u0441\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0443\u044e \u0432\u0430\u0436\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u0443\u044e \u0441 \u0444\u0438\u043d\u0430\u043d\u0441\u0430\u043c\u0438, \u0431\u0440\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043e\u0442\u0435\u043b\u0435\u0439, \u043e\u0444\u043e\u0440\u043c\u043b\u0435\u043d\u0438\u0435\u043c \u0437\u0430\u043a\u0430\u0437\u043e\u0432 \u0438 \u043c\u043d\u043e\u0433\u0438\u043c \u0434\u0440\u0443\u0433\u0438\u043c. \u0412 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 2018 \u0433\u043e\u0434\u0430 \u043c\u044b \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u043f\u043e\u0447\u0442\u044b. \u041a\u0430\u043a\u043e\u0439 \u0436\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-53143","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u043e \u043c\u043e\u0442\u0438\u0432\u0430\u043c \u043c\u043e\u0438\u0445 \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0439 \u043d\u0430.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"pl_PL\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u042d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 \u041f\u043e\u0447\u0442\u0435 Mail.ru | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u043e \u043c\u043e\u0442\u0438\u0432\u0430\u043c \u043c\u043e\u0438\u0445 \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0439 \u043d\u0430.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-11-23T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:01:00+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Zastosowanie uczenia maszynowego w Poczcie Mail.ru | ProHoster","description":"Na podstawie moich wyst\u0105pie\u0144 na.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u042d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 \u041f\u043e\u0447\u0442\u0435 Mail.ru | ProHoster","og:description":"\u041f\u043e \u043c\u043e\u0442\u0438\u0432\u0430\u043c \u043c\u043e\u0438\u0445 \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0439 \u043d\u0430.","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-11-23T21:00:00+00:00","article:modified_time":"2020-02-18T11:01:00+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"53143","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 06:14:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:30:25","updated":"2026-01-24 06:14:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/53143","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=53143"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/53143\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=53143"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=53143"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=53143"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}