{"id":53143,"date":"2019-11-24T00:00:00","date_gmt":"2019-11-23T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru"},"modified":"2020-02-18T14:01:00","modified_gmt":"2020-02-18T11:01:00","slug":"ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru","title":{"rendered":"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/ee5728dccb94b849ad3bfd9cf84ad74d.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<i>A Highload++ \u00e9s a DataFest Minsk 2019-es el\u0151ad\u00e1saim alapj\u00e1n.<\/i><\/p>\n<p>Manaps\u00e1g a levelez\u00e9s sokak sz\u00e1m\u00e1ra elengedhetetlen r\u00e9sze az online \u00e9letnek. Ezen kereszt\u00fcl \u00fczleti levelez\u00e9st folytatunk, fontos p\u00e9nz\u00fcgyi inform\u00e1ci\u00f3kat t\u00e1rolunk, sz\u00e1ll\u00e1sfoglal\u00e1sokat bonyol\u00edtunk, rendel\u00e9seket int\u00e9z\u00fcnk \u00e9s m\u00e9g sok m\u00e1st. 2018 k\u00f6zep\u00e9n kidolgoztuk a levelez\u00e9s fejleszt\u00e9si term\u00e9kstrat\u00e9gi\u00e1j\u00e1t. Milyennek kellene lennie a modern e-mailnek?<\/p>\n<p>Az e-mailnek olyan <b>intelligensnek<\/b>, vagyis seg\u00edtenie kell a felhaszn\u00e1l\u00f3kat az egyre n\u00f6vekv\u0151 inform\u00e1ci\u00f3tengerben val\u00f3 t\u00e1j\u00e9koz\u00f3d\u00e1sban: sz\u0171rni, struktur\u00e1lni \u00e9s a legk\u00e9nyelmesebb m\u00f3don bemutatni az inform\u00e1ci\u00f3t. Emellett <b>hasznosnak<\/b>, lehet\u0151v\u00e9 t\u00e9ve k\u00fcl\u00f6nb\u00f6z\u0151 feladatok megold\u00e1s\u00e1t k\u00f6zvetlen\u00fcl a levelez\u0151 fi\u00f3kban, p\u00e9ld\u00e1ul b\u00edrs\u00e1gok kifizet\u00e9s\u00e9t (amely funkci\u00f3t sajnos \u00e9n is haszn\u00e1lok). \u00c9s term\u00e9szetesen a lev\u00e9lnek inform\u00e1ci\u00f3v\u00e9delmet is kell biztos\u00edtania, kisz\u0171rve a spamet \u00e9s v\u00e9dve a hackel\u00e9sekt\u0151l, teh\u00e1t biztons\u00e1gosnak kell lennie. <b>biztons\u00e1gosnak<\/b>.<br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nEzek a megk\u00f6zel\u00edt\u00e9sek sz\u00e1mos kulcsfontoss\u00e1g\u00fa feladatot hat\u00e1roznak meg, amelyek k\u00f6z\u00fcl sok hat\u00e9konyan megoldhat\u00f3 g\u00e9pi tanul\u00e1s seg\u00edts\u00e9g\u00e9vel. \u00cdme n\u00e9h\u00e1ny p\u00e9lda a m\u00e1r m\u0171k\u00f6d\u0151 funkci\u00f3kra, amelyek strat\u00e9giai keret\u00e9n bel\u00fcl k\u00e9sz\u00fcltek \u2013 egy minden ir\u00e1nyra.<\/p>\n<ul>\n<li><b>Intelligens v\u00e1lasz<\/b>. A levelez\u00e9sben tal\u00e1lhat\u00f3 egy intelligens v\u00e1lasz funkci\u00f3. A neur\u00e1lis h\u00e1l\u00f3zat elemzi a lev\u00e9l sz\u00f6veg\u00e9t, meg\u00e9rti a jelent\u00e9s\u00e9t \u00e9s c\u00e9lj\u00e1t, \u00e9s ennek eredm\u00e9nyek\u00e9nt h\u00e1rom legmegfelel\u0151bb v\u00e1laszv\u00e1ltozatot javasol: pozit\u00edv, negat\u00edv \u00e9s semleges. Ez jelent\u0151sen seg\u00edt megtakar\u00edtani az id\u0151t a v\u00e1laszok megfogalmaz\u00e1sakor, \u00e9s gyakran lehet\u0151v\u00e9 teszi a nem szokv\u00e1nyos \u00e9s sz\u00f3rakoztat\u00f3 v\u00e1laszokat.\n<\/li>\n<li><b>A levelek csoportos\u00edt\u00e1sa<\/b>, amelyek az internetes boltokkal kapcsolatosak. Gyakran v\u00e1s\u00e1rolunk az interneten, \u00e9s \u00e1ltal\u00e1ban a boltok minden megrendel\u00e9shez t\u00f6bb levelet is k\u00fcldenek. P\u00e9ld\u00e1ul az Aliexpress, a legnagyobb szolg\u00e1ltat\u00e1s, sok e-mailt k\u00fcld egy rendel\u00e9sr\u0151l, \u00e9s m\u00e9rt\u00e9kad\u00f3 esetben a sz\u00e1muk el\u00e9rheti a 29-et. Ez\u00e9rt a Named Entity Recognition modell seg\u00edts\u00e9g\u00e9vel kiemelj\u00fck a rendel\u00e9si sz\u00e1mot \u00e9s egy\u00e9b inform\u00e1ci\u00f3kat a sz\u00f6vegb\u0151l, \u00e9s csoportos\u00edtjuk az \u00f6sszes levelet egy sz\u00e1lba. Tov\u00e1bb\u00e1 az \u00e1ttekinthet\u0151 inform\u00e1ci\u00f3t a rendel\u00e9sr\u0151l k\u00fcl\u00f6n szalagon mutatjuk be, ami megk\u00f6nny\u00edti ennek a lev\u00e9lfajta kezel\u00e9s\u00e9t.\n<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/8b37b0bf0c0d152498027bc25d476128.jpg\" style=\"display:block;margin: 0 auto;\" \/>\n<\/li>\n<li><b>Adathal\u00e1szat ellen<\/b>. A phishing attack is a particularly dangerous type of fraudulent email used by criminals to acquire sensitive financial information (including user credit card information) and login credentials. Such emails mimic legitimate ones sent by services, even visually. Therefore, using Computer Vision, we recognize logos and the design style of emails from major companies (like Mail.ru, Sber, Alfa) and take this into account alongside text and other signs in our spam and phishing classifiers.\n<\/li>\n<\/ul>\n<p><\/p>\n<h2>G\u00e9pi tanul\u00e1s<\/h2>\n<p>\nA bit about machine learning in email systems in general. Email is a high-load system: on average, around 1.5 billion emails pass through our servers daily for 30 million daily active users. About 30 machine learning systems support all necessary functions and features. <\/p>\n<p>Each email goes through a comprehensive classification pipeline. First, we filter out spam and retain good emails. Users often do not notice the anti-spam system at work, as 95\u201499% of spam does not even reach the respective folder. Spam detection is a very important part of our system and the most challenging, as the field of anti-spam requires constant adaptation between protection systems and attacks, posing a continuous engineering challenge for our team.<\/p>\n<p>Next, we differentiate emails from people and robots. Emails from people are the most important, so we provide functions like Smart Reply for them. Emails from robots are divided into two categories: transactional\u2014these are important emails from services, such as purchase or hotel reservation confirmations, finances; and informational\u2014these include business ads and discounts. <\/p>\n<p>We believe that transactional emails are as significant as personal correspondence. They need to be readily accessible, as it is often necessary to quickly find information about an order or a flight reservation, and we waste time searching for these emails. Therefore, for convenience, we automatically categorize them into six main categories: travel, orders, finances, tickets, registrations, and finally, fines.<\/p>\n<p>Az inform\u00e1ci\u00f3s levelek a legsz\u00e1mszer\u0171bb, \u00e9s val\u00f3sz\u00edn\u0171leg a legkev\u00e9sb\u00e9 fontos csoport, amely nem ig\u00e9nyel azonnali reag\u00e1l\u00e1st, mivel a felhaszn\u00e1l\u00f3 \u00e9let\u00e9ben nem t\u00f6rt\u00e9nik l\u00e9nyeges v\u00e1ltoz\u00e1s, ha nem olvassa el ezeket a leveleket. Az \u00faj fel\u00fclet\u00fcnkben ezeket k\u00e9t sz\u00e1lba rendezz\u00fck: k\u00f6z\u00f6ss\u00e9gi m\u00e9dia \u00e9s h\u00edrlevelek, \u00edgy vizu\u00e1lisan rendezettebb\u00e9 t\u00e9ve a be\u00e9rkez\u0151 leveleket, \u00e9s csak a fontos leveleket hagyva szem el\u0151tt.<\/p>\n<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/175773879daaa29d1542a98070cb7972.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>M\u0171k\u00f6dtet\u00e9s<\/h3>\n<p>\nA sok rendszer \u00fczemeltet\u00e9se sz\u00e1mos neh\u00e9zs\u00e9get okoz. A modellek id\u0151vel romlanak, ak\u00e1rcsak b\u00e1rmely szoftver: megjelennek hib\u00e1k, a g\u00e9pek le\u00e1llnak, \u00e9s a k\u00f3dok elavulnak. Emellett az adatok folyamatosan v\u00e1ltoznak: \u00faj inform\u00e1ci\u00f3k ker\u00fclnek hozz\u00e1ad\u00e1sra, a felhaszn\u00e1l\u00f3i viselked\u00e9s mint\u00e1i \u00e1talakulnak stb., ez\u00e9rt egy modell kell\u0151 t\u00e1mogat\u00e1s hi\u00e1ny\u00e1ban fokozatosan egyre rosszabbul fog m\u0171k\u00f6dni. <\/p>\n<p>Azt sem szabad elfelejteni, hogy min\u00e9l m\u00e9lyebben hatol be a g\u00e9pi tanul\u00e1s a felhaszn\u00e1l\u00f3k \u00e9let\u00e9be, ann\u00e1l nagyobb befoly\u00e1ssal b\u00edr a k\u00f6rnyezet\u00e9re, \u00e9s ennek k\u00f6vetkezm\u00e9nyek\u00e9nt ann\u00e1l nagyobb p\u00e9nz\u00fcgyi vesztes\u00e9geket vagy nyeres\u00e9geket \u00e9rhetnek el a piaci szerepl\u0151k. Ez\u00e9rt egyre t\u00f6bb ter\u00fcleten alkalmazkodnak a szerepl\u0151k a g\u00e9pi tanul\u00e1si algoritmusokhoz (klasszikus p\u00e9ld\u00e1k \u2013 rekl\u00e1m, keres\u00e9s \u00e9s m\u00e1r eml\u00edtett spam elleni v\u00e9delem).<\/p>\n<p>A g\u00e9pi tanul\u00e1si feladatoknak egy m\u00e1sik jellemz\u0151je is van: b\u00e1rmilyen, legyen az apr\u00f3, v\u00e1ltoztat\u00e1s a rendszerben sok munk\u00e1t gener\u00e1lhat a modellel: adatkezel\u00e9s, \u00fajratanul\u00e1s, telep\u00edt\u00e9s, ami hetekbe vagy h\u00f3napokba is telhet. Ez\u00e9rt min\u00e9l gyorsabban v\u00e1ltozik a k\u00f6rnyezet, amelyben a modellek m\u0171k\u00f6dnek, ann\u00e1l t\u00f6bb er\u0151fesz\u00edt\u00e9st ig\u00e9nyel a fenntart\u00e1suk. A csapat sok rendszert l\u00e9trehozhat, \u00e9s \u00f6r\u00fclhet neki, de szinte minden er\u0151forr\u00e1st a fenntart\u00e1sukra haszn\u00e1lhat, an\u00e9lk\u00fcl, hogy \u00faj dolgokat tudna l\u00e9trehozni. Ezzel a helyzettel egyszer tal\u00e1lkoztunk a spam elleni csapatban. Nyilv\u00e1nval\u00f3 k\u00f6vetkeztet\u00e9st vontunk le, hogy a karbantart\u00e1st automatiz\u00e1lni kell.<\/p>\n<h3>Automatiz\u00e1l\u00e1s<\/h3>\n<p>\nMit lehet automatiz\u00e1lni? Val\u00f3j\u00e1ban szinte mindent. Kiemeltem n\u00e9gy ir\u00e1nyt, amelyek meghat\u00e1rozz\u00e1k a g\u00e9pi tanul\u00e1s infrastrukt\u00far\u00e1j\u00e1t:<\/p>\n<ul>\n<li>adatgy\u0171jt\u00e9s;\n<\/li>\n<li>tov\u00e1bbk\u00e9pz\u00e9s;\n<\/li>\n<li>telep\u00edt\u00e9s;\n<\/li>\n<li>tesztel\u00e9s &amp; monitoring.\n<\/li>\n<\/ul>\n<p>\nHa a k\u00f6rnyezet instabil \u00e9s folyamatosan v\u00e1ltozik, akkor az \u00f6sszes infrastrukt\u00fara a modell k\u00f6r\u00fcl sokkal fontosabb, mint maga a modell. Ez lehet egy r\u00e9gi, j\u00f3 \u00f6reg line\u00e1ris klasszifik\u00e1l\u00f3, de ha a jeleket megfelel\u0151en adj\u00e1k meg benne, \u00e9s j\u00f3 visszajelz\u00e9st alak\u00edtanak ki a felhaszn\u00e1l\u00f3kt\u00f3l, akkor sokkal jobban fog m\u0171k\u00f6dni, mint a leg\u00fajabb technol\u00f3gi\u00e1j\u00fa modellek mindenf\u00e9le sallanggal.<\/p>\n<h4>Visszajelz\u00e9si ciklus<\/h4>\n<p>\nEz a ciklus mag\u00e1ban foglalja az adatok gy\u0171jt\u00e9s\u00e9t, a modell tov\u00e1bbk\u00e9pz\u00e9s\u00e9t \u00e9s telep\u00edt\u00e9s\u00e9t \u2014 l\u00e9nyeg\u00e9ben a modell friss\u00edt\u00e9s\u00e9nek teljes ciklus\u00e1t. Mi\u00e9rt fontos ez? N\u00e9zd meg a regisztr\u00e1ci\u00f3s grafikonokat:<\/p>\n<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/f3c98bd49a101754cf299821a40e2b8e.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA g\u00e9pi tanul\u00e1s fejleszt\u0151je bevezette a botellenes modellt, amely megakad\u00e1lyozza a botok e-mail-registr\u00e1ci\u00f3j\u00e1t. A grafikon a val\u00f3s felhaszn\u00e1l\u00f3kra korl\u00e1toz\u00f3dik. Minden csod\u00e1latos! De n\u00e9gy \u00f3ra m\u00falva a botgy\u00e1rt\u00f3k m\u00f3dos\u00edtj\u00e1k a szkripteiket, \u00e9s minden visszat\u00e9r a r\u00e9gi ker\u00e9kv\u00e1g\u00e1sba. Ebben a bevezet\u00e9sben a fejleszt\u0151 egy h\u00f3napot t\u00f6lt\u00f6tt jelek hozz\u00e1ad\u00e1s\u00e1val \u00e9s a modell tov\u00e1bbk\u00e9pz\u00e9s\u00e9vel, de a spammer n\u00e9gy \u00f3ra alatt k\u00e9pes volt alkalmazkodni.<\/p>\n<p>Annak \u00e9rdek\u00e9ben, hogy a dolog ne legyen annyira f\u00e1jdalmas, \u00e9s ne kelljen mindent \u00fajra csin\u00e1lni, eleve azon kell gondolkodni, hogy milyen lesz a visszajelz\u00e9si ciklus, \u00e9s mit fogunk tenni, ha a k\u00f6rnyezet v\u00e1ltozik. Kezdj\u00fck az adatok gy\u0171jt\u00e9s\u00e9vel \u2014 ez az \u00fczemanyag algoritmusaink sz\u00e1m\u00e1ra.<\/p>\n<h2>Adatgy\u0171jt\u00e9s<\/h2>\n<p>\nNyilv\u00e1nval\u00f3, hogy a modern neur\u00e1lis h\u00e1l\u00f3zatokn\u00e1l min\u00e9l t\u00f6bb adat, ann\u00e1l jobb, \u00e9s ezeket alapvet\u0151en a term\u00e9k felhaszn\u00e1l\u00f3i gener\u00e1lj\u00e1k. Seg\u00edthetnek nek\u00fcnk a felhaszn\u00e1l\u00f3k az adatok c\u00edmk\u00e9z\u00e9s\u00e9vel, de ezzel nem szabad vissza\u00e9lni, mert a felhaszn\u00e1l\u00f3knak egy id\u0151 ut\u00e1n eleg\u00fck lesz az \u00d6n modelljeinek tov\u00e1bbk\u00e9pz\u00e9s\u00e9b\u0151l, \u00e9s \u00e1tt\u00e9rnek egy m\u00e1sik term\u00e9kre. <\/p>\n<p>Az egyik leggyakoribb hiba (itt Andrew Ng-re utalok) az, hogy t\u00falzottan a tesztadatok metrik\u00e1ira \u00f6sszpontos\u00edtunk, ahelyett, hogy a felhaszn\u00e1l\u00f3i visszajelz\u00e9seket figyelembe venn\u00e9nk, ami val\u00f3j\u00e1ban a min\u0151s\u00e9g f\u0151 m\u00e9rc\u00e9je, hiszen term\u00e9ket a felhaszn\u00e1l\u00f3 sz\u00e1m\u00e1ra k\u00e9sz\u00edt\u00fcnk. Ha a felhaszn\u00e1l\u00f3nak nem vil\u00e1gos vagy nem tetszik a modell m\u0171k\u00f6d\u00e9se, akkor az mind hi\u00e1baval\u00f3s\u00e1g. <\/p>\n<p>Ez\u00e9rt a felhaszn\u00e1l\u00f3nak mindig lehet\u0151s\u00e9ge kell, hogy legyen szavazni, eszk\u00f6zt kell adnunk neki a visszajelz\u00e9shez. Ha azt hissz\u00fck, hogy egy e-mail a p\u00e9nz\u00fcgyekkel kapcsolatos, azt fel kell c\u00edmk\u00e9zn\u00fcnk \u201ep\u00e9nz\u00fcgyek\u201d t\u00e9m\u00e1ban, \u00e9s egy gombot kell rajzolnunk, amelyre a felhaszn\u00e1l\u00f3 r\u00e1kattinthat, \u00e9s megmondhatja, hogy ez nem p\u00e9nz\u00fcgyek.<\/p>\n<h3>A visszajelz\u00e9s min\u0151s\u00e9ge<\/h3>\n<p>\nBesz\u00e9lj\u00fcnk a felhaszn\u00e1l\u00f3i visszajelz\u00e9s min\u0151s\u00e9g\u00e9r\u0151l. El\u0151sz\u00f6r is, \u00d6n \u00e9s a felhaszn\u00e1l\u00f3 elt\u00e9r\u0151 jelent\u00e9seket tulajdon\u00edthat ugyanannak a fogalomnak. P\u00e9ld\u00e1ul \u00f6n \u00e9s a term\u00e9kmenedzserek \u00fagy gondolj\u00e1k, hogy a \u201ep\u00e9nz\u00fcgyek\u201d a bankt\u00f3l \u00e9rkez\u0151 levelek, m\u00edg a felhaszn\u00e1l\u00f3 \u00fagy v\u00e9li, hogy a nagymam\u00e1t\u00f3l \u00e9rkez\u0151 levelet a nyugd\u00edj\u00e1r\u00f3l szint\u00e9n a p\u00e9nz\u00fcgyek k\u00f6z\u00e9 sorolhatjuk. M\u00e1sodszor, vannak felhaszn\u00e1l\u00f3k, akik logika n\u00e9lk\u00fcl nyomkodj\u00e1k a gombokat. Harmadszor, a felhaszn\u00e1l\u00f3 m\u00e9lyen t\u00e9vedhet a k\u00f6vetkeztet\u00e9seiben. Egy \u00e9l\u00e9nk p\u00e9lda a gyakorlatunkb\u00f3l \u2014 a klasszifik\u00e1l\u00f3 bevezet\u00e9se <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9D%D0%B8%D0%B3%D0%B5%D1%80%D0%B8%D0%B9%D1%81%D0%BA%D0%B8%D0%B5_%D0%BF%D0%B8%D1%81%D1%8C%D0%BC%D0%B0\">nig\u00e9riai spamra<\/a><\/noindex>, ami egy meglehet\u0151sen sz\u00f3rakoztat\u00f3 spam t\u00edpus, amikor a felhaszn\u00e1l\u00f3nak azt javasolj\u00e1k, hogy szerezzen meg n\u00e9h\u00e1ny milli\u00f3 doll\u00e1rt egy hirtelen felfedezett t\u00e1voli rokon\u00e1t\u00f3l Afrik\u00e1ban. A klasszifik\u00e1l\u00f3 bevezet\u00e9se ut\u00e1n ellen\u0151rizt\u00fck a \u201eNem spam\u201d kattint\u00e1sokat ezekre a levelekre, \u00e9s kider\u00fclt, hogy ezek 80% -a zamatos nig\u00e9riai spam, ami azt mutatja, hogy a felhaszn\u00e1l\u00f3k rendk\u00edv\u00fcl naivak lehetnek.<\/p>\n<p>Ne feledj\u00fck, hogy nemcsak emberek nyomkodnak gombokat, hanem k\u00fcl\u00f6nf\u00e9le botok is, amelyek b\u00f6ng\u00e9sz\u0151nek \u00e1lc\u00e1zva magukat. Teh\u00e1t a nyers visszajelz\u00e9s nem alkalmas a tanul\u00e1sra. Mit tehet\u00fcnk ezzel az inform\u00e1ci\u00f3val?<\/p>\n<p>K\u00e9t megk\u00f6zel\u00edt\u00e9st alkalmazunk: <\/p>\n<ul>\n<li><b>Kapcsol\u00f3d\u00f3 ML visszajelz\u00e9s<\/b>. P\u00e9ld\u00e1ul van egy online botellenes rendszer\u00fcnk, amely, amint m\u00e1r eml\u00edtettem, gyors d\u00f6nt\u00e9st hoz korl\u00e1tozott sz\u00e1m\u00fa jellemz\u0151 alapj\u00e1n. \u00c9s van egy m\u00e1sodik, lass\u00fa rendszer, amely ut\u00f3lag m\u0171k\u00f6dik. Ennek t\u00f6bb adata van a felhaszn\u00e1l\u00f3r\u00f3l, a viselked\u00e9s\u00e9r\u0151l stb. Ennek k\u00f6vetkezt\u00e9ben a legmegalapozottabb d\u00f6nt\u00e9st hozz\u00e1k meg, \u00edgy nagyobb pontoss\u00e1ggal \u00e9s teljess\u00e9ggel b\u00edr. Az e rendszerek k\u00f6z\u00f6tti munkaelt\u00e9r\u00e9st az els\u0151nek adatokk\u00e9nt ir\u00e1ny\u00edthatjuk a tanul\u00e1shoz. \u00cdgy az egyszer\u0171bb rendszer mindig megpr\u00f3b\u00e1l k\u00f6zel\u00edteni a bonyolultabb teljes\u00edtm\u00e9ny\u00e9hez.\n<\/li>\n<li><b>Kattint\u00e1sok klasszifik\u00e1l\u00e1sa<\/b>Egyszer\u0171en oszt\u00e1lyozhatjuk a felhaszn\u00e1l\u00f3k minden kattint\u00e1s\u00e1t, \u00e9rt\u00e9kelve annak \u00e9rv\u00e9nyess\u00e9g\u00e9t \u00e9s felhaszn\u00e1lhat\u00f3s\u00e1g\u00e1t. \u00cdgy j\u00e1runk el az e-mailes spam sz\u0171r\u00e9s sor\u00e1n, felhaszn\u00e1lva a felhaszn\u00e1l\u00f3 jegyeit, t\u00f6rt\u00e9nelm\u00e9t, a felad\u00f3 jellemz\u0151it, a sz\u00f6veget \u00e9s a klasszifik\u00e1torok teljes\u00edtm\u00e9ny\u00e9t. V\u00e9g\u00fcl egy automatikus rendszert kapunk, amely \u00e9rv\u00e9nyes\u00edti a felhaszn\u00e1l\u00f3i visszajelz\u00e9seket. Mivel ennek az \u00fajratan\u00edt\u00e1sa l\u00e9nyegesen ritk\u00e1bban sz\u00fcks\u00e9ges, a m\u0171k\u00f6d\u00e9se alapvet\u0151v\u00e9 v\u00e1lhat minden m\u00e1s rendszer sz\u00e1m\u00e1ra. Az alapvet\u0151 priorit\u00e1s ebben a modellben a precizit\u00e1s, mivel a modell rohamosan n\u00f6vekv\u0151 mennyis\u00e9g\u0171 pontatlan adaton t\u00f6rt\u00e9n\u0151 betan\u00edt\u00e1sa k\u00f6vetkezm\u00e9nyekkel j\u00e1rhat. \n<\/li>\n<\/ul>\n<p>\nMik\u00f6zben tiszt\u00edtjuk az adatokat \u00e9s \u00fajratan\u00edtjuk a ML-rendszereinket, nem szabad elfelejteni a felhaszn\u00e1l\u00f3kat, mert sz\u00e1munkra a grafikonon megjelen\u0151 ezer- \u00e9s milli\u00f3k hiba statisztika, de a felhaszn\u00e1l\u00f3nak minden egyes hiba trag\u00e9dia. A felhaszn\u00e1l\u00f3nak valahogy egy\u00fctt kell \u00e9lnie a term\u00e9kben tal\u00e1lhat\u00f3 hib\u00e1val, de a visszajelz\u00e9s ut\u00e1n elv\u00e1rja, hogy a j\u00f6v\u0151ben hasonl\u00f3 helyzetek ne forduljanak el\u0151. Ez\u00e9rt fontos, hogy a felhaszn\u00e1l\u00f3knak ne csak szavaz\u00e1si lehet\u0151s\u00e9get adjunk, hanem lehet\u0151s\u00e9get is arra, hogy jav\u00edts\u00e1k a ML rendszerek viselked\u00e9s\u00e9t, p\u00e9ld\u00e1ul szem\u00e9lyes heuristik\u00e1k l\u00e9trehoz\u00e1s\u00e1val minden egyes visszajelz\u00e9si kattint\u00e1sra; az e-mailek eset\u00e9ben ez lehet\u0151s\u00e9get jelent arra, hogy az adott felhaszn\u00e1l\u00f3 sz\u00e1m\u00e1ra sz\u0171rni lehessen az ilyen leveleket a felad\u00f3 \u00e9s a t\u00e9ma alapj\u00e1n.<\/p>\n<p>Emellett valamilyen jelent\u00e9s vagy t\u00e1mogat\u00e1si k\u00e9relem alapj\u00e1n f\u00e9lautomatikus vagy manu\u00e1lis m\u00f3dszerrel kell finom\u00edtani a modellt, hogy m\u00e1s felhaszn\u00e1l\u00f3k is elker\u00fclj\u00e9k a hasonl\u00f3 probl\u00e9m\u00e1kat.<\/p>\n<h3>Heuristik\u00e1k az oktat\u00e1shoz<\/h3>\n<p>\nA k\u00f6vetkez\u0151 \u00e9szlel\u00e9si \u00e9s jav\u00edt\u00f3 modellekkel kapcsolatban k\u00e9t probl\u00e9ma mer\u00fcl fel. Az els\u0151 az, hogy a folyamatosan n\u00f6vekv\u0151 sz\u00e1m\u00fa jav\u00edt\u00f3 eszk\u00f6z fenntart\u00e1sa neh\u00e9z, nem is besz\u00e9lve a min\u0151s\u00e9g\u00fckr\u0151l \u00e9s a hossz\u00fa t\u00e1v\u00fa m\u0171k\u00f6d\u00e9s\u00fckr\u0151l. A m\u00e1sodik probl\u00e9ma az, hogy a hiba nem felt\u00e9tlen\u00fcl gyakori, \u00e9s n\u00e9h\u00e1ny kattint\u00e1s nem elegend\u0151 a modell \u00fajratan\u00edt\u00e1s\u00e1hoz. \u00dagy t\u0171nik, hogy ezt a k\u00e9t l\u00e1tsz\u00f3lagosan f\u00fcggetlen hat\u00e1st jelent\u0151sen cs\u00f6kkenteni lehet, ha a k\u00f6vetkez\u0151 megk\u00f6zel\u00edt\u00e9st alkalmazzuk.<\/p>\n<ol>\n<li>Ideiglenes jav\u00edt\u00e1st hozunk l\u00e9tre. \n<\/li>\n<li>Az adatokat err\u0151l a modellre ir\u00e1ny\u00edtjuk, amely rendszeresen \u00fajratanul, bele\u00e9rtve az \u00f6sszegy\u0171jt\u00f6tt adatokat is. Itt term\u00e9szetesen fontos, hogy a heurisztika magas precizit\u00e1ssal b\u00edrjon, hogy ne cs\u00f6kkentse a tr\u00e9ningk\u00e9szlet adatait. \n<\/li>\n<li>Ezut\u00e1n monitorozzuk a hiba\u00fczenetek megjelen\u00e9s\u00e9t, \u00e9s ha egy id\u0151 eltelt\u00e9vel a hiba\u00fczenet m\u00e1r nem jelentkezik, \u00e9s a modell teljesen \u00e1tvette a szerep\u00e9t, akkor nyugodtan elt\u00e1vol\u00edthatjuk. E probl\u00e9ma val\u00f3sz\u00edn\u0171leg nem fog \u00fajb\u00f3l felmer\u00fclni.\n<\/li>\n<\/ol>\n<p>\nEz\u00e9rt a hiba\u00fczeneteknek nagy jelent\u0151s\u00e9ge van. A legfontosabb, hogy a haszn\u00e1latuk s\u00fcrg\u0151s legyen, ne pedig \u00e1lland\u00f3. <\/p>\n<h2>\u00dajrak\u00e9pz\u00e9s<\/h2>\n<p>\nAz \u00fajrak\u00e9pz\u00e9s egy olyan folyamat, amely sor\u00e1n \u00faj adatokat adunk hozz\u00e1, amelyek a felhaszn\u00e1l\u00f3kt\u00f3l vagy m\u00e1s rendszerekt\u0151l sz\u00e1rmaz\u00f3 visszajelz\u00e9sb\u0151l sz\u00e1rmaznak, \u00e9s a megl\u00e9v\u0151 modellt ezek alapj\u00e1n tan\u00edtjuk. Az \u00fajrak\u00e9pz\u00e9snek t\u00f6bb probl\u00e9m\u00e1ja is lehet:<\/p>\n<ol>\n<li>A modell egyszer\u0171en nem t\u00e1mogathatja az \u00fajrak\u00e9pz\u00e9st, \u00e9s csak null\u00e1r\u00f3l tanulhat. \n<\/li>\n<li>A term\u00e9szet k\u00f6nyv\u00e9ben sehol sem tal\u00e1lhat\u00f3, hogy az \u00fajrak\u00e9pz\u00e9s felt\u00e9tlen\u00fcl jav\u00edtan\u00e1 a termel\u00e9si teljes\u00edtm\u00e9nyt. Gyakran \u00e9ppen ellenkez\u0151leg, a min\u0151s\u00e9g roml\u00e1s\u00e1hoz vezethet.\n<\/li>\n<li>A v\u00e1ltoz\u00e1sok kisz\u00e1m\u00edthatatlanok lehetnek. Ez egy igencsak finom pont, amelyet mi magunk is felfedezt\u00fcnk. M\u00e9g ha az \u00faj modell az A\/B tesztben hasonl\u00f3 eredm\u00e9nyeket mutat a megl\u00e9v\u0151h\u00f6z k\u00e9pest, az egy\u00e1ltal\u00e1n nem jelenti, hogy az m\u0171k\u00f6d\u00e9se azonos lesz. M\u0171k\u00f6d\u00e9s\u00fck elt\u00e9rhet egy bizonyos sz\u00e1zal\u00e9kban, ami \u00faj hib\u00e1kat hozhat l\u00e9tre, vagy visszahozhatja a m\u00e1r jav\u00edtott r\u00e9gi hib\u00e1kat. A jelenlegi hib\u00e1kkal kapcsolatban mi \u00e9s a felhaszn\u00e1l\u00f3k m\u00e1r tudunk egy\u00fctt \u00e9lni, de ha sok \u00faj hiba mer\u00fcl fel, a felhaszn\u00e1l\u00f3k is zavarba j\u00f6hetnek, mivel elv\u00e1rj\u00e1k a kisz\u00e1m\u00edthat\u00f3 viselked\u00e9st.\n<\/li>\n<\/ol>\n<p>\nEz\u00e9rt a legfontosabb az \u00fajrak\u00e9pz\u00e9s sor\u00e1n, hogy garant\u00e1ltan jav\u00edtsuk a modellt, vagy legal\u00e1bbis ne rontsuk el. <\/p>\n<p>Amikor az \u00fajrak\u00e9pz\u00e9sr\u0151l besz\u00e9l\u00fcnk, az els\u0151 dolog, ami esz\u00fcnkbe jut, az az Akt\u00edv Tanul\u00e1s megk\u00f6zel\u00edt\u00e9se. Mit is jelent ez? P\u00e9ld\u00e1ul a klasszifik\u00e1l\u00f3 meghat\u00e1rozza, hogy egy lev\u00e9l a p\u00e9nz\u00fcgyekhez tartozik-e, \u00e9s a d\u00f6nt\u00e9si hat\u00e1rvonal k\u00f6r\u00e9 mint\u00e1kat adunk hozz\u00e1 a megjel\u00f6lt p\u00e9ld\u00e1kb\u00f3l. Ez j\u00f3l m\u0171k\u00f6dik p\u00e9ld\u00e1ul a hirdet\u00e9sek ter\u00e9n, ahol nagyon sok a visszajelz\u00e9s, \u00e9s online \u00fczemm\u00f3dban is tudjuk tan\u00edtani a modellt. Ha viszont kev\u00e9s a visszajelz\u00e9s, akkor egy er\u0151sen elfogult mint\u00e1t kapunk, amely nem t\u00fckr\u00f6zi a termel\u00e9si adatok eloszl\u00e1s\u00e1t, \u00e9s ez alapj\u00e1n nem tudjuk \u00e9rt\u00e9kelni a modell viselked\u00e9s\u00e9t a haszn\u00e1lat sor\u00e1n.<\/p>\n<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/fd1b3e07bfaf896dde3248e43537f61a.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nVal\u00f3j\u00e1ban a c\u00e9lunk, hogy meg\u0151rizz\u00fck a r\u00e9gi mint\u00e1kat, m\u00e1r ismert modelleket, \u00e9s \u00fajakat szerezz\u00fcnk be. Itt fontos a folytonoss\u00e1g. A modell, amelyet gyakran nagy neh\u00e9zs\u00e9gekkel ind\u00edtottunk el, m\u00e1r m\u0171k\u00f6dik, ez\u00e9rt t\u00e1maszkodhatunk a teljes\u00edtm\u00e9ny\u00e9re. <\/p>\n<p>A levelez\u00e9sben k\u00fcl\u00f6nb\u00f6z\u0151 modellek alkalmazhat\u00f3k: f\u00e1k, line\u00e1ris modellek, neur\u00e1lis h\u00e1l\u00f3k. Mindegyikhez saj\u00e1t finom\u00edt\u00f3 algoritmust k\u00e9sz\u00edt\u00fcnk. A finom\u00edt\u00e1s sor\u00e1n nemcsak \u00faj adatok keletkeznek, hanem gyakran \u00faj jellemz\u0151k is, amelyeket figyelembe fogunk venni az al\u00e1bbi algoritmusokban.<\/p>\n<h3>Line\u00e1ris modellek<\/h3>\n<p>\nTegy\u00fck fel, hogy van egy logisztikus regresszi\u00f3nk. A modell vesztes\u00e9g\u00e9t a k\u00f6vetkez\u0151 komponensekb\u0151l \u00e1ll\u00edtjuk \u00f6ssze:<\/p>\n<ul>\n<li>LogLoss \u00faj adatokon;\n<\/li>\n<li>\u00faj jellemz\u0151k s\u00falyait regulariz\u00e1ljuk (a r\u00e9gieket nem \u00e9rintj\u00fck);\n<\/li>\n<li>tanulunk a r\u00e9gi adatokon is, hogy meg\u0151rizz\u00fck a r\u00e9gi mint\u00e1kat;\n<\/li>\n<li>\u00e9s tal\u00e1n a legfontosabb: alkalmazzuk a Harmonic Regularization-t, amely garant\u00e1lja, hogy a s\u00falyok nem v\u00e1ltoznak drasztikusan a r\u00e9gi modellel szemben a norma szerint.\n<\/li>\n<\/ul>\n<p>\nMivel minden Loss komponensnek vannak egy\u00fctthat\u00f3i, optim\u00e1lis \u00e9rt\u00e9keket tal\u00e1lhatunk a feladatunkhoz a keresztvalid\u00e1l\u00e1s sor\u00e1n vagy a term\u00e9kk\u00f6vetelm\u00e9nyek alapj\u00e1n.<\/p>\n<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/00ae86d23afb780f5e260e61f833d4bd.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>F\u00e1k<\/h3>\n<p>\nT\u00e9rj\u00fcnk \u00e1t a d\u00f6nt\u00e9si f\u00e1kr\u00f3l. Kifejlesztett\u00fck a k\u00f6vetkez\u0151 algoritmust a f\u00e1k finom\u00edt\u00e1s\u00e1hoz:<\/p>\n<ol>\n<li>A termel\u00e9sben 100\u2013300 fa alkotta erd\u0151 m\u0171k\u00f6dik, amelyet a r\u00e9gi adathalmazon k\u00e9peztek.\n<\/li>\n<li>A v\u00e9g\u00e9n M = 5 f\u00e1t elt\u00e1vol\u00edtunk, \u00e9s 2M = 10 \u00faj f\u00e1t adunk hozz\u00e1, amelyeket az \u00f6sszes adathalmazon k\u00e9pezt\u00fcnk, de a magas s\u00faly\u00fa \u00faj adatokkal, ami term\u00e9szetesen garant\u00e1lja a modell fokozatos v\u00e1ltoz\u00e1s\u00e1t.\n<\/li>\n<\/ol>\n<p>\nNyilv\u00e1nval\u00f3, hogy id\u0151vel a f\u00e1k sz\u00e1ma jelent\u0151sen megn\u0151, \u00e9s ezeket id\u0151szakonk\u00e9nt cs\u00f6kkenteni kell, hogy megfelelj\u00fcnk a hat\u00e1rid\u0151knek. Ehhez az \u00e1tfog\u00f3an haszn\u00e1lt Knowledge Distillation (KD) m\u00f3dszert alkalmazzuk. R\u00f6viden a m\u0171k\u00f6d\u00e9si elv\u00e9r\u0151l.<\/p>\n<ol>\n<li>Van egy jelenlegi \u00bbbonyolult\u00ab model\u00fcnk. Kivissz\u00fck a tr\u00e9ning adathalmazon, \u00e9s megkapjuk a kimeneten a klasszifik\u00e1ci\u00f3s val\u00f3sz\u00edn\u0171s\u00e9gek eloszl\u00e1s\u00e1t.\n<\/li>\n<li>Ezut\u00e1n a tanul\u00f3 modellt (ebben az esetben egy kevesebb f\u00e1t tartalmaz\u00f3 modellt) tan\u00edtjuk arra, hogy a modell eredm\u00e9nyeit megism\u00e9telje, az oszt\u00e1lyok eloszl\u00e1s\u00e1t c\u00e9lv\u00e1ltoz\u00f3k\u00e9nt haszn\u00e1lva.\n<\/li>\n<li>Fontos megjegyezni, hogy nem haszn\u00e1lunk semmif\u00e9le adatmodell form\u00e1z\u00e1st, \u00edgy szabadon haszn\u00e1lhatunk tetsz\u0151leges adatokat. Term\u00e9szetesen a tan\u00edt\u00f3 mint\u00e1nk a val\u00f3s adatfolyamb\u00f3l sz\u00e1rmazik, amit a tanul\u00f3 modell oktat\u00e1s\u00e1hoz haszn\u00e1lunk. \u00cdgy a tan\u00edt\u00f3 halmaz lehet\u0151v\u00e9 teszi sz\u00e1munkra a modell pontoss\u00e1g\u00e1nak biztos\u00edt\u00e1s\u00e1t, m\u00edg az adatfolyam minta garant\u00e1lja a hasonl\u00f3 teljes\u00edtm\u00e9nyt a termel\u00e9si k\u00f6rnyezetben, kompenz\u00e1lva a tan\u00edt\u00f3 minta eltol\u00f3d\u00e1s\u00e1t.\n<\/li>\n<\/ol>\n<p>\n<img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/3fdfcb9b1e5a6fa824226a429afc475a.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nE k\u00e9t m\u00f3dszer (f\u00e1k hozz\u00e1ad\u00e1sa \u00e9s a sz\u00e1muk id\u0151szakos cs\u00f6kkent\u00e9se Knowledge Distillation seg\u00edts\u00e9g\u00e9vel) kombin\u00e1ci\u00f3ja \u00faj mint\u00e1zatok bevezet\u00e9s\u00e9t \u00e9s a folytonoss\u00e1g teljes biztos\u00edt\u00e1s\u00e1t k\u00edn\u00e1lja.<\/p>\n<p>A KD seg\u00edts\u00e9g\u00e9vel a modell jellemz\u0151ivel v\u00e9gzett m\u0171veletek megk\u00fcl\u00f6nb\u00f6ztet\u00e9s\u00e9re is k\u00e9pesek vagyunk, p\u00e9ld\u00e1ul a jellemz\u0151k elt\u00e1vol\u00edt\u00e1s\u00e1ra \u00e9s a hi\u00e1nyok kezel\u00e9s\u00e9re. Az eset\u00fcnkben t\u00f6bb fontos statisztikai jellemz\u0151 (k\u00fcld\u0151kr\u0151l, sz\u00f6veges hash-ekr\u0151l, URL-ekr\u0151l stb.) tal\u00e1lhat\u00f3 egy adatb\u00e1zisban, amely hajlamos a hib\u00e1ra. Az ilyen esem\u00e9nyekre a modell term\u00e9szetesen nincs felk\u00e9sz\u00fclve, mivel a tan\u00edt\u00f3 halmazban nem fordulnak el\u0151 hib\u00e1s helyzetek. Ilyen esetekben a KD \u00e9s az augment\u00e1ci\u00f3 technik\u00e1it kombin\u00e1ljuk: az adatok egy r\u00e9sz\u00e9n\u00e9l elt\u00e1vol\u00edtjuk vagy null\u00e1zzuk a sz\u00fcks\u00e9ges jellemz\u0151ket, m\u00edg a c\u00edmk\u00e9k (a jelenlegi modell kimenetei) az eredetiek, a tanul\u00f3 modell megtanulja ezt az eloszl\u00e1st ism\u00e9telni.<\/p>\n<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/5e1f5af9a359646a49f4fe88ffed1025.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nMegfigyelt\u00fck, hogy min\u00e9l komolyabb manipul\u00e1ci\u00f3t v\u00e9geznek a modelleken, ann\u00e1l nagyobb ar\u00e1nyban sz\u00fcks\u00e9ges az adatfolyam.<\/p>\n<p>A jellemz\u0151k elt\u00e1vol\u00edt\u00e1sa, a legkev\u00e9sb\u00e9 bonyolult m\u0171velet, csup\u00e1n egy kis r\u00e9szfolyamot ig\u00e9nyel, mivel csak n\u00e9h\u00e1ny jellemz\u0151 v\u00e1ltozik, \u00e9s a jelenlegi modell ugyanazon az adathalmazon tanult \u2014 a k\u00fcl\u00f6nbs\u00e9g minim\u00e1lis. A modell egyszer\u0171s\u00edt\u00e9se (a f\u00e1k sz\u00e1m\u00e1nak radik\u00e1lis cs\u00f6kkent\u00e9se) m\u00e1r 50%-os ar\u00e1nyt ig\u00e9nyel. A fontos statisztikai jellemz\u0151k hi\u00e1nyainak kezel\u00e9s\u00e9hez, amelyek komolyan befoly\u00e1solj\u00e1k a modell teljes\u00edtm\u00e9ny\u00e9t, m\u00e9g t\u00f6bb adatfolyam sz\u00fcks\u00e9ges, hogy a hi\u00e1nyokra ellen\u00e1ll\u00f3 \u00faj modell mindenf\u00e9le e-mail t\u00edpusn\u00e1l kiegyens\u00falyozottan m\u0171k\u00f6dj\u00f6n. <\/p>\n<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/8f3729cfff43be9ecdc47d532daa8d6f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>FastText<\/h3>\n<p>\nT\u00e9rj\u00fcnk \u00e1t a FastText-ra. Eml\u00e9kezz\u00fcnk, hogy a sz\u00f3 reprezent\u00e1ci\u00f3ja (Embedding) a sz\u00f3 embedding-j\u00e9nek \u00e9s annak minden bet\u0171beli N-gram-j\u00e1nak, \u00e1ltal\u00e1ban trigramek \u00f6sszeg\u00e9b\u0151l \u00e1ll. Mivel sok trigram lehet, ez\u00e9rt Bucket Hashing, vagyis az eg\u00e9sz t\u00e9r \u00e1talak\u00edt\u00e1sa egy r\u00f6gz\u00edtett hash-mapp\u00e1 t\u00f6rt\u00e9nik. Ennek eredm\u00e9nyek\u00e9ppen a s\u00falyok m\u00e1trixa a bels\u0151 r\u00e9teg m\u00e9rete \u00e9s a szavak sz\u00e1ma + a buktat\u00f3k m\u00e9ret\u00e9vel rendelkezik. <\/p>\n<p>Finomhangol\u00e1s sor\u00e1n \u00faj jellemz\u0151k keletkeznek: szavak \u00e9s trigramek. A Facebook szabv\u00e1nyos finomhangol\u00e1sakor nem t\u00f6rt\u00e9nik jelent\u0151s v\u00e1ltoz\u00e1s. Csak a r\u00e9gi s\u00falyok finomhangol\u00f3dnak kereszthib\u00e1val az \u00faj adatokon. \u00cdgy az \u00faj jellemz\u0151k nem haszn\u00e1lhat\u00f3k, \u00e9s ez a megk\u00f6zel\u00edt\u00e9s az eml\u00edtett h\u00e1tr\u00e1nyokkal j\u00e1r, amelyek a modell el\u0151rejelz\u00e9seinek kisz\u00e1m\u00edthatatlans\u00e1g\u00e1val kapcsolatosak a termel\u00e9s sor\u00e1n. Ez\u00e9rt kicsit tov\u00e1bbfejlesztett\u00fck a FastText-ot. Minden \u00faj s\u00falyt (szavakat \u00e9s trigrameket) hozz\u00e1adunk, az eg\u00e9sz m\u00e1trixot finomhangoljuk kereszthib\u00e1val, \u00e9s a line\u00e1ris modellhez hasonl\u00f3an harmonikus regulariz\u00e1l\u00e1st adunk hozz\u00e1, amely garant\u00e1lja a r\u00e9gi s\u00falyok elhanyagolhat\u00f3 v\u00e1ltoz\u00e1s\u00e1t.<\/p>\n<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/4491639587d1c91ac91d77b587ee0111.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>CNN<\/h3>\n<p>\nA konvol\u00faci\u00f3s h\u00e1l\u00f3zatokkal kicsit bonyolultabb a helyzet. Ha a CNN utols\u00f3 r\u00e9tegei finomhangol\u00e1sra ker\u00fclnek, term\u00e9szetesen alkalmazhat\u00f3 harmonikus regulariz\u00e1l\u00e1s \u00e9s garant\u00e1lhat\u00f3 az \u00f6r\u00f6kl\u0151d\u00e9s. De abban az esetben, ha az eg\u00e9sz h\u00e1l\u00f3zat finomhangol\u00e1sa sz\u00fcks\u00e9ges, akkor ezt a regulariz\u00e1l\u00e1st m\u00e1r nem lehet alkalmazni minden r\u00e9tegre. Azonban van egy lehet\u0151s\u00e9g a kieg\u00e9sz\u00edt\u0151 embeddingek tanulm\u00e1nyoz\u00e1s\u00e1ra Triplet Loss seg\u00edts\u00e9g\u00e9vel (<noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1503.03832\">eredeti cikk<\/a><\/noindex>).<\/p>\n<h4>Triplet Loss<\/h4>\n<p>\nAz anti-fishing feladat p\u00e9ld\u00e1j\u00e1n \u00e1ttekintj\u00fck a Triplet Loss l\u00e9nyeg\u00e9t. Elvessz\u00fck a log\u00f3nkat, valamint m\u00e1s c\u00e9gek log\u00f3inak pozit\u00edv \u00e9s negat\u00edv p\u00e9ld\u00e1it. Minimaliz\u00e1ljuk a t\u00e1vols\u00e1got az els\u0151dlegesek k\u00f6z\u00f6tt, \u00e9s maximaliz\u00e1ljuk a t\u00e1vols\u00e1got a m\u00e1sodlagosak k\u00f6z\u00f6tt, ezt egy kis r\u00e9sekkel tessz\u00fck, hogy biztos\u00edtsuk a kateg\u00f3ri\u00e1k nagyobb kompaktit\u00e1s\u00e1t. <\/p>\n<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/dc8547fa042286798eb5c2f0887c4da6.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nHa finomhangoljuk a h\u00e1l\u00f3zatot, akkor a metrikus t\u00e9r teljesen megv\u00e1ltozik, \u00e9s teljesen inkompatibiliss\u00e9 v\u00e1lik a kor\u00e1bbival. Ez komoly probl\u00e9ma a vektorokat haszn\u00e1l\u00f3 feladatokban. E probl\u00e9ma k\u00f6r\u00fcli elker\u00fcl\u00e9s \u00e9rdek\u00e9ben be fogjuk keverni a r\u00e9gi embeddingeket a tanul\u00e1s sor\u00e1n.<\/p>\n<p>\u00daj adatokat adtunk hozz\u00e1 a tr\u00e9ningk\u00e9szlethez, \u00e9s null\u00e1r\u00f3l tan\u00edtjuk a modell m\u00e1sodik v\u00e1ltozat\u00e1t. A m\u00e1sodik f\u00e1zisban a h\u00e1l\u00f3nkat finomhangoljuk: el\u0151sz\u00f6r az utols\u00f3 r\u00e9teget k\u00e9pezz\u00fck tov\u00e1bb, majd a teljes h\u00e1l\u00f3t feloldjuk. A tripletek \u00f6ssze\u00e1ll\u00edt\u00e1sa sor\u00e1n csak a be\u00e1gyaz\u00e1sok egy r\u00e9sz\u00e9t sz\u00e1m\u00edtjuk ki az \u00fajonnan tan\u00edtott modellel, a t\u00f6bbit a r\u00e9gi modellel. \u00cdgy a finomhangol\u00e1s sor\u00e1n biztos\u00edtjuk a v1 \u00e9s v2 metrikai terek kompatibilit\u00e1s\u00e1t. Ez egyfajta harmonikus regulariz\u00e1ci\u00f3.<\/p>\n<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/854d4fcc97775b24e6863cc38743cd27.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>Az architekt\u00fara eg\u00e9sz\u00e9ben<\/h3>\n<p>\nHa az eg\u00e9sz rendszert n\u00e9zz\u00fck, p\u00e9ld\u00e1ul a spam sz\u0171r\u00e9s eset\u00e9ben, a modellek nem izol\u00e1ltak, hanem egym\u00e1sba \u00e1gyazottak. K\u00e9peket, sz\u00f6vegeket \u00e9s egy\u00e9b jellemz\u0151ket vesz\u00fcnk, a CNN \u00e9s a Fast Text seg\u00edts\u00e9g\u00e9vel be\u00e1gyaz\u00e1sokat kapunk. Ezt k\u00f6vet\u0151en a be\u00e1gyaz\u00e1sokra klasszifik\u00e1l\u00f3kat alkalmazunk, amelyek k\u00fcl\u00f6nb\u00f6z\u0151 oszt\u00e1lyokhoz (lev\u00e9lt\u00edpusok, spam, log\u00f3 jelenl\u00e9te) pontsz\u00e1mokat adnak. A pontsz\u00e1mok \u00e9s jellemz\u0151k m\u00e1r beker\u00fclnek a d\u00f6nt\u00e9si f\u00e1k erdej\u00e9be a v\u00e9gs\u0151 d\u00f6nt\u00e9s meghozatal\u00e1hoz. Az egyes klasszifik\u00e1l\u00f3k ebben a rendszerben lehet\u0151v\u00e9 teszik a rendszer munk\u00e1j\u00e1nak jobb \u00e9rtelmez\u00e9s\u00e9t \u00e9s a komponensek c\u00e9lzottabb finomhangol\u00e1s\u00e1t, ha probl\u00e9m\u00e1k mer\u00fclnek fel, mintsem nyers form\u00e1ban minden adatot a d\u00f6nt\u00e9si f\u00e1kba beadni.<\/p>\n<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/30effc5ef7398db5f085b6dd415647d3.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEnnek eredm\u00e9nyek\u00e9nt garant\u00e1ljuk a folytonoss\u00e1got minden szinten. Az als\u00f3 szinten a CNN \u00e9s a Fast Text eset\u00e9ben harmonikus regulariz\u00e1ci\u00f3t alkalmazunk, a k\u00f6z\u00e9ps\u0151 klasszifik\u00e1l\u00f3k sz\u00e1m\u00e1ra szint\u00e9n harmonikus regulariz\u00e1ci\u00f3t \u00e9s a pontsz\u00e1mok kalibr\u00e1l\u00e1s\u00e1t a val\u00f3sz\u00edn\u0171s\u00e9gi eloszl\u00e1s kompatibilit\u00e1sa \u00e9rdek\u00e9ben. A d\u00f6nt\u00e9si f\u00e1k boostol\u00e1sa pedig inkrement\u00e1lisan vagy Knowledge Distillation-nal t\u00f6rt\u00e9nik.<\/p>\n<p>\u00c1ltal\u00e1noss\u00e1gban a m\u00e9lyen be\u00e1gyazott g\u00e9pi tanul\u00e1si rendszer t\u00e1mogat\u00e1sa gyakran neh\u00e9zs\u00e9geket okoz, mivel b\u00e1rmely als\u00f3 szint\u0171 komponens friss\u00edt\u00e9se az eg\u00e9sz felettel j\u00e1r. De mivel a mi be\u00e1ll\u00edt\u00e1sunkban minden komponens minim\u00e1lisan v\u00e1ltozik \u00e9s kompatibilis a kor\u00e1bbiakkal, az eg\u00e9sz rendszer darabonk\u00e9nt friss\u00edthet\u0151 an\u00e9lk\u00fcl, hogy \u00fajra kellene tan\u00edtani az eg\u00e9sz strukt\u00far\u00e1t, ami lehet\u0151v\u00e9 teszi a tart\u00f3s fenntart\u00e1s\u00e1t jelent\u0151s overhead n\u00e9lk\u00fcl. <\/p>\n<h2>Deploy<\/h2>\n<p>\nM\u00e1r \u00e1tbesz\u00e9lt\u00fck az adatok gy\u0171jt\u00e9s\u00e9t \u00e9s a k\u00fcl\u00f6nb\u00f6z\u0151 t\u00edpus\u00fa modellek finomhangol\u00e1s\u00e1t, ez\u00e9rt \u00e1t\u00e9r\u00fcnk az \u00e9les k\u00f6rnyezetbe val\u00f3 telep\u00edt\u00e9s\u00fckre.<\/p>\n<h3>A\/B-tesztel\u00e9s<\/h3>\n<p>\nMint az kor\u00e1bban eml\u00edtettem, az adatok gy\u0171jt\u00e9se sor\u00e1n \u00e1ltal\u00e1ban torz\u00edtott mint\u00e1t kapunk, amely alapj\u00e1n lehetetlen \u00e9rt\u00e9kelni a modell termel\u00e9si teljes\u00edtm\u00e9ny\u00e9t. Ez\u00e9rt a modell telep\u00edt\u00e9sekor k\u00f6telez\u0151 \u00f6sszehasonl\u00edtani a kor\u00e1bbi verzi\u00f3val, hogy val\u00f3ban meg\u00e9rts\u00fck, hogyan mennek a dolgok, azaz A\/B-teszteket kell v\u00e9gezni. Val\u00f3j\u00e1ban a kiad\u00e1s folyamata \u00e9s a grafikonok elemz\u00e9se viszonylag rutin feladat, \u00e9s j\u00f3l automatiz\u00e1lhat\u00f3. Fokozatosan 5 %, 30 %, 50 % \u00e9s 100 % felhaszn\u00e1l\u00f3ra telep\u00edtj\u00fck a modelljeinket, mik\u00f6zben \u00f6sszegy\u0171jtj\u00fck az \u00f6sszes rendelkez\u00e9sre \u00e1ll\u00f3 metrik\u00e1t a modell v\u00e1laszai \u00e9s a felhaszn\u00e1l\u00f3i visszajelz\u00e9sek alapj\u00e1n. S\u00falyos kiugr\u00e1sok eset\u00e9n automatikusan visszagur\u00edtjuk a modellt, m\u00edg m\u00e1s esetekben, elegend\u0151 sz\u00e1m\u00fa felhaszn\u00e1l\u00f3i kattint\u00e1s ut\u00e1n, d\u00f6nt\u00fcnk a sz\u00e1zal\u00e9k n\u00f6vel\u00e9s\u00e9r\u0151l. V\u00e9g\u00fcl \u00faj modellt ilyen m\u00f3don 50 % -ra emelj\u00fck automatikusan, a teljes k\u00f6z\u00f6ns\u00e9gre val\u00f3 kiad\u00e1st pedig ember hagyja j\u00f3v\u00e1, b\u00e1r ezt a l\u00e9p\u00e9st is lehet automatiz\u00e1lni.<\/p>\n<p>Azonban az A\/B-tesztel\u00e9si folyamat lehet\u0151s\u00e9get ad az optimaliz\u00e1ci\u00f3ra. Az a helyzet, hogy b\u00e1rmely A\/B-teszt meglehet\u0151sen hossz\u00fa (az eset\u00fcnkben 6-24 \u00f3r\u00e1t vesz ig\u00e9nybe a visszajelz\u00e9sek mennyis\u00e9g\u00e9t\u0151l f\u00fcgg\u0151en), ami meglehet\u0151sen k\u00f6lts\u00e9gess\u00e9 \u00e9s korl\u00e1tozott er\u0151forr\u00e1sokkal rendelkez\u0151v\u00e9 teszi. Ezenk\u00edv\u00fcl sz\u00fcks\u00e9g van egy el\u00e9g magas \u00e1raml\u00e1si sz\u00e1zal\u00e9kra a teszthez, hogy l\u00e9nyeg\u00e9ben felgyors\u00edtsuk az A\/B-teszt \u00e1ltal\u00e1nos idej\u00e9t (statisztikailag jelent\u0151s minta megszerz\u00e9se alacsony sz\u00e1zal\u00e9kon nagyon hossz\u00fa id\u0151t vehet ig\u00e9nybe), ami rendk\u00edv\u00fcl korl\u00e1tozott A\/B-slotokat eredm\u00e9nyez. Nyilv\u00e1nval\u00f3, hogy csak a leg\u00edg\u00e9retesebb modelleket kell tesztelni, amelyekb\u0151l a finomhangol\u00e1s sor\u00e1n meglehet\u0151sen sokat kapunk.<\/p>\n<p>E probl\u00e9ma megold\u00e1sa \u00e9rdek\u00e9ben k\u00fcl\u00f6n klasszifik\u00e1tort tan\u00edtottunk, amely az A\/B-teszt sikeress\u00e9g\u00e9t j\u00f3solja. Ehhez jellemz\u0151kk\u00e9nt a d\u00f6nt\u00e9shozatali statisztik\u00e1t, a Prec\u00edzi\u00f3t, az Eml\u00e9kezetet \u00e9s egy\u00e9b metrik\u00e1kat vesz\u00fcnk figyelembe a tanul\u00f3 halmazban, a tartal\u00e9kban \u00e9s a foly\u00f3 mint\u00e1ban. A modellt a gy\u00e1rt\u00e1sban l\u00e9v\u0151 aktu\u00e1lis modellel, a heurisztik\u00e1kkal hasonl\u00edtjuk \u00f6ssze, \u00e9s figyelembe vessz\u00fck a modell bonyolults\u00e1g\u00e1t (Complexity). Mindezeket a jellemz\u0151ket felhaszn\u00e1lva a tesztel\u0151 t\u00f6rt\u00e9net alapj\u00e1n betan\u00edtott klasszifik\u00e1tor pontozza a jel\u00f6lteket, amelyek az eset\u00fcnkben f\u00e1kb\u00f3l \u00e1ll\u00f3 erd\u0151ket jelentenek, \u00e9s d\u00f6nt\u00e9st hoz arr\u00f3l, hogy melyiket engedj\u00fck az A\/B-tesztbe. <\/p>\n<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/41b121987209a663075be399e83f5a50.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA megval\u00f3s\u00edt\u00e1s pillanat\u00e1ban ez a megk\u00f6zel\u00edt\u00e9s t\u00f6bbsz\u00f6r\u00f6s\u00e9re n\u00f6velte a sikeres A\/B testek sz\u00e1m\u00e1t.<\/p>\n<h3>Tesztel\u00e9s &amp; monitoroz\u00e1s<\/h3>\n<p>\nA tesztel\u00e9s \u00e9s a monitoroz\u00e1s, meglep\u0151 m\u00f3don, nem \u00e1rt az eg\u00e9szs\u00e9g\u00fcnknek, s\u0151t, \u00e9ppen ellenkez\u0151leg, jav\u00edtja azt \u00e9s megszabad\u00edt a felesleges stresszt\u0151l. A tesztel\u00e9s megakad\u00e1lyozza a hib\u00e1kat, m\u00edg a monitoroz\u00e1s lehet\u0151v\u00e9 teszi, hogy id\u0151ben \u00e9szrevessz\u00fck azokat, cs\u00f6kkentve ezzel a felhaszn\u00e1l\u00f3kra gyakorolt hat\u00e1st.<\/p>\n<p>Fontos meg\u00e9rteni, hogy el\u0151bb-ut\u00f3bb a rendszered mindig hib\u00e1zni fog \u2014 ez a szoftverfejleszt\u00e9s ciklus\u00e1val kapcsolatos. A rendszer fejleszt\u00e9s\u00e9nek elej\u00e9n sok a hiba, am\u00edg minden nem stabiliz\u00e1l\u00f3dik \u00e9s a f\u0151 \u00faj\u00edt\u00e1si szakasz le nem z\u00e1rul. De id\u0151vel a kaotikus t\u00e9nyez\u0151k \u00fajra bonyodalmakat okoznak, \u00e9s ism\u00e9t hib\u00e1k l\u00e9pnek fel \u2014 a k\u00f6rnyez\u0151 komponensek el\u00f6reged\u00e9se \u00e9s az adatok megv\u00e1ltoz\u00e1sa k\u00f6vetkezt\u00e9ben, ahogyan azt az elej\u00e9n eml\u00edtettem.<\/p>\n<p>Itt szeretn\u00e9m hangs\u00falyozni, hogy b\u00e1rmely g\u00e9pi tanul\u00e1si rendszert a teljes \u00e9letciklusa folyam\u00e1n hozott haszna szempontj\u00e1b\u00f3l kell megvizsg\u00e1lni. Az al\u00e1bbi grafikonon a ritka spam t\u00edpus nyomk\u00f6vet\u0151 rendszer\u00e9nek m\u0171k\u00f6d\u00e9s\u00e9t szeml\u00e9ltetj\u00fck (a grafikonon a vonal a nulla k\u00f6r\u00fcli tartom\u00e1nyban tal\u00e1lhat\u00f3). Egyszer egy helytelen\u00fcl gyors\u00edt\u00f3t\u00e1razott jellemz\u0151 miatt megzavarodott. Fura m\u00f3don nem volt monitoroz\u00e1s az anom\u00e1lis m\u0171k\u00f6d\u00e9sre, ennek k\u00f6vetkezt\u00e9ben a rendszer elkezdte a leveleket a spam mapp\u00e1ba helyezni a d\u00f6nt\u00e9shozatal hat\u00e1rvonal\u00e1n, nagysz\u00e1mban. A k\u00f6vetkezm\u00e9nyek kijav\u00edt\u00e1sa ellen\u00e9re a rendszer annyiszor hib\u00e1zott, hogy az \u00f6t \u00e9v alatt sem t\u00e9r\u00fcl meg. A modell \u00e9letciklusa szempontj\u00e1b\u00f3l ez teljes kudarc. <\/p>\n<p><img decoding=\"async\" alt=\"A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru lev\u00e9lben\" src=\"\/wp-content\/uploads\/2019\/11\/65efd799537ceea3761cabc3a764ba90.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEz\u00e9rt a monitoroz\u00e1s, mint olyan egyszer\u0171 dolog, kulcsfontoss\u00e1g\u00fa szerepet j\u00e1tszhat a modell \u00e9let\u00e9ben. A standard \u00e9s nyilv\u00e1nval\u00f3 metrik\u00e1k mellett figyelembe vessz\u00fck a v\u00e1laszok eloszl\u00e1s\u00e1t \u00e9s a modell pontsz\u00e1mait, valamint a kulcsfontoss\u00e1g\u00fa jellemz\u0151k \u00e9rt\u00e9keinek eloszl\u00e1s\u00e1t. A KL-divergencia seg\u00edts\u00e9g\u00e9vel \u00f6sszehasonl\u00edthatjuk a jelenlegi eloszl\u00e1st a t\u00f6rt\u00e9netivel vagy az A\/B teszt sor\u00e1n \u00e9szlelt \u00e9rt\u00e9keket a t\u00f6bbi folyamattal, \u00edgy \u00e9szlelve a modell anom\u00e1li\u00e1it \u00e9s id\u0151ben visszavonva a m\u00f3dos\u00edt\u00e1sokat.<\/p>\n<p>A legt\u00f6bb esetben az els\u0151 rendszerv\u00e1ltozatainkat egyszer\u0171 heurisztik\u00e1kkal vagy modellekkel ind\u00edtjuk, amelyeket k\u00e9s\u0151bb monitoringra haszn\u00e1lunk. P\u00e9ld\u00e1ul figyelj\u00fck a NER-modellt az adott online boltokkal \u00f6sszehasonl\u00edtva a regul\u00e1ris kifejez\u00e9sekkel, \u00e9s ha a klasszifik\u00e1l\u00f3 lefedetts\u00e9ge cs\u00f6kken vel\u00fck szemben, akkor megvizsg\u00e1ljuk az okokat. Ez egy \u00fajabb hasznos alkalmaz\u00e1sa a heurisztik\u00e1knak!<\/p>\n<h2>\u00d6sszegz\u00e9s<\/h2>\n<p>\nN\u00e9zz\u00fck \u00e1t m\u00e9g egyszer a cikk kulcsfontoss\u00e1g\u00fa gondolatait.<\/p>\n<ul>\n<li><b>Fibd\u00e9k<\/b>. Mindig a felhaszn\u00e1l\u00f3ra gondolunk: hogyan fog \u00e9lni a hib\u00e1inkkal, hogyan tudja azokat jelenteni. Ne feledj\u00fck, hogy a felhaszn\u00e1l\u00f3k nem a modellk\u00e9pz\u00e9shez sz\u00fcks\u00e9ges tiszta visszajelz\u00e9s forr\u00e1sai, \u00e9s ezt kieg\u00e9sz\u00edt\u0151 ML-rendszerekkel kell tiszt\u00edtani. Ha nincs lehet\u0151s\u00e9g\u00fcnk felhaszn\u00e1l\u00f3i jeleket gy\u0171jteni, alternat\u00edv visszajelz\u00e9si forr\u00e1sokat keres\u00fcnk, p\u00e9ld\u00e1ul kapcsol\u00f3d\u00f3 rendszereket. \n<\/li>\n<li><b>\u00dajrak\u00e9pz\u00e9s<\/b>. Itt a legf\u0151bb a folytonoss\u00e1g, ez\u00e9rt t\u00e1maszkodunk a jelenlegi \u00e9les modellre. Az \u00faj modelleket \u00fagy tan\u00edtjuk, hogy ne t\u00e9rjenek el jelent\u0151sen az el\u0151z\u0151t\u0151l harmonikus regulariz\u00e1l\u00e1s \u00e9s hasonl\u00f3 tr\u00fckk\u00f6k r\u00e9v\u00e9n.<\/li>\n<li><b>Deploy<\/b>. Az automatikus telep\u00edt\u00e9s a metrik\u00e1k alapj\u00e1n jelent\u0151sen cs\u00f6kkenti a modellek bevezet\u00e9s\u00e9re ford\u00edtott id\u0151t. Statisztik\u00e1k \u00e9s a d\u00f6nt\u00e9shozatali eloszl\u00e1s monitoroz\u00e1sa, valamint a felhaszn\u00e1l\u00f3i hamis pozit\u00edvok sz\u00e1ma k\u00f6telez\u0151 a nyugodt alv\u00e1shoz \u00e9s a produkt\u00edv h\u00e9tv\u00e9g\u00e9khez.\n<\/li>\n<\/ul>\n<p>\nRem\u00e9lem, hogy amit olvastak, seg\u00edt gyorsabban fejleszteni ML rendszereiket, felgyors\u00edtani a piacra l\u00e9p\u00e9st \u00e9s megb\u00edzhat\u00f3bb\u00e1 tenni \u0151ket, cs\u00f6kkentve a munka miatti stressz szintj\u00e9t.<br \/>\n<br \/>Forr\u00e1s: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/mailru\/blog\/476714\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u043e \u043c\u043e\u0442\u0438\u0432\u0430\u043c \u043c\u043e\u0438\u0445 \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 Highload++ \u0438 DataFest Minsk 2019 \u0433. \u0414\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043f\u043e\u0447\u0442\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u043e\u0442\u044a\u0435\u043c\u043b\u0435\u043c\u043e\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u0436\u0438\u0437\u043d\u0438 \u0432 \u0441\u0435\u0442\u0438. \u0421 \u0435\u0435 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u044b \u0432\u0435\u0434\u0435\u043c \u0431\u0438\u0437\u043d\u0435\u0441-\u043f\u0435\u0440\u0435\u043f\u0438\u0441\u043a\u0443, \u0445\u0440\u0430\u043d\u0438\u043c \u0432\u0441\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0443\u044e \u0432\u0430\u0436\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u0443\u044e \u0441 \u0444\u0438\u043d\u0430\u043d\u0441\u0430\u043c\u0438, \u0431\u0440\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043e\u0442\u0435\u043b\u0435\u0439, \u043e\u0444\u043e\u0440\u043c\u043b\u0435\u043d\u0438\u0435\u043c \u0437\u0430\u043a\u0430\u0437\u043e\u0432 \u0438 \u043c\u043d\u043e\u0433\u0438\u043c \u0434\u0440\u0443\u0433\u0438\u043c. \u0412 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 2018 \u0433\u043e\u0434\u0430 \u043c\u044b \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u043f\u043e\u0447\u0442\u044b. \u041a\u0430\u043a\u043e\u0439 \u0436\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-53143","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u043e \u043c\u043e\u0442\u0438\u0432\u0430\u043c \u043c\u043e\u0438\u0445 \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0439 \u043d\u0430.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"hu_HU\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u042d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 \u041f\u043e\u0447\u0442\u0435 Mail.ru | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u043e \u043c\u043e\u0442\u0438\u0432\u0430\u043c \u043c\u043e\u0438\u0445 \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0439 \u043d\u0430.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-11-23T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:01:00+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47A g\u00e9pi tanul\u00e1s alkalmaz\u00e1sa a Mail.ru-n\u00e1l | ProHoster","description":"A besz\u00e9deim nyom\u00e1n.","canonical_url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"hu_HU","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u042d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 \u041f\u043e\u0447\u0442\u0435 Mail.ru | ProHoster","og:description":"\u041f\u043e \u043c\u043e\u0442\u0438\u0432\u0430\u043c \u043c\u043e\u0438\u0445 \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0439 \u043d\u0430.","og:url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ekspluatatsiya-mashinnogo-obucheniya-v-pochte-mail-ru","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-11-23T21:00:00+00:00","article:modified_time":"2020-02-18T11:01:00+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"53143","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 06:14:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:30:25","updated":"2026-01-24 06:14:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/53143","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/comments?post=53143"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/53143\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media?parent=53143"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/categories?post=53143"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/tags?post=53143"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}