{"id":72898,"date":"2020-03-05T20:42:08","date_gmt":"2020-03-05T17:42:08","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-otkryt-kommentarii-i-ne-potonut-v-spame"},"modified":"2020-03-05T20:42:08","modified_gmt":"2020-03-05T17:42:08","slug":"kak-otkryt-kommentarii-i-ne-potonut-v-spame","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-otkryt-kommentarii-i-ne-potonut-v-spame","title":{"rendered":"Hogyan nyisd meg a komment\u00e1rokat, \u00e9s ne fulladj a spambe","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Hogyan
\n
\nAmikor a munk\u00e1d a sz\u00e9ps\u00e9g megteremt\u00e9se, arr\u00f3l k\u00fcl\u00f6n\u00f6sebben nem kell besz\u00e9lni, mert az eredm\u00e9ny mindenki szeme el\u0151tt ott van. Viszont ha feliratokat t\u00f6r\u00f6lsz a ker\u00edt\u00e9sekr\u0151l, akkor a munk\u00e1dat senki nem veszi \u00e9szre, am\u00edg a ker\u00edt\u00e9sek rendben vannak, vagy am\u00edg nem t\u00f6r\u00f6lsz valami kellemetlent.<\/p>\n

B\u00e1rmely szolg\u00e1ltat\u00e1s, ahol megjegyz\u00e9st, visszajelz\u00e9st, \u00fczenetet lehet k\u00fcldeni vagy k\u00e9peket felt\u00f6lteni, el\u0151bb-ut\u00f3bb szembes\u00fcl a spam, csal\u00e1s \u00e9s vulg\u00e1ris tartalom probl\u00e9m\u00e1j\u00e1val. Ezt elker\u00fclni nem lehet, de harcolnunk kell vele. <\/p>\n

Az \u00e9n nevem Mihail, az Antispam csapat tagja vagyok, amely megv\u00e9di a Yandex szolg\u00e1ltat\u00e1sainak felhaszn\u00e1l\u00f3it az ilyen probl\u00e9m\u00e1kt\u00f3l. A munk\u00e1nk ritk\u00e1n \u00e9szlelhet\u0151 (\u00e9s ez j\u00f3!), \u00edgy ma r\u00e9szletesebben bemutatom ezt. Megtudhatja, mikor haszontalan a moder\u00e1l\u00e1s \u00e9s mi\u00e9rt nem csak a pontoss\u00e1g a hat\u00e9konys\u00e1g egyed\u00fcli mutat\u00f3ja. A macsk\u00e1k \u00e9s kuty\u00e1k p\u00e9ld\u00e1j\u00e1n kereszt\u00fcl besz\u00e9lget\u00fcnk a vulg\u00e1ris kifejez\u00e9sekr\u0151l, \u00e9s arr\u00f3l, mi\u00e9rt lehet n\u00e9ha hasznos \u201egondolkodni vulg\u00e1risan\u201d.
\n<\/a><\/noindex>
\nA Yandexben egyre t\u00f6bb szolg\u00e1ltat\u00e1s jelenik meg, ahol a felhaszn\u00e1l\u00f3k k\u00f6zz\u00e9teszik saj\u00e1t tartalmukat. K\u00e9rd\u00e9st tehet fel vagy v\u00e1laszolhat a Yandex.Q-n, megvitathatja a udvar h\u00edreit a Yandex.R\u00e9gi\u00f3ban, megoszthatja az \u00fati \u00e1llapotokat a Yandex.T\u00e9rk\u00e9pek besz\u00e9lget\u00e9seiben. De amikor a szolg\u00e1ltat\u00e1s k\u00f6z\u00f6ns\u00e9ge n\u0151, vonz\u00f3v\u00e1 v\u00e1lik a csal\u00f3k \u00e9s spam k\u00fcld\u0151k sz\u00e1m\u00e1ra. \u0150k megjelennek, \u00e9s megt\u00f6ltik a megjegyz\u00e9seket: k\u00f6nny\u0171 p\u00e9nzt k\u00edn\u00e1lnak, csod\u00e1latos szert rekl\u00e1moznak, \u00e9s szoci\u00e1lis kifizet\u00e9seket \u00edg\u00e9rnek. A spam miatt egyes felhaszn\u00e1l\u00f3k p\u00e9nzt vesz\u00edtenek, m\u00edg m\u00e1sok elvesz\u00edtik a kedv\u00fcket, hogy id\u0151t t\u00f6ltsenek egy elhanyagolt, spam \u00e1ltal elbor\u00edtott szolg\u00e1ltat\u00e1son.<\/p>\n

\u00c9s ez nem az egyetlen probl\u00e9ma. Nemcsak arra t\u00f6reksz\u00fcnk, hogy megv\u00e9dj\u00fck a felhaszn\u00e1l\u00f3kat a csal\u00f3kt\u00f3l, hanem hogy k\u00e9nyelmes l\u00e9gk\u00f6rt teremts\u00fcnk a kommunik\u00e1ci\u00f3hoz is. Ha az emberek a megjegyz\u00e9sekben vulg\u00e1ris kifejez\u00e9sekkel \u00e9s s\u00e9rt\u00e9ssel tal\u00e1lkoznak, val\u00f3sz\u00edn\u0171leg el fognak menni, \u00e9s t\u00f6bb\u00e9 nem fognak visszat\u00e9rni. Ez\u00e9rt ezzel is tudni kell harcolni. <\/p>\n

Tiszta Web<\/h3>\n

\nAhogyan ezt \u00e1ltal\u00e1ban csin\u00e1ljuk, az els\u0151 pr\u00f3b\u00e1lkoz\u00e1sok a keres\u00e9sben sz\u00fclettek, azon a r\u00e9szen, amelyik a spam ellen k\u00fczd. T\u00edz \u00e9vvel ezel\u0151tt ott felmer\u00fclt a feladat, hogy kisz\u0171rj\u00fck a feln\u0151tt tartalmat a csal\u00e1di keres\u00e9shez \u00e9s az olyan lek\u00e9rdez\u00e9sekhez, amelyek nem v\u00e1rtak el 18+ kateg\u00f3ri\u00e1j\u00fa v\u00e1laszokat. \u00cdgy sz\u00fclettek meg az els\u0151, k\u00e9zzel \u00f6ssze\u00e1ll\u00edtott pornogr\u00e1f \u00e9s vulg\u00e1ris sz\u00f3t\u00e1rak, amelyeket az elemz\u0151k t\u00f6lt\u00f6ttek fel. A f\u0151 feladat az volt, hogy a lek\u00e9rdez\u00e9seket oszt\u00e1lyozzuk aszerint, hogy hol megengedett feln\u0151tt tartalmat megjelen\u00edteni \u00e9s hol nem. Erre a feladatra gy\u0171jt\u00f6ttek mint\u00e1kat, \u00e9p\u00edtettek heuristik\u00e1kat, tan\u00edtott\u00e1k a modelleket. \u00cdgy sz\u00fclettek meg az els\u0151 munk\u00e1k a nem k\u00edv\u00e1nt tartalom sz\u0171r\u00e9s\u00e9re.<\/p>\n

Id\u0151vel a Yandexn\u00e9l megjelent az UGC (felhaszn\u00e1l\u00f3k \u00e1ltal gener\u00e1lt tartalom) \u2014 \u00fczenetek, amelyeket maguk a felhaszn\u00e1l\u00f3k \u00edrtak, \u00e9s a Yandex csak k\u00f6zz\u00e9tette. A fent eml\u00edtett okok miatt sok \u00fczenetet nem lehetett csak \u00fagy megjelentetni \u2014 moder\u00e1ci\u00f3ra volt sz\u00fcks\u00e9g. Akkor d\u00f6nt\u00f6ttek \u00fagy, hogy k\u00e9sz\u00edtenek egy szolg\u00e1ltat\u00e1st, amely v\u00e9delmet ny\u00fajt a spam \u00e9s a rosszindulat\u00fa felhaszn\u00e1l\u00f3k ellen az \u00f6sszes Yandex UGC-term\u00e9k sz\u00e1m\u00e1ra, \u00e9s felhaszn\u00e1lja a nem k\u00edv\u00e1nt tartalom keres\u00e9si sz\u0171r\u00e9s\u00e9n\u00e9l alkalmazott fejleszt\u00e9seket. A szolg\u00e1ltat\u00e1s neve \u201eTiszta Web\u201d lett. <\/p>\n

\u00daj feladatok \u00e9s seg\u00edts\u00e9gny\u00fajt\u00e1s a tolm\u00e1csoknak<\/h3>\n

\nEleinte csak egyszer\u0171 automatiz\u00e1l\u00e1s m\u0171k\u00f6d\u00f6tt n\u00e1lunk: a szolg\u00e1ltat\u00e1sok sz\u00f6vegeket k\u00fcldtek nek\u00fcnk, mi pedig a vulg\u00e1ris, pornogr\u00e1f sz\u00f3t\u00e1rakat \u00e9s regul\u00e1ris kifejez\u00e9seket futtattunk rajtuk \u2014 az elemz\u0151k mindent k\u00e9zzel \u00e1ll\u00edtottak \u00f6ssze. De az id\u0151 m\u00fal\u00e1s\u00e1val a szolg\u00e1ltat\u00e1s egyre t\u00f6bb Yandex term\u00e9kben kezdett el m\u0171k\u00f6dni, \u00e9s nek\u00fcnk meg kellett tanulni, hogyan b\u00e1njunk az \u00faj probl\u00e9m\u00e1kkal. <\/p>\n

Gyakran a felhaszn\u00e1l\u00f3k v\u00e9lem\u00e9ny helyett \u00e9rtelmetlen bet\u0171halmazt publik\u00e1lnak, pr\u00f3b\u00e1lva maguknak megszerezni a pontokat, n\u00e9ha a konkurens c\u00e9g v\u00e9lem\u00e9ny\u00e9ben rekl\u00e1mozz\u00e1k a saj\u00e1t v\u00e1llalatukat, \u00e9s n\u00e9ha csak \u00f6sszekeverik a szervezeteket, \u00e9s az \u00e1llatkeresked\u00e9sr\u0151l sz\u00f3l\u00f3 v\u00e9lem\u00e9ny\u00fckben azt \u00edrj\u00e1k: \u201eGy\u00f6ny\u00f6r\u0171en elk\u00e9sz\u00edtett hal!\u201d. Lehets\u00e9ges, hogy egyszer az mesters\u00e9ges intelligencia t\u00f6k\u00e9letesen meg\u00e9rti b\u00e1rmilyen sz\u00f6veg jelent\u00e9s\u00e9t, de a jelenlegi automatiz\u00e1l\u00e1s sokszor rosszabbul teljes\u00edt, mint az ember. <\/p>\n

Kider\u00fclt, hogy k\u00e9zi c\u00edmk\u00e9z\u00e9s n\u00e9lk\u00fcl nem boldogulunk, \u00edgy a rendszer\u00fcnkh\u00f6z hozz\u00e1adtunk egy m\u00e1sodik l\u00e9pcs\u0151t \u2013 a sz\u00f6vegek k\u00e9zi ellen\u0151rz\u00e9s\u00e9t. Azok a sz\u00f6vegek ker\u00fcltek ide, amelyek eset\u00e9ben a klasszifik\u00e1tor nem \u00e9szlelt probl\u00e9m\u00e1t. A feladat m\u00e9ret\u00e9t k\u00f6nnyen elk\u00e9pzelheti, ez\u00e9rt nemcsak az \u00e9rt\u00e9kel\u0151kre t\u00e1maszkodtunk, hanem a \"t\u00f6meg b\u00f6lcsess\u00e9g\u00e9t\" is kihaszn\u00e1ltuk, teh\u00e1t seg\u00edts\u00e9get k\u00e9rve a tolokerekt\u0151l. \u0150k seg\u00edtenek nek\u00fcnk az \u00e9szlelt m\u0171szaki hi\u00e1nyoss\u00e1gok felt\u00e1r\u00e1s\u00e1ban, ezzel is tan\u00edtva a g\u00e9pet. <\/p>\n

Intelligens gyors\u00edt\u00f3t\u00e1raz\u00e1s \u00e9s LSH-hashel\u00e9s<\/h3>\n

\nM\u00e9g egy probl\u00e9ma, amellyel a hozz\u00e1sz\u00f3l\u00e1sokkal foglalkozva szembes\u00fclt\u00fcnk, a spam, pontosabban annak mennyis\u00e9ge \u00e9s terjed\u00e9si sebess\u00e9ge. Amikor a Yandex.Rajon k\u00f6z\u00f6ns\u00e9ge gyorsan n\u00f6vekedni kezdett, spamel\u0151k \u00e9rkeztek. Megtanult\u00e1k kij\u00e1tszani a regul\u00e1ris kifejez\u00e9seket, kicsit megv\u00e1ltoztatva a sz\u00f6veget. A spamet term\u00e9szetesen \u00edgy is megtal\u00e1lt\u00e1k \u00e9s elt\u00e1vol\u00edtott\u00e1k, de a Yandex m\u00e9retein bel\u00fcl egy olyan \u00fczenetet, amelyet ak\u00e1r csak 5 percre tettek k\u00f6zz\u00e9, m\u00e1r t\u00f6bb sz\u00e1zan is l\u00e1thattak. <\/p>\n

\"Hogyan
\n
\nEz nyilv\u00e1nval\u00f3an nem volt sz\u00e1munkra kiel\u00e9g\u00edt\u0151, \u00edgy intelligens gyors\u00edt\u00f3t\u00e1raz\u00e1st vezett\u00fcnk be sz\u00f6vegek sz\u00e1m\u00e1ra LSH alap\u00fa m\u00f3don (helyi \u00e9rz\u00e9keny hashel\u00e9s<\/a><\/noindex>). Ez \u00fagy m\u0171k\u00f6dik, hogy normaliz\u00e1ltuk a sz\u00f6veget, elt\u00e1vol\u00edtottuk bel\u0151le a linkeket, majd n-grammokra (n bet\u0171s sorozatokra) v\u00e1gtuk. Ezut\u00e1n hash \u00e9rt\u00e9keket sz\u00e1m\u00edtottunk az n-grammokr\u00f3l, \u00e9s ezek alapj\u00e1n fel\u00e9p\u00edtett\u00fck az LSH-vektor dokumentumot. A l\u00e9nyeg az, hogy a hasonl\u00f3 sz\u00f6vegek, m\u00e9g ha kicsit meg is v\u00e1ltoztatt\u00e1k \u0151ket, hasonl\u00f3 vektorokk\u00e1 alakultak. <\/p>\n

Ez a megold\u00e1s lehet\u0151v\u00e9 tette a klasszifik\u00e1torok \u00e9s a tolokerek \u00edt\u00e9leteinek \u00fajrahaszn\u00e1lat\u00e1t hasonl\u00f3 sz\u00f6vegek eset\u00e9n. Spam t\u00e1mad\u00e1sn\u00e1l, ahogy az els\u0151 \u00fczenet ellen\u0151rz\u00e9se \u00e1tment \u00e9s a \"spam\" \u00edt\u00e9let ker\u00fclt a gyors\u00edt\u00f3t\u00e1rba, minden \u00faj, hasonl\u00f3 sz\u00f6veg, m\u00e9g ha meg is v\u00e1ltoztatt\u00e1k \u0151ket, ugyanezt az \u00edt\u00e9letet kapt\u00e1k \u00e9s automatikusan elt\u00e1vol\u00edtott\u00e1k. K\u00e9s\u0151bb megtanultuk, hogyan k\u00e9pezz\u00fck ki \u00e9s automatikusan k\u00e9pezz\u00fck \u00e1t a spam klasszifik\u00e1torokat, de ez az \"intelligens gyors\u00edt\u00f3t\u00e1r\" vel\u00fcnk maradt, \u00e9s m\u00e9g ma is gyakran seg\u00edt nek\u00fcnk.<\/p>\n

A j\u00f3 sz\u00f6vegek klasszifik\u00e1l\u00f3ja<\/h3>\n

\nMiel\u0151tt kipihent\u00fck volna magunkat a spam elleni harcb\u00f3l, r\u00e1j\u00f6tt\u00fcnk, hogy a tartalom 95%-\u00e1t k\u00e9zzel moder\u00e1ljuk: a klasszifik\u00e1torok csak a szab\u00e1lytalans\u00e1gokra reag\u00e1lnak, \u00e9s a legt\u00f6bb sz\u00f6veg j\u00f3. Tolokereket terhel\u00fcnk meg, akik 95 esetb\u0151l 100-ban a \u201eMinden rendben van\u201d \u00e9rt\u00e9kel\u00e9st adj\u00e1k. Szokatlan munk\u00e1val kellett foglalkoznunk \u2013 j\u00f3 tartalmak klasszifik\u00e1l\u00f3it kellett k\u00e9sz\u00edten\u00fcnk, ami nem is volt neh\u00e9z, mivel az id\u0151 sor\u00e1n el\u00e9gs\u00e9ges c\u00edmk\u00e9t halmoztunk fel.<\/p>\n

Az els\u0151 klasszifik\u00e1tor \u00edgy n\u00e9zett ki: lemmatiz\u00e1ltuk a sz\u00f6veget (a szavakat az alapform\u00e1jukra bontva), elt\u00e1vol\u00edtottuk az \u00f6sszes seg\u00e9dsz\u00f3t, \u00e9s alkalmaztuk a kor\u00e1bban el\u0151k\u00e9sz\u00edtett \u201ej\u00f3 lemmat\u00e1k sz\u00f3t\u00e1r\u00e1t\u201d. Ha a sz\u00f6vegben minden sz\u00f3 \u201ej\u00f3\u201d, akkor a sz\u00f6veg \u00f6sszess\u00e9g\u00e9ben sem tartalmaz szab\u00e1lytalans\u00e1got. K\u00fcl\u00f6nb\u00f6z\u0151 szolg\u00e1ltat\u00e1sokn\u00e1l ez a megk\u00f6zel\u00edt\u00e9s azonnal 25-35% automatiz\u00e1l\u00e1st eredm\u00e9nyezett a k\u00e9zi c\u00edmk\u00e9z\u00e9sben. Term\u00e9szetesen ez a megk\u00f6zel\u00edt\u00e9s nem t\u00f6k\u00e9letes: nem neh\u00e9z t\u00f6bb \u00e1rtalmatlan sz\u00f3t kombin\u00e1lni, \u00e9s nagyon s\u00e9rt\u0151 kifejez\u00e9seket kapni, de lehet\u0151v\u00e9 tette sz\u00e1munkra, hogy gyorsan el\u00e9rj\u00fcnk egy j\u00f3 automatiz\u00e1l\u00e1si szintet, \u00e9s id\u0151t adott a bonyolultabb modellek betan\u00edt\u00e1s\u00e1ra.<\/p>\n

A k\u00f6vetkez\u0151 j\u00f3 sz\u00f6vegek klasszifik\u00e1tor verzi\u00f3i m\u00e1r tartalmazt\u00e1k a line\u00e1ris modelleket, d\u00f6nt\u00e9si f\u00e1kat \u00e9s azok kombin\u00e1ci\u00f3it. A durvas\u00e1gok \u00e9s s\u00e9rt\u00e9sek c\u00edmk\u00e9z\u00e9s\u00e9re p\u00e9ld\u00e1ul a BERT neur\u00e1lis h\u00e1l\u00f3t pr\u00f3b\u00e1lgatjuk. Itt fontos elkapni a sz\u00f3 \u00e9rtelm\u00e9t a kontextusban \u00e9s a szavak k\u00f6z\u00f6tti kapcsolatokat k\u00fcl\u00f6nb\u00f6z\u0151 mondatokban, \u00e9s a BERT j\u00f3l megbirk\u00f3zik ezzel. (Egy\u00e9bk\u00e9nt nemr\u00e9giben a koll\u00e9g\u00e1k a h\u00edrekb\u0151l, besz\u00e9lt\u00fcnk<\/a><\/noindex>, hogyan alkalmazz\u00e1k a technol\u00f3gi\u00e1t nem szokv\u00e1nyos feladatra \u2013 hib\u00e1k keres\u00e9s\u00e9re a c\u00edmekben.) V\u00e9g\u00fcl 90%-os automatiz\u00e1l\u00e1st siker\u00fclt el\u00e9rni a szolg\u00e1ltat\u00e1st\u00f3l f\u00fcgg\u0151en. <\/p>\n

Pontoss\u00e1g, teljess\u00e9g \u00e9s sebess\u00e9g<\/h3>\n

\nA fejl\u0151d\u00e9shez meg kell \u00e9rteni, hogy az egyes automatikus klasszifik\u00e1torok, a benn\u00fck bek\u00f6vetkezett v\u00e1ltoz\u00e1sok milyen hasznot hoznak, valamint hogy a k\u00e9zi ellen\u0151rz\u00e9sek min\u0151s\u00e9ge nem romlik-e. Ehhez a pontoss\u00e1g \u00e9s teljess\u00e9g mutat\u00f3it alkalmazzuk. <\/p>\n

A pontoss\u00e1g az \u00f6sszes rossz tartalomra vonatkoz\u00f3 helyes \u00edt\u00e9letek ar\u00e1ny\u00e1t jelenti. Min\u00e9l magasabb a pontoss\u00e1g, ann\u00e1l kevesebb a t\u00e9ves riaszt\u00e1s. Ha nem figyel\u00fcnk a pontoss\u00e1gra, akkor elm\u00e9letileg elt\u00e1vol\u00edthatjuk az \u00f6sszes spamet \u00e9s tr\u00e1g\u00e1r sz\u00f3t, ami egy\u00fctt a j\u00f3 \u00fczenetek fel\u00e9t is elt\u00fcntetheti. M\u00e1sr\u00e9szr\u0151l, ha csak a pontoss\u00e1gra t\u00e1maszkodunk, akkor a legjobb technol\u00f3gia az lesz, amely egy\u00e1ltal\u00e1n nem \u00e9szlel senkit. Ez\u00e9rt van m\u00e9g egy m\u00e9r\u0151sz\u00e1m, a teljess\u00e9g: a rossz tartalom azonos\u00edtott ar\u00e1ny\u00e1t az \u00f6sszes rossz tartalom k\u00f6z\u00f6tt. E k\u00e9t metrika kiegyens\u00falyozza egym\u00e1st. <\/p>\n

Az \u00e9rt\u00e9kel\u00e9shez minta alapj\u00e1n megvizsg\u00e1ljuk az \u00f6sszes bej\u00f6v\u0151 forgalmat minden szolg\u00e1ltat\u00e1s eset\u00e9ben, \u00e9s \u00e1tadjuk a tartalmi mint\u00e1kat \u00e9rt\u00e9kel\u0151knek szak\u00e9rt\u0151i \u00e9rt\u00e9kel\u00e9sre \u00e9s a g\u00e9p \u00e1ltal hozott d\u00f6nt\u00e9sekkel val\u00f3 \u00f6sszehasonl\u00edt\u00e1sra. <\/p>\n

De van m\u00e9g egy fontos mutat\u00f3. <\/p>\n

Fentebb \u00edrtam, hogy egy elfogadhatatlan \u00fczenetet ak\u00e1r 5 perc alatt is megpillanthatnak sz\u00e1zan. Ez\u00e9rt figyelj\u00fck, h\u00e1nyszor tudtuk megmutatni az embereknek a rossz tartalmat, miel\u0151tt elt\u00fcntett\u00fck volna. Ez fontos, mert nem el\u00e9g j\u00f3l dolgozni \u2014 gyorsan is kell dolgozni. Amikor \u00e9p\u00edtett\u00fck az \u00faj sz\u0171r\u0151t a tr\u00e1g\u00e1r szavak ellen, ezt teljes m\u00e9rt\u00e9kben \u00e9rz\u00e9kelt\u00fck. <\/p>\n

Tr\u00e1g\u00e1r szavak cica \u00e9s kutya p\u00e9ld\u00e1j\u00e1n kereszt\u00fcl<\/h3>\n

\nEgy kis l\u00edrai elt\u00e9r\u00e9s. Valaki azt mondhatja, hogy a tr\u00e1g\u00e1r nyelvezet \u00e9s a s\u00e9rt\u00e9sek nem annyira vesz\u00e9lyesek, mint a k\u00e1ros linkek, \u00e9s nem annyira ideges\u00edt\u0151ek, mint a spam. De mi arra t\u00f6reksz\u00fcnk, hogy a tisztes kommunik\u00e1ci\u00f3s k\u00f6rnyezetet t\u00e1mogassuk milli\u00f3k sz\u00e1m\u00e1ra, \u00e9s az emberek nem szeretnek olyan helyekre visszat\u00e9rni, ahol megs\u00e9rtik \u0151ket. Nem v\u00e9letlen, hogy a tr\u00e1g\u00e1r nyelv \u00e9s s\u00e9rt\u00e9sek tilalma sok k\u00f6z\u00f6ss\u00e9g szab\u00e1lyzat\u00e1ban benne van, \u00edgy a Habr-on is. De elt\u00e9rt\u00fcnk a t\u00e9m\u00e1t\u00f3l. <\/p>\n

A tr\u00e1g\u00e1r szavakat tartalmaz\u00f3 sz\u00f3t\u00e1rak nem k\u00e9pesek \u00e1tfogni az orosz nyelv gazdags\u00e1g\u00e1t. Annak ellen\u00e9re, hogy mind\u00f6ssze n\u00e9gy alapvet\u0151 tr\u00e1g\u00e1r gy\u00f6k\u00e9r l\u00e9tezik, ezekb\u0151l sz\u00e1mtalan sz\u00f3t lehet alkotni, amelyeket semmilyen regul\u00e1ris kifejez\u00e9ssel nem lehet elkapni. Ezen k\u00edv\u00fcl a szavak r\u00e9szleteit \u00e1t\u00edrni, bet\u0171sorozatokat helyettes\u00edteni, a bet\u0171ket \u00e1trendezni, csillagokat hozz\u00e1adni stb. lehet. N\u00e9ha a kontextus hi\u00e1ny\u00e1ban gyakorlatilag lehetetlen meghat\u00e1rozni, hogy a felhaszn\u00e1l\u00f3 pontosan milyen tr\u00e1g\u00e1r sz\u00f3t \u00e9rtett. Tiszteletben tartjuk a Habr szab\u00e1lyait, ez\u00e9rt ezt nem \u00e9l\u0151 p\u00e9ld\u00e1kon fogjuk megmutatni, hanem cic\u00e1kon \u00e9s kuty\u00e1kon. <\/p>\n

\"Hogyan
\n
\n\u201eMiau\u201d, mondta a cica. De tudjuk, hogy a cica val\u00f3j\u00e1ban egy m\u00e1sik sz\u00f3t mondott...<\/p>\n

Azzal kezdt\u00fcnk el foglalkozni, hogy a sz\u00f3t\u00e1runk \u201ehom\u00e1lyos egyeztet\u00e9si\u201d algoritmusai \u00e9s a fejlettebb el\u0151feldolgoz\u00e1s \u00e9rdek\u00e9ben a transzliter\u00e1ci\u00f3t v\u00e9gezt\u00fck, \u00f6sszeillesztett\u00fck a sz\u00f3k\u00f6z\u00f6ket \u00e9s a pontosvessz\u0151ket, mint\u00e1kat kerest\u00fcnk, \u00e9s k\u00fcl\u00f6n regul\u00e1ris kifejez\u00e9seket \u00edrtunk. Ez a megk\u00f6zel\u00edt\u00e9s eredm\u00e9nyeket hozott, de gyakran cs\u00f6kkentette a pontoss\u00e1got, nem biztos\u00edtva a k\u00edv\u00e1nt teljess\u00e9get.<\/p>\n

Akkor \u00fagy d\u00f6nt\u00f6tt\u00fcnk, hogy \u201e\u00fagy gondolkodunk, mint a tr\u00e1g\u00e1r besz\u00e9l\u0151k\u201d. Magunk kezdt\u00fcnk el zajt vinni az adatokba: \u00e1thelyezt\u00fck a bet\u0171ket, elg\u00e9pel\u00e9seket gener\u00e1ltunk, hasonl\u00f3 \u00edr\u00e1sm\u00f3d\u00fa bet\u0171ket cser\u00e9lt\u00fcnk egym\u00e1sra, \u00e9s \u00edgy tov\u00e1bb. A kezdeti annot\u00e1ci\u00f3t ehhez a tr\u00e1g\u00e1r sz\u00f3t\u00e1rak nagy sz\u00f6vegkorpuszaival alkalmaztuk. Ha egy mondatot t\u00f6bbf\u00e9lek\u00e9ppen eltorz\u00edtunk, m\u00e1r sok mondatot kapunk. Ezzel a tanul\u00e1si mint\u00e1k sz\u00e1m\u00e1t t\u00f6bb t\u00edzszeres\u00e9re n\u00f6velhetj\u00fck. M\u00e1r csak annyit kellett tenni, hogy egy \u00e9rtelmesebb modellt tan\u00edtsunk az \u00edgy kapott mint\u00e1kon, figyelembe v\u00e9ve a kontextust. <\/p>\n

\"Hogyan
\n
\nA v\u00e9gleges megold\u00e1sr\u00f3l m\u00e9g korai besz\u00e9lni. M\u00e9g mindig k\u00eds\u00e9rletez\u00fcnk a probl\u00e9m\u00e1hoz val\u00f3 megk\u00f6zel\u00edt\u00e9sekkel, de m\u00e1r l\u00e1tjuk, hogy egy egyszer\u0171 karakteralap\u00fa konvol\u00faci\u00f3s h\u00e1l\u00f3zat, amely t\u00f6bb r\u00e9tegb\u0151l \u00e1ll, l\u00e9nyegesen fel\u00fclm\u00falja a sz\u00f3t\u00e1rakat \u00e9s a regul\u00e1ris kifejez\u00e9seket: \u00edgy mind a pontoss\u00e1g, mind a teljess\u00e9g n\u00f6velhet\u0151.<\/p>\n

Term\u00e9szetesen tudat\u00e1ban vagyunk annak, hogy mindig lesznek m\u00f3dszerek a legfejlettebb automatiz\u00e1l\u00e1s megker\u00fcl\u00e9s\u00e9re, k\u00fcl\u00f6n\u00f6sen, ha a dolog ilyen izgalmas: \u00fagy \u00edrni, hogy a buta g\u00e9p ne \u00e9rtse. Itt, mint a spam elleni k\u00fczdelem sor\u00e1n, nem az a c\u00e9lunk, hogy kiirtsuk a lehet\u0151s\u00e9get, hogy b\u00e1rki tr\u00e1g\u00e1r dolgokat \u00edrjon, hanem az, hogy a j\u00e1t\u00e9k ne \u00e9rje meg a gyerty\u00e1t.<\/p>\n

Az emberek v\u00e9lem\u00e9ny\u00e9nek megoszt\u00e1s\u00e1nak, kommunik\u00e1l\u00e1s\u00e1nak \u00e9s komment\u00e1l\u00e1s\u00e1nak lehet\u0151s\u00e9g\u00e9nek megteremt\u00e9se nem neh\u00e9z. Sokkal nehezebb biztons\u00e1gos, k\u00e9nyelmes k\u00f6r\u00fclm\u00e9nyeket biztos\u00edtani, \u00e9s tiszteletteljesen b\u00e1nni az emberekkel. En\u00e9lk\u00fcl pedig nem lehets\u00e9ges k\u00f6z\u00f6ss\u00e9get fejleszteni.
\n
Forr\u00e1s: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041a\u043e\u0433\u0434\u0430 \u0442\u0432\u043e\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u2014 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0435, \u043e \u043d\u0435\u0439 \u043c\u043e\u0436\u043d\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043d\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0443 \u0432\u0441\u0435\u0445 \u043f\u0435\u0440\u0435\u0434 \u0433\u043b\u0430\u0437\u0430\u043c\u0438. \u0410 \u0432\u043e\u0442 \u0435\u0441\u043b\u0438 \u0442\u044b \u0441\u0442\u0438\u0440\u0430\u0435\u0448\u044c \u043d\u0430\u0434\u043f\u0438\u0441\u0438 \u0441 \u0437\u0430\u0431\u043e\u0440\u043e\u0432, \u0442\u0432\u043e\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u0435\u0442, \u043f\u043e\u043a\u0430 \u0437\u0430\u0431\u043e\u0440\u044b \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e \u0438\u043b\u0438 \u043f\u043e\u043a\u0430 \u0442\u044b \u043d\u0435 \u0441\u043e\u0442\u0440\u0451\u0448\u044c \u0447\u0442\u043e-\u043d\u0438\u0431\u0443\u0434\u044c \u043d\u0435 \u0442\u043e. \u041b\u044e\u0431\u043e\u0439 \u0441\u0435\u0440\u0432\u0438\u0441, \u0433\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439, \u043e\u0442\u0437\u044b\u0432, \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":72899,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-72898","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hogyan nyithatod meg a komment\u00e1rokat an\u00e9lk\u00fcl, hogy elmer\u00fcln\u00e9l a spamben | ProHoster","description":"Amikor a munk\u00e1d az, hogy valamit l\u00e9trehozz.","canonical_url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-otkryt-kommentarii-i-ne-potonut-v-spame","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"hu_HU","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u0438 \u043d\u0435 \u043f\u043e\u0442\u043e\u043d\u0443\u0442\u044c \u0432 \u0441\u043f\u0430\u043c\u0435 | ProHoster","og:description":"\u041a\u043e\u0433\u0434\u0430 \u0442\u0432\u043e\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u2014 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0447\u0442\u043e-\u0442\u043e.","og:url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-otkryt-kommentarii-i-ne-potonut-v-spame","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-03-05T17:42:08+00:00","article:modified_time":"2020-03-05T17:42:08+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"72898","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 18:43:27","updated":"2022-09-29 22:58:18","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/72898","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/comments?post=72898"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/72898\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media\/72899"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media?parent=72898"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/categories?post=72898"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/tags?post=72898"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}