Adeeg kasta oo isticmaalayaashu ay abuuri karaan nuxurkooda (UGC - Content User-generated) waxaa lagu qasbay ma aha oo kaliya inay xalliyaan dhibaatooyinka ganacsiga, laakiin sidoo kale inay wax u hagaajiyaan UGC. Dhexdhexaadinta nuxurka tayada liidata ama tayadeedu hooseyso ayaa ugu dambeyntii hoos u dhigi karta soo jiidashada adeega isticmaalayaasha, xitaa waxay soo afjartaa hawsheeda.
Maanta waxaan kuu sheegi doonaa wax ku saabsan is-dhexgalka ka dhexeeya Yula iyo Odnoklassniki, kaas oo naga caawinaya inaan si wax ku ool ah u dhexdhexaadinno xayeysiisyada Yula.
Isku-duubnidu guud ahaan waa shay faa'iido badan leh, iyo adduunka casriga ah, marka tignoolajiyada iyo isbeddellada ay si dhakhso ah isu beddelaan, waxay isu rogi kartaa badbaado. Maxaa kheyraad yari iyo waqti ku luminaya in la hindiso shay hore loo allifay oo maskaxdaada la hor keenay?
Waxaan u maleynay wax la mid ah markii aan la kulannay hawsha buuxda ee dhexdhexaadinta macluumaadka isticmaalaha - sawiro, qoraal iyo xiriiriye. Isticmaalayaashayadu waxay soo geliyaan malaayiin qaybood oo ka kooban Yula maalin kasta, iyada oo aan si toos ah loo habayn gabi ahaanba suurtogal maaha in dhammaan xogtan gacanta lagu geliyo.
Sidaa darteed, waxaan isticmaalnay madal dhexdhexaadin ah oo diyaarsan, kaas oo wakhtigaas asxaabteena Odnoklassniki ay ku dhameeyeen xaalad "ku dhawaad ββββ kaamil ah."
Waa maxay sababta Odnoklassniki?
Maalin kasta, tobanaan milyan oo isticmaalayaashu waxay yimaadaan shabakada bulshada waxayna daabacaan balaayiin qaybood oo ka kooban: sawiro ilaa muuqaalo iyo qoraalo. Madal dhexdhexaadinta Odnoklassniki waxay ka caawisaa in la hubiyo tiro aad u badan oo xog ah iyo ka hortagga spammers iyo bots.
Kooxda dhexdhexaadinta OK waxay urursatay waayo-aragnimo badan, tan iyo markii ay hagaajinaysay qalabkeeda 12 sano. Waxaa muhiim ah in aysan kaliya wadaagin xalalkooda diyaarsan, laakiin sidoo kale ay habeeyaan qaab dhismeedka madalkooda si ay ugu habboonaato hawlaheenna gaarka ah.
Hadda wixii ka dambeeya, si kooban, waxaan si fudud ugu yeeri doonaa masraxa dhexdhexaadinta OK βmadalβ.
Sida ay u wada shaqeeyaan
Isweydaarsiga xogta ee u dhexeeya Yula iyo Odnoklassniki ayaa la aasaasay iyada oo loo marayo .
Sababta aan u dooranay qalabkan:
- Yula, dhammaan xayaysiisyada waa la dhexdhexaadiyay, marka horeba jawaab isku mid ah looma baahnayn.
- Haddii cutubka xun uu dhaco oo Yula ama Odnoklassniki aan la heli karin, oo ay ku jiraan qaar ka mid ah culeysyada ugu sarreeya awgeed, markaa xogta Kafka meelna kama waayi doonto oo waa la akhrin karaa mar dambe.
- Madashu waxa ay horeba ugu biirtay Kafka, sidaa awgeed inta badan arrimaha ammaanka ayaa la xaliyay.
Xayeysiis kasta oo uu sameeyay ama uu wax ka beddelay isticmaalaha gudaha Yula, JSON oo xog leh ayaa la soo saarayaa, kaas oo lagu meeleeyo Kafka dhexdhexaadinta xigta. Laga soo bilaabo Kafka, ogeysiisyada waxaa lagu shubaa goobta, halkaas oo si toos ah ama gacanta lagu xukumo. Xayeysiisyada xun waxaa lagu xannibaa sabab, iyo kuwa aysan madalku ku helin xadgudubyada waxaa lagu calaamadeeyay "wanaagsan." Kadib go'aamada oo dhan dib ayaa loogu soo celiyaa Yula waxaana lagu dabaqaa adeegga.
Dhammaadkii, Yula waxa ay dhammaantood hoos ugu soo dhacayaan falal fudud: u dir xayaysiis goobta Odnoklassniki oo dib u soo celi xallinta βokβ, ama sababta βokβ.
Habayn toos ah
Maxaa ku dhacaya xayaysiisku ka dib markay ku dhacdo goobta? Xayeysiintu waxay u qaybsantaa dhawr qaybood:
- Magaca,
- sharaxaad,
- sawiro,
- Qaybta isticmaalaha-doortay iyo qayb-hoosaadka xayeysiiska,
- qiimaha
Madalku waxa ay markaas samaynaysaa kooxaysi koox kasta si ay u hesho nuqullo. Intaa waxaa dheer, qoraalka iyo sawiradu waa la ururiyey iyadoo loo eegayo qorshayaal kala duwan.
Kahor intaan la ururin, qoraalada waa la caadiyeeyaa si meesha looga saaro xarfaha gaarka ah, xarfaha la bedelay iyo qashinka kale. Xogta la helay waxaa loo qaybiyaa N-grams, mid kasta oo ka mid ah waa la xaday. Natiijadu waa hashes badan oo gaar ah. Isku ekaanshaha qoraallada waxaa lagu go'aamiyaa inta u dhaxaysa labada qaybood ee ka dhashay. Haddii isku ekaanshaha uu ka weyn yahay marinka, markaas qoraallada waxaa la isugu daray hal koox. Si loo dedejiyo raadinta kooxo la mid ah, MinHash iyo xashiish xasaasi ah ayaa la isticmaalaa.
Ikhtiyaaryo kala duwan oo loogu talagalay isku dhejinta sawirada ayaa loo sameeyay sawiro, laga bilaabo isbarbardhigga sawirada pHash ilaa raadinta nuqullada iyadoo la adeegsanayo shabakad neerfaha.
Habka ugu dambeeya waa kan ugu "daran". Si loo tababaro qaabka, saddex-geesoodka sawirada (N, A, P) ayaa la doortay kuwaas oo N aan la mid ahayn A, iyo P la mid ah A (waa qayb-duplicate). Kadib shabakada neural waxay barteen inay ka dhigaan A iyo P sida ugu dhow ee suurtogalka ah, iyo A iyo N inta suurtogalka ah. Tani waxay keenaysaa faa'iidooyin been abuur ah oo yar marka la barbar dhigo si fudud ka qaadashada shabakad horay loo tababaray.
Marka shabakada neural ay hesho muuqaalo ahaan, waxay soo saartaa N(128)-cabbir vector mid kasta oo iyaga ka mid ah waxaana la sameeyaa codsi si loo qiimeeyo u dhowaanshaha sawirka. Marka xigta, xad ayaa la xisaabiyaa kaas oo sawirada dhow loo arko inay yihiin nuqul.
Qaabku wuxuu awood u leeyahay inuu si xirfad leh u helo spammers kuwaas oo si gaar ah u sawiraya isla badeecada xaglo kala duwan si loo dhaafo isbarbardhigga pHash.
Tusaalaha sawirada spamka ee ay isku dhejiyeen shabakada neural sida nuqulo.
Marxaladda ugu dambeysa, xayaysiisyada nuqul ka mid ah ayaa isku mar lagu raadiyaa qoraalka iyo sawirka labadaba.
Haddii laba xayaysiis ama in ka badan ay ku dheggan yihiin koox, nidaamku wuxuu bilaabaa xannibaad toos ah, kaas oo isticmaalaya algorithms qaarkood, dooranaya nuqullada la tirtirayo iyo midka laga tagayo. Tusaale ahaan, haddii laba isticmaale ay ku leeyihiin sawirro isku mid ah xayeysiisyada, nidaamku wuxuu xannibi doonaa xayeysiiskii u dambeeyay.
Marka la abuuro, dhammaan kooxuhu waxay maraan taxane ah filtarrada tooska ah. Shaandhayn kastaa wuxuu ku meeleeyaa dhibco kooxda: siday ugu badan tahay inay ka kooban tahay khatarta uu shaandhayntani tilmaamo.
Tusaale ahaan, nidaamku waxa uu falanqeeyaa sharraxaadda ku jirta xayeysiiska oo u doorta qaybaha suurtagalka ah. Kadibna waxay qaadanaysaa midda ugu badan ee suurtogalka ah waxayna barbar dhigaysaa qaybta uu qeexay qoraaga xayeysiiska. Haddi ay iswaafaqi waayaan, xayaysiiska waa loo xannibay qaybta khaldan. Oo maadaama aanu nahay naxariis iyo daacad, waxaanu si toos ah ugu sheegnaa isticmaalaha qaybta uu u baahan yahay inuu doorto si xayeysiisku u dhaafo dhexdhexaadinta.
Ogeysiinta xannibista qaybta khaldan.
Barashada mishiinku waxay si toos ah guriga uga dareemaysaa madalkeena. Tusaale ahaan, iyada oo gacanteeda aan ku raadineyno magacyada iyo sharraxaadaha alaabta laga mamnuucay Ruushka. Iyo moodooyinka shabakadaha neerfaha si taxadar leh u "baari" sawirada si loo arko inay ku jiraan URL-yada, qoraalada spamka, lambarada telefoonka, iyo isla macluumaadka "mamnuuc".
Kiisaska ay isku dayayaan inay iibiyaan alaab mamnuuc ah oo loo ekeysiinayo wax sharci ah, oo aysan jirin qoraal ku jira cinwaan ama sharraxaad midkood, waxaan isticmaalnaa calaamadeynta sawirka. Sawir kasta, ilaa 11 kun oo calaamado kala duwan ayaa lagu dari karaa kuwaas oo qeexaya waxa sawirka ku jira.
Waxay isku dayayaan inay iibiyaan hookaha iyagoo iska dhigaya sidii samovar.
Si la mid ah filtarrada adag, kuwa fudud ayaa sidoo kale shaqeeya, xallinta dhibaatooyinka muuqda ee la xiriira qoraalka:
- antimat;
- URL iyo lambarka taleefanka;
- sheegista fariimaha degdega ah iyo xiriirada kale;
- qiimaha la dhimay;
- xayaysiisyada aan waxba lagu iibin, iwm.
Maanta, xayeysiis kastaa waxa uu maraa shaandho fiican oo ka badan 50 filtarrada tooska ah kuwaas oo isku dayaya in ay wax xun ka helaan xayeysiiska.
Haddii mid ka mid ah qalabka wax baadha uusan shaqeynin, ka dib jawaab ayaa loo diraa Yula in xayeysiisku "ay u badan tahay" inay u kala horreeyaan. Waxaan isticmaalnaa jawaabtan nafteena, iyo isticmaalayaasha ku biiray iibiyaha waxay helayaan ogeysiis ku saabsan helitaanka badeecad cusub.
Ogeysiinta in iibiyuhu leeyahay badeeco cusub.
Natiijo ahaan, xayaysiis kastaa waa "ku koray" metadata, kuwaas oo qaarkood la soo saaray marka xayeysiinta la abuuro (ciwaanka IP-ga ee qoraaga, wakiilka isticmaalaha, madal, geolocation, iwm.), inta soo hartayna waa dhibcaha ay soo saarto shaandhooyin kasta .
Safafka ogeysiinta
Marka xayeysiisku ku dhaco goobta, nidaamku wuxuu dhigayaa mid ka mid ah safafka. Saf kastaa waxa la abuuraa iyadoo la isticmaalayo qaacido xisaabeed oo isku daraysa xayaysiiska metadata si loo ogaado qaabab kasta oo xun.
Tusaale ahaan, waxaad samayn kartaa safka xayeysiiska qaybta "Telefoonada gacanta" ee isticmaalayaasha Yula ee loo malaynayo inay ka yimaadeen St.
Tusaale xayaysiisyada uu soo dhejiyay hal isticmaale oo ku sugan magaalooyin kala duwan.
Ama waxaad samayn kartaa safaf ku salaysan buundooyinka ay shabakada neuralku u xilsaarto xayeysiisyada, adoo u habaynaya siday u kala horeeyaan.
Saf kasta, si waafaqsan qaaciido u gaar ah, ayaa ku meeleeya dhibcaha ugu dambeeya xayeysiiska. Kadib waxaad ku socon kartaa siyaabo kala duwan:
- caddee heerka xayaysisku uu heli doono nooc ka mid ah xannibaadda;
- u dir dhammaan xayaysiisyada safka ku jira dhexdhexaadiyeyaasha si ay gacanta ugu eegaan;
- ama isku dar doorashooyinkii hore: cadee heerka xannibaadda tooska ah oo u dir dhexdhexaadiyeyaasha xayeysiisyada aan gaarin heerkan.
Waa maxay sababta safafkan loogu baahan yahay? Aynu nidhaahno isticmaale ayaa soo galiyay sawirka hub. Shabakadda neerfaha waxay u qoondaysaa dhibco min 95 ilaa 100 waxayna go'aaminaysaa 99 boqolkiiba saxnaanta in uu jiro hub sawirka. Laakiin haddii qiimaha dhibcaha uu ka hooseeyo 95%, saxnaanta moodeelku wuxuu bilaabaa inuu hoos u dhaco (tani waa muuqaal ka mid ah moodooyinka shabakadaha neerfaha).
Natiijo ahaan, saf ayaa la sameeyay iyadoo lagu salaynayo qaabka buundada, xayaysiisyada helay inta u dhaxaysa 95 iyo 100 si toos ah ayaa loo xannibay sida "Alaabooyinka Mamnuucay". Xayeysiisyada dhibcaha ka hooseeya 95 ayaa loo diraa dhexdhexaadiyeyaasha si ay gacanta ugu habeeyaan.
Chocolate Beretta oo leh kartoonada. Kaliya dhexdhexaadinta gacanta! π
Dhexdhexaadinta gacanta
Bilowga 2019, ilaa 94% dhammaan xayaysiisyada Yula si toos ah ayaa loo dhexdhexaadiyay.
Haddii madalku aysan go'aan ka gaari karin xayeysiisyada qaarkood, waxay u dirtaa dhexdhexaadinta gacanta. Odnoklassniki waxay soo saartay qalab u gaar ah: hawlaha loogu talagalay dhexdhexaadiyeyaasha isla markiiba waxay soo bandhigaan dhammaan macluumaadka lagama maarmaanka ah si ay go'aan degdeg ah u gaaraan - xayeysiisku waa ku habboon yahay ama waa in la xannibaa, taas oo muujinaysa sababta.
Iyo si aan tayada adeeggu u dhibin inta lagu jiro dhexdhexaadinta buug-gacmeedka, shaqada dadka si joogto ah ayaa loola socdaa. Tusaale ahaan, qulqulka hawsha, dhexdhexaadiyaha waxaa lagu soo bandhigay "dabinnada" - xayeysiisyada kuwaas oo ay jiraan xalal diyaarsan. Haddii go'aanka dhexdhexaadiyuhu aanu ku waafaqin kan la dhammeeyey, dhexdhexaadiyaha waxa la siinayaa khalad.
Celcelis ahaan, dhexdhexaadiyuhu wuxuu ku qaataa 10 ilbiriqsi hubinta hal xayeysiis. Waxaa intaa dheer, tirada khaladaadku kama badna 0,5% dhammaan xayeysiisyada la xaqiijiyay.
Dhexdhexaadnimada dadka
Asxaabtii Odnoklassniki xitaa way sii socdeen waxayna ka faa'iideysteen "caawinta daawadayaasha": waxay u qoreen codsi ciyaarta shabakada bulshada taas oo aad si dhakhso ah u calaamadin karto tiro badan oo xog ah, oo muujinaya calaamado xun - Odnoklassniki Moderator (). Hab wanaagsan oo looga faa'iidaysto caawinta isticmaalayaasha OK kuwaas oo isku dayaya inay ka dhigaan nuxurka mid aad loogu raaxaysto.
Ciyaar ay isticmaalayaashu ku dhejiyaan sawirro uu lambar taleefan ku qoran yahay.
Saf kasta oo xayeysiis ah oo ku jira goobta waxaa loo wareejin karaa ciyaarta Moderator Odnoklassniki. Wax kasta oo isticmaalayaasha ciyaarta ay calaamadeeyaan ayaa markaa loo diraa dhexdhexaadiyeyaasha gudaha si loo xaqiijiyo. Nidaamkani wuxuu kuu ogolaanayaa inaad xannibto xayeysiisyada aan weli la abuurin filtarrada, oo isku mar la sameeyo muunadaha tababarka.
Kaydinta natiijooyinka dhexdhexaadinta
Waxaan keydineynaa dhammaan go'aammada la gaaro inta lagu jiro dhexdhexaadinta si aynaan dib-u-habeyn u sameynin xayeysiisyadaas oo aan horay u go'aansannay.
Malaayiin koox ayaa la abuuraa maalin kasta iyadoo lagu salaynayo xayaysiisyada. Waqti ka dib, koox kasta waxaa lagu calaamadiyaa "wanaagsan" ama "xun." Xayeysiis kasta oo cusub ama dib u eegisteeda, gelaysa koox calaamad leh, waxay si toos ah u helaysaa xallinta kooxda lafteeda. Waxaa jira qiyaastii 20 kun oo sida oo kale ah xallinta tooska ah maalintii.
Haddi aanay ogaysiis cusub u iman kooxda, waa laga saaray xusuusta oo xashiishkeeda iyo xalkeeda waxa loo qoraa Apache Cassandra.
Marka madalku hesho xayaysiis cusub, waxay marka hore isku daydaa inay hesho koox la mid ah kuwii hore loo abuuray oo ay xal ka qaadato. Haddii aysan jirin koox sidaas oo kale ah, madalku wuxuu aadaa Cassandra oo wuxuu eegayaa halkaas. Ma heshay? Wayn, khusaysaa xalka kooxda oo u dirtaa Yula. Waxaa jira celcelis ahaan 70 kun oo go'aanno "soo noqnoqda" ah maalin kasta - 8% wadarta guud.
Si loo soo koobo
Waxaan isticmaalnay habka dhexdhexaadinta Odnoklassniki laba sano iyo badh. Waxaan jecelnahay natiijooyinka:
- Waxaan si toos ah u dhexdhexaadineynaa 94% dhammaan xayeysiisyada maalintii.
- Qiimaha dhexdhexaadinta hal xayeysiis ayaa laga dhimay 2 rubles ilaa 7 kopecks.
- Waad ku mahadsan tahay qalabka diyaarsan, waxaan iloobey dhibaatooyinka maaraynta dhexdhexaadiyeyaasha.
- Waxa aanu kordhinay tirada xayaysiisyada gacanta lagu farsameeyay 2,5 jeer iyada oo isla tirada dhexdhexaadiyeyaasha iyo miisaaniyada. Tayada dhexdhexaadinta buug-gacmeedku sidoo kale way korodhay sababtoo ah kontoroolka otomaatiga ah, oo isbedbedelaya 0,5% khaladaadka.
- Waxaan si dhakhso ah ugu daboolnaa noocyo cusub oo spam ah oo leh filtarrada.
- Waxaan si degdeg ah ugu xidhi waaxyo cusub dhexdhexaadinta . Laga soo bilaabo 2017, Yula waxa ay ku dartay Guryaha Ma-guurtada ah, Shaqooyinka Banaan iyo Toosyada Gawaarida.
Source: www.habr.com