Dib u qor xogta fariinta VKontakte xoq oo badbaadi

Isticmaalayaashayadu waxay qoraan farriimaha midba midka kale iyaga oo aan garanaynin daalka.

Taasi waa wax badan. Haddii aad dejisay inaad akhrido dhammaan fariimaha dhammaan isticmaaleyaasha, waxay qaadan doontaa in ka badan 150 kun oo sano. Waa haddii aad tahay akhriste horumarsan oo aan wax ka badan ilbiriqsi ku bixin fariin kasta.

Xogta baaxadda leh, waxaa muhiim ah in caqli-galnimada kaydinta iyo gelitaankeeda ay si wanaagsan u dhisto. Haddii kale, hal daqiiqo oo aan yaab lahayn, waxaa laga yaabaa inay caddaato in wax walba ay dhowaan khaldami doonaan.

Annaga, xilligan waxay timid sannad iyo badh ka hor. Sida aan ku nimid tan iyo wixii dhacay aakhirkii - waxaan kuu sheegaynaa sida ay u kala horreeyaan.

Taariikhda

Hirgelintii ugu horreysay, farriimaha VKontakte waxay ka shaqeeyeen isku-darka dhabarka PHP iyo MySQL. Tani waa xal gabi ahaanba caadi ah oo loogu talagalay mareegaha ardayda yar. Si kastaba ha ahaatee, goobtani waxay u kortay si aan la xakamayn karin waxayna bilowday inay dalbato hagaajinta qaababka xogta lafteeda.

Dhammaadkii 2009, waxaa la qoray kaydkii ugu horreeyay ee matoorka qoraalka, 2010-kiina farriimaha ayaa loo wareejiyay.

Matoorka qoraalka, fariimaha ayaa lagu kaydiyay liisaska - nooc ka mid ah "sanduuqa boostada". Liis kasta oo noocaas ah waxaa go'aamiya uid - isticmaalaha leh dhammaan fariimahan. Farriintu waxay leedahay sifooyin kala duwan: Aqoonsiyaha interlocutor, qoraal, lifaaq, iyo wixii la mid ah. Aqoonsiga fariinta gudaha "sanduuqa" waa local_id, waligiis isma beddelo waxaana si isdaba joog ah loogu qoondeeyaa fariimaha cusub. "sanduuqyada" waa kuwo madax banaan oo aan isku mid ahayn gudaha matoorka; isgaarsiinta dhexdooda waxay ku dhacdaa heerka PHP. Waxaad ka eegi kartaa qaab-dhismeedka xogta iyo awoodaha matoorka qoraalka gudaha gudaha halkan.

Tani waxay aad ugu filnaatay waraaqaha u dhexeeya labada isticmaale. Bal qiyaas maxaa dhacay ka dib?

Bishii Maajo 2011, VKontakte waxay soo bandhigtay wada-hadallo dhowr ah oo ka-qaybgalayaal ah - wada sheekaysi badan. Si aan ula shaqayno iyaga, waxaanu soo kicinay laba kooxood oo cusub - xubin-sheekaysi iyo xubno-sheekeysi. Midka kowaad wuxuu kaydiyaa xogta ku saabsan sheekeysiga isticmaalayaashu, ka labaadna wuxuu kaydiyaa xogta isticmaalayaasha iyadoo la sheekeysanayo. Marka lagu daro liisaska laftooda, tan waxaa ku jira, tusaale ahaan, isticmaalayaasha martiqaadka ah iyo wakhtiga lagu daray sheekada.

"PHP, aan fariin u dirno wada sheekeysiga," isticmaaluhu wuxuu leeyahay.
"Kaalay, {username}," ayuu yidhi PHP.

Waxaa jira faa'iido darrooyin qorshahan. Wada shaqayntu wali waa masuuliyada PHP. Sheekooyin waaweyn iyo isticmaalayaasha isku mar u soo dira fariimaha iyaga waa sheeko khatar ah. Maadaama tusaale ahaan mishiinka qoraalka ku xidhan yahay uid, ka qaybgalayaasha sheekadu waxay heli karaan fariin isku mid ah waqtiyo kala duwan. Middaani waa la noolaan karaa haddii horumarku istaago. Laakiin taasi ma dhici doonto.

Dhammaadkii 2015, waxaanu bilownay fariimaha bulshada, bilawgii 2016-ka, waxaanu u furnay API-ga. Markii ay soo shaac-baxeen chatbot-yada waaweyn ee bulshooyinka, waxaa suurtagal ahayd in la iloobo xitaa qaybinta rarka.

Bot-ka wanaagsan wuxuu soo saaraa dhowr milyan oo farriimo maalintii - xitaa isticmaalayaasha ugu hadalka badan ma ku faani karaan tan. Tani waxay ka dhigan tahay in xaaladaha qaarkood ee mishiinka qoraalka, kuwaas oo bots-ku ku noolaayeen, ay bilaabeen inay si buuxda u xanuunsadaan.

Matoorada fariimaha ee sanadka 2016 waa 100 dhacdo oo ah xubnaha sheekaysiga iyo wada sheekaysiga xubnaha, iyo 8000 matoorada qoraalka ah. Waxaa lagu marti galiyay kun server, mid walbana wuxuu heystaa 64 GB oo xusuusta ah. Cabbirkii ugu horreeyay ee degdegga ah, waxaan ku kordhinnay xusuusta 32 GB oo kale. Waxaan qiyaasnay ​​saadaasha. Haddii aysan jirin isbeddello daran, tani waxay ku filnaan lahayd ilaa sannad kale. Waxaad u baahan tahay in aad haysato qalab ama aad kor u qaaddo kaydadka xogta laftooda.

Sababtoo ah dabeecadda qaab-dhismeedka, waxa kaliya oo macno leh in la kordhiyo hardware ee dhufashada. Taasi waa, ugu yaraan labanlaab tirada baabuurta - cad, tani waa waddo qaali ah. Waan hagaajin doonaa

Fikrad cusub

Nuxurka udub-dhexaadka habka cusubi waa sheeko-sheekeysi. Sheekadu waxay leedahay liis fariimo ah oo la xidhiidha. Isticmaaluhu wuxuu leeyahay liis wada sheekaysi

Waxa ugu yar ee loo baahan yahay waa laba xog-ururin oo cusub:

• mashiinka-sheekeysiga. Tani waa kaydka vectors sheekeysiga Sheeko kastaa waxay leedahay farriimaha farriimaha la xiriira. Fariin kastaa waxay leedahay qoraal iyo tilmaame fariin gaar ah oo ku dhex jira wada sheekaysiga - chat_local_id.
• matoorka isticmaale. Tani waa kaydinta isticmaalayaasha vectors - isku xirka isticmaalayaasha. Isticmaale kastaa waxa uu leeyahay vector peer_id (interlocutors - isticmaalayaasha kale, wada sheekaysiga badan ama bulshooyinka) iyo qayb fariimaha Peer_id kastaa waxa uu leeyahay qayb farriimo ah oo la xidhiidha. Fariin kastaa waxay leedahay chat_local_id iyo aqoonsiga fariinta gaarka ah ee isticmaalaha - user_local_id.

Kooxaha cusubi waxay ku wada xidhiidhaan midba midka kale iyagoo isticmaalaya TCP - tani waxay hubinaysaa in nidaamka codsigu aanu isbeddelin. Codsiyada laftooda iyo xaqiijinta iyaga ayaa lagu duubay darawalka adag - sidaas darteed waxaan dib u soo celin karnaa xaaladda safka wakhti kasta ka dib fashilka ama dib u bilaabista mishiinka. Maaddaama mashiinka-isticmaalka iyo mashiinka-sheekeysiga ay yihiin 4 kun oo shards midkiiba, safka codsiga ee u dhexeeya kooxaha ayaa loo qaybin doonaa si siman (laakiin dhab ahaantii ma jiro midna - oo si dhakhso ah ayuu u shaqeeyaa).

Ku shaqaynta diskka ee xog ururinteena xaaladaha badankooda waxay ku salaysan tahay isku darka diiwaanka isbeddelka ee laba-jibaaran (binlog), sawir-qaadista static iyo sawirka qayb ahaan xusuusta. Isbeddellada inta lagu jiro maalinta waxaa loo qoraa binlog, iyo sawirka xaaladda hadda jirta ayaa si xilliyo ah loo abuuraa. Sawirka sawirku waa ururinta qaabdhismeedka xogta ee loo habeeyay ujeedooyinkayaga. Waxay ka kooban tahay madax (metaindex of the image) iyo set of metafiles. Madaxa waxa uu si joogto ah ugu kaydsan yahay RAM wuxuuna tilmaamayaa halka laga raadiyo xogta sawirka sawirka. Metafile kastaa waxa ku jira xog ay u badan tahay in loo baahdo meelaha dhow wakhtiga - tusaale, la xidhiidha hal isticmaale. Markaad waydiiso xogta xogta adoo isticmaalaya madaxa sawir-qaadista, metafile-ka loo baahan yahay waa la akhrinayaa, ka dibna isbeddelada ku yimaadda binlog-ga ka dib markii sawirka sawirka la sameeyay ayaa la tixgalinayaa. Waxaad wax badan ka akhriyi kartaa faa'iidooyinka habkan halkan.

Isla mar ahaantaana, xogta ku saabsan darawalka adag laftiisa ayaa isbeddelaya hal mar oo keliya maalintii - habeenkii dambe ee Moscow, marka culeysku yar yahay. Waad ku mahadsan tahay tan (innaga oo og in qaab-dhismeedka diskku uu yahay mid joogto ah maalintii oo dhan), waxaan awoodnaa inaan ku beddelno vectors leh qaabab cabbir go'an - iyo tan awgeed, helitaanka xusuusta.

Diritaanka fariinta nidaamka cusub waxay u egtahay sidan:

1. Dib-u-celinta PHP waxay la xiriirtaa matoorka isticmaalaha codsi ah inuu farriin u diro.
2. Matoorka isticmaalaha waxa uu codsiga u gudbiyaa matoorka-chat-engine-ka la doonayo, kaas oo ku soo noqda matoorka isticmaalaha chat_local_id - tilmaame gaar ah oo fariin cusub oo ku dhex jirta wada sheekaysigan. Chat_engine-ka ayaa markaa sii daaya farriinta dhammaan dadka qaata sheekeysiga.
3. Matoorka isticmaalaha waxa uu ka helaa chat_local_id engine-ka oo ku celiyaa user_local_id PHP - fariinta gaarka ah ee isticmaalahan. Aqoonsigan ayaa markaa la isticmaalaa, tusaale ahaan, si loogula shaqeeyo fariimaha API-ga.

Laakiin marka lagu daro diritaanka fariimaha, waxaad u baahan tahay inaad hirgeliso dhowr waxyaalood oo muhiim ah:

• Liis-hoosaadyadu waa, tusaale ahaan, farrimihii ugu dambeeyay ee aad aragto marka aad furayso liiska wada hadalka. Fariimaha aan la akhriyin, fariimaha leh summada ("muhiim", "Spam", iwm.).
• Cadaadiska fariimaha ku jira mashiinka-sheekeysiga
• Ku kaydinta fariimaha matoorka isticmaalaha
• Ka raadi (dhammaan wada-hadallada iyo mid gaar ah).
• Cusboonaysiinta waqtiga-dhabta ah (Longpolling).
• Kaydinta taariikhda si loo hirgeliyo kaydinta macaamiisha mobaylada

Dhammaan liisas-hoosaadyada ayaa si degdeg ah u beddelaya qaab-dhismeedyada. Si aan ula shaqayno iyaga ayaanu isticmaalnaa Splay geedo. Doorashadan waxaa lagu sharraxay xaqiiqda ah in dusha sare ee geedka aan mararka qaarkood ku kaydinno qayb dhan oo farriimo ah oo laga soo qaaday sawir-qaadis - tusaale ahaan, ka dib habeynta habeenkii, geedku wuxuu ka kooban yahay hal sare, kaas oo ka kooban dhammaan fariimaha hoose. Geedka Splay waxa uu fududeeyaa in la geliyo dhexda barxaddan iyada oo aan laga fikirin dheellitirnaanta. Intaa waxaa dheer, Splay ma kaydiso xogta aan loo baahnayn, taas oo na badbaadisa xusuusta.

Farriimaha waxay ku lug leeyihiin tiro badan oo macluumaad ah, oo u badan qoraal, taas oo faa'iido leh si loo awoodo in la isku cadaadiyo. Waa muhiim inaan si sax ah u kaydin karno xitaa hal fariin oo gaar ah. Loo isticmaalo in lagu cadaadiyo fariimaha Huffman algorithm oo leh heuristics noo gaar ah - tusaale ahaan, waxaan ognahay in farriimaha ereyada ay ku beddelan yihiin "ereyo aan ahayn" - meelo bannaan, calaamadaha xarakaynta - iyo sidoo kale waxaan xasuusannaa qaar ka mid ah sifooyinka isticmaalka calaamadaha luqadda Ruushka.

Maadaama ay jiraan isticmaaleyaal aad uga yar kuwa la sheekeysto, si loo badbaadiyo codsiyada galitaanka diskka ee mashiinka-sheekeysiga, waxaan ku kaydinnaa fariimaha matoorka isticmaalaha.

Raadinta fariinta waxa loo hirgaliyay sidii su'aal xagal ah oo laga bilaabo matoorka isticmaalaha ilaa dhamaan mishiinada chat-engine ee ka kooban sheekaysiga isticmaalaha. Natiijooyinka waxaa lagu daraa matoorka isticmaalaha laftiisa.

Hagaag, dhammaan faahfaahinta waa la tixgeliyey, waxa hadhay oo dhan waa in loo beddelo nidaam cusub - oo la doorbido iyada oo aan isticmaalayaashu ogaanin.

guuritaanka xogta

Markaa, waxaanu haynaa mishiin qoraal ah oo kaydiya fariimaha isticmaalaha, iyo laba kooxood oo wada sheekaysi-xubnood iyo xubin-sheekaysi oo kaydiya xogta qolalka-sheekaysiga badan iyo isticmaalayaasha ku jira. Sidee looga gudbi karaa kan cusub ee isticmaala-matoorka iyo mashiinka-sheekeysiga?

Sheekaysiga xubinta ah ee qaabkii hore ayaa ugu horrayn loo isticmaali jiray tayaynta. Waxaan si deg deg ah uga wareejinay xogta lagama maarmaanka ah ee xubnaha chat-xubnaha, ka dibna kamay qayb qaadan habka socdaalka.

Safka loogu jiro xubnaha sheekaysiga Waxaa ka mid ah 100 xaaladood, halka engine-chat uu leeyahay 4 kun. Si aad u wareejiso xogta, waxaad u baahan tahay inaad u hoggaansanto - tan, xubnaha-sheekeysiga ayaa loo qaybiyay 4 kun oo nuqul oo isku mid ah, ka dibna akhrinta binlog-members binlog ayaa awood u yeeshay mashiinka-sheekeysiga.

Hadda chat-engine waxa uu ka yaqaanaa chat-ka badan ee xubnaha chat-ka, laakiin wali waxba kama oga wada hadalka laba qof oo wada hadlaya. Wadahadalada noocan oo kale ah waxay ku yaalaan mashiinka qoraalka iyadoo la tixraacayo isticmaalayaasha. Halkan waxaan ku qaadnay xogta "madaxa-ka-hortagga": tusaale kasta oo ku-sheekeysiga-matoorka ah wuxuu weydiiyay dhammaan tusaalooyinka mashiinka qoraalka-qoraalka haddii ay leeyihiin wada-hadalka ay u baahan yihiin.

Way fiican tahay - mashiinka-sheekeysiga wuxuu yaqaanaa waxa wada-sheekeysiga badan leh ee jira wuxuuna yaqaanaa wada-hadallada jira.
Waxaad u baahan tahay inaad fariimaha ku dhex darsato wada sheekaysi-hawleedyo badan si aad ugu dhamaato liiska fariimaha sheekaysiga kasta. Marka hore, mishiinka-sheekadu waxa uu ka soo saarayaa mishiinka qoraalka dhammaan fariimaha isticmaalaha wada sheekaysigan. Xaaladaha qaarkood waxaa jira aad u badan oo iyaga ka mid ah (ilaa boqolaal milyan), laakiin marka laga reebo aad dhif u ah sheekadu waxay ku habboon tahay gabi ahaanba RAM. Waxaan haynaa farriimo aan la dalban, mid walbana dhowr koobi - ka dib, dhammaantood, dhammaantood waxaa laga soo jiiday tusaaleyaal-matoorka qoraalka ee kala duwan oo u dhiganta isticmaalayaasha. Hadafka ayaa ah in la kala saaro fariimaha lagana takhaluso nuqullo qaadata meel aan loo baahnayn.

Farriin kastaa waxay leedahay shaambad wakhti ah oo ka kooban wakhtiga la diray iyo qoraalka. Waxaan u isticmaalnaa waqti kala-soocidda - waxaan dhignaa tilmaameyaal farriimaha ugu da'da weyn ee kaqeybgalayaasha multichat waxaanan is barbar dhignaa hashes qoraalka nuqullada loogu talagalay, una dhaqaaqnay kordhinta shaambada waqtiyada. Waa macquul in koobiyada ay lahaan doonaan xashiishad isku mid ah iyo waqti-shaabad, laakiin ficil ahaan tani mar walba ma dhacdo. Sida aad xasuusato, isku-dubbaridka nidaamkii hore waxaa fuliyay PHP - iyo xaalado dhif ah, wakhtiga dirida fariin isku mid ah ayaa ku kala duwanaa isticmaalayaasha kala duwan. Xaaladahan, waxaan u ogolaanay nafteena inaan wax ka bedelno shaambada waqtiyada - badiyaa ilbiriqsi gudaheed. Dhibaatada labaad waa habka kala duwan ee fariimaha kala duwan ee qaataha kala duwan. Xaaladahan oo kale, waxaan ogolaanay in la abuuro koobi dheeri ah, oo leh xulashooyin kala duwan oo kala duwan oo isticmaalayaasha kala duwan ah.

Taas ka dib, xogta ku saabsan fariimaha ku jira multichat waxaa loo diraa matoorka isticmaalaha. Oo halkan waxaa ku yimid muuqaal aan fiicneyn oo fariimaha la soo dhoofiyo. Hawlgalka caadiga ah, fariimaha ku yimaada mishiinka waxaa si adag u dalbada user_local_id. Farriimaha laga keenay mishiinkii hore ee la geliyay mishiinka isticmaalaha ayaa lumay hantidan waxtarka leh. Isla mar ahaantaana, si ay ugu sahlanaato imtixaanka, waxaad u baahan tahay inaad awood u yeelatid inaad si degdeg ah u gasho, wax ka raadiso iyaga oo ku dar kuwa cusub.

Waxaan isticmaalnaa qaab-dhismeedka xogta gaarka ah si aan u kaydino fariimaha la soo dejiyo.

Waxay ka dhigan tahay vector cabbirkiisu yahay aaway dadkii oo dhan - way kala duwan yihiin oo waxay u amreen siday u kala horreeyaan, oo leh nidaam gaar ah oo xubno ah. Qayb kasta oo leh tusmooyin curiyayaasha waa la kala soocaa. Raadinta shay ku jira qaabkan oo kale waxay qaadataa wakhti iyada oo loo marayo raadinta binary. Ku darida curiyaha waa la dhimay .

Markaa, waxaanu ogaanay sida loogu wareejiyo xogta matooradii hore loona wareejiyo kuwa cusub. Laakiin habkani wuxuu qaataa dhowr maalmood - mana dhici karto in maalmahan isticmaalayaashayadu ay ka tanaasulaan caadadii inay wax u qoraan midba midka kale. Si aanan u lumin fariimaha inta lagu jiro wakhtigan, waxaan u wareegnaa nidaam shaqo oo adeegsada kooxo duug ah iyo kuwa cusub labadaba.

Xogta waxaa loo qoray xubnaha-chat-xubnaha iyo matoorka isticmaalaha (oo aan loo qorin matoorka qoraalka, sida hawlgalka caadiga ah si waafaqsan nidaamkii hore). Matoorka isticmaalaha wuxuu wakiil ka noqdaa codsiga mashiinka-chat-engine - halkanna habdhaqanku wuxuu ku xiran yahay in sheekadan mar hore la isku daray iyo in kale. Haddii aan sheekadu weli la midoobin, injiin-ku-sheekadu ma qorin fariinta lafteeda, habaynteeduna waxa ay ku dhacdaa mishiinka qoraalka oo keliya. Haddii sheekadu mar hore lagu daray mashiinka-chat, waxay ku soo celisaa chat_local_id matoorka isticmaalaha waxayna u dirtaa fariinta dhammaan dadka qaata. Isticmaalaha-engine-ku wuxuu u taagan yahay dhammaan xogta matoorka qoraalka - si haddii ay wax dhacaan, aan mar walba dib u soo celin karno, annaga oo haysanno dhammaan xogta hadda jirta ee mishiinkii hore. Matoorka qoraalka wuxuu soo celiyaa user_local_id, kaas oo matoorka isticmaalahu kaydiyo oo ku noqda dhabarka dambe.

Natiijo ahaan, habka kala-guurka ayaa u eg sidan: waxaan isku xireynaa matoorka isticmaale-matoorka iyo kooxaha-matoorka-sheekeysiga. Matoorka-chatku waxa uu akhriyaa dhammaan chat-members binlog, ka dib wakiilnimadu waxa ay ku bilaabataa hab waafaqsan nidaamka kor lagu sharaxay. Waxaanu wareejinaa xogtii hore waxaanu helnaa laba rucubood oo isku xidhan (mid hore iyo mid cusub). Waxa hadhay oo dhan waa in akhriska laga beddelo mishiinka qoraalka loona beddelo matoorka isticmaalaha oo la joojiyo wakiilnimada.

Результаты

Waad ku mahadsan tahay habka cusub, dhammaan cabbirada waxqabadka matoorada ayaa la hagaajiyay iyo dhibaatooyinka joogtada ah ee xogta ayaa la xaliyay. Hadda waxaan si dhakhso ah u hirgelin karnaa sifooyin cusub oo farriimaha ah (oo aan horeyba u bilownay inaan tan sameyno - waxaan kordhinnay tirada ugu badan ee kaqeybgalayaasha wada sheekeysiga, hirgelinta raadinta farriimaha la soo gudbiyo, waxaan bilaabay farriimaha la dhejiyay waxaanan sare u qaadnay xadka tirada guud ee fariimaha isticmaale kasta) .

Isbeddellada caqligu runtii waa kuwo aad u weyn. Oo waxaan jeclaan lahaa in aan ogaado in tani aysan had iyo jeer macnaheedu ahayn sannado dhan oo horumar ah oo ay sameeyeen koox weyn iyo kumanaan xariiqyo kood ah. chat-engine iyo user-engine oo ay la socdaan dhammaan sheekooyinka dheeriga ah sida Huffman ee fariinta fariinta, Splay geedaha iyo qaab dhismeedka fariimaha la soo dhoofiyo waa in ka yar 20 kun oo khadadka code. Waxaana qoray 3 horumariye 10 bilood gudahood (si kastaba ha ahaatee, waxaa habboon in maskaxda lagu hayo taas oo dhan saddex horumariyaha - horyaalada aduunka ee barnaamijyada ciyaaraha).

Intaa waxaa dheer, halkii la laba jibaari lahaa tirada server-yada, waxaan hoos u dhignay tiradooda nus - hadda matoorka isticmaala-matoorka iyo mashiinka-sheekeysiga waxay ku nool yihiin 500 oo mashiinnada jirka ah, halka nidaamka cusub uu leeyahay qol weyn oo xamuul ah. Waxaan ku badbaadinay lacag badan qalab - ilaa $5 milyan + $750 kun sanadkii kharashyada hawlgalka.

Waxaan ku dadaaleynaa in aan helno xalka ugu fiican ee dhibaatooyinka ugu kakan iyo kuwa baaxadda leh. Waxaan haysanaa wax badan oo iyaga ka mid ah - waana sababta aan u raadineyno horumariyayaal karti leh waaxda xogta. Haddii aad jeceshahay oo aad taqaano sida loo xalliyo dhibaatooyinkan oo kale, aad u leedahay aqoon heer sare ah algorithms iyo qaabdhismeedka xogta, waxaan kugu martiqaadeynaa inaad ku biirto kooxda. Nala soo xidhiidh HRwixii faahfaahin ah.

Xitaa haddii aysan sheekadani adiga kugu saabsanayn, fadlan ogow in aanu qiimayno talooyinka. U sheeg saaxiib boosaska horumariyaha, oo haddii uu si guul leh u dhamaystiro muddada tijaabada, waxaad heli doontaa gunno 100 kun oo rubi ah.

Source: www.habr.com