Merheba, navê min Evgeniy e. Ez di binesaziya lêgerîna Yandex.Market de dixebitim. Ez dixwazim ji civata Habrê re behsa metbexa hundirê Sûkê bikim - û ez gelek tişt hene ku ez bêjim. Berî her tiştî, lêgerîna Bazarê çawa dixebite, pêvajo û mîmarî dike. Em çawa bi rewşên awarte re mijûl dibin: ger serverek têkeve çi diqewime? Ger 100 serverên weha hebin çi?
Her weha hûn ê fêr bibin ka em çawa bi yekcarî fonksiyonên nû li ser komek serveran bicîh dikin. Û em çawa karûbarên tevlihev rasterast di hilberînê de ceribandin, bêyî ku tu nerehetiyê bidin bikarhêneran. Bi gelemperî, lêgerîna Bazarê çawa dixebite da ku her kes demek xweş derbas bike.
Piçek li ser me: em çi pirsgirêkê çareser dikin
Dema ku hûn nivîsê binivîsin, li hilberek li gorî pîvanan bigerin, an bihayên li firotgehên cihêreng bidin ber hev, hemî daxwaz ji karûbarê lêgerînê re têne şandin. Lêgerîn di Bazarê de karûbarê herî mezin e.
Em hemî daxwazên lêgerînê pêvajoyê dikin: ji malperên market.yandex.ru, beru.ru, karûbarê Supercheck, Yandex.Advisor, sepanên mobîl. Em di encamên lêgerînê de li ser yandex.ru jî pêşniyarên hilberê vedigirin.
Mebesta min ji karûbarê lêgerînê ne tenê lêgerîna bixwe ye, lê di heman demê de databasek bi hemî pêşniyarên li ser Bazarê re jî heye. Pîvan ev e: zêdetirî mîlyar daxwazên lêgerînê her roj têne kirin. Û divê her tişt zû, bê navber bixebite û her gav encamek xwestî derxe holê.
Çi ye: Mîmariya bazarê
Ez ê bi kurtî mîmariya heyî ya Bazarê vebêjim. Ew dikare bi hûrgulî bi diyagrama jêrîn were ravekirin:
Em bêjin dikaneke hevkar tê cem me. Dibêje ez dixwazim pêlîstokekê bifroşim: ev pisîka xerab a bi qijik. Û pisîkeke din a hêrsbûyî bê qijik. Û tenê pisîkek. Dûv re firotgeh pêdivî ye ku pêşniyarên ku Bazarê lê digere amade bike. Firoşgeh bi pêşniyaran xmlek taybetî çêdike û riya vê xml bi navgîniya pêwendiyê re radigihîne. Dûv re indexer bi periyodîk vê xml dakêşîne, xeletiyan kontrol dike û hemî agahdarî di databasek mezin de tomar dike.
Gelek xml-yên weha yên tomarkirî hene. Indeksa lêgerînê ji vê databasê tê çêkirin. Indeks di forma navxweyî de tê hilanîn. Piştî çêkirina îndeksê, karûbarê Layout wê li serverên lêgerînê bar dike.
Wekî encamek, pisîkek bi hêrs bi qîrînek di databasê de xuya dike, û navnîşa pisîkê li ser serverê xuya dike.
Ez ê ji we re vebêjim ka em çawa di beşa li ser mîmariya lêgerînê de li pisîkekê digerin.
mîmariya lêgerîna bazarê
Em di cîhanek mîkroxizmetan de dijîn: her daxwazek hatî dibe sedema gelek pirsan, û bi dehan karûbar di pêvajoya wan de beşdar dibin. Diagram tenê çend nîşan dide:
Pîlana hilanîna daxwazê ya hêsan
Her karûbar xwedan tiştek ecêb e - balansek xwe bi navek bêhempa:
Balansek di birêvebirina karûbarê de nermbûnek mezintir dide me: hûn dikarin, mînakî, pêşkêşkeran, ku pir caran ji bo nûvekirinan hewce ne, vekin. Balanser dibîne ku server ne berdest e û bixweber daxwazan ber bi serverên din an navendên daneyê ve vedigerîne. Dema ku serverek lê zêde bike an jê bibe, bar bixweber di navbera pêşkêşkeran de ji nû ve tê dabeş kirin.
Navê yekta ya hevseng bi navenda daneyê ve ne girêdayî ye. Dema ku karûbarê A daxwazek ji B re dike, wê hingê ji hêla hevsengkera xwerû B ve daxwazê ber bi navenda daneya heyî ve beralî dike. Ger karûbar ne berdest be an di navenda daneya heyî de tune be, wê hingê daxwaz ji navendên daneyê yên din re tê vegerandin.
Yek FQDN ji bo hemî navendên daneyê dihêle ku karûbarê A bi tevahî ji cîhan veqetîne. Daxwaza wî ya ji bo karûbarê B dê her dem were pêvajo kirin. Îstîsna ev e ku dema ku karûbar di hemî navendên daneyê de cih digire.
Lê bi vê balanserê her tişt ne ew qas şêrîn e: me hêmanek navîn a din heye. Dibe ku hevseng ne aram be, û ev pirsgirêk ji hêla serverên zêde ve tê çareser kirin. Di navbera servîsên A û B de derengiyek zêde jî heye. Lê di pratîkê de ew ji 1 ms kêmtir e û ji bo piraniya karûbaran ev ne krîtîk e.
Têkiliya bi Neçaverê: Hevsengiya Karûbarê Lêgerînê û Berxwedêrî
Bifikirin ku hilweşînek heye: hûn hewce ne ku pisîkek bi qîrîn bibînin, lê server têk diçe. An jî 100 server. Meriv çawa derkeve? Ma em ê bi rastî bikarhênerê bê pisîk bihêlin?
Rewş tirsnak e, lê em jê re amade ne. Ez ê bi rêzê ji te re bêjim.
Binesaziya lêgerînê di gelek navendên daneyê de cih digire:
Dema sêwiranê, em îhtîmala girtina yek navendek daneyê vedigirin. Jiyan tijî surprîz e - mînakî, kolberek dikare kabloyek binerdê bibire (erê, wusa bû). Divê kapasîteya di navendên daneyê yên mayî de bes be ku li ber bargiraniya lûtkeyê bisekinin.
Ka em navendek daneya yekane bifikirin. Her navendek daneyê xwediyê heman pilana xebata balanserê ye:
Yek hevseng bi kêmî ve sê serverên laşî ne. Ev zêdebûn ji bo pêbaweriyê tê çêkirin. Balancers li ser HAProx dixebitin.
Me HAProx hilbijart ji ber performansa wê ya bilind, pêdiviyên çavkaniyê kêm û fonksiyona berfireh. Nermalava lêgerîna me di hundurê her serverê de dimeşe.
Îhtîmala têkçûna serverek kêm e. Lê heke gelek serverên we hebin, îhtîmala ku bi kêmanî yek dakeve zêde dibe.
Ya ku di rastiyê de diqewime ev e: server têk diçin. Ji ber vê yekê, pêdivî ye ku bi berdewamî rewşa hemî serveran bişopînin. Ger server bersivê bide sekinandin, ew bixweber ji trafîkê tê qut kirin. Ji bo vê armancê, HAProxy xwedan kontrolek tenduristiyê ya çêkirî ye. Ew bi daxwazek HTTP "/ping" di saniyeyekê de carekê diçe hemî pêşkêşkeran.
Taybetmendiyek din a HAProxy: agent-check dihêle hûn hemî pêşkêşkeran bi yeksan bar bikin. Ji bo vê yekê, HAProxy bi hemî pêşkêşkeran ve girêdide, û ew giraniya xwe li gorî barkirina heyî ji 1 heya 100 vedigerînin. Giranî li gorî hejmara daxwazên di dorê de ji bo pêvajoyê û barkirina li ser pêvajoyê tê hesibandin.
Niha li ser dîtina pisîkê. Encamên lêgerînê di daxwazên wekî: /search?text=hêrs+pisik. Ji bo ku lêgerîn bilez be, pêdivî ye ku tevaya pisîkê di RAM-ê de cih bigire. Tewra xwendina ji SSD-ê ne bes zû ye.
Carekê, databasa pêşkêşiyê piçûk bû, û RAM-a serverek têra wê dikir. Her ku bingeha pêşniyarê mezin bû, êdî her tişt di vê RAM-ê de cîh nagire, û dane li du beşan hate dabeş kirin: şûşe 1 û 2.
Lê ev her gav diqewime: her çareseriyek, her çend baş be jî, pirsgirêkên din derdixe holê.
Balanser dîsa jî çû ser her serverê. Lê li ser makîneya ku daxwaz lê hat, tenê nîvê indexê hebû. Ya mayî li ser serverên din bû. Ji ber vê yekê, server neçar ma ku biçe makîneyek cîran. Piştî wergirtina daneyan ji her du serveran, encam hatin berhev kirin û ji nû ve hatin rêz kirin.
Ji ber ku hevseng daxwazan bi yekdengî belav dike, hemî pêşkêşker bi ji nû ve rêzgirtinê ve mijûl bûn, û ne tenê daneyan şandin.
Ger serverek cîran tunebûya pirsgirêk derket. Çareserî ev bû ku gelek serverên bi pêşengên cihêreng wekî serverek "cîran" diyar bikin. Pêşîn, daxwaz ji pêşkêşkerên di refika heyî de hate şandin. Ger bersiv nebû, daxwaz ji hemî pêşkêşkerên vê navenda daneyê re hate şandin. Û di dawiyê de, daxwaz çû navendên daneyên din.
Her ku hejmara pêşniyaran zêde bû, dane li çar beşan hate dabeş kirin. Lê ev ne sînor bû.
Heya nuha, veavakirinek ji heşt şûşeyan tê bikar anîn. Digel vê yekê, ji bo ku hêj bêtir bîranîn hilîne, pêvek li beşa lêgerînê (ya ku ji bo lêgerînê tê bikar anîn) û beşek perçeyê (ku tevlê lêgerînê nabe) hate dabeş kirin.
Pêşkêşkarek tenê ji bo yek şûrek agahdarî dihewîne. Ji ber vê yekê, ji bo lêgerîna navnîşa tevahî, hûn hewce ne ku li ser heşt serverên ku perçeyên cûda hene bigerin.
Server di koman de têne kom kirin. Her komek heşt motorên lêgerînê û yek serverek perçeyê vedihewîne.
Pêşkêşkara snippet databasek nirx-kilît bi daneyên statîk dimeşîne. Ew hewce ne ku belgeyan derxînin, mînakî, danasîna pisîkek bi qijik. Daneyên taybetî bi serverek cihêreng têne veguheztin da ku bîranîna pêşkêşkerên lêgerînê neyê barkirin.
Ji ber ku nasnameyên belgeyan tenê di nav yek nîşanek de yekta ne, rewşek dikare derkeve holê ku di perçeyan de belge tune ne. Welê, an ku ji bo yek nasnameyê dê naverokek cûda hebe. Ji ber vê yekê, ji bo ku lêgerîn kar bike û encam were vegerandin, hewcedarî bi hevgirtinê li tevahiya komê hebû. Ez ê li jêr ji we re vebêjim ka em çawa lihevhatinê dişopînin.
Lêgerîn bixwe bi vî rengî tête saz kirin: daxwazek lêgerînê dikare ji her heşt pêşkêşkeran were. Ka em bibêjin ku ew hat servera 1. Ev server hemî argumanan pêvajoyê dike û fam dike ku li çi û çawa lê bigere. Li gorî daxwaziya hatî, server dikare ji bo agahdariya pêwîst daxwazên zêde ji karûbarên derveyî re bike. Yek daxwazek dikare bi deh daxwaznameyên karûbarên derveyî were şopandin.
Piştî berhevkirina agahdariya pêwîst, lêgerînek di databasa pêşniyarê de dest pê dike. Ji bo vê yekê, jêrpirsîn ji her heşt serverên di komê de têne çêkirin.
Dema ku bersiv têne wergirtin, encam têne hev kirin. Di dawiyê de, dibe ku ji bo hilberandina encaman çend lêpirsînên din ji servera snippet re hewce bibin.
Pirsên lêgerînê yên di nav komê de wiha xuya dikin: /shard1?text=hêrs+pisik. Digel vê yekê, pirsnameyên formê bi domdarî di navbera hemî pêşkêşkerên di nav komê de saniyek carekê têne çêkirin: /cî.
Daxwaz kirin /cî rewşek ku server ne amade ye destnîşan dike.
Di heman demê de ew kontrol dike ku guhertoya motora lêgerînê û guhertoya pêvekê li ser hemî serveran yek in, wekî din dê di nav komê de daneyên nehevgirtî hebin.
Tevî vê rastiyê ku serverek perçeyek daxwazên heşt motorên lêgerînê dişoxilîne, pêvajoya wê pir sivik barkirî ye. Ji ber vê yekê, em naha daneyên perçeyê vediguhezînin karûbarek cihê.
Ji bo veguheztina daneyan, me ji bo belgeyan mifteyên gerdûnî destnîşan kirin. Naha ne gengaz e ku rewşek ku naveroka belgeyek din bi karanîna yek mifteyê vegere.
Lê belê derbasbûna ji bo mîmariya din hîn temam nebûye. Naha em dixwazin ku ji servera snippet ya diyarkirî xilas bibin. Û dûv re bi tevahî ji avahiya komê dûr bikevin. Ev ê bihêle ku em bi hêsanî pîvandinê bidomînin. Bonusek din teserûfa hesin a girîng e.
Û niha ji çîrokên tirsnak ên bi dawiya kêfxweş re. Ka em çend rewşên nebûna serverê binirxînin.
Tiştek tirsnak qewimî: serverek ne berdest e
Em bêjin serverek ne berdest e. Dûv re serverên mayî yên di komê de dikarin bersivê bidomînin, lê encamên lêgerînê dê neqediya bin.
Bi rêya kontrolkirina statûyê /cî serverên cîran fêm dikin ku yek ne berdest e. Ji ber vê yekê, ji bo domandina tevahîbûnê, hemî pêşkêşkerên di komê de li gorî daxwazê /ping ew dest pê dikin ku bersivê bidin balanserê ku ew jî tune ne. Derket holê ku hemî serverên di komê de mirine (ku ne rast e). Ev kêmasiya sereke ya nexşeya meya komê ye - ji ber vê yekê em dixwazin jê dûr bikevin.
Daxwazên ku bi xeletiyek têk diçin ji hêla balanserê li ser serverên din ve têne şandin.
Balanser di heman demê de şandina seyrûsefera bikarhêner ji serverên mirî re rawestîne, lê berdewam dike ku rewşa wan kontrol bike.
Dema ku server peyda dibe, ew dest bi bersivdayînê dike /ping. Gava ku bersivên normal ên ping ji serverên mirî dest pê dikin, balans dest bi şandina seyrûsefera bikarhêner dikin wir. Operasyona komê ji nû ve hatî vegerandin, hurray.
Tewra xirabtir: gelek pêşkêşker ne berdest in
Beşek girîng a pêşkêşkerên li navenda daneyê têne qut kirin. Çi bikin, li ku birevin? Balansek dîsa tê alîkariyê. Her hevseng bi domdarî hejmara heyî ya serverên zindî di bîranînê de hilîne. Ew bi berdewamî mîqdara herî zêde ya seyrûsefera ku navenda daneya heyî dikare pêvajo bike hesab dike.
Gava ku di navendek daneyê de gelek server dadikevin, balansek fam dike ku ev navenda daneyê nikare hemî seyrûseferê bişopîne.
Dûv re seyrûsefera zêde dest pê dike ku bi korfelaqî li navendên daneyê yên din were belav kirin. Her tişt dixebite, her kes kêfxweş e.
Em çawa dikin: weşandina weşanên
Naha em biaxivin ka em guheztinên ku di karûbarê de hatine çêkirin çawa diweşînin. Li vir me riya hêsankirina pêvajoyan girtiye: derxistina berdanek nû hema hema bi tevahî otomatîk e.
Dema ku di projeyê de hejmarek guhertin têne berhev kirin, serbestberdana nû bixweber tê afirandin û avakirina wê dest pê dike.
Dûv re karûbar ji bo ceribandinê tê derxistin, ku li wir aramiya operasyonê tê kontrol kirin.
Di heman demê de, ceribandina performansa otomatîkî tê destpêkirin. Ev ji hêla karûbarê taybetî ve tê rêve kirin. Ez ê naha qala wê nekim - şirovekirina wê hêjayî gotarek cihê ye.
Ger weşana di ceribandinê de serketî be, weşana berdanê di prestable de bixweber dest pê dike. Prestable komek taybetî ye ku li wir seyrûsefera bikarhêner a normal tê rêve kirin. Ger ew xeletiyek vegerîne, balansker ji nû ve daxwazek hilberînê dike.
Di prestable de, demên bersivê têne pîvandin û bi berdana berê ya di hilberînê de têne berhev kirin. Ger her tişt baş be, wê hingê kesek bi hev ve girêdide: grafîkan û encamên ceribandina barkirinê kontrol dike û dûv re dest bi hilberînê dike.
Hemî çêtirîn ji bikarhêner re diçe: Testkirina A/B
Her gav ne diyar e ka dê guheztina karûbarek feydeyên rastîn bi xwe re bîne. Ji bo pîvandina kêrhatiya guhertinan, mirov bi ceribandina A/B derketin. Ez ê hinekî ji we re bibêjim ka ew çawa di lêgerîna Yandex.Market de dixebite.
Hemî bi lê zêdekirina parametreyek CGI-ya nû ya ku fonksiyona nû dike dest pê dike. Bila parametreya me ev be: market_new_functionality=1. Dûv re di kodê de heke ala hebe em vê fonksiyonê çalak dikin:
If (cgi.experiments.market_new_functionality) {
// enable new functionality
}Fonksiyonên nû di hilberînê de têne derxistin.
Ji bo otomatîkkirina ceribandina A/B, karûbarek taybetî heye ku agahdariya berfireh peyda dike . Di xizmetê de ceribandinek tête çêkirin. Parvekirina trafîkê tête danîn, wek nimûne, 15%. Sedî ne ji bo pirsan, lê ji bo bikarhêneran têne danîn. Demjimêra ceribandinê jî, mînakî, hefteyek tê destnîşan kirin.
Gelek ceribandin dikarin di heman demê de bêne meşandin. Di mîhengan de hûn dikarin diyar bikin ka hevberdana bi ceribandinên din re gengaz e.
Wekî encamek, karûbar bixweber argumanek zêde dike market_new_functionality=1 ji %15 bikarhêneran re. Di heman demê de ew bixweber metrîkên hilbijartî jî hesab dike. Piştî ku ezmûn qediya, analîst li encaman dinêrin û encaman derdixin. Li ser bingeha vedîtinan, biryarek tê girtin ku hilberandin an safîkirin were avêtin.
Destê jêhatî ya bazarê: ceribandina di hilberînê de
Pir caran diqewime ku hûn hewce ne ku di hilberînê de xebata fonksiyonek nû ceribînin, lê hûn nebawer in ku ew ê di şert û mercên "şer" de di bin barê giran de çawa tevbigere.
Çareseriyek heye: alayên di parametreyên CGI de ne tenê ji bo ceribandina A/B, lê di heman demê de ji bo ceribandina fonksiyonên nû jî têne bikar anîn.
Me amûrek çêkir ku dihêle hûn tavilê mîhengê li ser bi hezaran serveran biguhezînin bêyî ku karûbar li ber xetereyan derxînin. Jê re "Stop Tap" tê gotin. Fikra orjînal ew bû ku meriv zû bikaribe hin fonksiyonan bêyî sêwiranê neçalak bike. Dûv re amûr berfireh bû û tevlihevtir bû.
Diagrama herikîna karûbarê li jêr tê pêşkêş kirin:
Nirxên ala bi API-ê têne danîn. Karûbarê rêveberiyê van nirxan di databasê de hilîne. Hemî server her deh saniye carekê diçin databasê, nirxên ala derdixin û van nirxan li her daxwazekê bicîh dikin.
Di tapa Rawestandinê de hûn dikarin du celeb nirxan bicîh bikin:
1) Gotinên şert. Dema ku yek ji nirxan rast be bicîh bikin. Bo nimûne:
{
"condition":"IS_DC1",
"value":"3",
},
{
"condition": "CLUSTER==2 and IS_BERU",
"value": "4!"
}Dema ku daxwaz li cîhê DC3 were hilanîn dê nirxa "1" were sepandin. Û nirxa "4" e dema ku daxwaz li ser koma duyemîn ji bo malpera beru.ru tête kirin.
2) Nirxên bê şert. Heke yek ji şertan pêk nehatibe, ji hêla xwerû ve bicîh bikin. Bo nimûne:
nirx, nirx!
Ger nirxek bi ravekekê biqede, pêşanî jê re tê dayîn.
Parsera parametreya CGI URL-ê pars dike. Dûv re nirxên ji Stop Tap bicîh tîne.
Nirxên bi pêşengên jêrîn têne sepandin:
- Bi pêşanîyek zêde ya ji Stop Tap (nîşana derbirînê).
- Nirxê ji daxwazê.
- Nirxa xwerû ya ji Stop tap.
- Di kodê de nirxa xwerû.
Gelek ala hene ku di nirxên şertî de têne destnîşan kirin - ew ji bo hemî senaryoyên ku ji me re têne zanîn bes in:
- Navenda daneyê.
- Jîngeh: hilberandin, ceribandin, siya.
- Cih: bazar, berû.
- Hejmara komê.
Bi vê amûrê re, hûn dikarin fonksiyonek nû li ser komek pêşkêşkeran çalak bikin (mînak, tenê di navendek daneyê de) û xebata vê fonksiyonê bêyî xeterek taybetî ji bo tevahî karûbarê ceribandinê bikin. Tewra ku we li cîhek xeletiyek ciddî kir, her tişt dest pê kir û tevahiya navenda daneyê daket, balansker dê daxwazan berbi navendên daneyê yên din vegerînin. Bikarhênerên dawîn dê tiştek ferq nekin.
Ger hûn pirsgirêkek bibînin, hûn dikarin tavilê ala vegerînin nirxa wê ya berê û dê guhertin paşde werin gêr kirin.
Vê karûbar kêmasiyên wê jî hene: pêşdebiran pir jê hez dikin û pir caran hewl didin ku hemî guhertinan bixin nav Stop Tap. Em hewl didin ku li dijî îstîsmarê têbikoşin.
Nêzîkatiya Stop Tap baş dixebite dema ku we jixwe kodek aram heye ku ji bo hilberandinê amade ye. Di heman demê de, hûn hîn jî guman hene, û hûn dixwazin kodê di şertên "şer" de kontrol bikin.
Lêbelê, Stop Tap ji bo ceribandina di dema pêşkeftinê de ne maqûl e. Ji bo pêşdebiran komek cûda heye ku jê re "koma siyê" tê gotin.
Testkirina Veşartî: Cluster Shadow
Daxwazên yek ji koman li koma siyê têne dubare kirin. Lê hevseng bi tevahî bersivên vê komê paşguh dike. Diagrama xebata wê li jêr tê pêşkêş kirin.
Em komek ceribandinê digirin ku di şert û mercên "şer" ên rastîn de ye. Trafîka bikarhêner a normal diçe wir. Di her du koman de hardware yek e, ji ber vê yekê performans û xeletî têne berhev kirin.
Û ji ber ku hevseng bi tevahî bersivan paşguh dike, bikarhênerên dawîn dê bersivên ji koma siyê nebînin. Ji ber vê yekê xeletiyek ne tirsnak e.
vebiguherin
Ji ber vê yekê, me çawa lêgerîna Bazarê ava kir?
Ji bo ku her tişt bi rêkûpêk bimeşe, em fonksiyonê di nav karûbarên cûda de vediqetînin. Bi vî rengî em dikarin tenê wan hêmanên ku ji me re hewce ne pîvan bikin û hêmanan hêsan bikin. Hêsan e ku meriv hêmanek cihêreng ji tîmek din re destnîşan bike û berpirsiyariyên ji bo xebatê li ser wê parve bike. Û teserifên girîng ên di hesin de bi vê nêzîkbûnê re plusek eşkere ye.
Koma siyê jî ji me re dibe alîkar: em dikarin karûbaran pêş bixin, wan di pêvajoyê de biceribînin û bikarhêner aciz nekin.
Belê, di hilberînê de ceribandin, bê guman. Ma hûn hewce ne ku veavakirina bi hezaran serveran biguherînin? Hêsan, Stop Tap bikar bînin. Bi vî rengî hûn dikarin tavilê çareseriyek tevlihev a amade derxînin û heke pirsgirêk çêbibin vegerin guhertoyek aram.
Ez hêvî dikim ku min karîbû nîşan bidim ka em çawa bi bingehek pêşkeftî ya pêşniyaran re Bazarê zû û aram dikin. Em çawa pirsgirêkên serverê çareser dikin, bi hejmareke mezin daxwazan re mijûl dibin, nermbûna karûbarê çêtir dikin û vê yekê bêyî qutkirina pêvajoyên xebatê dikin.
Source: www.habr.com