Mhoro, zita rangu ndiEvgeniy. Ndinoshanda muYandex.Market yekutsvaga zvivakwa. Ndinoda kuudza nharaunda yeHabr nezve kicheni yemukati yeMusika - uye ndine zvakawanda zvekutaura. Chekutanga pane zvese, mashandiro anoita Musika kutsvaga, maitiro uye zvivakwa. Isu tinobata sei nemamiriro ekukurumidzira: chii chinoitika kana imwe sevha ikadonha? Ko kana paine 100 maseva akadaro?
Iwe unozodzidza zvakare maitiro atinoita mashandiro matsva pane boka remaseva kamwechete. Uye maitiro atinoedza masevhisi akaomarara zvakananga mukugadzira, pasina kukonzera chero kusagadzikana kune vashandisi. Kazhinji, kutsvaga kweMusika kunoshanda sei kuti munhu wese ave nenguva yakanaka.
Zvishoma nezvedu: dambudziko ripi ratinogadzirisa
Paunopinda mavara, tsvaga chigadzirwa nemaparamita, kana kuenzanisa mitengo muzvitoro zvakasiyana, zvikumbiro zvese zvinotumirwa kubasa rekutsvaga. Kutsvaga ndiyo sevhisi yakakura kwazvo paMusika.
Isu tinogadzira zvese zvikumbiro zvekutsvaga: kubva kumasaiti market.yandex.ru, beru.ru, iyo Supercheck service, Yandex.Advisor, mobile application. Isu tinosanganisirawo zvinopihwa zvechigadzirwa mumigumo yekutsvaga pa yandex.ru.
Nebasa rekutsvaga ndinoreva kwete chete kutsvaga pachako, asiwo dhatabhesi ine zvese zvinopihwa paMusika. Chiyero ndeichi: zvinopfuura bhiriyoni zvikumbiro zvekutsvaga zvinogadziriswa pazuva. Uye zvese zvinofanirwa kushanda nekukurumidza, pasina kukanganisa uye zvinogara zvichiburitsa mhedzisiro yaunoda.
Chii chii: Musika dhizaini
Ini ndichatsanangura muchidimbu mavakirwo azvino eMusika. Inogona kunyatsotsanangurwa nemufananidzo uri pasi apa:
Ngatiti chitoro cheshamwari chinouya kwatiri. Anoti ndinoda kutengesa toyi: iyi katsi yakaipa ine squeaker. Uye imwe katsi yakatsamwa isina squeaker. Uye katsi chete. Ipapo chitoro chinoda kugadzirira zvinopihwa zvinotsvagwa neMusika. Chitoro chinogadzira yakakosha xml ine zvinopihwa uye inotaurirana nzira yeiyi xml kuburikidza neiyo affiliate interface. Iyo indexer inobva yatora nguva nenguva iyi xml, inotarisa zvikanganiso uye inochengetedza ruzivo rwese mudura guru.
Kune akawanda akadai akachengetwa xmls. Indekisi yekutsvaga inogadzirwa kubva pane iyi database. Indekisi inochengetwa muchimiro chemukati. Mushure mekugadzira index, iyo Layout sevhisi inoiisa kumaseva ekutsvaga.
Somugumisiro, kati ine kutsamwa ine squeaker inowanikwa mudhesi, uye index yekati inowanikwa pane sevha.
Ini ndichakuudza kuti tinotsvaga sei katsi muchikamu chekutsvaga kwekuvaka.
Market search architecture
Isu tinorarama munyika ye microservices: zvese zvinouya chikumbiro inokonzeresa yakawanda subqueries, uye akawanda masevhisi anobatanidzwa mukugadzirisa kwawo. Dhiagiramu inoratidza zvishoma chete:
Chirongwa chekugadzirisa chikumbiro chakareruka
Sevhisi yega yega ine chinhu chinoshamisa - iyo inoenzanisa yayo ine zita rakasiyana:
Iyo balancer inotipa kushanduka kukuru mukugadzirisa sevhisi: unogona, semuenzaniso, kudzima maseva, ayo anowanzo kudiwa pakuvandudza. Iyo balancer inoona kuti sevha haisipo uye inotungamira otomatiki zvikumbiro kune mamwe maseva kana data data. Paunenge uchiwedzera kana kubvisa sevha, mutoro wacho unogoverwa zvakare pakati pemaseva.
Zita rakasiyana-siyana rekuenzanisa hazvibvi pane data data. Kana sevhisi A ichiita chikumbiro kuna B, ipapo nekusarudzika balancer B inodzosera chikumbiro kune yazvino data data. Kana iyo sevhisi isingawanikwe kana isipo mune yazvino data data, saka chikumbiro chinodzoserwa kune dzimwe nzvimbo dzedata.
FQDN imwe chete yenzvimbo dzese dzedata inobvumira sevhisi A kuti ibude zvachose kubva munzvimbo. Chikumbiro chake chekushandira B chichagara chichigadziriswa. Kusarudzika ndiyo nyaya kana sevhisi iri munzvimbo dzese data data.
Asi hazvisi zvese zvakanakisa neiyi balancer: isu tine chimwe chekuwedzera chepakati chikamu. Iyo balancer inogona kunge isina kugadzikana, uye dambudziko iri rinogadziriswa nemaseva asina basa. Panewo kumwe kunonoka pakati pemasevhisi A uye B. Asi mukuita isingasviki 1 ms uye kune mazhinji masevhisi izvi hazvisi zvakakosha.
Kuita Nezvisingatarisirwi: Kutsvaga Sevhisi Kuyera uye Resiliency
Fungidzira kuti kune kudonha: unoda kuwana kati ine squeaker, asi sevha inoputsika. Kana 100 maseva. Nzira yekubuda nayo? Chokwadi tichasiya mushandisi asina katsi?
Mamiriro acho ezvinhu anotyisa, asi takagadzirira. Ndichakuudza zvakarongeka.
Zvivako zvekutsvaga zviri munzvimbo dzinoverengeka dzedata:
Kana tichigadzira, tinosanganisira mukana wekuvhara imwe data data. Hupenyu huzere nekushamisika - semuenzaniso, mucheri anogona kucheka tambo yepasi (hongu, izvo zvakaitika). Huwandu huri munzvimbo dzasara dzedata hunofanirwa kukwana kuti humirire mutoro wepamusoro.
Ngatitarisei imwe nzvimbo yedata. Imwe neimwe data data ine yakafanana balancer mashandiro chirongwa:
Imwe balancer inosvika maseva matatu emuviri. Iyi redundancy inoitirwa kuvimbika. MaBalancer anomhanya paHAProx.
Isu takasarudza HAProx nekuda kwekuita kwayo kwepamusoro, yakaderera zviwanikwa zvinodiwa uye kushanda kwakakura. Yedu yekutsvaga software inomhanya mukati mesevha yega yega.
Mukana weimwe server yekutadza wakaderera. Asi kana iwe uine akawanda maseva, mukana wekuti imwe chete ichadzika inowedzera.
Izvi ndizvo zvinoitika muchokwadi: maseva anoparara. Naizvozvo, zvinodikanwa kugara uchitarisa mamiriro emaseva ese. Kana sevha ikamira kupindura, inobviswa otomatiki kubva mumigwagwa. Nechinangwa ichi, HAProxy ine yakavakirwa-mukati yehutano cheki. Inoenda kune ese maseva kamwechete sekondi nechikumbiro cheHTTP "/ping".
Chimwe chinhu cheHAProxy: mumiriri-cheki inobvumidza iwe kurodha ese maseva zvakaenzana. Kuti uite izvi, HAProxy inobatanidza kumasevhisi ose, uye vanodzorera uremu hwavo zvichienderana nemutoro wezvino kubva 1 kusvika ku100. Kuremera kunotarwa zvichienderana nenhamba yezvikumbiro mumutsara wekugadzirisa uye mutoro uri pa processor.
Zvino nezvekutsvaga katsi. Tsvakiridzo inobuda muzvikumbiro zvakaita se: /search?text=kutsamwa+katsi. Kuti kutsvaga kuve nekukurumidza, iyo yese katsi index inofanirwa kukwana mu RAM. Kunyangwe kuverenga kubva kuSSD hakuna kukurumidza zvakakwana.
Pane imwe nguva, iyo dhatabhesi yekupa yaive diki, uye RAM yeimwe server yaikwana kwairi. Sezvo hwaro hwekupa hwakakura, zvese hazvichakwane mune iyi RAM, uye data rakakamurwa kuita zvikamu zviviri: shard 1 uye shard 2.
Asi izvi zvinogara zvichiitika: chero mhinduro, kunyange yakanaka, inopa mamwe matambudziko.
Iyo balancer ichiri kuenda kune chero server. Asi pamuchina wakauya chikumbiro, paingova nehafu chete ye index. Imwe yese yaive pane mamwe maseva. Naizvozvo, sevha yaifanira kuenda kune mumwe muchina wakavakidzana. Mushure mekugamuchira data kubva kumasevha ese ari maviri, mibairo yakasanganiswa uye yakadzokororwa.
Sezvo mubhadhari achigovera zvikumbiro zvakaenzana, maseva ese aibatikana mukugadzirisa zvakare, uye kwete kungotumira data.
Dambudziko raitika kana server yemuvakidzani yanga isipo. Mhinduro yaive yekutsanangura maseva akati wandei ane akasiyana ekutanga se "muvakidzani" sevha. Kutanga, chikumbiro chakatumirwa kumaseva mune razvino rack. Kana pakange pasina mhinduro, chikumbiro chakatumirwa kune ese maseva mune ino data data. Uye chekupedzisira, chikumbiro chakaenda kune dzimwe nzvimbo dzedata.
Sezvo nhamba yezvikumbiro yakakura, data yakakamurwa kuita zvikamu zvina. Asi iyi yakanga isiri muganhu.
Parizvino, gadziriro yemashadhi masere inoshandiswa. Mukuwedzera, kuchengetedza ndangariro yakawedzera, iyo index yakakamurwa kuita chikamu chekutsvaga (chinoshandiswa kutsvaga) uye snippet chikamu (chisina kubatanidzwa mukutsvaga).
Imwe sevha ine ruzivo rwechikamu chimwe chete. Naizvozvo, kutsvaga indekisi yakazara, unofanirwa kutsvaga pamaseva masere ane shards dzakasiyana.
Masevha akaiswa mumapoka. Chikwata chega chega chine injini dzekutsvaga sere uye imwe snippet server.
Iyo snippet server inomhanyisa kiyi-kukosha dhatabhesi ine static data. Vanodiwa kuti vabudise magwaro, semuenzaniso, tsanangudzo yekati ine squeaker. Iyo data inofambiswa zvakanyanya kune yakaparadzana sevha kuitira kuti isaremedze ndangariro dzemaseva ekutsvaga.
Sezvo ma ID egwaro akasiyana chete mukati meiyo index imwe chete, mamiriro ezvinhu anogona kuitika kana pasina magwaro mune snippets. Zvakanaka, kana kuti kune imwe ID pachave neyakasiyana zvemukati. Naizvozvo, kuitira kuti kutsvaga kushande uye mhedzisiro idzoserwe, pakanga paine kudikanwa kwekuenderana muboka rose. Ini ndichakuudza pazasi maitiro atinoongorora kuenderana.
Iyo yekutsvaga pachayo yakarongedzerwa seizvi: chikumbiro chekutsvaga chinogona kuuya kune chero sere maseva. Ngatitii akauya kuseva 1. Sevha iyi inogadzirisa nharo dzose uye inonzwisisa kuti chii uye sei kutsvaga. Zvichienderana nechikumbiro chinouya, sevha inogona kuita zvimwe zvikumbiro kune ekunze masevhisi kune ruzivo rwakakosha. Chikumbiro chimwe chinogona kuteverwa nezvikumbiro zvinosvika gumi kumasevhisi ekunze.
Mushure mekuunganidza ruzivo rwakakosha, kutsvaga kunotanga mudura rekupa. Kuti uite izvi, subqueries inoitwa kune ese masere maseva ari musumbu.
Kana mhinduro dzangogamuchirwa, mhinduro dzinosanganiswa. Mukupedzisira, akati wandei mamwe ma subqueries kune snippet server anogona kudiwa kuburitsa mhedzisiro.
Mivhunzo yekutsvaga mukati me cluster inoita se: /shard1?text=kutsamwa+katsi. Mukuwedzera, subqueries yefomu inogara ichiitwa pakati pemaseva ese mukati mesumbu kamwe sekondi: /status.
Kumbira /status inoona mamiriro ezvinhu apo sevha isipo.
Inodzorawo kuti shanduro yekutsvaga injini uye index index zvakafanana pamaseva ose, kana zvisina kudaro pachava ne data isingaenderani mukati meboka.
Kunyangwe idi rekuti imwe snippet server inogadzira zvikumbiro kubva kune sere injini dzekutsvaga, processor yayo inoremerwa zvakanyanya. Naizvozvo, isu tave kuendesa iyo snippet data kune imwe sevhisi yakaparadzana.
Kuendesa data, takaunza makiyi epasirese ezvinyorwa. Iye zvino hazvigoneki kune mamiriro ezvinhu apo zvinyorwa kubva kune rimwe gwaro zvinodzorerwa uchishandisa kiyi imwe.
Asi shanduko kune imwe dhizaini haisati yakwana. Iye zvino isu tinoda kubvisa iyo yakatsaurirwa snippet server. Uye wobva wabva kure nechimiro chesumbu zvachose. Izvi zvichatibvumira kuti tirambe tichikwira nyore nyore. Imwe bhonasi inokosha mari yekuchengetedza.
Uye zvino kune nyaya dzinotyisa dzine magumo anofadza. Ngatitarisei nyaya dzinoverengeka dzekusavapo kweseva.
Pane chinhu chakaipa chakaitika: sevha imwe chete haisi kuwanikwa
Ngatiti sevha imwe haipo. Ipapo maseva asara ari muchikwata anogona kuramba achipindura, asi mitsva yekutsvaga inenge isina kukwana.
Via status check /status maseva evavakidzani anonzwisisa kuti imwe haisipo. Naizvozvo, kuchengetedza kukwana, ese maseva ari musumbu pachikumbiro /ping vanotanga kudaira ku balancer kuti havawanikwewo. Zvinoitika kuti ese maseva ari musumbu akafa (izvo zvisiri zvechokwadi). Iri ndiro dambudziko guru rechikwata chedu - ndosaka tichida kubva pachiri.
Zvikumbiro zvinotadza nekukanganisa zvinodzoserwa nebalancer pane mamwe maseva.
Iyo balancer zvakare inomira kutumira mushandisi traffic kune akafa maseva, asi anoenderera nekutarisa mamiriro avo.
Kana sevha inowanikwa, inotanga kupindura /ping. Pakarepo mhinduro dzakajairwa kupings kubva kumaseva akafa atanga kusvika, mabharanzi anotanga kutumira mushandisi traffic ipapo. Cluster operation yakadzorerwa, hurray.
Zvakatoipisisa: maseva mazhinji haapo
Chikamu chakakosha chemaseva ari munzvimbo yedata inotemwa. Zvekuita, zvekumhanyira kupi? Muenzanisi anouya kuzonunura zvakare. Imwe neimwe balancer inogara ichichengeta mundangariro nhamba iripo yemaseva mhenyu. Iyo inogara ichiverenga huwandu hwehuwandu hwetraffic iyo yazvino data center inogona kugadzirisa.
Kana maseva mazhinji ari munzvimbo yedata achidzika, muchengeti anoona kuti iyi data data haigone kugadzirisa traffic yese.
Ipapo traffic yakawandisa inotanga kugoverwa zvisina tsarukano kune dzimwe nzvimbo dzedata. Zvose zvinoshanda, munhu wose anofara.
Maitirwo atinoita: kuburitsa zvinyorwa
Zvino ngatitaurei nezve mabudiro atinoita shanduko dzakaitwa kushumiro. Pano takatora nzira yekurerutsa maitiro: kuburitsa kuburitswa kutsva kunenge kwakazara otomatiki.
Kana imwe nhamba yeshanduko yakaunganidzwa mupurojekiti, kuburitswa kutsva kunogadzirwa otomatiki uye kuvaka kwayo kunotanga.
Zvadaro sevhisi inoputirwa kukuyedza, uko kugadzikana kwekushanda kunotariswa.
Panguva imwecheteyo, otomatiki performance test inotangwa. Izvi zvinobatwa nesevhisi yakakosha. Ini handisi kuzotaura nezvazvo izvozvi - tsananguro yayo yakakodzera chinyorwa chakasiyana.
Kana kudhindwa mukuyedza kwakabudirira, kuburitswa kweiyo prestable kunotangwa otomatiki. Prestable isumbu rakakosha uko yakajairwa mushandisi traffic inotungamirwa. Kana ikadzosa chikanganiso, muyereri anoita chikumbiro patsva pakugadzira.
Mune prestable, nguva dzekupindura dzinoyerwa uye kuenzaniswa neyekare kuburitswa mukugadzirwa. Kana zvinhu zvose zvakanaka, ipapo munhu anobatanidza: anotarisa magirafu nemigumisiro yekuedzwa kwekutakura uye otanga kutenderera kune kugadzirwa.
Zvese zvakanaka zvinoenda kumushandisi: kuyedza A/B
Hazvisi pachena nguva dzose kana kuchinja kwesevhisi kuchaunza zvikomborero zvechokwadi. Kuyera kukosha kwekuchinja, vanhu vakauya neA / B yekuongorora. Ini ndichakuudza zvishoma nezvekuti inoshanda sei muYandex.Market yekutsvaga.
Izvo zvese zvinotanga nekuwedzera itsva CGI parameter inogonesa kushanda kutsva. Rega parameter yedu ive: market_new_functionality=1. Zvino mune kodhi tinogonesa kuita uku kana mureza uripo:
If (cgi.experiments.market_new_functionality) {
// enable new functionality
}Kushanda kutsva kuri kuendeswa kukugadzira.
Kuita otomatiki kuyedza kweA / B, kune sevhisi yakatsaurirwa inopa ruzivo rwakadzama . Chiyedzo chinogadzirwa musevhisi. Mugove wemotokari wakaiswa, semuenzaniso, 15%. Mazana akaiswa kwete emibvunzo, asi yevashandisi. Nguva yekuedza inoratidzwawo, somuenzaniso, vhiki.
Kuedza kunoverengeka kunogona kuitwa panguva imwe chete. Muzvirongwa unogona kutsanangura kana mharadzano nezvimwe zviedzo zvinogoneka.
Nekuda kweizvozvo, sevhisi inongowedzera gakava market_new_functionality=1 kusvika 15% yevashandisi. Iyo zvakare inoverengera otomatiki metrics akasarudzwa. Mushure mokunge kuedza kwapera, vaongorori vanotarisa pamigumisiro uye vanotora mhedziso. Kubva pane zvakawanikwa, sarudzo inoitwa yekuenderera kune kugadzirwa kana kunatsiridza.
Market's deft hand: kuyedza mukugadzira
Zvinowanzoitika kuti iwe unofanirwa kuyedza kushanda kwechishandiso chitsva mukugadzira, asi iwe hauzive kuti chichaita sei mumamiriro e "kurwa" pasi pemutoro unorema.
Pane mhinduro: mireza muCGI parameters inogona kushandiswa kwete chete yeA / B yekuongorora, asiwo kuyedza mashandiro matsva.
Isu takagadzira chishandiso chinokutendera iwe kuti uchinje ipapo nekumisikidza pazviuru zvemaseva pasina kufumura sevhisi kune njodzi. Inonzi "Stop Tap". Pfungwa yekutanga yaive yekukwanisa kukurumidza kudzima mamwe maitiro pasina marongerwo. Ipapo chishandiso chakawedzera uye chakawedzera kuoma.
Iyo sevhisi yekuyerera dhizaini inoratidzwa pazasi:
Mireza tsika dzakaiswa kuburikidza neAPI. Iyo manejimendi sevhisi inochengeta izvi zvakakosha mudhatabhesi. Masevha ese anoenda kune dhatabhesi kamwechete pamasekondi gumi ega ega, pombi kunze kwemureza kukosha uye shandisa izvi zvakakosha kune chimwe nechimwe chikumbiro.
MuStop tap unogona kuseta marudzi maviri ehunhu:
1) Conditional kutaura. Nyorera kana imwe yezvakakosha iri yechokwadi. Semuyenzaniso:
{
"condition":"IS_DC1",
"value":"3",
},
{
"condition": "CLUSTER==2 and IS_BERU",
"value": "4!"
}Kukosha "3" kuchashandiswa kana chikumbiro chaitwa munzvimbo DC1. Uye kukosha ndeye "4" apo chikumbiro chinogadziriswa pachikwata chechipiri cheberu.ru site.
2) Hunhu husina magumo. Nyorera nekusarudzika kana pasina chimwe chezvimiro chasangana. Semuyenzaniso:
kukosha, kukosha!
Kana kukosha kuchipera nechirevo chekudanidzira, chinopihwa chepamusoro pekutanga.
Iyo CGI parameter parser inoburitsa iyo URL. Wobva waisa kukosha kubva kuStop Tap.
Hukoshi dzine zvinotevera zvinokosheswa dzinoshandiswa:
- Nekukoshesa kwakawedzera kubva kuStop Tap (mucherechedzo wekushamisika).
- Kukosha kubva pakukumbira.
- Default value kubva kuStop tap.
- Default value mucode.
Kune mireza mizhinji inoratidzwa mune zvimiro - inokwana kune ese mascenario anozivikanwa kwatiri:
- Data center.
- Zvakatipoteredza: kugadzirwa, kuedza, mumvuri.
- Nzvimbo: musika, beru.
- Nhamba yeCluster.
Nechishandiso ichi, unogona kugonesa kushanda kutsva pane rimwe boka remaseva (semuenzaniso, mune imwe chete data data) uye kuyedza mashandiro eichi chiitiko pasina njodzi kune yese sevhisi. Kunyangwe iwe ukaita chikanganiso chakakomba pane imwe nzvimbo, zvese zvakatanga kudonha uye iyo data data yese yakadzika, mabharanzi anozoendesa zvikumbiro kune dzimwe nzvimbo dzedata. Vashandisi vekupedzisira hapana chavanoona.
Kana iwe ukaona dambudziko, unogona kudzorera mureza kune hwaro hwayo hwekare uye shanduko dzinodzoserwa kumashure.
Iyi sevhisi zvakare ine yakaderera pasi: ivo vanogadzira vanoida zvakanyanya uye vanowanzo edza kusundira shanduko dzese muStop Tap. Tiri kuedza kurwisa kushandiswa zvisizvo.
Iyo Stop Tap nzira inoshanda nemazvo kana iwe uchinge watove nekodhi yakagadzikana yakagadzirira kuendeswa kune kugadzirwa. Panguva imwecheteyo, iwe uchine kusava nechokwadi, uye iwe unoda kutarisa kodhi mu "kurwa" mamiriro.
Nekudaro, Stop Tap haina kukodzera kuongororwa panguva yekuvandudza. Kune boka rakaparadzana revagadziri, rinonzi "shadow cluster".
Kuedzwa Kwakavanzika: Shadow Cluster
Zvikumbiro kubva kune rimwe remasumbu zvinodzokororwa kune mumvuri cluster. Asi muenzanisi anofuratira zvachose mhinduro kubva muboka iri. Dhiagiramu yekushanda kwayo inoratidzwa pasi apa.
Isu tinowana test cluster iri mu "combat" chaiyo mamiriro. Zvakajairika mushandisi traffic inoenda ikoko. Iyo Hardware mumasumbu ese ari maviri akafanana, saka kuita uye zvikanganiso zvinogona kuenzaniswa.
Uye sezvo muenzanisi asinganyatso furatira mhinduro, vashandisi vekupedzisira havazooni mhinduro kubva mumumvuri cluster. Naizvozvo, hazvityisi kukanganisa.
zvakawanikwa
Saka, takavaka sei kutsvaga kweMusika?
Kuita kuti zvese zvifambe mushe, tinopatsanura mashandiro kuita masevhisi akasiyana. Nenzira iyi tinogona kuyera chete izvo zvikamu zvatinoda uye kuita kuti zvikamu zvive nyore. Zviri nyore kugovera chikamu chakasiyana kune chimwe chikwata uye kugovera mabasa ekushanda pairi. Uye kuchengetedza kwakakosha musimbi nenzira iyi ndeyekuwedzera kuri pachena.
Iyo mimvuri cluster inotibatsirawo: tinogona kugadzira masevhisi, tiedze iwo mukuita uye kwete kukanganisa mushandisi.
Zvakanaka, kuedza mukugadzira, hongu. Unoda kushandura gadziriro pazviuru zvemaseva? Nyore, shandisa Stop Tap. Nenzira iyi iwe unogona pakarepo kuburitsa yakagadzirira-yakagadzirwa mhinduro yakaoma uye kudzosera kumashure kune yakagadzikana vhezheni kana matambudziko amuka.
Ndinovimba ndakakwanisa kuratidza maitiro atinoita Musika nekukurumidza uye kugadzikana nehwaro hunoramba huchikura hwezvipo. Magadzirisiro atinoita matambudziko esevha, kubata nehuwandu hukuru hwezvikumbiro, kuvandudza kushanduka kwesevhisi uye kuita izvi pasina kukanganisa maitiro ebasa.
Source: www.habr.com