Ndikupangira kuti muwerenge zolembedwa za lipoti loyambirira la 2020 lolemba Georgy Rylov "WAL-G: mwayi watsopano ndi kufalikira kwa anthu"
Othandizira otsegula amakumana ndi zovuta zambiri akamakula. Kodi mungalembe bwanji zochulukira zofunika, kukonza zochulukira ndikutha kuwona zopempha zambiri zokoka? Pogwiritsa ntchito WAL-G (chida chosungira kwa PostgreSQL) monga chitsanzo, ndikuwuzani momwe tathetsera mavutowa poyambitsa maphunziro a Open-source Development ku yunivesite, zomwe tapeza komanso komwe tidzasunthira.
Moni kachiwiri nonse! Ndine wopanga Yandex wochokera ku Yekaterinburg. Ndipo lero ndilankhula za WAL-G.
Mutu wa lipotilo sunanene kuti chinali china chokhudza zosunga zobwezeretsera. Kodi alipo amene akudziwa kuti WAL-G ndi chiyani? Kapena aliyense akudziwa? Kwezani dzanja lanu ngati simukudziwa. Zoyipa, mwabwera ku lipoti ndipo simukudziwa kuti likutanthauza chiyani.
Ndiroleni ndikuuzeni zimene zidzachitike lero. Zimachitika kuti gulu lathu lakhala likuchita zosunga zobwezeretsera kwakanthawi. Ndipo ili ndi lipoti lina pamndandanda womwe timalankhula za momwe timasungira deta motetezeka, motetezeka, mosavuta komanso moyenera.
Mu mndandanda wapitawo panali malipoti ambiri a Andrei Borodin ndi Vladimir Leskov. Tinali ambiri. Ndipo takhala tikulankhula za WAL-G kwa zaka zambiri.
clck.ru/F8ioz -
clck.ru/Ln8Qw -
Lipotili lidzakhala losiyana pang'ono ndi ena chifukwa linali zambiri za gawo laukadaulo, koma apa ndilankhula za momwe tidakumana ndi mavuto okhudzana ndi kukula kwa anthu. Ndipo momwe tinapezera lingaliro laling'ono lomwe limatithandiza kupirira izi.
Zaka zingapo zapitazo, WAL-G inali pulojekiti yaying'ono yomwe tidalandira kuchokera ku Citus Data. Ndipo ife tinangochitenga icho. Ndipo idapangidwa ndi munthu m'modzi.
Ndipo WAL-G yekha analibe:
- Sungani kuchokera pachifaniziro.
- Panalibe zosunga zobwezeretsera zowonjezera.
- Panalibe zosunga zobwezeretsera WAL-Delta.
- Ndipo panalibe zambiri zosoweka.
Pazaka zingapo izi, WAL-G yakula kwambiri.
Ndipo pofika 2020, zonse zomwe tafotokozazi zidawonekera kale. Ndipo izi zidawonjezedwa zomwe tili nazo tsopano:
- Kupitilira nyenyezi 1 pa GitHub.
- 150 mafoloko.
- Pafupifupi 15 ma PR otseguka.
- Ndipo ambiri othandizira.
- Ndipo tsegulani zovuta nthawi zonse. Ndipo izi ngakhale kuti timapita kumeneko tsiku lililonse ndikuchitapo kanthu.
Ndipo tinafika ponena kuti polojekitiyi ikufuna chidwi chathu, ngakhale ife tokha sitifunika kuchita chilichonse pa ntchito yathu ya Managed Databases ku Yandex.
Ndipo kwinakwake kugwa kwa 2018, lingaliro linabwera m'maganizo mwathu. Nthawi zambiri gululi limakhala ndi njira zingapo zopangira zinthu zina kapena kukonza zolakwika ngati mulibe manja okwanira. Mwachitsanzo, mutha kulemba ganyu wopanga wina ndikumulipira ndalama. Kapena mutha kutenga intern kwakanthawi ndikumulipiranso malipiro. Koma pali gulu lalikulu la anthu, ena omwe amadziwa kale kulemba ma code. Simudziwa nthawi zonse kuti nambalayo ndi chiyani.
Tinalingalira ndipo tinaganiza zoyesa kukopa ophunzira. Koma ophunzira sadzachita nawo chilichonse ndi ife. Adzachita gawo lina la ntchitoyo. Ndipo iwo, mwachitsanzo, alemba mayeso, kukonza zolakwika, kukhazikitsa zinthu zomwe sizikhudza magwiridwe antchito. Ntchito yayikulu ndikupanga zosunga zobwezeretsera ndikubwezeretsa zosunga zobwezeretsera. Tikalakwitsa kupanga zosunga zobwezeretsera, tidzataya deta. Ndipo palibe amene akufuna izi, ndithudi. Aliyense amafuna kuti zonse zikhale zotetezeka kwambiri. Chifukwa chake, inde, sitikufuna kulola ma code omwe timawadalira pang'ono kuposa athu. Ndiko kuti, malamulo aliwonse osafunikira ndi omwe tikufuna kulandira kuchokera kwa antchito athu owonjezera.
Kodi PR ya ophunzira imavomerezedwa pansi pamikhalidwe yotani?
- Amayenera kuphimba ma code awo ndi mayeso. Zonse ziyenera kuchitika mu CI.
- Ndipo timadutsanso 2 ndemanga. Mmodzi wa Andrey Borodin ndi wina wa ine.
- Ndipo kuwonjezera apo, kuti muwone ngati izi sizikuphwanya chilichonse muutumiki wathu, ndimayika padera msonkhanowu ndi kudzipereka uku. Ndipo timayang'ana mayeso omaliza kuti palibe chomwe chimalephera.
Maphunziro apadera pa Open Source
Pang'ono chifukwa chake izi ndizofunikira komanso chifukwa chake izi, zikuwoneka kwa ine, ndi lingaliro labwino.
Kwa ife, phindu ndi lodziwikiratu:
- Timapeza manja owonjezera.
- Ndipo tikuyang'ana ofuna kulowa gululo pakati pa ophunzira anzeru omwe amalemba ma code anzeru.
Kodi phindu la ophunzira ndi lotani?
Zitha kukhala zoonekeratu, chifukwa ophunzira, osachepera, salandira ndalama za code yomwe amalemba, koma amangolandira magiredi a zolemba zawo za ophunzira.
Ndinawafunsa za izi. Ndipo m'mawu awo:
- Zothandizira pa Open Source.
- Pezani mzere mu CV yanu.
- Dzitsimikizireni nokha ndikupambana kuyankhulana ku Yandex.
- Khalani membala wa GSoC.
- +1 maphunziro apadera a omwe akufuna kulemba khodi.
Sindilankhula za momwe maphunzirowo adapangidwira. Ndingonena kuti WAL-G inali ntchito yayikulu. Tidaphatikizanso ntchito monga Odyssey, PostgreSQL ndi ClickHouse m'maphunzirowa.
Ndipo iwo anapereka mavuto osati mu maphunzirowa, komanso anapereka madipuloma ndi maphunziro.
Nanga phindu la ogwiritsa ntchito?
Tsopano tiyeni tipitirire ku gawo lomwe limakusangalatsani kwambiri. Kodi izi zimakupindulitsani chiyani? Mfundo ndi yakuti ophunzira anakonza nsikidzi zambiri. Ndipo tapanga zopempha zomwe mudatipempha kuti tichite.
Ndipo ndikuuzeni za zinthu zomwe mwakhala mukuzifuna kwa nthawi yayitali komanso zomwe zakwaniritsidwa.
Thandizo la tablespaces. Matebulo mu WAL-G akhala akuyembekezeredwa mwina kuyambira kutulutsidwa kwa WAL-G, chifukwa WAL-G ndiye wolowa m'malo mwa chida china chosungira WAL-E, pomwe zosunga zobwezeretsera zokhala ndi ma tebulo zidathandizidwa.
Ndiroleni ndikukumbutseni mwachidule chomwe chiri komanso chifukwa chake chiri chofunikira. Nthawi zambiri, deta yanu yonse ya Postgres imakhala ndi chikwatu chimodzi pamafayilo, otchedwa maziko. Ndipo bukhuli lili kale ndi mafayilo onse ndi ma subdirectories ofunikira ndi Postgres.
Tablespaces ndi zolemba zomwe zili ndi data ya Postgres, koma sizipezeka kunja kwa chikwatu choyambira. Slide ikuwonetsa kuti ma tablespacs ali kunja kwa chikwatu choyambira.
Kodi izi zikuwoneka bwanji kwa Postgres yokha? Pali subdirectory yosiyana pg_tblspc m'ndandanda wapansi. Ndipo ili ndi ma symlink ku zolemba zomwe zili ndi data ya Postgres kunja kwa chikwatu choyambira.
Mukamagwiritsa ntchito zonsezi, ndiye kuti kwa inu malamulo awa angawoneke motere. Ndiye kuti, mumapanga tebulo m'malo ena osankhidwa ndikuwona komwe ili. Awa ndi mizere iwiri yotsiriza, malamulo awiri otsiriza amatchedwa. Ndipo pamenepo zikuwonekeratu kuti pali njira ina. Koma kunena zoona, iyi si njira yeniyeni. Iyi ndi njira yokhazikika kuchokera ku chikwatu choyambira kupita ku tablespace. Ndipo kuchokera pamenepo ikugwirizana ndi symlink yomwe imatsogolera ku deta yanu yeniyeni.
Sitigwiritsa ntchito zonsezi mu gulu lathu, koma zinagwiritsidwa ntchito ndi ogwiritsa ntchito ena ambiri a WAL-E omwe anatilembera kuti akufuna kusamukira ku WAL-G, koma izi zinali kuwaletsa. Izi tsopano zathandizidwa.
Chinthu chinanso chimene maphunziro athu apadera atibweretsera ndicho kugwira. Anthu omwe mwina agwirapo ntchito kwambiri ndi Oracle kuposa ndi Postgres amadziwa za catchup.
Mwachidule za chomwe chiri. The cluster topology muutumiki wathu nthawi zambiri imatha kuwoneka motere. Tili ndi mbuye. Pali chofanizira chomwe chimayenda molemba-patsogolo kuchokera pamenepo. Ndipo chofananacho chimauza mbuyeyo kuti LSN ili pakali pano. Ndipo kwinakwake mofanana ndi izi, chipikacho chikhoza kusungidwa. Ndipo kuphatikiza pakusunga chipikacho, zosunga zobwezeretsera zimatumizidwanso kumtambo. Ndipo zosunga zobwezeretsera za delta zimatumizidwa.
Vuto lingakhale chiyani? Mukakhala ndi nkhokwe yayikulu, zitha kukhala kuti chofananira chanu chimayamba kutsalira kumbuyo kwa mbuye. Ndipo amatsalira m'mbuyo kwambiri moti sangamugwire. Vutoli nthawi zambiri limayenera kuthetsedwa mwanjira ina.
Ndipo njira yosavuta ndiyo kuchotsa chofananacho ndikuchiyikanso kachiwiri, chifukwa sichidzafika, ndipo vuto liyenera kuthetsedwa. Koma iyi ndi nthawi yayitali, chifukwa kubwezeretsanso zosunga zobwezeretsera zonse za TB 10 ndi nthawi yayitali kwambiri. Ndipo tikufuna kuchita zonsezi mwachangu ngati mavuto ngati amenewa abuka. Ndipo ndicho chimodzimodzi chomwe catchup ili.
Catchup imakupatsani mwayi wogwiritsa ntchito ma backups a delta, omwe amasungidwa mumtambo motere. Mukunena kuti ndi LSN iti yomwe ikuyimira pakali pano ndikulongosola mu lamulo la catchup kuti mupange zosunga zobwezeretsera pakati pa LSN ndi LSN yomwe gulu lanu lili pano. Ndipo pambuyo pake mumabwezeretsa zosunga zobwezeretsera ku chithunzi chomwe chinali kutsalira.
Maziko ena
Ophunzirawo anatibweretseranso zinthu zambiri nthawi imodzi. Popeza ku Yandex sitiphika ma Postgres okha, timakhalanso ndi MySQL, MongoDB, Redis, ClickHouse, panthawi ina tinkafunika kuti titha kupanga zosunga zobwezeretsera ndikubwezeretsanso nthawi ya MySQL, komanso kuti pakhale mwayi wokweza. iwo ku mtambo.
Ndipo timafuna kuchita mwanjira ina yofananira ndi zomwe WAL-G amachita. Ndipo tinaganiza zoyesera ndikuwona momwe zonse zidzawonekera.
Ndipo poyamba, popanda kugawana malingaliro awa mwanjira iliyonse, iwo adalemba code mu foloko. Iwo adawona kuti tili ndi mtundu wina wantchito ndipo imatha kuwuluka. Kenako tinaganiza kuti dera lathu lalikulu ndi postgresists, amagwiritsa WAL-G. Choncho tiyenera kulekanitsa mbali zimenezi mwanjira ina. Ndiye kuti, tikasintha ma code a Postgres, sitiphwanya MySQL; tikasintha MySQL, sitiphwanya Postgres.
Lingaliro loyamba la momwe mungalekanitsire izi linali lingaliro la kugwiritsa ntchito njira yomweyi yomwe imagwiritsidwa ntchito pazowonjezera za PostgreSQL. Ndipo, kwenikweni, kuti mupange zosunga zobwezeretsera za MySQL muyenera kukhazikitsa laibulale yamphamvu.
Koma apa asymmetry ya njira iyi ikuwonekera nthawi yomweyo. Mukasunga Postgres, mumayika zosunga zobwezeretsera za Postgres ndipo zonse zili bwino. Ndipo kwa MySQL zimakhala kuti mumayika zosunga zobwezeretsera za Postgres ndikuyikanso laibulale yamphamvu ya MySQL yake. Zikumveka zachilendo. Nafenso tinaganiza choncho ndipo tinaona kuti imeneyi si njira imene tikufunikira.
Zomangamanga zosiyanasiyana za Postgres, MySQL, MongoDB, Redis
Koma izi zinatilola ife, zikuwoneka kwa ife, kuti tipange chisankho choyenera - kugawa misonkhano yosiyanasiyana ya maziko osiyanasiyana. Izi zidapangitsa kuti zitheke kusiyanitsa malingaliro omwe amamangiriridwa pazosunga zosunga zobwezeretsera zosiyanasiyana zomwe zitha kupeza API wamba yomwe WAL-G imagwiritsa ntchito.
Ili ndi gawo lomwe tidalemba tokha - tisanapatse ophunzira mavuto. Ndiye kuti, ili ndi gawo lomwe angachite cholakwika, kotero tidaganiza kuti kuli bwino tichite izi ndipo zonse zikhala bwino.
Pambuyo pake tinathetsa mavuto. Nthawi yomweyo anang'ambika. Ophunzira amayenera kuthandizira maziko atatu.
Iyi ndi MySQL, yomwe takhala tikuthandizira pogwiritsa ntchito WAL-G motere kwa nthawi yopitilira chaka.
Ndipo tsopano MongoDB ikuyandikira kupanga, komwe akumaliza ndi fayilo. Ndipotu, tinalemba chimango cha zonsezi. Kenako ophunzirawo analemba zinthu zina zothandiza. Ndiyeno timawabweretsa ku dziko lomwe tingathe kuvomereza pakupanga.
Mavutowa sanawonekere ngati ophunzira amafunikira kulemba zida zonse zosunga zobwezeretsera pa chilichonse mwazosungira izi. Sitinakhale ndi vuto ngati limeneli. Vuto lathu linali loti timafuna kuchira kwanthawi yayitali ndipo timafuna kusunga mtambo. Ndipo anapempha ophunzirawo kuti alembe kachidindo kamene kangathetse vutoli. Ophunzirawo adagwiritsa ntchito zida zosunga zobwezeretsera zomwe zidalipo kale, zomwe mwanjira ina zimatenga zosunga zobwezeretsera, kenako ndikuziphatikiza ndi WAL-G, zomwe zidatumiza zonse kumtambo. Ndipo iwo adawonjezeranso kuchira kwanthawi yayitali pa izi.
Kodi ophunzirawo anabweretsanso chiyani? Adabweretsa chithandizo cha Libsodium encryption ku WAL-G.
Tilinso ndi mfundo zosunga zobwezeretsera. Tsopano zosunga zobwezeretsera zitha kuzindikirika kuti ndizokhazikika. Ndipo mwanjira ina ndizosavuta kuti ntchito yanu isinthe makina osungira.
Kodi zotsatira za kuyesaku zinali zotani?
Anthu opitilira 100 adalembetsa koyamba maphunzirowa. Poyamba sindinanene kuti yunivesite ya Yekaterinburg ndi Ural Federal University. Tinalengeza zonse kumeneko. Anthu 100 adalembetsa. Kunena zoona, anthu ochepa anayamba kuchita chinachake, pafupifupi anthu 30.
Ngakhale anthu ochepa anamaliza maphunzirowo, chifukwa kunali koyenera kulemba mayeso a ma code omwe alipo kale. Komanso konzani cholakwika kapena pangani zina. Ndipo ophunzira ena adatsekabe maphunzirowo.
Pakadali pano, pamaphunzirowa, ophunzira akonza pafupifupi nkhani 14 ndikupanga mawonekedwe 10 amitundu yosiyanasiyana. Ndipo, zikuwoneka kwa ine, uku ndikusintha kwathunthu kwa opanga m'modzi kapena awiri.
Mwa zina, tinapereka madipuloma ndi maphunziro. Ndipo 12 analandira ma dipuloma. 6 mwa iwo adziteteza kale pa "5". Otsalawo analibe chitetezo, koma ndikuganiza kuti zonse zikhala bwino kwa iwonso.
Zimakonzekera zam'tsogolo
Kodi tili ndi mapulani otani amtsogolo?
Zopempha zomwe tazimva kale kuchokera kwa ogwiritsa ntchito ndipo tikufuna kuchita. Izi:
- Kuyang'anira kulondola kwanthawi yolondolera nthawi mu HA Cluster Backup Archive. Mutha kuchita izi ndi WAL-G. Ndipo ndikuganiza kuti tikhala ndi ophunzira omwe angatengere nkhaniyi.
- Tili ndi munthu yemwe ali ndi udindo wosamutsa zosunga zobwezeretsera ndi WAL pakati pa mitambo.
- Ndipo posachedwapa tasindikiza lingaliro loti titha kufulumizitsa WAL-G mopitilira apo pochotsa zosunga zobwezeretsera popanda kulembanso masamba ndikuwongolera zakale zomwe timatumiza kumeneko.
Mutha kugawana nawo pano
Kodi lipotili linali la chiyani? Kuphatikiza apo, tsopano, kuwonjezera pa anthu 4 omwe amathandizira ntchitoyi, tili ndi manja owonjezera, omwe alipo ambiri. Makamaka ngati muwalembera uthenga waumwini. Ndipo ngati mungasungire deta yanu ndikuchita pogwiritsa ntchito WAL-G kapena mukufuna kusamukira ku WAL-G, ndiye kuti titha kulolera zokhumba zanu mosavuta.
Iyi ndi nambala ya QR komanso ulalo. Mutha kuwadutsa ndikulemba zofuna zanu zonse. Mwachitsanzo, sitikukonza cholakwika. Kapena mukufunadi zina, koma pazifukwa zina sizinasungidwe zosunga zobwezeretsera, kuphatikiza zathu. Onetsetsani kulemba za izi.
Mafunso anu
Moni! Zikomo chifukwa cha lipoti! Funso lokhudza WAL-G, koma osati za Postgres. WAL-G imathandizira MySQL ndikuyitanitsa zosunga zobwezeretsera. Ngati titenga kukhazikitsa kwamakono pa CentOS ndipo ngati mukuchita yum kukhazikitsa MySQL, MariDB idzayikidwa. Kuchokera mu mtundu 10.3 zosunga zobwezeretsera sizimathandizidwa, zosunga zobwezeretsera za MariDB zimathandizidwa. Mukuchita bwanji ndi izi?
Pakadali pano sitinayesere kusunga MariDB. Takhala ndi zopempha thandizo la FoundationDB, koma kawirikawiri, ngati pali pempho lotero, ndiye kuti tikhoza kupeza anthu omwe angachite. Sizitali kapena zovuta monga momwe ndikuganizira.
Masana abwino Zikomo chifukwa cha lipoti! Funso lokhala ndi zatsopano. Kodi mwakonzeka kupanga WAL-G kugwira ntchito ndi matepi kuti muthe kusungabe ma tepi?
Kusunga zosunga zobwezeretsera tepi mwachiwonekere kumatanthauza?
Inde.
Pali Andrei Borodin, amene angayankhe funso ili bwino kuposa ine.
(Andrey) Inde, zikomo chifukwa cha funso! Tinali ndi pempho losamutsa zosunga zobwezeretsera ku tepi kuchokera ku yosungirako mitambo. Ndipo za izi kusamutsa pakati pa mitambo. Chifukwa kusamutsa kwamtambo kupita kumtambo ndi mtundu wamba wa kusamutsa matepi. Kuphatikiza apo, tili ndi zomanga zokulirapo malinga ndi Zosungira. Mwa njira, Storoges ambiri adalembedwa ndi ophunzira. Ndipo ngati mulemba Kusungirako kwa tepi, ndiye kuti, ndithudi, idzathandizidwa. Ndife okonzeka kuganizira zopempha kukoka. Pamenepo muyenera kulemba fayilo, werengani fayilo. Ngati muchita izi mu Go, nthawi zambiri mumakhala ndi mizere 50 yamakhodi. Ndiyeno tepi idzathandizidwa mu WAL-G.
Zikomo chifukwa cha lipoti! Njira yosangalatsa yachitukuko. Kusunga zosunga zobwezeretsera ndi gawo lalikulu la magwiridwe antchito omwe amayenera kuphimbidwa bwino ndi mayeso. Pamene mudagwiritsa ntchito zosunga zobwezeretsera zatsopano, kodi ophunzirawo adalembanso mayesowo, kapena munalemba nokha mayesowo kenako ndikupereka kwa ophunzira?
Ophunzira adalembanso mayeso. Koma ophunzira adalemba zambiri pazinthu monga ma database atsopano. Adalemba mayeso ophatikiza. Ndipo adalemba mayeso a unit. Ngati kuphatikiza kupitilira, ndiye kuti, pakadali pano, iyi ndi script yomwe mumapanga pamanja kapena muli ndi cron kuchita, mwachitsanzo. Ndiko kuti, script kumeneko ndi yomveka bwino.
Ophunzira alibe zambiri. Kodi kubwereza kumatenga nthawi yayitali?
Inde, ndemanga zimatenga nthawi yambiri. Ndiko kuti, nthawi zambiri, pamene odzipereka angapo amabwera nthawi imodzi ndikunena kuti ndinachita izi, ndinachita izi, ndiye muyenera kuganiza ndikupatula pafupifupi theka la tsiku kuti mudziwe zomwe analemba pamenepo. Chifukwa code iyenera kuwerengedwa mosamala. Iwo analibe zoyankhulana. Sitikuwadziwa bwino, choncho zimatenga nthawi yambiri.
Zikomo chifukwa cha lipoti! M'mbuyomu, Andrey Borodin adanena kuti archive_command mu WAL-G iyenera kuyitanidwa mwachindunji. Koma pankhani ya mtundu wina wa cartridge ya cluster, timafunikira malingaliro owonjezera kuti tidziwe malo oti titumizeko ma shafts. Kodi mumathetsa bwanji vutoli nokha?
vuto lanu ndi chiyani apa? Tiyerekeze kuti muli ndi chofananira chofananira chomwe mukusunga nacho? Kapena chiyani?
(Andrey) Chowonadi ndichakuti WAL-G idapangidwa kuti igwiritsidwe ntchito popanda zolemba za zipolopolo. Ngati china chake chikusowa, ndiye kuti tiwonjezere malingaliro omwe ayenera kukhala mkati mwa WAL-G. Ponena za komwe kusungitsa zakale kuyenera kuchokera, timakhulupirira kuti kusungitsa zakale kuyenera kuchokera kwa mbuye wapano mgululi. Kusunga zakale kuchokera pachifaniziro ndi lingaliro loyipa. Pali zochitika zosiyanasiyana zotheka ndi mavuto. Makamaka, mavuto ndi nthawi yosungiramo zakale ndi zina zowonjezera. Zikomo chifukwa cha funso!
(Kufotokozera: Tachotsa zolemba za zipolopolo )
Madzulo abwino! Zikomo chifukwa cha lipoti! Ndine wokondweretsedwa ndi zomwe mwakambirana. Tinakumana ndi vuto loti chofanizira chinali kumbuyo ndipo sitinathe kuchipeza. Ndipo sindinapeze kufotokozera za izi m'malemba a WAL-G.
Catchup adawonekera kwenikweni pa 20 Januware 2020. Zolemba zingafunike ntchito ina. Timalemba tokha ndipo sitilemba bwino kwambiri. Ndipo mwina tiyenera kuyamba kupempha ophunzira kuti alembe.
Kodi yatulutsidwa kale?
Chopempha chokoka chafa kale, mwachitsanzo, ndachifufuza. Ndinayesa izi pamagulu oyesera. Mpaka pano sitinakhalepo ndi momwe tingayesere izi mu chitsanzo chankhondo.
Tiyembekezere liti?
Sindikudziwa. Dikirani mwezi umodzi, tiwona bwino.
Source: www.habr.com