Ke khothaletsa hore u bale sengoloa sa tlaleho ea pele ea 2020 ea Georgy Rylov "WAL-G: menyetla e mecha le katoloso ea sechaba"
Bahlokomeli ba mehloli e bulehileng ba tobana le mathata a mangata ha ba ntse ba hōla. Joang ho ngola likarolo tse ngata tse hlokahalang, ho lokisa litaba tse ngata le ho khona ho bona likopo tse ngata tsa ho hula? Re sebelisa WAL-G (backup-tool for PostgreSQL) e le mohlala, ke tla u bolella kamoo re rarolotseng mathata ana kateng ka ho qala thupelo ea nts'etsopele ea Open-source yunivesithi, seo re se finyeletseng le hore na re tla fallela hokae.
Lumelang hape bohle! Ke moqapi oa Yandex oa Yekaterinburg. Mme kajeno ke tla bua ka WAL-G.
Sehlooho sa tlaleho ha se bolele hore e ne e le ho hong ka li-backups. Na ho na le motho ea tsebang hore na WAL-G ke eng? Kapa na bohle ba tseba? Phahamisa letsoho la hao ha o sa tsebe. Ho lokile, o tlile tlalehong mme ha o tsebe hore na e bua ka eng.
E-re ke u bolelle se tla etsahala kajeno. Hoa etsahala hore sehlopha sa rona esale se etsa li-backups nako e telele. 'Me ena ke tlaleho e' ngoe letotong moo re buang ka mokhoa oa ho boloka data ka mokhoa o sireletsehileng, o bolokehileng, o bonolo le o sebetsang hantle.
Letotong le fetileng ho ne ho e-na le litlaleho tse ngata tsa Andrei Borodin le Vladimir Leskov. Re ne re le bangata. 'Me esale re bua ka WAL-G ka lilemo tse ngata.
clck.ru/F8ioz -
clck.ru/Ln8Qw -
Tlaleho ena e tla fapana hanyane le tse ling ka hore e ne e bua haholo ka karolo ea tekheniki, empa mona ke tla bua ka hore na re ile ra kopana le mathata a amanang le kholo ea sechaba joang. Le kamoo re ileng ra fumana khopolo e nyenyane e re thusang ho sebetsana le sena.
Lilemong tse 'maloa tse fetileng, WAL-G e ne e le projeke e nyane haholo eo re e fumaneng ho Citus Data. Mme re sa tswa e nka. Mme e ile ya hlahiswa ke motho a le mong.
Mme ke WAL-G feela ea neng a sena:
- Boloka ho tsoa ho replica.
- Ho ne ho se na li-backups tse ntseng li eketseha.
- Ho ne ho se na li-backups tsa WAL-Delta.
- 'Me ho ne ho ntse ho e-na le lintho tse ngata tse sieo.
Lilemong tse 'maloa tsena, WAL-G e holile haholo.
Mme ka 2020, tsohle tse kaholimo li se li hlahile. 'Me ho sena ho ekelitsoe seo re nang le sona hona joale:
- Ho feta linaleli tse 1 ho GitHub.
- 150 lifereko.
- Li-PR tse ka bang 15 tse bulehileng.
- Le batšehetsi ba bang ba bangata.
- Le ho bula litaba ka linako tsohle. 'Me sena se sa tsotellehe taba ea hore re ea moo letsatsi le leng le le leng ebe re etsa ho hong ka eona.
'Me re fihletse qeto ea hore morero ona o hloka tlhokomelo ea rona ho feta, leha rona ka borona re sa hloke ho kenya tšebetsong letho bakeng sa ts'ebeletso ea rona ea Managed Databases ho Yandex.
'Me kae-kae hoetla ha 2018, maikutlo a ile a tla likelellong tsa rona. Hangata sehlopha se na le mekhoa e mengata ea ho hlahisa likarolo tse ling kapa ho lokisa likokoana-hloko haeba u se na matsoho a lekaneng. Ka mohlala, u ka hira moqapi e mong 'me ua mo lefa chelete. Kapa u ka nka motho ea ithutelang mosebetsi ka nakoana 'me ua mo lefa moputso. Empa ho ntse ho e-na le sehlopha se seholo sa batho, bao ba bang ba bona ba seng ba ntse ba tseba ho ngola khoutu. Hase kamehla o tsebang hore na khoutu ke ea boleng bofe.
Re ile ra nahana ka eona mme ra etsa qeto ea ho leka ho hohela baithuti. Empa liithuti li ke ke tsa nka karolo linthong tsohle le rona. Ba tla etsa karolo e itseng feela ea mosebetsi. 'Me ka mohlala, ba tla ngola liteko, ba lokise liphoso, ba sebelise likarolo tse sa ameng ts'ebetso e kholo. Mosebetsi o ka sehloohong ke ho etsa li-backups le ho khutlisetsa li-backups. Haeba re etsa phoso ka ho theha bekapo, re tla lahleheloa ke data. Mme ha ho motho ya batlang sena, ehlile. E mong le e mong o batla hore ntho e 'ngoe le e 'ngoe e sireletsehe haholo. Ka hona, ha e le hantle, ha re batle ho lumella khoutu eo re e tšepang ho feta ea rona. Ke hore, khoutu efe kapa efe e seng ea bohlokoa ke eona eo re ka ratang ho e fumana ho tsoa ho basebetsi ba rona ba eketsehileng.
PR ea moithuti e amoheloa tlas'a maemo afe?
- Ba tlameha ho koahela khoutu ea bona ka liteko. Tsohle li lokela ho etsahala ka CI.
- 'Me re boetse re feta ka maikutlo a 2. E 'ngoe ke Andrey Borodin le e' ngoe ka 'na.
- Ho feta moo, ho netefatsa hore sena se ke ke sa senya letho tšebeletsong ea rona, ke kenya kopano ka thoko ka boitlamo bona. 'Me re hlahloba liteko tsa ho qetela hore ha ho letho le hlōlehang.
Thuto e khethehileng ea Open Source
Hanyenyane mabapi le hore na ke hobane'ng ha sena se hlokahala le hore na ke hobane'ng ha sena, ho bonahala ho 'na, e le khopolo e ntle.
Ho rona, phaello e hlakile:
- Re fumana matsoho a eketsehileng.
- Mme re batla bonkgetheng ba sehlopha hara baithuti ba bohlale ba ngolang khoutu e bohlale.
Molemo oa liithuti ke ofe?
Li ka 'na tsa se ke tsa bonahala haholo, hobane liithuti, bonyane, ha li fumane chelete bakeng sa khoutu eo li e ngolang, empa li fumana feela limaraka bakeng sa litlaleho tsa liithuti tsa bona.
Ke ile ka ba botsa ka taba ena. 'Me ka mantsoe a bona:
- Boiphihlelo ba mothusi ho Open Source.
- Fumana mola ho CV ea hau.
- Ipake 'me u fetise lipuisano ho Yandex.
- Eba setho sa GSoC.
- +1 thupelo e khethehileng bakeng sa ba batlang ho ngola khoutu.
Ha ke na ho bua ka hore na thupelo e entsoe joang. Ke tla re feela WAL-G e ne e le morero oa mantlha. Re boetse re kenyelletsa merero e joalo ka Odyssey, PostgreSQL le ClickHouse thupelong ena.
'Me ha baa ka ba fana ka mathata thupelong ena feela, empa hape ba fana ka diploma le lithupelo.
Ho thoe'ng ka melemo ea basebelisi?
Joale ha re feteleng pele karolong e u khahlang haholo. See se u tsoela molemo ofe? Taba ke hore baithuti ba ile ba lokisa liphoso tse ngata. 'Me re entse likarolo tsa kopo eo u re kopileng hore re e etse.
Mme e re ke o bolelle ka dintho tseo e leng kgale o di batla le tse fihletsweng.
Tšehetso ea libaka tsa litafole. Libaka tsa litafole ho WAL-G li 'nile tsa lebelloa mohlomong ho tloha ha WAL-G e lokolloa, hobane WAL-G ke mohlahlami oa sesebelisoa se seng sa ho boloka WAL-E, moo li-backups tsa database tse nang le libaka tsa litafole li tšehetsoeng.
E re ke u hopotse ka bokhutšoanyane hore na ke eng le hore na ke hobane'ng ha e hlokahala. Ka tloaelo, lintlha tsohle tsa hau tsa Postgres li lula bukeng e le 'ngoe tsamaisong ea faele, e bitsoang base. Mme bukana ena e se e ntse e na le lifaele tsohle le li-subdirectories tse hlokoang ke Postgres.
Libaka tsa litafole ke li-directory tse nang le data ea Postgres, empa ha li fumanehe ka ntle ho buka ea motheo. Slide e bontša hore li-tafole li fumaneha ka ntle ho buka ea motheo.
See se shebahala joang bakeng sa Postgres ka boeona? Ho na le subdirectory e arohaneng pg_tblspc bukeng ea motheo. 'Me e na le li-symlink ho li-directory tse hlileng li nang le data ea Postgres ka ntle ho setsi sa motheo.
Ha u sebelisa tsena tsohle, joale ho uena litaelo tsena li ka shebahala tjena. Ke hore, o theha tafole sebakeng se itseng sa tafole 'me u bone hore na e hokae hona joale. Ena ke mela e 'meli ea ho qetela, litaelo tse peli tsa ho qetela tse bitsoang. 'Me moo ho hlakile hore ho na le tsela e itseng. Empa ha e le hantle, ena hase eona tsela ea sebele. Ena ke tsela e hlomamisitsoeng ho tloha bukeng ea motheo ho ea sebakeng sa tafole. 'Me ho tloha moo e tsamaisana le symlink e lebisang ho data ea hau ea sebele.
Ha re sebelise sena sohle sehlopheng sa rona, empa se ne se sebelisoa ke basebelisi ba bang ba bangata ba WAL-E ba re ngoletseng hore ba batla ho fallela WAL-G, empa sena se ne se ba thibela. Sena se se se tšehetsoa.
Tšobotsi e 'ngoe eo thupelo ea rona e khethehileng e re tliselitseng eona ke catchup. Batho bao mohlomong ba sebelitseng haholo le Oracle ho feta ka Postgres ba tseba ka catchup.
Ka bokhutšoanyane hore na ke eng. The cluster topology tshebeletsong ya rona e kanna ya shebahala tjena. Re na le monghali. Ho na le replica eo melapo e ngolang-pele ho tsoa ho eona. 'Me replica e bolella mong'a hore na LSN e ntse e le ho eng hajoale. 'Me kae-kae ho bapa le sena, log e ka bolokoa. 'Me ntle le ho boloka log, li-backups li boetse li romeloa lerung. 'Me li-backups tsa delta lia romeloa.
Bothata e ka ba bofe? Ha u na le database e kholo haholo, ho ka etsahala hore setšoantšo sa hau se qala ho salla morao haholo ho mong'a sona. 'Me o salla morao haholo hoo a ke keng a khona ho mo tšoara. Hangata bothata bona bo hloka ho rarolloa ka tsela e itseng.
'Me tsela e bonolo ka ho fetisisa ke ho tlosa replica le ho e kenya hape, hobane e ke ke ea hlola e tšoara,' me bothata bo hloka ho sebetsanoa le bona. Empa ena ke nako e telele, hobane ho khutlisetsa "backup" ea 10 TB database ke nako e telele haholo. 'Me re batla ho etsa tsena tsohle kapele kamoo ho ka khonehang haeba mathata a joalo a hlaha. 'Me ke sona hantle seo catchup e leng sona.
Catchup e u lumella ho sebelisa li-backups tsa delta, tse bolokiloeng marung ka tsela ena. U re ke LSN efe e salang e ntse e sebetsa 'me u e hlalose ka har'a taelo ea catchup e le hore u ka etsa "backup" ea delta lipakeng tsa LSN eo le LSN eo sehlopha sa hau se leng ho eona hajoale. 'Me ka mor'a moo u khutlisetsa bekapo ena ho replica e neng e salletse morao.
Metheo e meng
Liithuti le tsona li ile tsa re tlisetsa likarolo tse ngata ka nako e le ’ngoe. Kaha ho Yandex ha re phehe Postgres feela, re boetse re na le MySQL, MongoDB, Redis, ClickHouse, ka nako e 'ngoe re ne re hloka ho khona ho etsa li-backups ka nako ea ho hlaphoheloa ha MySQL, le hore ho be le monyetla oa ho kenya. bona ho leru.
Mme re ne re batla ho e etsa ka tsela e ts'oanang le eo WAL-G e e etsang. Mme re nkile qeto ya ho etsa teko mme re bone hore na tsohle di tla shebahala jwang.
'Me qalong, ntle le ho arolelana mohopolo ona ka tsela leha e le efe, ba ile ba ngola khoutu ka fereko. Ba bone hore re na le mofuta o itseng oa mohlala o sebetsang 'me o khona ho fofa. Eaba re nahana hore sechaba sa rona se seholo ke ba postgresists, ba sebelisa WAL-G. 'Me ka hona re hloka ho arola likarolo tsena ka tsela e itseng. Ke hore, ha re hlophisa khoutu bakeng sa Postgres, ha re robe MySQL; ha re hlophisa MySQL, ha re robe Postgres.
Mohopolo oa pele mabapi le mokhoa oa ho arola sena e ne e le mohopolo oa ho sebelisa mokhoa o ts'oanang o sebelisoang ho li-extensions tsa PostgreSQL. Mme, ha e le hantle, ho etsa backup ea MySQL o ne o tlameha ho kenya mofuta o mong oa laeborari e matla.
Empa mona asymmetry ea mokhoa ona e bonahala hang-hang. Ha o boloka Postgres, o beha bekapo e tloaelehileng bakeng sa Postgres ho eona mme tsohle li hantle. Mme bakeng sa MySQL hoa fumaneha hore o kenya bekapo bakeng sa Postgres hape o kenya laeborari e matla bakeng sa MySQL bakeng sa eona. Ho utloahala ho makatsa. Le rōna re ile ra nahana joalo eaba re etsa qeto ea hore ena hase tharollo eo re e hlokang.
Mehaho e fapaneng ea Postgres, MySQL, MongoDB, Redis
Empa sena se ile sa re lumella, ho bonahala ho rona, ho fihlela qeto e nepahetseng - ho abela likopano tse fapaneng bakeng sa metheo e fapaneng. Sena se entse hore ho khonehe ho arola mohopolo o hokahaneng le li-backups tsa li-database tse fapaneng tse tla fihlella API e tloaelehileng eo WAL-G e e sebelisang.
Ena ke karolo eo re e ngotseng ka borona - pele re fa baithuti mathata. Ke hore, ena ke eona hantle karolo eo ba ka etsang ntho e fosahetseng, kahoo re ile ra etsa qeto ea hore ho molemo hore re etse ntho e kang ena 'me tsohle li tla loka.
Ka mor'a moo re ile ra rarolla bothata. Li ile tsa qhaqhoa hang-hang. Baithuti ba ne ba hlokoa hore ba tšehetse metheo e meraro.
Ena ke MySQL, eo esale re e tšehetsa re sebelisa WAL-G ka tsela ena nako e fetang selemo.
'Me joale MongoDB e atamela tlhahiso, moo ba e qetang ka faele. Ha e le hantle, re ngotse moralo oa tsena tsohle. Eaba liithuti li ngola lintho tse ling tse sebetsang. Ebe joale re li tlisa boemong boo re ka bo amohelang ka tlhahiso.
Mathata ana a ne a sa shebahale joalo ka ha baithuti ba hloka ho ngola lisebelisoa tse felletseng tsa bekapo bakeng sa e 'ngoe le e 'ngoe ea li-database tsena. Ha rea ka ra ba le bothata bo joalo. Bothata ba rona e ne e le hore re ne re batla ho hlaphoheloa ka nako 'me re ne re batla ho boloka bekapo ho leru. Mme ba ile ba kopa baithuti ho ngola khoutu e tla rarolla sena. Baithuti ba sebelisitse lisebelisoa tse seng li ntse li le teng tsa bekapo, tseo ka tsela e itseng li nkang li-backups, ebe li li kopanya kaofela le WAL-G, e ileng ea li fetisetsa kaofela marung. 'Me ba boetse ba ekelitse ho hlaphoheloa ka nako ho sena.
Liithuti li ile tsa tla le eng hape? Ba tlisitse tšehetso ea encryption ea Libsodium ho WAL-G.
Hape re na le melaoana ea polokelo ea bekapo. Hona joale li-backups li ka tšoauoa e le tsa ka ho sa feleng. 'Me ka tsela e itseng ho bonolo haholoanyane hore tšebeletso ea hau e iketsetse mokhoa oa ho li boloka.
Phello ea teko ee e bile efe?
Batho ba fetang 100 ba ile ba ingolisa bakeng sa thupelo. Qalong ha kea ka ka re univesithi ea Yekaterinburg ke Univesithi ea Ural Federal. Re phatlalalitse tsohle moo. Batho ba 100 ba ngolisitse. Ha e le hantle, ke batho ba fokolang haholo ba ileng ba qala ho etsa ntho e itseng, batho ba ka bang 30.
Esita le batho ba fokolang ba ile ba qeta thupelo, hobane ho ne ho hlokahala hore ho ngoloe liteko bakeng sa likhoutu tse seng li le teng. Hape lokisa phoso e itseng kapa u etse tšobotsi e itseng. Mme baithuti ba bang ba ne ba ntse ba koetse thupelo.
Hajoale, nakong ea thupelo ena, baithuti ba lokisitse litaba tse ka bang 14 mme ba etsa likarolo tse 10 tsa boholo bo fapaneng. 'Me, ho bonahala ho nna, ena ke phetoho e felletseng ea bahlahisi a le mong kapa ba babeli.
Har’a tse ling, re ile ra fana ka mangolo a diploma le lithupelo. Mme ba 12 ba ile ba fumana mangolo. Ba 6 ba bona ba se ba itšireletse ho "5". Ba ileng ba sala ba ne ba e-s’o fumane tšireletso, empa ke nahana hore lintho tsohle li tla ba tsamaela hantle le bona.
Merero ea bokamoso
Re na le merero efe bakeng sa bokamoso?
Bonyane likopo tsa likarolo tseo re seng re li utloile ho tsoa ho basebelisi mme re batla ho li etsa. Sena:
- Ho beha leihlo ho nepahala ha tatellano ea nako sebakeng sa polokelo ea polokelo ea sehlopha sa HA. U ka etsa sena ka WAL-G. Mme ke nahana hore re tla ba le baithuti ba tla nka taba ena.
- Re se re ntse re e-na le motho ea ikarabellang bakeng sa ho fetisetsa li-backups le WAL pakeng tsa maru.
- Haufinyane tjena re phatlalalitse mohopolo oa hore re ka potlakisa WAL-G le ho feta ka ho notlolla li-backups tse ntseng li eketseha ntle le ho ngola maqephe le ho ntlafatsa li-archives tseo re li romellang moo.
U ka li arolelana mona
Tlaleho ee e ne e le ea eng? Ho feta moo, hona joale, ho phaella ho batho ba 4 ba tšehetsang morero ona, re na le matsoho a eketsehileng, ao ho 'ona ho nang le a mangata haholo. Haholo-holo haeba u ba ngolla molaetsa oa botho. 'Me haeba u boloka lintlha tsa hau' me u li etsa u sebelisa WAL-G kapa u ka rata ho fallela WAL-G, re ka khona ho amohela litakatso tsa hau habonolo.
Ena ke khoutu ea QR le sehokelo. U ka li sheba 'me ua ngola litakatso tsa hau kaofela. Ka mohlala, ha re lokise bothata bo itseng. Kapa u hlile u batla tšobotsi e itseng, empa ka mabaka a itseng ha e so be bekapo efe kapa efe, ho kenyeletsoa le ea rona. Etsa bonnete ba ho ngola ka sena.
Lipotso
Lumela! Re leboha tlaleho! Potso ka WAL-G, empa eseng ka Postgres. WAL-G e tšehetsa MySQL mme e bitsa bekapo e eketsehileng. Haeba re nka lits'ebetso tsa sejoale-joale ho CentOS 'me haeba u etsa yum install MySQL, MariDB e tla kenngoa. Ho tsoa ho mofuta oa 10.3 backup e eketsehileng ha e tšehetsoe, bekapo ea MariDB ea tšehetsoa. U etsa joang ka see?
Hajoale ha re so leke ho boloka MariDB. Re bile le likopo tsa tšehetso ea FoundationDB, empa ka kakaretso, haeba ho na le kopo e joalo, joale re ka fumana batho ba tla e etsa. Ha e telele kapa e thata joalo ka ha ke nahana.
Lumelang Re leboha tlaleho! Potso mabapi le likarolo tse ncha tse ka bang teng. A na u se u loketse ho etsa hore WAL-G e sebetse ka litheipi e le hore u ka boloka litheipi?
Ho boloka bekapo ka polokelo ea theipi ho bonahala ho bolela?
E.
Ho na le Andrei Borodin, ea ka arabang potso ena ho mpheta.
(Andrey) E, kea leboha ka potso eo! Re bile le kopo ea ho fetisetsa bekapo ho theipi ho tloha polokelong ea leru. Le bakeng sa sena phetiso pakeng tsa maru. Hobane cloud-to-cloud transfer ke mofuta o akaretsang oa phetiso ea theipi. Ho feta moo, re na le meralo e atolositsoeng ho latela Lipolokelo. Ha e le hantle, li-Storoges tse ngata li ngotsoe ke liithuti. 'Me haeba u ngola Storage bakeng sa tepi, joale e tla, ehlile, e tla tšehetsoa. Re ikemiselitse ho nahana ka likopo tsa ho hula. Ha u le moo u hloka ho ngola faele, bala faele. Haeba u etsa lintho tsena ho Go, hangata u qetella u e-na le mela e 50 ea khoutu. 'Me joale teipi e tla tšehetsoa ho WAL-G.
Re leboha tlaleho! Mokhoa o khahlisang oa ntlafatso. Backup ke karolo e tebileng ea ts'ebetso e lokelang ho koaheloa hantle ke liteko. Ha u ne u kenya ts'ebetsong ts'ebetsong ea li-database tse ncha, na liithuti le tsona li ile tsa ngola litlhahlobo, kapa na u ile ua ngola liteko ka bouena ebe u fana ka ts'ebetsong ho liithuti?
Baithuti le bona ba ile ba ngola liteko. Empa baithuti ba ngotse ho feta bakeng sa likarolo tse joalo ka database tse ncha. Ba ngotse liteko tsa ho kopanya. Mme ba ngotse diteko tsa diyuniti. Haeba kopanyo e feta, ke hore, hajoale, ena ke sengoloa seo u se etsang ka letsoho kapa u na le cron ho se etsa, mohlala. Ke hore, mongolo oa mono o hlakile haholo.
Baithuti ha ba na boiphihlelo bo bongata. Na ho hlahloba ho nka nako e ngata?
E, litlhahlobo li nka nako e ngata haholo. Ke hore, hangata, ha baithaopi ba 'maloa ba tla ka nako e le' ngoe 'me ba re ke entse sena, ke entse seo, joale u lokela ho nahana le ho behella ka thōko hoo e ka bang halofo ea letsatsi ho fumana seo ba se ngotseng moo. Hobane khoutu e tlameha ho baloa ka hloko. Ba ne ba sena puisano. Ha re li tsebe hantle, kahoo ho nka nako e ngata haholo.
Re leboha tlaleho! Pejana, Andrey Borodin o boletse hore archive_command ho WAL-G e lokela ho bitsoa ka kotloloho. Empa tabeng ea mofuta o mong oa cartridge ea cluster, re hloka logic e eketsehileng ho fumana node eo re tla romela li-shafts ho eona. U rarolla bothata boo joang ka bouena?
Bothata ba hao ke bofe moo? Ha re re u na le setšoantšo sa synchronous seo u etsang bekapo ka sona? Kapa eng?
(Andrey) 'Nete ke hore ehlile WAL-G e reretsoe ho sebelisoa ntle le mangolo a likhetla. Haeba ho na le ho hong ho haellang, joale ha re kenyelleng mabaka a lokelang ho ba ka hare ho WAL-G. Ha e le hore na ho boloka litokomane ho tsoa hokae, re lumela hore ho boloka litlaleho ho tsoa ho mong'a hona joale sehlopheng. Ho boloka ho tsoa ho replica ke mohopolo o mobe. Ho na le maemo a fapaneng a ka bang teng ka mathata. Haholo-holo, mathata a ho boloka linako le tlhahisoleseling efe kapa efe e eketsehileng. Kea leboha ka potso!
(Tlhaloso: Re lahlile mangolo a likhetla )
Lumelang! Re leboha tlaleho! Ke khahlehela karolo eo u buileng ka eona. Re ne re tobane le boemo boo ho bona setšoantšo se neng se le ka morao 'me se sa khone ho se tšoara. 'Me ha kea fumana tlhaloso ea tšobotsi ena litokomaneng tsa WAL-G.
Catchup e hlahile ka la 20 Pherekhong 2020. Litokomane li ka hloka mosebetsi o mong hape. Re e ngola ka borona 'me ha re e ngole hantle. 'Me mohlomong re lokela ho qala ho batla hore liithuti li e ngole.
Na e se e lokollotsoe?
Kopo ea ho hula e se e shoele, ke hore ke e hlahlobile. Ke lekile sena sehlopheng sa liteko. Ho fihlela hajoale ha re so be le boemo boo re ka lekang sena ka mohlala oa ntoa.
Ho lebella neng?
Ha ke tsebe. Ema khoeli, re tla hlahloba hantle.
Source: www.habr.com