Lumela, lebitso la ka ke Evgeniy. Ke sebetsa setsing sa ho batla sa Yandex.Market. Ke batla ho bolella sechaba sa Habr ka kichineng e ka hare ea 'Maraka - mme ke na le ho hongata hoo nka ho bolelang. Pele ho tsohle, mokhoa oa ho batla 'Maraka o sebetsa joang, lits'ebetso le meralo. Re sebetsana joang le maemo a tšohanyetso: ho etsahala'ng haeba seva se le seng se theoha? Ho thoe'ng haeba ho na le li-server tse joalo tse 100?
U tla boela u ithute kamoo re kenyang tšebetso e ncha ho sehlopha sa li-server hang-hang. Le kamoo re lekang lits'ebeletso tse rarahaneng ka kotloloho tlhahiso, ntle le ho baka tšitiso ho basebelisi. Ka kakaretso, ho batla 'Maraka ho sebetsa joang e le hore bohle ba be le nako e monate.
Hanyenyane ka rona: ke bothata bofe boo re bo rarollang
Ha o kenya mongolo, batla sehlahisoa ka liparamente, kapa u bapisa litheko mabenkeleng a fapaneng, likopo tsohle li romelloa ts'ebeletso ea patlo. Batla ke tšebeletso e kholo ka ho fetisisa Marakeng.
Re sebetsana le likōpo tsohle tsa ho batla: ho tloha liwebsaeteng market.yandex.ru, beru.ru, tšebeletso ea Supercheck, Yandex.Advisor, lisebelisoa tsa mohala. Re kenyelletsa lihlahisoa tsa lihlahisoa liphethong tsa lipatlisiso ho yandex.ru.
Ka ts'ebeletso ea ho batla ha ke bolele feela patlo ka boyona, empa hape le database e nang le lits'ebeletso tsohle tsa Marakeng. Tekanyo ke ena: likopo tse fetang bilione tsa ho batla li sebetsoa ka letsatsi. 'Me ntho e' ngoe le e 'ngoe e lokela ho sebetsa ka potlako, ntle le litšitiso 'me kamehla e hlahise sephetho se lakatsehang.
Ke eng: Mehaho ea 'maraka
Ke tla hlalosa ka bokhuts'oane moralo oa hajoale oa Maraka. E ka hlalosoa hantle ka setšoantšo se ka tlase:
Ha re re lebenkele la balekane le tla ho rona. O re ke batla ho rekisa toy: katse ena e khopo e nang le squeaker. Le katse e 'ngoe e halefileng ntle le ho squeaker. Le katse feela. Ebe lebenkele le hloka ho lokisa litefiso tseo Mmaraka o li batlang. Lebenkele le hlahisa xml e khethehileng e nang le lits'ebeletso 'me e bua ka tsela e lebisang ho xml ena ka sehokelo sa affiliate. Joale indexer e khoasolla xml ena nako le nako, e lekola liphoso ebe e boloka tlhahisoleseling eohle polokelong e kholo.
Ho na le li-xml tse ngata joalo tse bolokiloeng. Lenane la ho batla le entsoe ho tsoa ho database ena. Lenane le bolokoa ka mokhoa oa ka hare. Kamora ho theha index, tšebeletso ea Layout e e kenya ho li-server tsa ho batla.
Ka lebaka leo, katse e halefileng e nang le squeaker e hlaha ka har'a database, 'me index ea cat e hlaha ho seva.
Ke tla u bolella hore na re batla katse joang karolong e mabapi le meralo ea ho batla.
Mehaho ea patlo ea 'maraka
Re phela lefatšeng la li-microservices: kopo e 'ngoe le e 'ngoe e kenang e baka li-subqueries tse ngata, 'me litšebeletso tse ngata li ameha ts'ebetsong ea tsona. Setšoantšo se bontša tse 'maloa feela:
Sekema se nolofalitsoeng sa ho sebetsana le likopo
Tšebeletso e 'ngoe le e' ngoe e na le ntho e babatsehang - e leka-lekaneng e nang le lebitso le ikhethang:
The balancer e re fa phetoho e kholo ea ho laola ts'ebeletso: u ka etsa mohlala, ho tima li-server, tseo hangata li hlokahalang bakeng sa lisebelisoa. Motho ea leka-lekaneng o bona hore seva ha e fumanehe 'me ka bo eona e khutlisetsa likopo ho li-server tse ling kapa litsi tsa data. Ha o eketsa kapa o tlosa seva, mojaro o abuoa hape lipakeng tsa li-server.
Lebitso le ikhethang la balancer ha le itšetlehe ka setsi sa data. Ha tšebeletso ea A e etsa kopo ho B, joale ka "balancer" ea kamehla B e khutlisetsa kopo setsing sa hona joale sa data. Haeba tšebeletso e sa fumanehe kapa e le sieo setsing sa hona joale sa data, joale kopo e fetisetsoa litsing tse ling tsa data.
FQDN e le 'ngoe bakeng sa litsi tsohle tsa data e lumella tšebeletso ea A hore e fumanehe ka ho feletseng libakeng. Kopo ea hae ea ho sebeletsa B e tla lula e sebetsoa. Ntho e ikhethang ke boemo ha tšebeletso e le litsing tsohle tsa data.
Empa ha se ntho e 'ngoe le e' ngoe e monate haholo ka sekala sena: re na le karolo e 'ngoe e bohareng. E ka 'na ea se ke ea tsitsa,' me bothata bona bo rarolloa ke li-server tse sa hlokahaleng. Hape ho na le tieho e eketsehileng pakeng tsa litšebeletso tsa A le B. Empa ha e le hantle e ka tlase ho 1 ms le bakeng sa litšebeletso tse ngata sena ha se bohlokoa.
Ho sebetsana le se sa Lebelloang: Ho leka-lekanya Tšebeletso ea Batla le ho Resiliency
Ak'u inahanele hore ho na le ho oa: o hloka ho fumana katse e nang le squeaker, empa seva se senyeha. Kapa li-server tse 100. Joang ho tsoa? Ehlile re tla siea mosebelisi ntle le katse?
Boemo boa tšosa, empa re itokiselitse bona. Ke tla o bolella ka tatellano.
Lisebelisoa tsa ho batla li fumaneha litsing tse 'maloa tsa data:
Ha re etsa moralo, re kenyelletsa monyetla oa ho koala setsi se le seng sa data. Bophelo bo tletse lintho tse makatsang - ka mohlala, motho ea epollang a ka khaola mohala o ka tlas'a lefatše (e, seo se etsahetse). Bokhoni ba litsing tse setseng tsa data bo lokela ho lekana ho mamella mojaro o phahameng.
Ha re nahaneng ka setsi se le seng sa data. Setsi se seng le se seng sa data se na le moralo o ts'oanang oa ts'ebetso ea balancer:
E 'ngoe ea balancer ke bonyane li-server tse tharo tsa' mele. Redundancy ena e etselitsoe ho tšepahala. Li-balancers li sebetsa ho HAProx.
Re khethile HAProx ka lebaka la ts'ebetso ea eona e phahameng, litlhoko tse tlase tsa lisebelisoa le ts'ebetso e pharaletseng. Software ea rona ea ho batla e sebetsa ka har'a seva ka seng.
Monyetla oa hore seva se le seng se hlolehe ho fokola. Empa haeba u na le li-server tse ngata, monyetla oa hore bonyane e le 'ngoe e theohe oa eketseha.
Sena ke se etsahalang ka 'nete: li-server lia senyeha. Ka hona, hoa hlokahala ho lula u lekola boemo ba li-server tsohle. Haeba seva e emisa ho araba, e tla khaoloa ka bo eona ho tsoa ho sephethephethe. Bakeng sa morero ona, HAProxy e na le tlhahlobo ea bophelo bo botle e hahiloeng. E ea ho li-server tsohle hang ka motsotsoana ka kopo ea HTTP "/ping".
Tšobotsi e 'ngoe ea HAProxy: cheke ea moemeli e u lumella ho kenya lisebelisoa tsohle ka ho lekana. Ho etsa sena, HAProxy e hokahanya le li-server tsohle, 'me li khutlisetsa boima ba tsona ho itšetlehile ka mojaro oa hona joale ho tloha ho 1 ho ea ho 100. Boima bo baloa ho latela palo ea likōpo tse teng moleng oa ho sebetsa le mojaro ho processor.
Joale mabapi le ho fumana katse. Liphetho tsa lipatlisiso ka likopo tse kang: /search?text=halefile+katse. Hore patlisiso e be kapele, index eohle ea katse e tlameha ho lekana ho RAM. Esita le ho bala ho tsoa ho SSD ha ho potlake ka ho lekaneng.
Ka nako e 'ngoe, database ea tlhahiso e ne e le nyane,' me RAM ea seva e le 'ngoe e ne e lekane bakeng sa eona. Ha setsi sa tlhahiso se ntse se hola, ntho e ngoe le e ngoe ha e sa lekana ho RAM ena, mme data e arotsoe likarolo tse peli: shard 1 le shard 2.
Empa sena se etsahala kamehla: tharollo leha e le efe, esita le e ntle, e baka mathata a mang.
Balancer ba ntse ba ea ho seva efe kapa efe. Empa mochineng oo kopo e tlileng ho oona, ho ne ho e-na le halofo feela ea index. Tse ling kaofela li ne li le ho li-server tse ling. Ka hona, seva se ne se tlameha ho ea mochine o mong oa boahelani. Kamora ho fumana data ho tsoa ho li-server ka bobeli, liphetho li ile tsa kopanngoa 'me tsa hlophisoa bocha.
Kaha balancer e aba likopo ka mokhoa o ts'oanang, li-server tsohle li ne li sebetsana le ho beha maemo hape, eseng feela ho romella data.
Bothata bo hlahile ha sebatli sa boahelani se sa fumanehe. Tharollo e ne e le ho hlakisa li-server tse 'maloa tse nang le lintho tse tlang pele tse fapaneng e le seva sa "moahelani". Ntlha ea pele, kopo e rometsoe ho li-server tse ka har'a rack ea hona joale. Haeba ho ne ho se na karabelo, kopo e rometsoe ho li-server tsohle tse setsing sena sa data. 'Me qetellong, kopo e ile ea ea litsing tse ling tsa data.
Ha palo ea litlhahiso e ntse e eketseha, boitsebiso bo ile ba aroloa likarolo tse 'nè. Empa sena e ne e se moeli.
Hona joale, ho sebelisoa tlhophiso ea li-shards tse robeli. Ho phaella moo, ho boloka mohopolo o eketsehileng, index e ne e arotsoe ka karolo ea ho batla (e sebelisetsoang ho batla) le karolo ea snippet (e sa keneleng lipatlisisong).
Seva e 'ngoe e na le tlhahisoleseling bakeng sa shard e le' ngoe feela. Ka hona, ho batla index e felletseng, o hloka ho batla ho li-server tse robeli tse nang le li-shards tse fapaneng.
Li-server li arotsoe ka lihlopha. Sehlopha se seng le se seng se na le lienjineri tsa ho batla tse robeli le seva se le seng sa snippet.
Seva ea snippet e tsamaisa polokelo ea lintlha tsa bohlokoa tse nang le data e tsitsitseng. Li hlokahala ho fana ka litokomane, mohlala, tlhaloso ea katse e nang le squeaker. Lintlha li fetisetsoa ka ho khetheha ho seva se arohaneng e le hore se se ke sa kenya mohopolo oa li-server tsa ho batla.
Kaha li-ID tsa litokomane li ikhethile ka har'a index e le 'ngoe feela, boemo bo ka hlaha moo ho se nang litokomane likotoaneng. Che, kapa hore ID e le 'ngoe ho tla ba le litaba tse fapaneng. Ka hona, e le hore patlisiso e sebetse 'me liphetho li khutlisetsoe, ho ne ho hlokahala hore ho be le botsitso ho pholletsa le sehlopha sohle. Ke tla u bolella ka tlase kamoo re hlokomelang ho tsitsana.
Patlo ka boeona e hlophisitsoe ka tsela e latelang: kopo ea ho batla e ka tla ho efe kapa efe ea li-server tse robeli. Ha re re o tlile ho seva 1. Seva sena se sebetsana le likhang tsohle mme se utloisisa hore na se batla eng le hore na se batla eng. Ho itšetlehile ka kopo e kenang, seva se ka etsa likōpo tse eketsehileng ho litšebeletso tsa ka ntle bakeng sa tlhahisoleseding e hlokahalang. Kopo e le 'ngoe e ka lateloa ke likopo tse fihlang ho tse leshome ho litšebeletso tsa kantle.
Kamora ho bokella tlhahisoleseling e hlokahalang, patlo e qala sebakeng sa polokelo ea litaba. Ho etsa sena, li-subqueries li etsoa ho li-server tse robeli tse sehlopheng.
Hang ha likarabo li amoheloa, liphetho lia kopanngoa. Qetellong, ho ka hlokahala lipotso tse ling tse 'maloa ho seva sa snippet ho hlahisa liphetho.
Lipotso tsa ho batla ka har'a sehlopha li shebahala tjena: /shard1?text=halefile+katse. Ntle le moo, li-subqueries tsa foromo li lula li etsoa lipakeng tsa li-server tsohle ka har'a sehlopha hang ka motsotsoana: /boemo.
Kopa /boemo e lemoha boemo boo seva e seng teng.
E boetse e laola hore mofuta oa enjine ea ho batla le mofuta oa index lia tšoana ho li-server tsohle, ho seng joalo ho tla ba le data e sa lumellaneng ka har'a sehlopha.
Leha ho na le taba ea hore seva se le seng sa snippet se sebetsa likopo ho tsoa ho lienjineri tse robeli tsa ho batla, processor ea eona e laotsoe hanyane. Ka hona, joale re fetisetsa data ea snippet ho tšebeletso e arohaneng.
Ho fetisetsa data, re hlahisitse linotlolo tsa universal bakeng sa litokomane. Hona joale ha ho khonehe bakeng sa boemo boo litaba tse tsoang tokomaneng e 'ngoe li khutlisetsoang ho sebelisoa senotlolo se le seng.
Empa phetoho ea ho ea mohahong o mong ha e e-s'o phethehe. Hona joale re batla ho tlosa seva se inehetseng sa snippet. 'Me joale suthela hole le sebopeho sa sehlopha ka ho feletseng. Sena se tla re lumella ho tsoela pele ho hola habonolo. Bonus e eketsehileng ke chelete e ngata ea ho boloka tšepe.
'Me joale ho lipale tse tšosang tse nang le qetello tse monate. Ha re nahaneng ka maemo a 'maloa a ho se fumanehe ha seva.
Ho etsahetse ntho e mpe: seva se le seng ha se fumanehe
Ha re re seva se le seng ha se fumanehe. Ebe li-server tse setseng sehlopheng li ka tsoela pele ho araba, empa liphetho tsa lipatlisiso li tla be li sa fella.
Ka ho hlahloba boemo /boemo li-server tsa boahelani li utloisisa hore e 'ngoe ha e fumanehe. Ka hona, ho boloka botlalo, li-server tsohle tse sehlopheng ka kopo /ping ba qala ho arabela ho balancer hore le bona ha ba fumanehe. Hoa etsahala hore li-server tsohle tse sehlopheng li shoele (e seng 'nete). Ena ke qalo e kholo ea morero oa rona oa lihlopha - ke ka lebaka leo re batlang ho tloha ho eona.
Likōpo tse sa atleheng ka phoso li romelloa ke balancer ho li-server tse ling.
The balancer e boetse e emisa ho romela sephethephethe sa basebelisi ho li-server tse shoeleng, empa e tsoela pele ho hlahloba boemo ba bona.
Ha seva se fumaneha, se qala ho arabela /ping. Hang ha likarabo tse tloaelehileng ho li-pings tse tsoang ho li-server tse shoeleng li qala ho fihla, li-balancers li qala ho romela sephethephethe sa basebelisi moo. Ts'ebetso ea sehlopha e khutlisitsoe, potlaka.
Ho hobe le ho feta: li-server tse ngata ha li fumanehe
Karolo ea bohlokoa ea li-server tse setsing sa data li fokotsehile. Ho etsa eng, ho mathela hokae? Ea leka-lekanya o tla ho thusa hape. Balancer e 'ngoe le e' ngoe e lula e boloka mohopolong palo ea hona joale ea li-server tse phelang. E lula e lekanya palo e kholo ea sephethephethe seo setsi sa hona joale sa data se ka se sebetsang.
Ha li-server tse ngata setsing sa data li theoha, motho ea leka-lekaneng oa hlokomela hore setsi sena sa data se ke ke sa sebetsana le sephethephethe sohle.
Joale sephethephethe se feteletseng se qala ho ajoa ka mokhoa o sa reroang litsing tse ling tsa data. Tsohle di a sebetsa, bohle ba thabile.
Re e etsa joang: ho phatlalatsa lingoliloeng
Joale a re ke re bue ka hore na re phatlalatsa liphetoho tse entsoeng tšebeletsong. Mona re nkile tsela ea ho nolofatsa mekhoa: ho hlahisa tokollo e ncha ho batla ho iketselitse ka botlalo.
Ha palo e itseng ea liphetoho e bokelloa morerong, tokollo e ncha e etsoa ka bo eona mme moaho oa eona oa qala.
Joale ts'ebeletso e fetisetsoa tekong, moo botsitso ba ts'ebetso bo hlahlojoang.
Ka nako e ts'oanang, tlhahlobo ea ts'ebetso ea othomathike e qala. Sena se sebetsoa ke tšebeletso e khethehileng. Ha ke na ho bua ka hona joale - tlhaloso ea eona e lokeloa ke sengoloa se arohaneng.
Haeba phatlalatso ea tlhahlobo e atlehile, phatlalatso ea tokollo ka setaele e tla qala ka bo eona. Prestable ke sehlopha se khethehileng moo sephethephethe se tloaelehileng sa basebelisi se lebisitsoeng. Haeba e khutlisa phoso, balancer e etsa kopo hape ea tlhahiso.
Ka mokhoa o tsitsitseng, nako ea karabo e lekantsoe le ho bapisoa le tokollo e fetileng tlhahisong. Haeba ntho e 'ngoe le e' ngoe e le hantle, joale motho o kopanya: o hlahloba lirafshoa le liphello tsa tlhahlobo ea mojaro ebe o qala ho hlahisa tlhahiso.
Tsohle tse ntle li ea ho mosebelisi: tlhahlobo ea A/B
Hase kamehla ho totobetseng hore na liphetoho tšebeletsong li tla tlisa melemo ea sebele. Ho lekanya molemo oa liphetoho, batho ba ile ba tla ka tlhahlobo ea A/B. Ke tla u bolella hanyenyane ka hore na e sebetsa joang ho Yandex.Market search.
Tsohle li qala ka ho kenyelletsa paramente e ncha ea CGI e nolofalletsang ts'ebetso e ncha. Etsa hore parameter ea rona e be: 'maraka_mocha_mosebetsi=1. Ebe ka khoutu re nolofalletsa ts'ebetso ena haeba folakha e le teng:
If (cgi.experiments.market_new_functionality) {
// enable new functionality
}Ts'ebetso e ncha e ntse e hlahisoa tlhahisong.
Ho iketsetsa tlhahlobo ea A/B, ho na le tšebeletso e inehetseng e fanang ka lintlha tse qaqileng . Teko e etsoa ts'ebeletso. Kabelo ea sephethephethe e behiloe, mohlala, 15%. Liphesente ha lia behoa bakeng sa lipotso, empa bakeng sa basebelisi. Nako ea teko e boetse e bontšoa, mohlala, beke.
Liteko tse 'maloa li ka etsoa ka nako e le' ngoe. Ho litlhophiso u ka hlakisa hore na ho kopana le liteko tse ling hoa khoneha.
Ka lebaka leo, tšebeletso ka boeona e eketsa khang 'maraka_mocha_mosebetsi=1 ho 15% ea basebelisi. E boetse e bala ka bo eona metrics e khethiloeng. Ka mor'a hore teko e phethoe, bahlahlobisisi ba sheba liphetho ebe ba etsa liqeto. Ho ipapisitsoe le liphuputso, ho etsoa qeto ea ho qala tlhahiso kapa ntlafatso.
'Maraka oa letsoho la matsoho: tlhahlobo tlhahisong
Hangata ho etsahala hore u leke ts'ebetso ea ts'ebetso e ncha tlhahisong, empa ha u tsebe hantle hore na e tla itšoara joang maemong a "ntoa" tlas'a mojaro o boima.
Ho na le tharollo: lifolakha ka li-parameter tsa CGI li ka sebelisoa eseng feela bakeng sa tlhahlobo ea A / B, empa hape le ho hlahloba ts'ebetso e ncha.
Re entse sesebelisoa se u lumellang hore u fetole tlhophiso hang-hang ho li-server tse likete ntle le ho beha ts'ebeletso kotsing. E bitsoa "Stop Tlanya". Mohopolo oa mantlha e ne e le ho khona ho tima ts'ebetso e itseng kapele ntle le moralo. Joale sesebelisoa se ile sa atoloha 'me sa fetoha se rarahaneng haholoanyane.
Setšoantšo sa phallo ea litšebeletso se hlahisoa ka tlase:
Litefiso tsa lifolakha li behiloe ka API. Ts'ebeletso ea tsamaiso e boloka litekanyetso tsena polokelong ea litaba. Li-server tsohle li ea sebakeng sa polokelo ea litaba hang ka mor'a metsotsoana e meng le e meng e leshome, li pompa boleng ba folakha 'me li sebelise litekanyetso tsena ho kopo e' ngoe le e 'ngoe.
Ho Stop tap o ka seta mefuta e 'meli ea boleng:
1) Lipolelo tsa maemo. Etsa kopo ha e 'ngoe ea litekanyetso e le' nete. Ka mohlala:
{
"condition":"IS_DC1",
"value":"3",
},
{
"condition": "CLUSTER==2 and IS_BERU",
"value": "4!"
}Boleng "3" bo tla sebelisoa ha kopo e sebetsoa sebakeng sa DC1. 'Me boleng ke "4" ha kopo e sebetsoa sehlopheng sa bobeli sa sebaka sa beru.ru.
2) Litekanyetso tse se nang meeli. Etsa kopo ka ho sa feleng haeba ho se le e 'ngoe ea maemo a finyelloang. Ka mohlala:
boleng, boleng!
Haeba boleng bo fela ka ntlha ea mohoo, bo fuoa maemo a holimo.
Mohlahlobi oa paramethara ea CGI o fetisa URL. Ebe o sebelisa litekanyetso tse tsoang ho Stop Tap.
Ho sebelisoa litekanyetso tse nang le lintho tse tlang pele tse latelang:
- Ka bohlokoa bo eketsehileng ho tsoa ho Stop Tap (letšoao la mohoo).
- Boleng ba kopo.
- Boleng ba kamehla ho tsoa ho Stop tap.
- Boleng ba kamehla ba khoutu.
Ho na le lifolakha tse ngata tse bontšitsoeng ka boleng ba maemo - li lekane bakeng sa maemo ohle ao re a tsebang:
- Setsi sa data.
- Tikoloho: tlhahiso, teko, moriti.
- Sebaka: maraka, beru.
- Nomoro ea sehlopha.
Ka sesebelisoa sena, o ka nolofalletsa ts'ebetso e ncha ho sehlopha se itseng sa li-server (mohlala, setsing se le seng sa data) mme o leke ts'ebetso ea ts'ebetso ena ntle le kotsi e itseng ho ts'ebeletso eohle. Esita le haeba u entse phoso e tebileng kae-kae, ntho e 'ngoe le e' ngoe e ile ea qala ho oa 'me setsi sohle sa data se theohile, li-balancers li tla khutlisetsa likopo ho litsi tse ling tsa data. Basebelisi ba ho qetela ba ke ke ba hlokomela letho.
Haeba u hlokomela bothata, u ka khutlisetsa folakha hang-hang boleng ba eona ba pele 'me liphetoho li tla khutlisetsoa morao.
Tšebeletso ena e boetse e na le mathata a eona: baetsi ba eona ba e rata haholo 'me hangata ba leka ho sutumelletsa liphetoho tsohle ho Stop Tap. Re leka ho loantša tšebeliso e mpe.
Mokhoa oa Stop Tap o sebetsa hantle ha o se o ntse o e-na le khoutu e tsitsitseng e ikemiselitseng ho fetisetsoa tlhahiso. Ka nako e ts'oanang, u ntse u e-na le lipelaelo, 'me u batla ho hlahloba khoutu ka maemo a "ntoa".
Leha ho le joalo, Stop Tap ha ea lokela ho lekoa nakong ea ntlafatso. Ho na le sehlopha se arohaneng sa bahlahisi se bitsoang "sehlopha sa moriti".
Tlhahlobo ea Lekunutu: Sehlopha sa Shadow
Likopo tse tsoang ho e 'ngoe ea lihlopha li kopitsoa ho sehlopha sa moriti. Empa ea leka-lekaneng e hlokomoloha ka ho feletseng likarabo tse tsoang sehlopheng sena. Setšoantšo sa ts'ebetso ea eona se hlahisoa ka tlase.
Re fumana sehlopha sa liteko se maemong a nnete a "ntoa". Sephethephethe se tloaelehileng sa basebelisi se ea moo. Lisebelisoa tsa lihlopha ka bobeli lia tšoana, kahoo ts'ebetso le liphoso li ka bapisoa.
'Me kaha balancer e hlokomoloha likarabo ka ho feletseng, basebelisi ba ho qetela ba ke ke ba bona likarabo tse tsoang sehlopheng sa moriti. Ka hona, ha ho tšabe ho etsa phoso.
fumanoeng ke
Joale, re ile ra aha Patlo ea Maraka joang?
Ho etsa hore ntho e 'ngoe le e' ngoe e tsamaee hantle, re arola ts'ebetso ka litšebeletso tse fapaneng. Ka tsela ena re ka lekanya feela likarolo tseo re li hlokang le ho etsa hore likarolo li be bonolo. Ho bonolo ho abela sehlopha se seng karolo e arohaneng le ho arolelana boikarabelo ba ho sebetsa ho eona. 'Me poloko e kholo ea tšepe ka mokhoa ona ke tlatsetso e hlakileng.
Sehlopha sa moriti se boetse se re thusa: re ka nts'etsapele lits'ebeletso, ra li leka ts'ebetsong mme ra se ke ra sitisa mosebelisi.
Hantle, ho hlahloba tlhahiso, ehlile. U hloka ho fetola tlhophiso ho li-server tse likete? Ho bonolo, sebelisa Stop Tlanya. Ka tsela ena u ka khona hang-hang ho fana ka tharollo e rarahaneng e entsoeng esale pele 'me u khutlele phetolelong e tsitsitseng haeba mathata a hlaha.
Ke ts'epa hore ke khonne ho bonts'a hore na re etsa Mmaraka ka potlako le o tsitsitseng joang ka lits'ebeletso tse ntseng li hola. Re rarolla mathata a seva joang, ho sebetsana le palo e kholo ea likopo, ho ntlafatsa maemo a ts'ebeletso le ho etsa sena ntle le ho sitisa lits'ebetso tsa mosebetsi.
Source: www.habr.com