Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Lumelang bohle! Ka sengoloa sena, AERODISK e bula blog ho Habré. Dumelang, mak'homreiti!

Lingoliloeng tse fetileng mabapi le Habré li ile tsa tšohla lipotso mabapi le meralo le tlhophiso ea mantlha ea lits'ebetso tsa polokelo. Sehloohong sena re tla sheba potso e sa kang ea koaheloa pele, empa e atisa ho botsoa - mabapi le mamello ea phoso ea mekhoa ea polokelo ea AERODISK ENGINE. Sehlopha sa rona se tla etsa ntho e 'ngoe le e' ngoe ho netefatsa hore tsamaiso ea polokelo ea AERODIS e khaotsa ho sebetsa, ke hore. senya.

Ho ile ha etsahala hore lihlooho tse mabapi le histori ea k'hamphani ea rona, ka lihlahisoa tsa rona, hammoho le mohlala oa ts'ebetsong e atlehileng li se li ntse li leketlile ho Habré, eo Re leboha haholo balekane ba rona - TS Solution le lik'hamphani tsa Softline.

Ka hona, nke ke ka koetlisetsa litsebo tsa taolo ea likopi-paste mona, empa ke tla fana ka lihokela tsa semelo sa lingoliloeng tsena:

Ke boetse ke batla ho arolelana litaba tse molemo. Empa ke tla qala, ehlile, ka bothata. Rona, joaloka morekisi e mocha, har'a litšenyehelo tse ling, re lula re tobane le taba ea hore baenjiniere ba bangata le batsamaisi ha ba tsebe ho sebelisa sistimi ea rona ea polokelo hantle.
Ho hlakile hore ho laola mekhoa e mengata ea polokelo ho shebahala hoo e batlang e tšoana le pono ea mookameli, empa moetsi e mong le e mong o na le litšobotsi tsa hae. 'Me le rona ha re mokhelo mona.

Ka hona, molemong oa ho nolofatsa mosebetsi oa ho koetlisa litsebi tsa IT, re nkile qeto ea ho nehelana ka thuto ea mahala selemong sena. Ho etsa sena, metseng e mengata e meholo ea Russia re bula marang-rang a AERODISK Competence Centers, moo setsebi leha e le sefe se nang le thahasello se ka nkang thupelo ntle ho tefo le ho fumana lengolo la setifikeiti sa ho tsamaisa mekhoa ea polokelo ea AERODISK ENGINE.

Setsing se seng le se seng sa Bokhoni re tla kenya sethala sa demo se felletseng se tsoang ho sistimi ea polokelo ea AERODISK le seva sa 'mele, moo tichere ea rona e tla tsamaisa koetliso ea sefahleho le sefahleho. Re tla phatlalatsa kemiso ea mosebetsi oa Litsi tsa Bokhoni mabapi le ponahalo ea bona, empa re se re buletse setsi sa Nizhny Novgorod mme toropo ea Krasnodar e latela. U ka ingolisa bakeng sa koetliso u sebelisa lihokelo tse ka tlase. Lintlha tse tsejoang hajoale mabapi le litoropo le matsatsi ke tsena:

  • Nizhny Novgorod (E SE E butse - o ka ingolisa mona https://aerodisk.promo/nn/);
    Ho fihlela ka April 16, 2019, u ka etela setsi ka nako leha e le efe ea mosebetsi, 'me ka la 16 April, 2019, ho tla hlophisoa thupelo e kholo ea koetliso.
  • Krasnodar (E BUA HAUFINYANE - o ka ingolisa mona https://aerodisk.promo/krsnd/ );
    Ho tloha ka la 9 April ho ea ho la 25 April, 2019, u ka etela setsi ka nako leha e le efe ea mosebetsi, 'me ka la 25 April, 2019, ho tla hlophisoa thupelo e kholo ea koetliso.
  • Екатеринбург (E BULE HAUFINYANE, latela lintlha tse fumanehang webosaeteng ea rona kapa ho Habré);
    Motsheanong-Phuptjane 2019.
  • Новосибирск (latela tlhahisoleseling e fumanehang webosaeteng ea rona kapa ho Habré);
    Mphalane 2019.
  • Красноярск (latela tlhahisoleseling e fumanehang webosaeteng ea rona kapa ho Habré);
    Pulungoana 2019.

'Me, ha e le hantle, haeba Moscow e se hōle le uena, joale ka nako leha e le efe u ka etela ofisi ea rona e Moscow' me u fumane koetliso e tšoanang.

Tsohle. Re qetile ka ho bapatsa, ha re feteleng ho theknoloji!

Ho Habré re tla lula re phatlalatsa lingoliloeng tsa tekheniki mabapi le lihlahisoa tsa rona, liteko tsa mojaro, papiso, likarolo tsa ts'ebeliso le ts'ebetsong e khahlisang.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

TEMOSO! Ka mor'a ho bala sehlooho sena, u ka re: hantle, ha e le hantle, morekisi o tla itlhahloba e le hore ntho e 'ngoe le e' ngoe e sebetse "ka bang," maemo a sethopo, joalo-joalo. Ke tla araba: ha ho letho le joalo! Ho fapana le bahatelli ba rona ba tsoang linaheng tse ling, re teng mona, haufi le uena, 'me u ka lula u tla ho rona (Moscow kapa Komiti leha e le efe e Bohareng)' me u leke tsamaiso ea rona ea polokelo ka tsela leha e le efe. Kahoo, ha ho utloahale haholo hore re lokise liphetho ho setšoantšo se setle sa lefats'e, hobane Re bonolo haholo ho hlahloba. Bakeng sa ba botsoa haholo ho ea 'me ba se na nako, re ka hlophisa tlhahlobo e hole. Re na le lab e khethehileng bakeng sa sena. Iteanye le rona.

ACHTUNG-2! Teko ena ha se teko ea mojaro, hobane mona re tsotella feela ho mamella liphoso. Ka libeke tse 'maloa, re tla lokisa boemo bo matla le ho etsa tlhahlobo ea mojaro oa sistimi ea polokelo, ho phatlalatsa liphetho mona (ka tsela, likopo tsa liteko lia amoheloa).

Kahoo, ha re eeng ho e senya.

teko ea teko

Boemo ba rona bo na le lisebelisoa tse latelang:

  • 1 x Aerodisk Engine N2 tsamaiso ea ho boloka (2 balaoli, 64GB cache, 8xFC likoung 8Gb / s, 4xEthernet likoung 10Gb / s SFP +, 4xEthernet likoung 1Gb / s); Li-disk tse latelang li kentsoe tsamaisong ea polokelo:
  • 4 x SAS SSD disks 900 GB;
  • 12 x SAS 10k disks 1,2 TB;
  • 1 x Seva ea 'mele e nang le Windows Server 2016 (2xXeon E5 2667 v3, 96GB RAM, 2xFC likoung 8Gb / s, 2xEthernet likoung 10Gb / s SFP +);
  • 2 x SAN 8G switjha;
  • 2 x LAN 10G switch;

Re ile ra kopanya seva ho tsamaiso ea polokelo ka li-switches ka bobeli ba FC le 10G Ethernet. Setšoantšo sa ho ema se ka tlase.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Likarolo tseo re li hlokang, joalo ka MPIO le iSCSI initiator, li kentsoe ho Windows Server.
Libaka li hlophisitsoe ho li-switches tsa FC, li-VLAN tse tsamaellanang li lokiselitsoe ho li-switches tsa LAN, 'me MTU 9000 e kenyelelitsoe likoung tsa polokelo, li-switch, le host (mokhoa oa ho etsa sena o hlalositsoe litokomaneng tsa rona, kahoo re ke ke ra hlalosa. ts'ebetso ena mona).

Mokhoa oa ho Leka

Morero oa teko ea ho senyeha o tjena:

  • Ho hlahloba ho hloleha ha likou tsa FC le Ethernet.
  • Tlhahlobo ea ho hlōleha ha matla.
  • Ho hloleha ha molaoli.
  • Ho hlahloba ho hloleha ha disk sehlopheng / letamo.

Liteko tsohle li tla etsoa tlas'a maemo a maiketsetso, ao re tla a hlahisa ka lenaneo la IOMETER. Ka mokhoa o ts'oanang, re tla etsa liteko tse tšoanang, empa tlas'a maemo a ho kopitsa lifaele tse kholo tsamaisong ea polokelo.

Sebopeho sa IOmeter se tjena:

  • Bala/Ngola – 70/30
  • Thibela - 128k (re nkile qeto ea ho hlatsoa litsamaiso tsa polokelo ka li-blocks tse kholo)
  • Palo ea likhoele - 128 (e ts'oanang haholo le mojaro o hlahisang)
  • Full Random
  • Palo ea Basebetsi - 4 (2 bakeng sa FC, 2 bakeng sa iSCSI)

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla
Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Teko e na le lipheo tse latelang:

  1. Etsa bonnete ba hore ts'ebetso ea maiketsetso le ts'ebetso ea likopi li ke ke tsa sitisa kapa tsa baka liphoso tlasa maemo a fapaneng a ho hloleha.
  2. Etsa bonnete ba hore ts'ebetso ea ho fetola likoung, balaoli, joalo-joalo e itirile ka ho lekaneng 'me ha e hloke liketso tsa mookameli ha ho e-na le ho hlōleha (ke hore, nakong ea li-failovers, ha re bue ka ho hlōleha, ho hlakile).
  3. Etsa bonnete ba hore lintlha tse ka har'a li-log li hlahisoa ka nepo.

Ho lokisa moamoheli le sistimi ea polokelo

Re lokiselitse phihlello ea thibelo ho sistimi ea polokelo re sebelisa likou tsa FC le Ethernet (FC le iSCSI, ka ho latellana). Bashemane ba TS Solution ba hlalositse ka botlalo hore na ba ka etsa sena joang sehloohong se fetileng (https://habr.com/ru/company/tssolution/blog/432876/). 'Me, ha e le hantle, ha ho motho ea ileng a hlakola libuka le lithuto.

Re thehile sehlopha sa lebasetere re sebelisa li-drive tsohle tseo re neng re e-na le tsona. Li-disk tsa 2 SSD li kentsoe ka har'a cache, li-disk tsa 2 SSD li ile tsa eketsoa e le sebaka sa polokelo se eketsehileng (Inthaneteng-tier). Re kentse li-drive tse 12 tsa SAS10k ho RAID-60P (triple parity) e le hore re hlahlobe ho hloleha ha likoloi tse tharo sehlopheng hang-hang. Diski e le 'ngoe e ne e siiloe bakeng sa ho khutlisetsoa ka bohona.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Re ile ra hokahanya li-LUN tse peli (e le 'ngoe ka FC, e' ngoe ka iSCSI).

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Mong'a LUN ka bobeli ke molaoli oa Engine-0

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Ha re qale tlhahlobo

Re nolofalletsa IOMETER ka config e ka holimo.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Re rekota tlhahiso ea 1.8 GB/s le latency ea 3 milliseconds. Ha ho na liphoso (Total Error Count).

Ka nako e ts'oanang, ho tloha sebakeng sa "C" sa moamoheli oa rona, ka mokhoa o ts'oanang re qala ho kopitsa lifaele tse peli tse kholo tsa 100GB ho FC le iSCSI storage LUNs (li khanna E le G ka Windows), re sebelisa li-interfaces tse ling.

Ka holimo ke mokhoa oa ho kopitsa ho LUN FC, ka tlase ho iSCSI.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Teko ea #1: Ho thibela likou tsa I / O

Re atamela tsamaiso ea polokelo ka morao))) 'me ka ho sisinyeha ha letsoho hanyenyane re ntša lisebelisoa tsohle tsa FC le Ethernet 10G ho tswa ho molaoli oa Engine-0. Ho joalokaha eka mofumahali ea hloekisang ea nang le mopopo o ile a feta 'me a etsa qeto ea ho hlatsoa fatše hantle moo snot e neng e robetse le likhoele li robetse (ke hore molaoli o ntse a sebetsa, empa likou tsa I / O li shoele).

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Ha re shebeng IOMETER le ho kopitsa lifaele. Phallo e theohetse ho 0,5 GB / s, empa kapele e ile ea khutlela boemong ba eona ba pele (ka metsotsoana e ka bang 4-5). Ha ho liphoso.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Ho kopitsa lifaele ha ho e-s'o khaotse, ho na le ho theoha ha lebelo, empa ha ho bohlokoa ho hang (ho tloha ho 840 MB / s e theohile ho 720 MB / s). Ho kopitsa ha ho so emise.

Re sheba lits'oants'o tsa sistimi ea polokelo mme re bona molaetsa o mabapi le ho se fumanehe ha likou le ho falla ha sehlopha ka boiketsetso.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Phanele ea tlhahisoleseling e boetse e re bolella hore ntho e 'ngoe le e' ngoe ha e ntle haholo ka likoung tsa FC.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Sistimi ea polokelo e pholohile ho hloleha ha likou tsa I/O ka katleho.

Tlhahlobo ea No. 2. Ho thibela molaoli oa polokelo

Hoo e ka bang hang-hang (kamora ho kenya likhoele ka har'a sistimi ea polokelo) re ile ra etsa qeto ea ho qeta sistimi ea polokelo ka ho hula molaoli ka ntle ho chassis.

Hape re atamela tsamaiso ea polokelo ka morao (re e ratile))) 'me lekhetlong lena re ntša molaoli oa Engine-1, eo ka nako ena e leng mong'a RDG (eo sehlopha se ileng sa fallela ho eona).

Boemo ba IOmeter bo tjena. I/O e ile ea ema metsotsoana e ka bang 5. Liphoso ha li ipokellele.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Kamora metsotsoana e 5, I/O e ile ea qalella ka mokhoa o ts'oanang, empa ka latencies ea 35 milliseconds (latency e lokisoe kamora metsotso e ka bang 'maloa). Joalokaha ho ka bonoa ho li-screenshots, Kakaretso ea palo ea liphoso ke 0, ke hore, ho ne ho se na liphoso tsa ho ngola kapa ho bala.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Ha re shebeng ho kopitsa lifaele tsa rona. Joalokaha u ka bona, ha ea ka ea sitisoa, ho bile le ho theoha ho fokolang ha ts'ebetso, empa ka kakaretso ntho e 'ngoe le e' ngoe e ile ea khutlela ho eona ~ 800 MB / s.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Re ea tsamaisong ea polokelo 'me re bona thohako ka phanele ea tlhahisoleseding eo molaoli oa Engine-1 a sa fumaneheng (ehlile, re e bolaile).

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Re boetse re bona ho kena ho tšoanang ho li-logs.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Mookameli oa polokelo le eena o ile a pholoha ho hlōleha ka katleho.

Teko ea 3: Ho khaola motlakase.

Haeba ho ne ho ka etsahala, re ile ra qala ho kopitsa lifaele hape, empa ha rea ​​ka ra emisa IOMETER.
Re hula yuniti ea phepelo ea motlakase.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Tlhokomeliso e 'ngoe e kentsoe tsamaisong ea polokelo sebakeng sa tlhahisoleseling.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Hape ho menu ea li-sensor re bona hore li-sensor tse amanang le phepelo ea motlakase e hutsoeng li fetohile tse khubelu.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Sistimi ea polokelo e ntse e tsoela pele ho sebetsa. Ho hloleha ha yuniti ea phepelo ea matla ha ho ame ka tsela efe kapa efe ts'ebetso ea sistimi ea polokelo; ho ea ka pono ea moamoheli, lebelo la kopi le matšoao a IOMETER li ile tsa lula li sa fetohe.

Teko ea ho felloa ke matla e fetile ka katleho.

Pele ho tlhahlobo ea ho qetela, re ile ra etsa qeto ea ho khutlisetsa tsamaiso ea polokelo bophelong hanyenyane, ho khutlisetsa mochine oa ho laola le ho fana ka matla, hape re beha lithapo ka tatellano, tseo tsamaiso ea polokelo e ileng ea re tsebisa ka thabo ka litšoantšo tse tala ka phanele ea eona ea bophelo bo botle. .

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Teko No. 4. Ho hloleha ha li-disk tse tharo sehlopheng

Pele ho tlhahlobo ena, re ile ra etsa mohato o mong oa ho itokisa. Taba ke hore sistimi ea polokelo ea ENGINE e fana ka ntho e molemo haholo - maano a fapaneng a ho aha bocha. TS Solution e ngotse ka tšobotsi ena pejana, empa a re hopoleng moelelo oa eona. Mookameli oa polokelo a ka bolela lintho tse tlang pele bakeng sa kabo ea lisebelisoa nakong ea ho aha bocha. Ebang ke ka tataiso ea ts'ebetso ea I / O, ke hore, ho aha bocha ho nka nako e teletsana, empa ha ho na ts'ebetso ea ts'ebetso. Kapa ho ea ka lebelo la ho aha bocha, empa tlhahiso e tla fokotseha. Kapa khetho e leka-lekaneng. Kaha ts'ebetso ea polokelo nakong ea ho tsosolosoa ha sehlopha sa disk e lula e le hlooho ea tsamaiso, re tla leka leano le nang le leeme mabapi le ts'ebetso ea I / O le ka litšenyehelo tsa ho tsosolosa lebelo.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Joale a re hlahlobeng ho hloleha ha disk. Re boetse re nolofalletsa ho rekota ho LUNs (lifaele le IOMETER). Kaha re na le sehlopha se nang le parity tse tharo (RAID-60P), sena se bolela hore tsamaiso e tlameha ho mamella ho hlōleha ha li-disk tse tharo, 'me ka mor'a ho hlōleha, ho fetola likoloi ho tlameha ho sebetsa, disk e le' ngoe e tlameha ho nka sebaka sa e 'ngoe ea tse hlōlehileng. ho RDG, mme ho aha bocha ho tlameha ho qala ho eona.

QALA. Ntlha ea pele, ka sebopeho sa polokelo, a re totobatseng li-disks tseo re batlang ho li ntša (e le hore re se ke ra hloloheloa le ho hula disk ea autochange).

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Re hlahloba pontšo ho hardware. Tsohle li lokile, re bona li-disk tse tharo tse totobalitsoeng.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

'Me re ntša li-disk tsena tse tharo.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Ha re shebeng se ho moamoheli. Mme moo ... ha ho letho le ikgethang le ileng la etsahala.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla
Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Lipontšo tsa ho kopitsa (li phahame ho feta qalong, hobane cache e futhumetse) 'me IOMETER ha e fetohe haholo ha e tlosa li-disk le ho qala ho tsosolosa (ka hare ho 5-10%).

A re shebeng hore na ho na le eng tsamaisong ea polokelo.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Boemong ba sehlopha, re bona hore mokhoa oa ho tsosolosa o qalile 'me o haufi le ho phethoa.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Ka skeleton ea RDG u ka bona hore li-disk tse 2 li boemong bo bofubelu, 'me e' ngoe e se e nketsoe sebaka. Autoreplacement disk ha e sa le eo; e nkile sebaka sa 3rd e hlolehileng disk. Ho tsosolosa ho ile ha nka metsotso e 'maloa, ho ngola lifaele ha li-disk tse 3 li hlōleha ha lia ka tsa sitisoa,' me tshebetso ea I / O ha ea ka ea fetoha haholo.

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Liteko tsa ho senyeha ha tsamaiso ea polokelo ea AERODISK ENGINE N2, teko ea matla

Ka sebele teko ea ho hlōleha ha disk e fetile ka katleho.

fihlela qeto e

Nakong ena, re nkile qeto ea ho emisa pefo khahlanong le litsamaiso tsa polokelo. Ha re akaretsa:

  • Tlhahlobo ea ho hloleha ha boema-kepe ba FC - e atlehile
  • Tlhahlobo ea ho hloleha ha boema-kepe ba Ethernet - e atlehile
  • Tlhahlobo ea ho hlōleha ha molaoli - e atlehile
  • Teko ea ho Hloka Matla - E atlehile
  • Ho hlahloba ho hloleha ha disk ho sehlopha sa lihlopha - ho atlehile

Ha ho le e 'ngoe ea mefokolo e ileng ea emisa ho rekota kapa ea baka liphoso ho mojaro oa maiketsetso; ehlile, ho bile le ts'ebetso e otlang ('me rea tseba ho e hlola, eo re tla e etsa haufinyane), empa kaha ena ke metsotsoana, e ea amoheleha. Qetello: mamello ea phoso ea likarolo tsohle tsa tsamaiso ea polokelo ea AERODISK e sebetsa boemong, ho ne ho se na lintlha tsa ho hlōleha.

Ho hlakile hore sehloohong se le seng re ke ke ra leka maemo ’ohle a ho hlōleha, empa re lekile ho bua ka a tsebahalang haholo. Ka hona, ka kopo romella maikutlo a hau, litlhahiso bakeng sa lingoliloeng tse tlang, 'me, ehlile, ho nyatsuoa ho lekaneng. Re tla thabela ho buisana (kapa ho molemo ho feta leha ho le joalo, tloo thupelong, ke kopitsa kemiso ha ho ka etsahala)! Ho fihlela liteko tse ncha!

  • Nizhny Novgorod (E SE E butse - o ka ingolisa mona https://aerodisk.promo/nn/);
    Ho fihlela ka April 16, 2019, u ka etela setsi ka nako leha e le efe ea mosebetsi, 'me ka la 16 April, 2019, ho tla hlophisoa thupelo e kholo ea koetliso.
  • Krasnodar (E BUA HAUFINYANE - o ka ingolisa mona https://aerodisk.promo/krsnd/ );
    Ho tloha ka la 9 April ho ea ho la 25 April, 2019, u ka etela setsi ka nako leha e le efe ea mosebetsi, 'me ka la 25 April, 2019, ho tla hlophisoa thupelo e kholo ea koetliso.
  • Екатеринбург (E BULE HAUFINYANE, latela lintlha tse fumanehang webosaeteng ea rona kapa ho Habré);
    Motsheanong-Phuptjane 2019.
  • Новосибирск (latela tlhahisoleseling e fumanehang webosaeteng ea rona kapa ho Habré);
    Mphalane 2019.
  • Красноярск (latela tlhahisoleseling e fumanehang webosaeteng ea rona kapa ho Habré);
    Pulungoana 2019.

Source: www.habr.com

Eketsa ka tlhaloso