Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Salaamu caleykum Maqaalkan, AERODISK waxay ka furaysaa blog Habré. Horray, saaxiibayaal!

Maqaaladii hore ee Habré ayaa ka hadlay su'aalaha ku saabsan qaab-dhismeedka iyo qaabeynta aasaasiga ah ee nidaamyada kaydinta. Maqaalkan waxaan ka fiirsan doonaa su'aal aan hore loo daboolin, laakiin badanaa la is weydiiyo - oo ku saabsan dulqaadka qaladka ee nidaamyada kaydinta AERODISK ENGINE. Kooxdayadu waxay samayn doonaan wax kasta si loo hubiyo in nidaamka kaydinta AERODISK uu joojiyo shaqada, i.e. jebi.

Waxaa dhacday in maqaallo ku saabsan taariikhda shirkadeena, waxyaabaha ku saabsan badeecadeena, iyo sidoo kale tusaale u ah hirgelinta guusha ay mar hore ku dheggan yihiin Habré, kaas oo Waad ku mahadsan tahay la-hawlgalayaashayada - TS Solution iyo Softline shirkadaha.

Sidaa darteed, halkan kuma tababari doono xirfadaha maaraynta koobi-koobida, laakiin waxaan si fudud ku siin doonaa xidhiidhinta asalka maqaalladan:

Waxa kale oo aan rabaa in aan la wadaago war wanaagsan. Laakiin waxaan ku bilaabi doonaa, dabcan, dhibaatada. Anaga, iibiye dhalinyaro ah, iyo kharashyo kale, waxaan si joogto ah u wajahnaa xaqiiqda ah in injineero iyo maamulayaal badan aysan si fudud u garanayn sida saxda ah ee loogu shaqeeyo nidaamka kaydintayada.
Way caddahay in maaraynta nidaamyada kaydinta intooda badani ay u eeg yihiin ku dhawaad ​​isku mid marka loo eego aragtida maamulaha, laakiin soo-saare kastaa wuxuu leeyahay astaamo u gaar ah. Oo annagu halkan ma nihin mid ka reeban.

Sidaa darteed, si loo fududeeyo hawsha tababarka khabiirada IT-ga, waxaan go'aansanay inaan sanadkan u hurno waxbarasho bilaash ah. Si taas loo sameeyo, magaalooyin badan oo waaweyn oo Russia ah waxaan furaynaa shabakad ka mid ah xarumaha karti-xirfadeed ee AERODISK, kaas oo qof kasta oo ku takhasusay farsamada uu ku qaadan karo koorso gabi ahaanba bilaash ah oo uu helo shahaadada maamulka nidaamyada kaydinta AERODISK ENGINE.

Xarun kasta oo karti-xirfadeed waxaan ku rakibi doonaa bandhig-muuqaal buuxa oo ka yimid nidaamka kaydinta AERODISK iyo server-ka jirka, kaas oo macalinkayaga uu ku qaadi doono tababar fool-ka-fool ah. Waxaan daabici doonaa jadwalka shaqada ee xarumaha karti-xirfadeedka muuqaalkooda, laakiin waxaan horay u furnay xarun Nizhny Novgorod iyo magaalada Krasnodar ayaa ku xigta. Waxaad isku qori kartaa tababarka adiga oo isticmaalaya xiriirinta hoose. Waa kan macluumaadka hadda la og yahay ee ku saabsan magaalooyinka iyo taariikhaha:

  • Nizhny Novgorod (HOR HORAY U FURAN – halkan ayaad iska diiwaan gelin kartaa https://aerodisk.promo/nn/);
    Ilaa Abriil 16, 2019, waxaad booqan kartaa xarunta wakhti kasta oo shaqo, Abriil 16, 2019, waxaa la qabanqaabin doonaa tababar ballaaran.
  • Krasnodar (Dhakhso furmaya - halkan ayaad iska qori kartaa https://aerodisk.promo/krsnd/ );
    Laga bilaabo Abriil 9 ilaa Abriil 25, 2019, waxaad booqan kartaa xarunta waqti kasta oo shaqo, Abriil 25, 2019, waxaa la qabanqaabin doonaa tababar ballaaran.
  • Екатеринбург (Dhakhso furmaya, la soco macluumaadka ku jira mareegahayaga ama Habré);
    May-June 2019.
  • Новосибирск (la soco macluumaadka boggayaga ama Habré);
    Oktoobar 2019.
  • Красноярск (la soco macluumaadka boggayaga ama Habré);
    Noofambar 2019.

Iyo, dabcan, haddii Moscow aysan kaa fogayn, ka dibna wakhti kasta waxaad booqan kartaa xafiiskayaga Moscow oo aad mari kartaa tababar la mid ah.

Dhammaan Waxaan ku dhammaysannay suuqgeyn, aan u gudubno tignoolajiyada!

On Habré waxaan si joogto ah u daabici doonaa maqaallo farsamo oo ku saabsan alaabtayada, tijaabooyinka culeyska, isbarbardhigga, sifooyinka isticmaalka iyo hirgelinta xiisaha leh.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

DIGNIIN! Ka dib markaad akhrido maqaalka, waxaad dhihi kartaa: si fiican, dabcan, iibiyuhu wuxuu hubin doonaa naftiisa si wax walba u shaqeeyaan "bang", xaaladaha aqalka dhirta lagu koriyo, iwm. Waxaan ku jawaabi doonaa: wax la mid ah ma jiro! Si ka duwan tartamayaashayada ajnabiga ah, waxaan ku yaal halkan, kuugu dhow, oo mar walba waad noo iman kartaa (Moscow ama Golaha Dhexe) oo aad tijaabin kartaa nidaamka kaydinta si kasta. Sidaa darteed, macno badan nagama samaynayso inaan natiijada ku hagaajinno sawirka ugu habboon ee adduunka, sababtoo ah Aad ayaanu u fududahay in la hubiyo. Kuwa caajiska ah si ay u aadaan oo aan waqti u haysan, waxaan u habayn karnaa imtixaan fog. Waxaan tan u haynaa shaybaar gaar ah. Nala soo xiriir.

ACHTUNG-2! Tijaabadani maaha tijaabo culays, sababtoo ah halkaan waxaan dan ka leenahay dulqaadka qaladka. Laba toddobaad gudahood, waxaan diyaarin doonaa istaajin ka sii xoog badan waxaanan sameyn doonaa tijaabinta culeyska nidaamka kaydinta, anagoo ku daabacayna natiijooyinka halkan (sida, codsiyada imtixaannada waa la aqbalayaa).

Haddaba, aynu tagno jabin.

Tijaabi istaag

Mawqifkayagu wuxuu ka kooban yahay qalabka soo socda:

  • 1 x Aerodisk Engine N2 nidaamka kaydinta (2 controllers, 64GB cache, 8xFC dekedaha 8Gb/s, 4xEthernet dekedaha 10Gb/s SFP +, 4xEthernet dekedaha 1Gb/s); Saxanadaha soo socda ayaa lagu rakibay nidaamka kaydinta:
  • 4 x SAS SSD saxannada 900 GB;
  • 12 x SAS 10k saxannada 1,2 TB;
  • 1 x Server Physical oo wata Windows Server 2016 (2xXeon E5 2667 v3, 96GB RAM, 2xFC ports 8Gb/s, 2xEthernet ports 10Gb/s SFP+);
  • 2 x SAN 8G beddelka;
  • 2 x LAN 10G;

Waxaan ku xidhnay serverka nidaamka kaydinta anagoo adeegsanayna furayaasha FC iyo 10G Ethernet labadaba. Jaantusku waa hoos

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Qaybaha aan u baahanahay, sida MPIO iyo iSCSI initiator, waxa lagu rakibay Windows Server.
Aagagga waxaa lagu habeeyey furayaasha FC, VLAN-yada u dhigma waxaa lagu habeeyay furayaasha LAN, MTU 9000 ayaa lagu rakibay dekedaha kaydinta, furayaasha, iyo martigeliyaha (sida loo sameeyo waxaas oo dhan ayaa lagu qeexay dukumeentiyadayada, markaa ma qeexi doono habkan halkan).

Habka Imtixaanka

Qorshaha tijaabada shilku waa sida soo socota:

  • Hubinta fashilka dekedaha FC iyo Ethernet.
  • Hubinta fashilka korontada
  • Hubinta fashilka xakamaynta.
  • Hubinta cilladda saxanka ee koox/ barkad.

Dhammaan tijaabooyinka waxaa lagu sameyn doonaa xaaladaha culeyska synthetic, kaas oo aan soo saari doono barnaamijka IOMETER. Marka la barbar dhigo, waxaanu samayn doonaa isla imtixaano la mid ah, laakiin shuruudaha koobiyaynta faylasha waaweyn ee nidaamka kaydinta.

Qaabka IOmeterka waa sida soo socota:

  • Akhri/qor – 70/30
  • Block - 128k (waxaan go'aansanay inaan ku dhaqno nidaamyada kaydinta ee baloogyada waaweyn)
  • Tirada dunta - 128 (oo aad ugu eg culeyska wax soo saarka)
  • Random buuxa
  • Tirada Shaqaalaha - 4 (2 loogu talagalay FC, 2 ee iSCSI)

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga
Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Imtixaanku waxa uu leeyahay ujeedooyinka soo socda:

  1. Hubi in culeyska synthetic iyo habka nuqulku aanu joojin doonin ama aanu sababi doonin khaladaad marka loo eego xaalado guuldarrooyin kala duwan.
  2. Hubi in habka wareejinta dekedaha, koontaroolayaasha, iwm. ay si ku filan otomaatig u tahay oo uma baahna ficilada maamulaha haddii ay dhacdo guuldarrooyin (taas oo ah, inta lagu jiro guuldarrooyinka, kama hadlayno dib-u-dhacyada, dabcan).
  3. Hubi in macluumaadka ku jira diiwaanka loo soo bandhigay si sax ah.

Diyaarinta nidaamka martigeliyaha iyo kaydinta

Waxaan u habaysannay marinka xannibaadda nidaamka kaydinta anagoo adeegsanayna dekedaha FC iyo Ethernet (FC iyo iSCSI, siday u kala horreeyaan). Ragga ka socda TS Solution ayaa si faahfaahsan u sharaxay sida tan loo sameeyo maqaal hore (https://habr.com/ru/company/tssolution/blog/432876/). Iyo, dabcan, qofna ma burin buug-gacmeedyada iyo koorsooyinka.

Waxaan samaynay koox isku-dhafan annagoo adeegsanayna dhammaan darawallada aan haysannay. 2 saxannada SSD ayaa lagu daray khasnadda, 2 SSD disks ayaa lagu daray sida heerka kaydinta dheeraadka ah (Online-tier). Waxaan u ururinay 12 SAS10k darawallada RAID-60P (saddex isku mid ah) si aan u hubinno guuldarada saddexda darawal ee kooxda hal mar. Hal saxan ayaa loo daayay si toos ah.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Waxaan isku xirnay laba LUNs (mid FC, mid iSCSI).

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Milkiilaha labada LUN waa matoorka-0

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Aan bilowno imtixaanka

Waxaan awood IOMETER oo leh qaabka kore.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Waxaan duubnaa wax soo saarka 1.8 GB/s iyo daahitaanka 3 millise seconds. Ma jiraan wax khaladaad ah (Tirinta Cilada Guud).

Isla mar ahaantaana, laga bilaabo darawalka maxaliga ah ee "C" ee martida noo ah, waxaan si barbar socda bilownay koobiyaynta laba fayl oo waaweyn oo 100GB ah FC iyo iSCSI kaydinta LUNs (drives E iyo G ee Windows), annaga oo adeegsanayna interfaces kale.

Xagga sare waa habka koobiyaynta ee LUN FC, ka hooseeya iSCSI.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Tijaabada #1: Deminta I/O dekedaha

Waxaan u wajahnaa nidaamka kaydinta gadaal))) iyo dhaqdhaqaaq yar oo gacanta ah waxaan ka soo saareynaa dhammaan fiilooyinka FC iyo Ethernet 10G ee mashiinka-0. Waxay u egtahay in haweeney nadiifin ah oo xaaqin leh ay soo martay oo ay go'aansatay in ay dhaqdo sagxada saxda ah halka snot ay jiifto oo fiilooyinka ay jiifaan (ie kontaroolaha ayaa weli shaqeeya, laakiin dekedaha I / O waa dhinteen).

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Aynu eegno IOMETER iyo koobiyaynta faylasha. Wax-soo-saarka ayaa hoos ugu dhacay 0,5 GB/s, laakiin si degdeg ah ayey ugu soo noqotay heerkeedii hore (qiyaastii 4-5 sekan). Ma jiraan khaladaad

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Koobiyaynta faylalka ma joogsan, waxaa jira hoos u dhac ku yimid xawaaruhu, laakiin gabi ahaanba muhiim maaha (laga bilaabo 840 MB/s waxay hoos ugu dhacday 720 MB/s). koobiyeyntu ma joogsan

Waxaan eegnaa diiwaanka nidaamka kaydinta oo aragno fariin ku saabsan helitaan la'aanta dekedaha iyo guuritaanka tooska ah ee kooxda.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Guddiga macluumaadka ayaa sidoo kale noo sheegaya in wax walba aysan aad ugu fiicnayn dekedaha FC.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Nidaamka kaydinta ayaa ka badbaaday fashilka dekedaha I/O si guul leh.

Tijaabada lambarka 2. Deminta kontaroolaha kaydinta

Isla markiiba (kadib markii aanu fiilooyinka ku soo celinay nidaamka kaydinta) waxaanu go'aansanay inaanu dhamayno nidaamka kaydinta anagoo ka soo saarnay kontaroolaha chassis-ka.

Mar labaad waxaanu ku soo dhawaynaynaa nidaamka kaydinta gadaal (waan ka helnay))) iyo wakhtigan waxaan ka soo saarnay mashiinka Engine-1, kaas oo hadda ah milkiilaha RDG (oo kooxdu u guurtay).

Xaaladda IOmeter-ka waa sida soo socota. I/O waxay joogsatay ilaa 5 sekan Khaladaadka ma ururaan.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

5 ilbiriqsi ka dib, I/O waxa ay dib ugu bilaawday qiyaas isku mid ah, laakiin latencies 35 millise seconds (daahsoon ayaa la saxay ka dib dhowr daqiiqo). Sida laga arki karo shaashadaha, wadarta guud ee tirinta khaladku waa 0, taas oo ah, ma jirin khalad qoraal ama akhris.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Aynu eegno koobiyaynta galalkayaga. Sida aad arki karto, lama kala goyn, waxaa jiray hoos u dhac yar oo waxqabad ah, laakiin guud ahaan wax walba waxay ku soo noqdeen isla ~ 800 MB/s.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Waxaan tagnaa nidaamka kaydinta oo aan aragno habaar guddiga macluumaadka oo ah in matoorka Engine-1 aan la heli karin (dabcan, waan dilnay).

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Waxaan sidoo kale ku aragnaa galitaanka la midka ah ee logyada.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Koontaroolaha kaydinta ayaa sidoo kale ka badbaaday fashil si guul leh.

Tijaabada No. 3: Joojinta korontada

Haddii ay dhacdo, waxaan bilownay nuqul ka mid ah faylasha mar kale, laakiin ma joojin IOMETER.
Waxaan soo jiidnaa qaybta korontada.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Digniin kale ayaa lagu daray nidaamka kaydinta ee guddiga macluumaadka.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Sidoo kale menu-ka dareemayaasha waxaan ku aragnaa in dareemayaasha la xidhiidha korontadii la jiiday ay casaan noqdeen.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Habka kaydinta ayaa sii shaqayn doona Burburka qaybta korantada sinaba uma saameynayso hawlgalka nidaamka kaydinta; marka laga eego aragtida martida loo yahay, xawaaraha nuqulka iyo tilmaamayaasha IOMETER ayaa ahaa kuwo aan isbeddelin.

Tijaabada guuldarada korontadu way gudubtay si guul leh.

Tijaabadii ugu dambaysay ka hor, waxa aanu go’aansanay in aanu dib u soo celino nidaamka kaydinta nolosha in yar, waxaanu dib u celinay qaybta kontoroolka iyo korontada, sidoo kale waxaanu hagaajinay fiilooyinka, taas oo nidaamka kaydinta si farxad leh nooga wargaliyay calaamado cagaaran oo ku jira guddigiisa caafimaadka. .

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Tijaabada No. 4. Ku guuldareysiga seddex saxan oo koox ah

Imtixaankan ka hor, waxaanu samaynay tallaabo diyaargarow dheeraad ah. Xaqiiqdu waxay tahay in nidaamka kaydinta ENGINE uu bixiyo shay aad u faa'iido leh - siyaasadaha dib u dhiska ee kala duwan. TS Solution ayaa wax ka qoray sifadan mar hore, laakiin aan dib u xasuusano nuxurkeeda. Maamulaha kaydinta ayaa cayimi kara mudnaanta qoondaynta khayraadka inta lagu jiro dib u dhiska. Midkoodna jihada waxqabadka I/O, taasi waa, dib-u-dhisku wuxuu qaadanayaa waqti dheer, laakiin ma jiro hoos u dhac waxqabad. Ama jihada dib u dhiska xawaaraha, laakiin wax soo saarka waa la dhimi doonaa. Ama doorasho dheelitiran. Maadaama waxqabadka kaydinta inta lagu jiro dib-u-dhiska kooxda diskooga uu had iyo jeer yahay madax-xanuun maamule, waxaanu tijaabin doonaa siyaasad leh eex ku wajahan waxqabadka I/O iyo kharashka dib-u-dhiska xawaaraha.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Hadda aynu eegno cilladda diskooga. Waxaan sidoo kale awoodnaa duubista LUNs (faylalka iyo IOMETER). Maadaama aan leenahay koox leh saddex-geesood (RAID-60P), tani waxay ka dhigan tahay in nidaamku uu u adkaysto fashilka saddexda saxan, ka dib markii uu xumaado, beddelka otomaatiga ah waa inuu shaqeeyaa, hal disk waa inuu qaataa booska mid ka mid ah kuwa fashilmay. gudaha RDG, dib-u-dhiskuna waa inuu ka bilaabmaa.

Bilow Marka hore, iyada oo loo marayo isdhexgalka kaydinta, aynu muujinno saxanadaha aan rabno inaan ka saarno (si aan u seegin oo aan u jiidin diskka is-beddelka).

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Waxaan hubineynaa tilmaanta qalabka. Wax walba waa OK, waxaan aragnaa saddex saxan oo la iftiimiyay.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Saddexdaas saxanna waanu soo saarnay.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Aynu eegno waxa ku jira martigeliyaha. Oo halkaas... wax gaar ah ma dhicin.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga
Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Tilmaamayaasha koobiyeynta (way ka sarreeyaan bilowgii hore, sababtoo ah kaydka ayaa kululaaday) iyo IOMETER wax badan kama beddelaan marka ay ka saarayaan saxanadaha oo ay bilaabaan dib-u-dhiska (gudahood 5-10%).

Aynu eegno waxa ku jira nidaamka kaydinta.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Xaaladda kooxda, waxaan aragnaa in geeddi-socodka dib-u-qaabaynta uu bilaabmay oo uu dhammaad ku dhow yahay.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Qalfoofka RDG waxaad ku arki kartaa in 2 saxanadood ay ku jiraan xaalad cas, midna mar hore ayaa la bedelay. Saxankii is-beddelka ahaa hadda ma jiro; waxa uu beddelay saxankii 3aad ee fashilmay. Dib-u-dhisku wuxuu qaatay dhowr daqiiqo, qorista faylalka markii 3 saxanadood aan la joojin, iyo waxqabadka I/O wax badan iskama beddelin.

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Tijaabada shilalka ee nidaamka kaydinta ERODISK ENGINE N2, tijaabada xoogga

Tijaabadii guuldarada diskka ayaa xaqiiqdii baasay si guul leh.

gunaanad

Halkaa marka ay marayso, waxaanu go'aansanay in aanu joojino rabshadaha ka dhanka ah hababka kaydinta. Aan soo koobno:

  • Hubinta fashilka dekedda FC - guul
  • Hubinta fashilka dekedda Ethernet - guul
  • Hubinta fashilka kontoroolka - guul
  • Tijaabada Guuldarada Korontada - waa lagu guulaystay
  • Hubinta guuldarada diskka ee kooxda - guul

Mid ka mid ah guuldarrooyinka ma joojin duubista ama sababay khaladaadka culeyska synthetic; Dabcan, waxaa jiray waxqabadyo (waana ognahay sida looga adkaado, taas oo aan dhawaan sameyn doono), laakiin marka la eego in kuwani yihiin ilbiriqsiyo, waa wax la aqbali karo. Gabagabo: dulqaadka qaladka ee dhammaan qaybaha nidaamka kaydinta AERODISK ayaa ka shaqeeyay heerka, ma jiraan dhibco guul darro ah.

Sida iska cad, hal maqaal ma tijaabin karno dhammaan xaaladaha guuldarada, laakiin waxaan isku daynay inaan daboolno kuwa ugu caansan. Sidaa darteed, fadlan u soo dir faallooyinkaaga, talooyinka daabacaada mustaqbalka iyo, dabcan, dhaleeceyn waafi ah. Waan ku farxi doonaa inaan ka wada hadalno (ama si ka sii wanaagsan, u imow tababarka, waxaan nuqul ka dhigayaa jadwalka kaliya haddii ay dhacdo)! Ilaa imtixaano cusub!

  • Nizhny Novgorod (HOR HORAY U FURAN – halkan ayaad iska diiwaan gelin kartaa https://aerodisk.promo/nn/);
    Ilaa Abriil 16, 2019, waxaad booqan kartaa xarunta wakhti kasta oo shaqo, Abriil 16, 2019, waxaa la qabanqaabin doonaa tababar ballaaran.
  • Krasnodar (Dhakhso furmaya - halkan ayaad iska qori kartaa https://aerodisk.promo/krsnd/ );
    Laga bilaabo Abriil 9 ilaa Abriil 25, 2019, waxaad booqan kartaa xarunta waqti kasta oo shaqo, Abriil 25, 2019, waxaa la qabanqaabin doonaa tababar ballaaran.
  • Екатеринбург (Dhakhso furmaya, la soco macluumaadka ku jira mareegahayaga ama Habré);
    May-June 2019.
  • Новосибирск (la soco macluumaadka boggayaga ama Habré);
    Oktoobar 2019.
  • Красноярск (la soco macluumaadka boggayaga ama Habré);
    Noofambar 2019.

Source: www.habr.com

Add a comment