Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Salama daholo! Miaraka amin'ity lahatsoratra ity, AERODISK dia manokatra bilaogy momba ny Habré. Hira, ry namana!

Ny lahatsoratra teo aloha momba ny Habré dia niresaka fanontaniana momba ny maritrano sy ny fanamafisana fototra ny rafitra fitahirizana. Ato amin'ity lahatsoratra ity isika dia handinika fanontaniana iray izay mbola tsy voaresaka teo aloha, fa matetika no manontany - momba ny fahadisoana ny fandeferana ny AERODISK ENGINE rafitra fitehirizana. Ny ekipanay dia hanao ny zava-drehetra mba hahazoana antoka fa tsy miasa intsony ny rafitra fitahirizana AERODISK, i.e. tapaho izany.

Ny zava-nitranga dia efa mihantona ao amin'ny Habré ny lahatsoratra momba ny tantaran'ny orinasanay, momba ny vokatray, ary ny ohatra iray amin'ny fampiharana mahomby. Misaotra betsaka amin'ireo mpiara-miombon'antoka aminay - orinasa TS Solution sy Softline.

Noho izany, tsy hampiofana fahaiza-mitantana kopia mametaka eto aho, fa hanome rohy mankany amin'ny niandohan'ireto lahatsoratra ireto fotsiny:

Te-hizara vaovao tsara koa aho. Saingy hatomboko, mazava ho azy, amin'ny olana. Izahay, amin'ny maha-tanora mpivarotra, ankoatry ny fandaniana hafa, dia miatrika hatrany ny zava-misy fa maro ny injeniera sy ny mpitantana no tsy mahalala tsotra izao ny fomba fampandehanana tsara ny rafitra fitahirizana.
Mazava fa ny fitantanana ny ankamaroan'ny rafitra fitahirizana dia mitovy amin'ny fomba fijerin'ny mpitantana iray, fa ny mpanamboatra tsirairay dia manana ny toetrany manokana. Ary tsy ankanavaka isika eto.

Noho izany, mba hanatsorana ny asa fanofanana ireo manam-pahaizana momba ny informatika, dia nanapa-kevitra ny hanokana fampianarana maimaim-poana amin'ity taona ity izahay. Mba hanaovana izany, any amin'ny tanàn-dehibe maro any Rosia dia manokatra tambajotran'ny AERODISK Competence Centers, izay ahafahan'ny manam-pahaizana manokana ara-teknika liana amin'ny fianarana maimaim-poana tanteraka ary mahazo taratasy fanamarinana amin'ny fitantanana ny rafitra fitehirizana AERODISK ENGINE.

Ao amin'ny Foiben'ny Competence tsirairay dia hametraka fijoroana demo feno avy amin'ny rafitra fitahirizana AERODISK sy lohamilina ara-batana, izay hanatanterahan'ny mpampianatra anay fiofanana mivantana. Havoakanay ny fandaharam-potoan'ny Foiben'ny Fahaizana amin'ny fisehoany, fa efa nanokatra foibe iray ao Nizhny Novgorod izahay ary ny tanànan'i Krasnodar no manaraka. Azonao atao ny misoratra anarana amin'ny fiofanana amin'ny alàlan'ny rohy eto ambany. Ireto ny vaovao fantatra amin'izao fotoana izao momba ny tanàna sy ny daty:

  • Nizhny Novgorod (EFA MISOKATRA – afaka misoratra anarana eto ianao https://aerodisk.promo/nn/);
    Mandra-pahatongan'ny 16 aprily 2019 dia afaka mitsidika ny foibe amin'ny fotoana rehetra iasana ianao, ary ny 16 aprily 2019 dia hisy ny fiofanana lehibe hokarakaraina.
  • Krasnodar (FISOKATRA AVY - afaka misoratra anarana eto ianao https://aerodisk.promo/krsnd/ );
    Ny 9 aprily ka hatramin’ny 25 aprily 2019 dia afaka mitsidika ny foibe amin’ny fotoana rehetra iasana ianao, ary ny 25 aprily 2019 dia hisy fiofanana lehibe hokarakaraina.
  • Екатеринбург (FISOKATRA AVY, araho ny vaovao amin'ny tranokalanay na amin'ny Habré);
    Mey-Jona 2019.
  • Новосибирск (araho ny fampahalalana ao amin'ny tranokalanay na amin'ny Habré);
    Oktobra 2019.
  • Красноярск (araho ny fampahalalana ao amin'ny tranokalanay na amin'ny Habré);
    Novambra 2019.

Ary, mazava ho azy, raha tsy lavitra anao i Moskoa, dia afaka mitsidika ny biraonay any Moskoa ianao amin'ny fotoana rehetra ary manao fiofanana mitovy amin'izany.

Rehetra. Vita ny varotra, andao hiroso amin'ny teknolojia!

Amin'ny Habré dia hamoaka lahatsoratra ara-teknika tsy tapaka momba ny vokatray izahay, ny fitsapana entana, ny fampitahana, ny endri-javatra ampiasaina ary ny fampiharana mahaliana.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

FAMPITANDREMANA! Rehefa avy mamaky ilay lahatsoratra ianao dia afaka miteny hoe: mazava ho azy, ny mpivarotra dia hijery ny tenany mba hiasa "miaraka amin'ny banga", ny toetry ny trano fonenana, sns. hovaliako hoe: tsy misy toy izany! Tsy toy ny mpifaninana vahiny, eto izahay, akaiky anao, ary afaka manatona anay foana ianao (any Moskoa na any amin'ny Komity Foibe) ary hizaha toetra ny rafitra fitahirizana anay amin'ny fomba rehetra. Noho izany, tsy dia misy dikany loatra ho antsika ny manitsy ny vokatra amin'ny sarin'izao tontolo izao, satria Tena mora ny manamarina izahay. Ho an'ireo izay kamo loatra handeha sy tsy manam-potoana dia afaka mandamina fitsapana lavitra izahay. Manana laboratoara manokana momba izany izahay. Mifandraisa aminay.

ACHTUNG-2! Ity fitsapana ity dia tsy fitsapana enta-mavesatra, satria eto dia ny fandeferana diso ihany no imasoantsika. Tao anatin'ny herinandro vitsivitsy dia hanomana fijoroana matanjaka kokoa izahay ary hanao fitiliana enta-mavesatra ny rafitra fitahirizana, hamoaka ny valiny eto (amin'ny fomba, ekena ny fangatahana fitsapana).

Noho izany, andao isika handrava azy.

Fijoroana fitsapana

Ny fijoroanay dia ahitana ireto fitaovana manaraka ireto:

  • 1 x Aerodisk Engine N2 rafitra fitahirizana (2 controller, 64GB cache, 8xFC seranan-tsambo 8Gb/s, 4xEthernet seranan-tsambo 10Gb/s SFP+, 4xEthernet seranan-tsambo 1Gb/s); Ireto kapila manaraka ireto dia napetraka ao amin'ny rafitra fitahirizana:
  • 4 x SAS SSD disks 900 GB;
  • 12 x SAS 10k kapila 1,2 TB;
  • 1 x Mpizara ara-batana miaraka amin'ny Windows Server 2016 (2xXeon E5 2667 v3, 96GB RAM, seranana 2xFC 8Gb/s, seranana 2xEthernet 10Gb/s SFP+);
  • 2 x SAN 8G switch;
  • 2 x LAN 10G switch;

Nampifandray ny mpizara tamin'ny rafitra fitahirizana izahay tamin'ny alàlan'ny switch amin'ny alàlan'ny FC sy 10G Ethernet. Eo ambany ny diagrama mijoro.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Ny singa ilaintsika, toy ny MPIO sy iSCSI initiator, dia napetraka ao amin'ny Windows Server.
Ny faritra dia amboarina amin'ny switch FC, ny VLAN mifanaraka amin'izany dia amboarina amin'ny switch LAN, ary ny MTU 9000 dia napetraka amin'ny seranan-tsambo, switch ary mpampiantrano (ny fomba hanaovana izany rehetra izany dia voalaza ao amin'ny antontan-taratasintsika, ka tsy holazainay ity dingana ity eto).

Fomba fitsapana

Ny drafitry ny fitsapana fianjerana dia toy izao manaraka izao:

  • Fanamarinana ny tsy fahombiazan'ny seranan-tsambo FC sy Ethernet.
  • Fanamarinana tsy fahampian'ny herinaratra.
  • Fanamarinana tsy fahombiazan'ny controller.
  • Fanamarinana ny tsy fahombiazan'ny kapila ao anaty vondrona/dobo.

Ny fitsapana rehetra dia hatao ao anatin'ny fepetra enta-mavesatra, izay havoakantsika amin'ny programa IOMETER. Mifanaraka amin'izany dia hanao fitsapana mitovy izahay, fa ao anatin'ny fepetra fanaovana kopia rakitra lehibe amin'ny rafitra fitahirizana.

Ny config IOmeter dia toy izao manaraka izao:

  • Mamaky/Manoratra – 70/30
  • Block - 128k (nanapa-kevitra ny hanasa ny rafitra fitahirizana amin'ny sakana lehibe izahay)
  • Isan'ny kofehy - 128 (izay mitovy amin'ny entana mamokatra)
  • Kisendrasendra feno
  • Isan'ny mpiasa - 4 (2 ho an'ny FC, 2 ho an'ny iSCSI)

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka
Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Ny fitsapana dia manana ireto tanjona manaraka ireto:

  1. Ataovy azo antoka fa tsy hanelingelina na hiteraka hadisoana amin'ny toe-javatra tsy fahombiazana isan-karazany ny fizotran'ny entana sy ny fanaovana kopia.
  2. Ataovy azo antoka fa mandeha ho azy ny dingan'ny famadihana seranan-tsambo, mpanara-maso, sns ary tsy mitaky hetsika ataon'ny mpitantana raha sendra misy tsy fahombiazana (izany hoe mandritra ny failovers, mazava ho azy, tsy miresaka momba ny tsy fahombiazana).
  3. Ataovy azo antoka fa aseho tsara ny fampahalalana ao amin'ny diary.

Manomana ny mpampiantrano sy ny rafitra fitahirizana

Namboarinay ny fidirana sakana amin'ny rafitra fitahirizana mampiasa seranana FC sy Ethernet (FC sy iSCSI, tsirairay avy). Ireo lehilahy avy ao amin'ny TS Solution dia namaritra tamin'ny antsipiriany ny fomba hanaovana izany tao amin'ny lahatsoratra teo aloha (https://habr.com/ru/company/tssolution/blog/432876/). Ary mazava ho azy fa tsy nisy nanafoana ny boky sy fampianarana.

Nanangana vondrona hybrid izahay tamin'ny fampiasana ny fiara rehetra nanananay. 2 SSD kapila nampidirina ao amin'ny cache, 2 SSD kapila nampiana ho fanampiny fitehirizana tier (Online-tier). Nanangona fiara 12 SAS10k izahay ho RAID-60P (parity triple) mba hanamarinana ny tsy fahombiazan'ny fiara telo ao amin'ny vondrona indray mandeha. Kapila iray navela ho solon-tena.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Nampifandray LUN roa izahay (ny iray tamin'ny FC, ny iray tamin'ny iSCSI).

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Ny tompon'ny LUN roa dia ny Engine-0 controller

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Andeha isika hanomboka ny fitsapana

Izahay dia mamela ny IOMETER miaraka amin'ny config etsy ambony.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Noraketinay 1.8 GB/s ny fampandehanana ary 3 milliseconds ny fahatarana. Tsy misy lesoka (Total Error Count).

Mandritra izany fotoana izany, avy amin'ny kapila eo an-toerana "C" an'ny mpampiantrano anay, dia manomboka mandika rakitra roa lehibe 100GB amin'ny LUNs fitehirizana FC sy iSCSI izahay (mitondra E sy G amin'ny Windows), mampiasa interface hafa.

Eo ambony ny dingana fanaovana kopia mankany amin'ny LUN FC, etsy ambany mankany amin'ny iSCSI.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Fitsapana # 1: Fanesorana ny seranan-tsambo I/O

Manatona ny rafitra fitahirizana avy ao aoriana izahay))) ary miaraka amin'ny hetsika kely amin'ny tanana dia esorinay ny tariby FC sy Ethernet 10G rehetra avy amin'ny mpanara-maso Engine-0. Toy ny hoe nisy ramatoa mpanadio iray nandeha mop ka nanapa-kevitra ny hanasa gorodona teo amin'ny toerana nisy ny snot sy ny telegrama (izany hoe ny contrôleur mbola miasa, fa ny port I/O efa maty).

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Andeha hojerentsika ny IOMETER sy ny kopia rakitra. Nidina ho 0,5 GB/s ny throughput, saingy niverina haingana tamin'ny haavo teo aloha (ao anatin'ny 4-5 segondra eo ho eo). Tsy misy lesoka.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Tsy nitsahatra ny kopia rakitra, misy ny fihenan'ny hafainganam-pandeha, saingy tsy mitsikera mihitsy izany (avy amin'ny 840 MB / s dia nidina ho 720 MB / s). Tsy nitsahatra ny fanaovana kopia.

Mijery ny diarin'ny rafitra fitahirizana izahay ary mahita hafatra momba ny tsy fisian'ny seranana sy ny famindrana mandeha ho azy ny vondrona.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Ny tontolon'ny fampahalalam-baovao ihany koa dia milaza amintsika fa tsy dia tsara loatra ny zava-drehetra amin'ny seranan-tsambo FC.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Ny rafitra fitahirizana dia tafavoaka velona tamin'ny tsy fahombiazan'ny seranan-tsambo I/O soa aman-tsara.

Fitsapana No. 2. Fanesorana ny fanaraha-maso fitahirizana

Saika avy hatrany (rehefa avy namerina ny tariby tamin'ny rafitra fitahirizana) dia nanapa-kevitra ny hamita ny rafitra fitahirizana izahay amin'ny alàlan'ny fisintonana ny controller hiala amin'ny chassis.

Manatona indray ny rafitra fitahirizana avy any aoriana (tianay izany))) ary tamin'ity indray mitoraka ity dia nesorinay ny controller Engine-1, izay amin'izao fotoana izao no tompon'ny RDG (izay nifindran'ny vondrona).

Ny toe-javatra ao amin'ny IOmeter dia toy izao manaraka izao. Nijanona teo amin'ny 5 segondra teo ny I/O. Tsy miangona ny fahadisoana.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Taorian'ny 5 segondra, dia nitohy tamin'ny fampandehanana mitovy ihany ny I/O, saingy tamin'ny fahatarana 35 milliseconds (nahitsy ny fahatarana rehefa afaka minitra vitsivitsy). Araka ny hita amin'ny pikantsary dia 0 ny totalin'ny fanisana ny fahadisoana rehetra, izany hoe tsy nisy lesoka na soratra na famakiana.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Andeha hojerentsika ny kopia ny rakitray. Araka ny hitanao dia tsy tapaka izany, nisy fihenam-bidy kely tamin'ny fampisehoana, fa amin'ny ankapobeny dia niverina tamin'ny mitovy ~ 800 MB / s ny zava-drehetra.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Mandeha any amin'ny rafitra fitahirizana izahay ary mahita ozona ao amin'ny tontolon'ny fampahalalam-baovao fa tsy misy ny controller Engine-1 (mazava ho azy fa novonoinay izany).

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Hitantsika koa ny fidirana mitovy amin'izany ao amin'ny diary.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Tafavoaka velona tamin'ny tsy fahombiazana ihany koa ny mpanara-maso ny fitahirizana soa aman-tsara.

Fitsapana No. 3: Manapaka ny famatsiana herinaratra.

Raha sanatria, nanomboka nandika rakitra indray izahay, saingy tsy nanakana ny IOMETER.
Misintona ny fitaovana famatsiana herinaratra izahay.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Nisy fanairana hafa nampiana tao amin'ny rafitra fitahirizana ao amin'ny tontolon'ny fampahafantarana.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Ao amin'ny menio sensor ihany koa dia hitantsika fa lasa mena ny sensor mifandray amin'ny famatsiana herinaratra nesorina.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Ny rafitra fitahirizana dia mitohy miasa. Ny tsy fahombiazan'ny fitaovana famatsiana herinaratra dia tsy misy fiantraikany amin'ny fiasan'ny rafitra fitahirizana; amin'ny fomba fijerin'ny mpampiantrano, ny hafainganam-pandehan'ny kopia sy ny famantarana IOMETER dia tsy miova.

Lany ny andrana tsy fahampian'ny herinaratra soa aman-tsara.

Talohan'ny fitsapana farany dia nanapa-kevitra ny hamerina kely ny rafitra fitahirizana izahay, hamerina ny rafitra fanaraha-maso sy famatsiana herinaratra, ary nametraka ny tariby ihany koa, izay nampahafantatra anay tamim-pifaliana ny rafitra fitahirizana miaraka amin'ny sary maitso eo amin'ny tontonana ara-pahasalamana. .

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Fitsapana No. 4. Ny tsy fahombiazan'ny kapila telo ao anaty vondrona iray

Talohan'ity fitsapana ity dia nanao dingana fanomanana fanampiny izahay. Ny zava-misy dia ny rafitra fitahirizana MOTORIA dia manome zavatra tena ilaina - politika fanavaozana hafa. TS Solution dia nanoratra momba an'io endri-javatra io teo aloha, fa andeha hotsaroantsika ny maha-zava-dehibe azy. Ny mpitantana ny fitahirizana dia afaka mamaritra ny laharam-pahamehana amin'ny fizarana loharano mandritra ny fanamboarana. Na eo amin'ny lalan'ny fampisehoana I/O, izany hoe maharitra ela kokoa ny fanamboarana, saingy tsy misy fisintonana ny fampisehoana. Na amin'ny lalana mankany amin'ny hafainganam-pandeha fanarenana, fa hihena ny vokatra. Na safidy voalanjalanja. Satria ny fahombiazan'ny fitahirizana mandritra ny fananganana vondrona kapila dia aretin'andoha amin'ny admin foana, hitsapa ny politika misy fitongilanana amin'ny fahombiazan'ny I/O izahay ary handany ny hafainganam-pandehan'ny fanamboarana.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Andeha hojerentsika ny tsy fahombiazan'ny kapila. Izahay koa dia mamela ny firaketana amin'ny LUNs (rakitra sy IOMETER). Koa satria manana vondrona miaraka amin'ny triple parity (RAID-60P) isika, midika izany fa ny rafitra dia tsy maintsy mahatohitra ny tsy fahombiazan'ny kapila telo, ary aorian'ny tsy fahombiazana dia tsy maintsy miasa ny fanoloana fiara, ny kapila iray dia tsy maintsy maka ny toeran'ny iray amin'ireo tsy nahomby. ao amin’ny RDG, ary tsy maintsy atomboka amin’izany ny fanamboarana.

Manomboka. Voalohany, amin'ny alalan'ny interface tsara fitehirizana, andeha hanasongadinana ireo kapila tiantsika hivoaka (mba tsy ho diso sy hisintona ny kapila autochange).

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Manamarina ny famantarana amin'ny fitaovana izahay. OK ny zava-drehetra, mahita kapila telo misongadina isika.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Ary esorinay ireo kapila telo ireo.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Andeha hojerentsika izay ao amin'ny mpampiantrano. Ary teo... tsy nisy zavatra manokana nitranga.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka
Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Ny mari-pamantarana kopia (avo kokoa noho ny tamin'ny voalohany izy ireo, satria nafana ny cache) ary ny IOMETER dia tsy miova firy rehefa manala ny kapila ary manomboka ny fanamboarana (ao anatin'ny 5-10%).

Andeha hojerentsika izay ao amin'ny rafitra fitahirizana.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Eo amin’ny satan’ny vondrona dia hitantsika fa efa natomboka ny fanamboarana ary efa akaiky ho vita.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Ao amin'ny taolam-paty RDG dia hitanao fa misy kapila 2 ao anaty sata mena, ary efa nosoloina ny iray. Tsy eo intsony ny kapila autoreplacement; nosoloiny ilay kapila tsy nahomby faha-3. Naharitra minitra maromaro ny fanamboarana, nanoratra rakitra rehefa tsy nahomby ny kapila 3, ary tsy niova firy ny fampisehoana I/O.

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Fitsapana fianjeran'ny rafitra fitahirizana AERODISK ENGINE N2, fitsapana tanjaka

Tena lany tokoa ny fitsapana tsy fahombiazan'ny kapila soa aman-tsara.

famaranana

Tamin'ity fotoana ity dia nanapa-kevitra ny hampiato ny herisetra amin'ny rafitra fitahirizana izahay. Andao hamintina:

  • Fanamarinana tsy fahombiazan'ny seranan-tsambo FC - nahomby
  • Fijerena tsy fahombiazan'ny seranan-tsambo Ethernet - nahomby
  • Fanamarinana tsy fahombiazan'ny controller - nahomby
  • Fitsapana tsy fahampian-kery - Nahomby
  • Fanamarinana ny tsy fahombiazan'ny kapila ao amin'ny grouppool - nahomby

Tsy nisy na dia iray aza tamin'ireo tsy fahombiazana nanakana ny firaketana na niteraka lesoka teo amin'ny entana synthetic; mazava ho azy fa nisy ny fahombiazana (ary fantatsika ny fomba handresena izany, izay hataontsika tsy ho ela), fa raha segondra ireo dia azo ekena. Fehiny: niasa tamin'ny ambaratonga ny fandeferana diso amin'ny singa rehetra ao amin'ny rafitra fitahirizana AERODISK, tsy nisy teboka tsy nahomby.

Mazava ho azy fa amin'ny lahatsoratra iray dia tsy afaka mitsapa ny trangan-javatra tsy fahombiazana rehetra izahay, fa nanandrana nanarona ireo malaza indrindra izahay. Noho izany, alefaso azafady ny fanehoan-kevitrao, ny soso-kevitra momba ny famoahana ho avy ary, mazava ho azy, ny tsikera sahaza. Ho faly isika hiresaka (na tsara kokoa, tongava amin'ny fiofanana, dika mitovy ny fandaharam-potoana raha sanatria)! Mandra-pahatongan'ny fitsapana vaovao!

  • Nizhny Novgorod (EFA MISOKATRA – afaka misoratra anarana eto ianao https://aerodisk.promo/nn/);
    Mandra-pahatongan'ny 16 aprily 2019 dia afaka mitsidika ny foibe amin'ny fotoana rehetra iasana ianao, ary ny 16 aprily 2019 dia hisy ny fiofanana lehibe hokarakaraina.
  • Krasnodar (FISOKATRA AVY - afaka misoratra anarana eto ianao https://aerodisk.promo/krsnd/ );
    Ny 9 aprily ka hatramin’ny 25 aprily 2019 dia afaka mitsidika ny foibe amin’ny fotoana rehetra iasana ianao, ary ny 25 aprily 2019 dia hisy fiofanana lehibe hokarakaraina.
  • Екатеринбург (FISOKATRA AVY, araho ny vaovao amin'ny tranokalanay na amin'ny Habré);
    Mey-Jona 2019.
  • Новосибирск (araho ny fampahalalana ao amin'ny tranokalanay na amin'ny Habré);
    Oktobra 2019.
  • Красноярск (araho ny fampahalalana ao amin'ny tranokalanay na amin'ny Habré);
    Novambra 2019.

Source: www.habr.com

Add a comment