🥇SHD AERODISK na domaćim procesorima Elbrus 8C

Pozdrav čitateljima Habra. Željeli bismo podijeliti neke vrlo dobre vijesti. Konačno smo dočekali pravu serijsku proizvodnju nove generacije ruskih Elbrus 8C procesora. Službeno je serijska proizvodnja trebala početi već 2016. godine, ali zapravo je masovna proizvodnja počela tek 2019. godine i već je pušteno oko 4000 procesora.

Gotovo odmah nakon početka masovne proizvodnje, ovi procesori su se pojavili u našem Aerodisk-u, na čemu se zahvaljujemo NORSI-TRANS-u, koji nam je ljubazno ustupio svoju hardversku platformu Yakhont UVM, koja podržava Elbrus 8C procesore, za portiranje softverskog dijela sistem skladištenja. Ovo je moderna univerzalna platforma koja ispunjava sve zahtjeve MCST-a. Trenutno platformu koriste posebni potrošači i telekom operateri kako bi osigurali provođenje utvrđenih radnji tokom operativno-istražnih radnji.

Trenutno je prijenos uspješno završen, a sada je AERODISK sistem skladištenja dostupan u verziji sa domaćim Elbrus procesorima.

U ovom članku ćemo govoriti o samim procesorima, njihovoj istoriji, arhitekturi i, naravno, našoj implementaciji sistema za skladištenje podataka na Elbrusu.

История

Istorija Elbrus procesora datira još iz vremena Sovjetskog Saveza. Godine 1973. na Institutu za finu mehaniku i računarstvo im S.A. Lebedev (nazvan po istom Sergeju Lebedevu, koji je prethodno vodio razvoj prvog sovjetskog računara MESM, a kasnije BESM), započeo je razvoj višeprocesorskih računarskih sistema pod nazivom Elbrus. Vsevolod Sergeevich Burtsev je nadgledao razvoj, a Boris Artashesovich Babayan, koji je bio jedan od zamjenika glavnog dizajnera, također je aktivno učestvovao u razvoju.

Vsevolod Sergejevič Burcev

Boris Artašesovich Babayan

Glavni kupac projekta bile su, naravno, oružane snage SSSR-a, a ova serija kompjutera je na kraju uspešno korišćena u stvaranju komandnih računarskih centara i sistema za paljbu za sisteme raketne odbrane, kao i drugih sistema posebne namene. .

Prvi Elbrus kompjuter je završen 1978. Imao je modularnu arhitekturu i mogao je uključivati od 1 do 10 procesora zasnovanih na srednjim integracijskim šemama. Brzina ove mašine dostigla je 15 miliona operacija u sekundi. Količina RAM-a, koja je bila zajednička za svih 10 procesora, iznosila je do 2 do 20. stepena mašinskih riječi ili 64 MB.

Kasnije se ispostavilo da su mnoge tehnologije korištene u razvoju Elbrusa istovremeno proučavane u svijetu, a na njima se bavila i International Business Machine (IBM), ali rad na ovim projektima, za razliku od rada na Elbrusu, nije su završeni i na kraju nisu doveli do stvaranja gotovog proizvoda.

Prema Vsevolodu Burtsevu, sovjetski inženjeri pokušali su primijeniti najnaprednije iskustvo domaćih i stranih programera. Na arhitekturu Elbrus računara takođe su uticali Burroughs računari, Hewlett-Packard razvoj, kao i iskustvo programera BESM-6.

Ali u isto vrijeme, mnogi razvoji su bili originalni. Najzanimljivija stvar u vezi Elbrusa-1 bila je njegova arhitektura.

Stvoreni superkompjuter postao je prvi računar u SSSR-u koji je koristio superskalarnu arhitekturu. Masovna upotreba superskalarnih procesora u inostranstvu počela je tek 90-ih godina prošlog veka pojavom na tržištu pristupačnih Intel Pentium procesora.

Osim toga, posebni ulazno-izlazni procesori mogu se koristiti za organiziranje prijenosa tokova podataka između perifernih uređaja i RAM-a u računaru. U sistemu je moglo biti do četiri takva procesora, radili su paralelno sa centralnim procesorom i imali svoju namjensku memoriju.

Elbrus-2

Godine 1985. Elbrus je dobio svoj logičan nastavak, kompjuter Elbrus-2 je stvoren i poslat u masovnu proizvodnju. Što se tiče arhitekture, nije se mnogo razlikovao od svog prethodnika, ali je koristio novu bazu elemenata, što je omogućilo povećanje ukupnih performansi za skoro 10 puta - sa 15 miliona operacija u sekundi na 125 miliona. povećan na 16 miliona 72-bitnih riječi ili 144 MB. Maksimalna propusnost Elbrus-2 I/O kanala bila je 120 MB/s.

"Elbrus-2" se aktivno koristio u nuklearnim istraživačkim centrima u Čeljabinsku-70 i u Arzamasu-16 u MCC-u, u sistemu protivraketne odbrane A-135, kao iu drugim vojnim objektima.

Lideri Sovjetskog Saveza su propisno cijenili stvaranje Elbrusa. Mnogi inženjeri su dobili ordene i medalje. Generalni dizajner Vsevolod Burtsev i niz drugih stručnjaka dobili su državne nagrade. A Boris Babayan je odlikovan Ordenom Oktobarske revolucije.

Ove nagrade su više nego zaslužene, kasnije je rekao Boris Babayan:

„1978. godine napravili smo prvu superskalarnu mašinu, Elbrus-1. Sada na zapadu prave superskalare samo od ove arhitekture. Prvi superskalar pojavio se na Zapadu 92. godine, a kod nas 78. godine. Štaviše, verzija superskalara koju smo napravili slična je Pentium Pro-u koji je Intel napravio 95. godine.”

Ove riječi o istorijskoj superiornosti potvrđuju i u SAD-u, napisao je Keith Diefendorff, programer Motorola 88110, jednog od prvih zapadnih superskalarnih procesora:

“Godine 1978, skoro 15 godina prije nego što su se pojavili prvi zapadni superskalarni procesori, Elbrus-1 je koristio procesor, sa izdavanjem dvije instrukcije u jednom ciklusu, mijenjajući redoslijed izvršavanja instrukcija, preimenovanjem registara i izvršavanjem po pretpostavci.”

Elbrus-3

Bilo je to 1986. godine, a gotovo odmah nakon završetka radova na drugom Elbrusu, ITMiVT je započeo razvoj novog sistema Elbrus-3 koristeći fundamentalno novu arhitekturu procesora. Boris Babayan je ovaj pristup nazvao “post-superskalarnim”. Upravo su tu arhitekturu, kasnije nazvanu VLIW / EPIC, u budućnosti (sredinom 90-ih) počeli koristiti Intel Itanium procesori (a u SSSR-u je ovaj razvoj započeo 1986. i završio 1991.).

U ovom računarskom kompleksu prvo su implementirane ideje eksplicitne kontrole paralelizma operacija uz pomoć kompajlera.

Godine 1991. izašao je prvi i, nažalost, jedini računar Elbrus-3, koji se nije mogao u potpunosti prilagoditi, a nakon raspada Sovjetskog Saveza nikome nije trebao, a razvoj i planovi su ostali na papiru.

Pozadina nove arhitekture

Tim koji je radio u ITMiVT-u na stvaranju sovjetskih superkompjutera nije se raspao, već je nastavio da radi kao posebna kompanija pod imenom MCST (Moskovski centar za SPARK-tehnologije). A početkom 90-ih godina počinje aktivna saradnja između MCST-a i Sun Microsystems-a, gdje je MCST tim učestvovao u razvoju UltraSPARC mikroprocesora.

U tom periodu je nastao projekat arhitekture E2K, koji je prvobitno finansirao Sun. Kasnije je projekat postao potpuno nezavisan i sva intelektualna svojina za njega ostala je u MCST timu.

“Ako bismo nastavili da radimo sa Sunom u ovoj oblasti, onda bi sve pripalo Sunu. Iako je 90% posla obavljeno prije nego što se pojavilo Sun.” (Boris Babayan)

E2K arhitektura

Kada govorimo o arhitekturi Elbrus procesora, vrlo često čujemo sljedeće izjave naših kolega iz IT industrije:

"Elbrus je RISC arhitektura"
"Elbrus je EPSKA arhitektura"
"Elbrus je SPARC-arhitektura"

Zapravo, nijedna od ovih izjava nije u potpunosti istinita, ili ako jeste, samo je djelimično istinita.

E2K arhitektura je zasebna originalna procesorska arhitektura, glavni kvaliteti E2K su energetska efikasnost i odlična skalabilnost, postignuta specificiranjem eksplicitnog paralelizma operacija. E2K arhitekturu je razvio MCST tim i zasnovana je na post-superskalarnoj arhitekturi (a la EPIC) sa određenim uticajem SPARC arhitekture (sa RISC prošlošću). Istovremeno, MCST je bio direktno uključen u kreiranje tri od četiri osnovne arhitekture (Superskalarne, Post-Superskalarne i SPARC). Svijet je zaista mali.

Kako bismo izbjegli zabunu u budućnosti, nacrtali smo jednostavan dijagram koji, iako pojednostavljen, ali vrlo jasno pokazuje korijene E2K arhitekture.

Sada malo više o nazivu arhitekture, u vezi sa kojim takođe postoji nesporazum.

U raznim izvorima možete pronaći sljedeće nazive za ovu arhitekturu: "E2K", "Elbrus", "Elbrus 2000", ELBRUS ("ExpLicit Basic Resources Utilization Scheduling", tj. eksplicitno planiranje korištenja osnovnih resursa). Svi ovi nazivi govore o istoj stvari – o arhitekturi, ali u zvaničnoj tehničkoj dokumentaciji, kao i na tehničkim forumima, naziv E2K se koristi za označavanje arhitekture, tako da u budućnosti, ako govorimo o arhitekturi procesora, koristimo izraz "E2K", a ako se radi o određenom procesoru, onda koristimo naziv "Elbrus".

Tehničke karakteristike E2K arhitekture

U tradicionalnim arhitekturama kao što su RISC ili CISC (x86, PowerPC, SPARC, MIPS, ARM), procesor prima niz instrukcija koje su dizajnirane za sekvencijalno izvršavanje. Procesor može otkriti nezavisne operacije i izvoditi ih paralelno (superskalarno), pa čak i promijeniti njihov redoslijed (van reda). Međutim, dinamička analiza zavisnosti i podrška za izvršavanje van redosleda ima svoja ograničenja u smislu broja naredbi koje se pokreću i analiziraju po ciklusu. Osim toga, odgovarajući blokovi unutar procesora troše značajnu količinu energije, a njihova najsloženija implementacija ponekad dovodi do problema stabilnosti ili sigurnosti.

U E2K arhitekturi, glavni posao analize zavisnosti i optimizacije redosleda operacija preuzima kompajler. Procesor prima tzv. široke instrukcije, od kojih svaka kodira instrukcije za sve izvršne uređaje procesora koji se moraju pokrenuti u datom ciklusu takta. Od procesora se ne traži da analizira zavisnosti između operanada ili menja operacije između širokih instrukcija: kompajler sve to radi na osnovu analize izvornog koda i planiranja resursa procesora. Kao rezultat toga, hardver procesora može biti jednostavniji i ekonomičniji.

Kompajler je u stanju da raščlani izvorni kod mnogo temeljitije od procesorskog RISC/CISC hardvera i pronađe nezavisnije operacije. Stoga, E2K arhitektura ima više paralelnih izvršnih jedinica od tradicionalnih arhitektura.

Trenutne karakteristike E2K arhitekture:

6 kanala aritmetičko-logičkih jedinica (ALU) rade paralelno.
Registarski fajl od 256 84-bitnih registara.
Hardverska podrška za cikluse, uključujući one sa cjevovodom. Povećava efikasnost korišćenja resursa procesora.
Programabilna asinhrona pretpumpa podataka sa odvojenim kanalima za očitavanje. Omogućava vam da sakrijete kašnjenja od pristupa memoriji i potpunije iskoristite ALU.
Podrška za spekulativne proračune i jednobitne predikate. Omogućava vam da smanjite broj prijelaza i paralelno izvršavate nekoliko grana programa.
Široka komanda koja može specificirati do 23 operacije u jednom ciklusu takta sa maksimalnim punjenjem (više od 33 operacije kada se operandi pakuju u vektorske instrukcije).

Emulacija x86

Čak iu fazi projektovanja arhitekture, programeri su shvatili važnost podrške softveru napisanom za Intel x86 arhitekturu. Za to je implementiran sistem za dinamičko (tj. tokom izvršavanja programa ili „u hodu“) prevođenje x86 binarnih kodova u procesorske kodove E2K arhitekture. Ovaj sistem može da radi kako u aplikacijskom režimu (na način WINE), tako iu režimu sličnom hipervizoru (tada je moguće pokrenuti ceo gostujući OS za x86 arhitekturu).

Zahvaljujući nekoliko nivoa optimizacije, moguće je postići veliku brzinu prevedenog koda. Kvalitet emulacije x86 arhitekture potvrđuje uspješno lansiranje više od 20 operativnih sistema (uključujući nekoliko verzija Windowsa) i stotine aplikacija na računarskim sistemima Elbrus.

Zaštićeni način izvršavanja programa

Jedna od najzanimljivijih ideja naslijeđenih iz Elbrus-1 i Elbrus-2 arhitektura je takozvano sigurno izvršavanje programa. Njegova suština je osigurati da program radi samo sa inicijaliziranim podacima, provjeriti da li svi pristupi memoriji pripadaju važećem rasponu adresa, osigurati međumodulnu zaštitu (na primjer, zaštititi program koji poziva od greške u biblioteci). Sve ove provjere se vrše u hardveru. Za zaštićeni način rada, postoji punopravni kompajler i biblioteka podrške za vrijeme izvođenja. Istovremeno, treba shvatiti da nametnuta ograničenja dovode do nemogućnosti organiziranja izvršenja, na primjer, koda napisanog u C ++.

Čak iu uobičajenom, "nezaštićenom" načinu rada Elbrus procesora, postoje karakteristike koje povećavaju pouzdanost sistema. Stoga je stog informacija o vezivanju (lanac povratnih adresa za pozive procedura) odvojen od steka korisničkih podataka i nedostupan je takvim napadima koji se koriste u virusima kao lažiranje povratne adrese.

Dizajniran tokom godina, ne samo da sustiže i nadmašuje konkurentske arhitekture u pogledu performansi i skalabilnosti u budućnosti, već takođe pruža zaštitu od grešaka koje muče x86/amd64. Oznake kao što su Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) i slično.

Moderna zaštita od pronađenih ranjivosti u arhitekturi x86/amd64 zasniva se na zakrpama na nivou operativnog sistema. Zato je pad performansi na sadašnjoj i prethodnim generacijama procesora ovih arhitektura tako primetan i kreće se od 30% do 80%. Mi, kao aktivni korisnici x86 procesora, znamo za ovo, patimo i nastavljamo da „jedemo kaktus“, ali prisustvo rješenja ovih problema u pupoljku za nas (i, kao rezultat, za naše kupce) predstavlja nesumnjiva korist, pogotovo ako je rješenje rusko.

Технические характеристики

Ispod su zvanične tehničke karakteristike Elbrus procesora prošle (4C), sadašnje (8C), nove (8CB) i buduće (16C) generacije u poređenju sa sličnim Intel x86 procesorima.

Čak i letimičan pogled na ovu tabelu pokazuje (i to je veoma drago) da se tehnološki zaostatak domaćih procesora, koji je prije 10 godina izgledao nepremostiv, već sada izgleda prilično mali, a 2021. lansiranjem Elbrusa-16C (koji je među ostale stvari, podržavat će virtuelizaciju) biće svedene na minimalne udaljenosti.

SHD AERODISK na Elbrus 8C procesorima

Prelazimo sa teorije na praksu. U okviru strateškog saveza MCST, Aerodisk, Basalt SPO (ranije Alt Linux) i NORSI-TRANS, razvijen je i pušten u rad sistem za skladištenje podataka koji je u ovom trenutku ako ne i najbolji u pogledu sigurnosti, funkcionalnosti, cijena i performanse, po našem mišljenju, neosporno vrijedno rješenje koje može osigurati odgovarajući nivo tehnološke nezavisnosti naše domovine.
Sada detalji...

Hardver

Hardverski dio skladišnog sistema implementiran je na bazi univerzalne platforme Yakhont UVM kompanije NORSI-TRANS. Platforma Yakhont UVM dobila je status telekomunikacione opreme ruskog porijekla i uvrštena je u jedinstveni registar ruskih radioelektronskih proizvoda. Sistem se sastoji od dva odvojena kontrolera za skladištenje (2U svaki), koji su međusobno povezani 1G ili 10G Ethernet interkonekcijom, kao i sa zajedničkim disk policama pomoću SAS veze.

Naravno, ovo nije tako lijepo kao format “Cluster in a box” (kada su kontroleri i diskovi sa zajedničkom baznom pločom ugrađeni u jednu 2U šasiju) koji obično koristimo, ali će u bliskoj budućnosti biti i dostupan. Ovdje je najvažnije da dobro funkcionira, ali o "magovima" ćemo razmišljati kasnije.

Ispod haube, svaki kontroler ima jednoprocesorsku matičnu ploču sa četiri RAM slota (DDR3 za 8C procesor). Takođe na svakom kontroleru postoje 4 1G Ethernet porta (od kojih dva koristi softver AERODISK ENGINE kao servis) i tri PCIe slota za Back-end (SAS) i Front-end (Ethernet ili FibreChannel) adaptere.

Kao diskove za pokretanje koristimo ruske SATA SSD diskove kompanije GS Nanotech, koje smo više puta testirali i koristili u projektima.

Kada smo prvi put sreli platformu, pažljivo smo je ispitali. Nismo imali pitanja o kvaliteti montaže i lemljenja, sve je urađeno uredno i pouzdano.

operativni sistem

Verzija OS Alt 8SP za certifikaciju se koristi kao OS. U bliskoj budućnosti planiramo da kreiramo spremište koje se može priključiti i stalno ažurirati za Alt OS sa Aerodisk softverom za skladištenje.

Ova verzija distribucije je izgrađena na trenutnoj stabilnoj verziji Linux 4.9 kernela za E2K (grana sa dugotrajnom podrškom koju su prenijeli MCST stručnjaci), dopunjena zakrpama za funkcionalnost i sigurnost. Svi paketi u Alt OS-u su izgrađeni direktno na Elbrusu koristeći originalni transakcioni sistem gradnje ALT Linux Team projekta, što je omogućilo smanjenje troškova rada za sam transfer i obraćanje više pažnje na kvalitet proizvoda.

Bilo koje izdanje Alt OS-a za Elbrus može se značajno proširiti u smislu funkcionalnosti korištenjem raspoloživog spremišta (sa oko 6 hiljada izvornih paketa za osmu verziju do oko 12 za devetu).

Izbor je napravljen i zato što Basalt SPO, programer Alt OS-a, aktivno radi sa drugim programerima softvera i uređaja na različitim platformama, obezbeđujući besprekornu interakciju unutar hardverskih i softverskih sistema.

Sistemi za skladištenje softvera

Prilikom portiranja, odmah smo napustili ideju korištenja x2 emulacije podržane u E86K i počeli direktno raditi s procesorima (srećom, Alt već ima potrebne alate za to).

Između ostalog, izvorni način izvršavanja pruža bolju sigurnost (ista tri hardverska steka umjesto jednog) i povećane performanse (nema potrebe da se dodijeli jedno ili dva jezgra od osam da bi binarni prevodilac radio, a kompajler radi svoje posao bolji od JIT-a).

U stvari, E2K implementacija AERODISK ENGINE podržava većinu postojećih funkcija skladištenja koje se nalaze u x86. Trenutna verzija AERODISK ENGINE-a (A-CORE verzija 2.30) se koristi kao softver sistema za skladištenje

Bez ikakvih problema na E2K, sljedeće funkcije su uvedene i testirane za korištenje u proizvodu:

Tolerancija grešaka za do dva kontrolera i višestazni I/O (mpio)
Blokirajte i pristup datotekama s tankim volumenima (RDG, DDP bazeni; FC, iSCSI, NFS, SMB protokoli uključujući integraciju Active Directory)
Različiti nivoi RAID-a do trostrukog pariteta (uključujući mogućnost korištenja RAID konstruktora)
Hibridna pohrana (kombinacija SSD-a i HDD-a unutar istog bazena, tj. keš memorije i više nivoa)
Opcije za uštedu prostora uz deduplikaciju i kompresiju
ROW snimke, klonovi i razne opcije replikacije
I druge male, ali korisne funkcije kao što su QoS, globalni hotspare, VLAN, BOND, itd.

Zapravo, na E2K smo uspjeli dobiti sve naše funkcionalnosti, osim multikontrolera (više od dva) i višenitnog I/O planera, koji nam omogućava da povećamo performanse all-flash skupova za 20-30% .

Ali mi ćemo, naravno, dodati i ove korisne funkcije, pitanje vremena.

Malo o performansama

Nakon uspješno položenih testova osnovne funkcionalnosti sustava za pohranu podataka, mi smo, naravno, počeli sa testiranjem opterećenja.

Na primjer, na sistemu za skladištenje s dva kontrolera (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800GB 3DWD), u kojem je RAM keš memorija onemogućen, kreirali smo dva DDP bazena sa glavnim RAID-10 nivoom i dva 500G LUN-ove i povezali te LUN-ove preko iSCSI (10G Ethernet) na Linux host. I uradio jedan od osnovnih testova po satu na malim blokovima uzastopnog opterećenja koristeći FIO program.

Prvi rezultati su bili prilično pozitivni.

Opterećenje procesora je u prosjeku bilo na nivou od 60%, tj. ovo je osnovni nivo na kojem skladište može bezbedno da radi.

Da, ovo je daleko od visokog opterećenja, i to očito nije dovoljno za DBMS visokih performansi, ali, kako pokazuje naša praksa, ove karakteristike su dovoljne za 80% općih zadataka za koje se koriste sistemi za skladištenje podataka.

Nešto kasnije, planiramo se vratiti sa detaljnim izvještajem o testovima opterećenja Elbrusa kao platforme za skladištenje.

Bright Future

Kao što smo već pisali, masovna proizvodnja Elbrusa 8C zapravo je počela tek nedavno - početkom 2019. godine, a do decembra je već pušteno oko 4000 procesora. Poređenja radi, proizvedeno je samo 4 procesora prethodne generacije Elbrus 5000C za čitav period njihove proizvodnje, tako da napredak ima.

Jasno je da je ovo kap u moru, čak i za rusko tržište, ali put će savladati onaj koji hoda.
Izdanje nekoliko desetina hiljada Elbrus 2020C procesora planirano je za 8. godinu, a to je već ozbiljna brojka. Osim toga, tokom 2020. godine, MCST tim bi trebao dovesti procesor Elbrus-8SV u masovnu proizvodnju.

Ovakvi proizvodni planovi su aplikacija za vrlo značajan udio na cjelokupnom domaćem tržištu serverskih procesora.

Kao rezultat toga, ovdje i sada imamo dobar i moderan ruski procesor sa jasnom i, po našem mišljenju, ispravnom strategijom razvoja, na osnovu koje postoji najsigurniji i sertifikovani sistem za skladištenje podataka ruske proizvodnje (i u budućnost, sistem virtuelizacije na Elbrusu-16C). Ruski sistem je onoliko koliko je to sada fizički moguće u savremenim uslovima.

Često u vijestima vidimo naredne epske promašaje kompanija koje sebe s ponosom nazivaju ruskim proizvođačima, a zapravo se bave ponovnim lijepljenjem etiketa bez dodavanja vlastite vrijednosti proizvodima stranog proizvođača, osim njihove oznake. Takve kompanije, nažalost, bacaju sjenu na sve prave ruske programere i proizvođače.

Ovim člankom želimo jasno pokazati da je u našoj zemlji bilo, ima i biće kompanija koje zaista i efikasno prave savremene složene IT sisteme i aktivno se razvijaju, a supstitucija uvoza u IT nije psovka, već realnost u kojoj svi živimo. Ne možete voljeti ovu stvarnost, možete je kritikovati, ili možete raditi i učiniti je boljom.

Raspad SSSR-a svojevremeno je spriječio tim kreatora Elbrusa da postane istaknuti igrač u svijetu procesora i prisilio tim da traži sredstva za svoj razvoj u inostranstvu. Pronađeno je, posao je obavljen, a intelektualna svojina je sačuvana, na čemu ovim ljudima želim da kažem veliko hvala!

To je sve za sada, napišite svoje komentare, pitanja i, naravno, kritike. Uvek smo srećni.

Također, u ime cijele kompanije Aerodisk, želim da čestitam cijeloj ruskoj IT zajednici na predstojećoj Novoj godini i Božiću, poželim 100% produženje rada - i da rezervne kopije nikome neće biti korisne u novoj godini))).