🥇AERODISK sustav za pohranu na domaćim procesorima Elbrus 8C

Pozdrav, čitatelji Habra. Željeli bismo podijeliti izuzetno dobre vijesti. Napokon smo dočekali pravu serijsku proizvodnju nove generacije ruskih procesora Elbrus 8C. Službeno je serijska proizvodnja trebala krenuti 2016. godine, no zapravo je masovna proizvodnja započela tek 2019. godine i trenutno je već proizvedeno oko 4000 procesora.

Gotovo odmah nakon početka masovne proizvodnje, ovi procesori su se pojavili u našem Aerodisku, na čemu se posebno zahvaljujemo tvrtki NORSI-TRANS koja nam je ljubazno ustupila svoju hardversku platformu Yakhont UVM, koja podržava Elbrus 8C procesore, za prijenos na softverski dio sustava za pohranu podataka. Ovo je moderna univerzalna platforma koja zadovoljava sve zahtjeve MCST-a. Trenutno platformu koriste posebni potrošači i telekom operateri za osiguranje provedbe utvrđenih radnji tijekom operativno istražnih radnji.

Trenutno je portiranje uspješno završeno, a sustav za pohranu podataka AERODISK već je dostupan u verziji s domaćim Elbrus procesorima.

U ovom ćemo članku govoriti o samim procesorima, njihovoj povijesti, arhitekturi i, naravno, o našoj implementaciji sustava za pohranu na Elbrusu.

Priča

Povijest Elbrus procesora datira još iz vremena Sovjetskog Saveza. Godine 1973., na Institutu za preciznu mehaniku i računarstvo nazvan. S.A. Lebedev (nazvan po istom Sergeju Lebedevu koji je prethodno vodio razvoj prvog sovjetskog računala MESM, a kasnije BESM) započeo je razvoj višeprocesorskih računalnih sustava pod nazivom "Elbrus". Razvoj je vodio Vsevolod Sergeevich Burtsev, a u razvoju je aktivno sudjelovao i Boris Artashesovich Babayan, koji je bio jedan od zamjenika glavnog dizajnera.

Vsevolod Sergejevič Burcev

Boris Artashesovich Babayan

Glavni kupac projekta bile su, naravno, oružane snage SSSR-a, a ova serija računala na kraju je uspješno korištena u stvaranju zapovjednih računalnih centara i sustava za paljbu za sustave proturaketne obrane, kao i druge sustave posebne namjene. .

Prvo računalo Elbrus dovršeno je 1978. Imao je modularnu arhitekturu i mogao je uključivati od 1 do 10 procesora temeljenih na srednjim integracijskim krugovima. Brzina ovog stroja dosegla je 15 milijuna operacija u sekundi. Količina RAM-a, koja je bila zajednička za svih 10 procesora, iznosila je do 2 na 20. potenciju strojnih riječi ili 64 MB.

Kasnije se pokazalo da se mnoge tehnologije korištene u razvoju Elbrusa istovremeno istražuju diljem svijeta, a njima se bavi International Business Machine (IBM), ali rad na tim projektima, za razliku od rada na Elbrusu , nikad nije bio dovršen. dovršeni su i nisu u konačnici doveli do stvaranja gotovog proizvoda.

Prema Vsevolodu Burcevu, sovjetski su inženjeri pokušali primijeniti najnaprednija iskustva domaćih i stranih programera. Na arhitekturu računala Elbrus također su utjecali Burroughsova računala, razvoj Hewlett-Packarda i iskustvo programera BESM-6.

Ali u isto vrijeme, mnogi su razvoji bili originalni. Najzanimljivija stvar kod Elbrusa-1 bila je njegova arhitektura.

Stvoreno superračunalo postalo je prvo računalo u SSSR-u koje je koristilo superskalarnu arhitekturu. Široka uporaba superskalarnih procesora u inozemstvu započela je tek 90-ih godina prošlog stoljeća pojavom pristupačnih Intel Pentium procesora na tržištu.

Osim toga, posebni ulazno/izlazni procesori mogu se koristiti za organiziranje prijenosa tokova podataka između perifernih uređaja i RAM-a u računalu. U sustavu je moglo biti do četiri takva procesora, radili su paralelno sa središnjim procesorom i imali vlastitu namjensku memoriju.

Elbrus-2

Godine 1985. Elbrus je dobio svoj logičan nastavak; stvoreno je računalo Elbrus-2 i poslano u masovnu proizvodnju. U arhitekturi se nije mnogo razlikovao od svog prethodnika, ali je koristio novu bazu elemenata, što je omogućilo povećanje ukupne performanse gotovo 10 puta - sa 15 milijuna operacija u sekundi na 125 milijuna. Kapacitet RAM-a računala povećan je na 16 milijuna 72 -bit riječi ili 144 MB. Maksimalna propusnost I/O kanala Elbrus-2 bila je 120 MB/s.

"Elbrus-2" se aktivno koristio u nuklearnim istraživačkim centrima u Čeljabinsku-70 i Arzamasu-16 u MCC-u, u sustavu proturaketne obrane A-135, kao iu drugim vojnim objektima.

Stvaranje Elbrusa cijenili su čelnici Sovjetskog Saveza. Mnogi inženjeri nagrađeni su ordenima i medaljama. Generalni dizajner Vsevolod Burtsev i niz drugih stručnjaka dobili su državne nagrade. I Boris Babayan je nagrađen Ordenom Oktobarske revolucije.

Ove nagrade su više nego zaslužene, rekao je kasnije Boris Babayan:

“Godine 1978. napravili smo prvi superskalarni stroj, Elbrus-1. Sada na zapadu prave samo superskalare ove arhitekture. Prvi superskalar pojavio se na zapadu 92., naš 78. godine. Štoviše, verzija superskalara koju smo napravili slična je Pentiumu Pro koji je Intel napravio 95. godine.”

Ove riječi o povijesnom primatu potvrđene su u SAD-u, napisao je Keith Diefendorff, programer Motorola 88110, jednog od prvih zapadnih superskalarnih procesora:

“Godine 1978., gotovo 15 godina prije nego što su se pojavili prvi zapadnjački superskalarni procesori, Elbrus-1 koristio je procesor koji je izdavao dvije instrukcije po taktu, mijenjao redoslijed izvršavanja instrukcija, preimenovao registre i izvršavao prema pretpostavci.”

Elbrus-3

Bila je 1986., i gotovo odmah nakon završetka rada na drugom Elbrusu, ITMiVT je počeo razvijati novi sustav Elbrus-3, koristeći potpuno novu arhitekturu procesora. Boris Babayan nazvao je ovaj pristup "post-superskalarnim". Upravo su ovu arhitekturu, kasnije nazvanu VLIW/EPIC, u budućnosti (sredinom 90-ih) počeli koristiti Intel Itanium procesori (a u SSSR-u su ti razvoji započeli 1986. i završili 1991.).

Ovaj računalni kompleks bio je prvi koji je implementirao ideje eksplicitne kontrole paralelizma operacija pomoću kompajlera.

Godine 1991. objavljeno je prvo i, nažalost, jedino računalo "Elbrus-3", koje se nije moglo u potpunosti prilagoditi, a nakon raspada Sovjetskog Saveza nikome nije bilo potrebno, a razvoj i planovi ostali su na papiru.

Preduvjeti za novu arhitekturu

Tim koji je u ITMiVT-u radio na stvaranju sovjetskih superračunala nije se raspao, već je nastavio raditi kao zasebna tvrtka pod imenom MCST (Moscow Center of SPARK Technologies). A početkom 90-ih započela je aktivna suradnja između MCST-a i Sun Microsystemsa, gdje je tim MCST-a sudjelovao u razvoju mikroprocesora UltraSPARC.

U tom razdoblju pojavio se projekt arhitekture E2K, koji je u početku financirao Sun. Kasnije je projekt postao potpuno neovisan i svo intelektualno vlasništvo na njemu ostalo je timu MCST-a.

“Da smo nastavili raditi sa Sunom na ovom području, sve bi bilo u vlasništvu Suna. Iako je 90% posla obavljeno prije nego što je Sun došao.” (Boris Babayan)

E2K arhitektura

Kada govorimo o arhitekturi Elbrus procesora, vrlo često čujemo sljedeće izjave naših kolega iz IT industrije:

“Elbrus je RISC arhitektura”
“Elbrus je EPSKA arhitektura”
“Elbrus je SPARC arhitektura”

Zapravo, nijedna od ovih izjava nije u potpunosti istinita, a ako i jest, samo je djelomična.

E2K arhitektura je zasebna originalna procesorska arhitektura; glavne kvalitete E2K su energetska učinkovitost i izvrsna skalabilnost, postignuta određivanjem eksplicitnog paralelizma operacija. E2K arhitekturu razvio je MCST tim i temelji se na post-superskalarnoj arhitekturi (a la EPIC) s određenim utjecajem SPARC arhitekture (s RISC prošlošću). Istovremeno, MCST je bio izravno uključen u stvaranje tri od četiri osnovne arhitekture (Superscalars, post-superscalars i SPARC). Svijet je doista malo mjesto.

Kako bismo izbjegli zabune u budućnosti, nacrtali smo jednostavan dijagram koji, iako pojednostavljen, vrlo jasno prikazuje korijene E2K arhitekture.

Sada malo više o nazivu arhitekture oko kojeg također postoji nesporazum.

U raznim izvorima možete pronaći sljedeće nazive za ovu arhitekturu: “E2K”, “Elbrus”, “Elbrus 2000”, ELBRUS (“ExpLicit Basic Resources Utilization Scheduling”, tj. eksplicitno planiranje korištenja osnovnih resursa). Svi ovi nazivi govore o istom - o arhitekturi, ali u službenoj tehničkoj dokumentaciji, kao i na tehničkim forumima, naziv E2K koristi se za označavanje arhitekture, pa ćemo ubuduće, ako govorimo o arhitekturi procesora, koristiti termin “E2K”, a ako se radi o određenom procesoru koristimo naziv “Elbrus”.

Tehničke značajke E2K arhitekture

U tradicionalnim arhitekturama kao što su RISC ili CISC (x86, PowerPC, SPARC, MIPS, ARM), ulaz procesora prima tok instrukcija koje su dizajnirane za sekvencijalno izvođenje. Procesor može detektirati neovisne operacije i izvoditi ih paralelno (superskalarnost), pa čak i promijeniti njihov redoslijed (izvršenje izvan reda). Međutim, dinamička analiza ovisnosti i podrška za izvođenje izvan redoslijeda imaju svoja ograničenja u broju naredbi koje se pokreću i analiziraju po taktu. Osim toga, odgovarajući blokovi unutar procesora troše primjetnu količinu energije, a njihova složena implementacija ponekad dovodi do problema sa stabilnošću ili sigurnošću.

U E2K arhitekturi, glavni posao analize ovisnosti i optimiziranja redoslijeda operacija preuzima kompajler. Procesor prima ulaz tzv. široke instrukcije, od kojih svaka kodira instrukcije za sve izvršne jedinice procesora koje se moraju pokrenuti u danom ciklusu takta. Procesor nije dužan analizirati ovisnosti između operanda ili preuređivati operacije između širokih instrukcija: kompajler sve to radi na temelju analize izvornog koda i planiranja resursa procesora. Kao rezultat toga, hardver procesora može biti jednostavniji i isplativiji.

Kompajler je sposoban analizirati izvorni kod puno temeljitije od hardvera RISC/CISC procesora i pronaći neovisnije operacije. Stoga E2K arhitektura ima više paralelnih izvršnih jedinica od tradicionalnih arhitektura.

Trenutne mogućnosti E2K arhitekture:

6 kanala aritmetičko-logičkih jedinica (ALU) koje rade paralelno.
Registarska datoteka od 256 84-bitnih registara.
Hardverska podrška za petlje, uključujući one s cjevovodom. Povećava učinkovitost korištenja resursa procesora.
Programabilni asinkroni uređaj za predpumpanje podataka s odvojenim kanalima za čitanje. Omogućuje vam skrivanje kašnjenja u pristupu memoriji i potpuniju upotrebu ALU-a.
Podrška za spekulativne izračune i jednobitne predikate. Omogućuje smanjenje broja prijelaza i paralelno izvršavanje nekoliko grana programa.
Široka naredba, koja može specificirati do 23 operacije u jednom taktu (više od 33 operacije pri pakiranju operanda u vektorske instrukcije).

x86 emulacija

Čak iu fazi projektiranja arhitekture, programeri su shvatili važnost podržavanja softvera napisanog za Intel x86 arhitekturu. U tu svrhu implementiran je sustav dinamičkog (tj. tijekom izvođenja programa ili „on the fly“) prevođenja x86 binarnih kodova u procesorske kodove E2K arhitekture. Ovaj sustav može raditi iu aplikacijskom načinu (na način WINE) iu načinu rada sličnom hipervizoru (tada je moguće pokrenuti cijeli gostujući OS za x86 arhitekturu).

Zahvaljujući nekoliko razina optimizacije, moguće je postići veliku brzinu prevedenog koda. Kvalitetu emulacije x86 arhitekture potvrđuje uspješno lansiranje više od 20 operativnih sustava (uključujući nekoliko verzija Windowsa) i stotine aplikacija na Elbrus računalnim sustavima.

Zaštićeni način izvršavanja programa

Jedna od najzanimljivijih ideja naslijeđenih iz arhitektura Elbrus-1 i Elbrus-2 je takozvano sigurno izvođenje programa. Njegova bit je osigurati da program radi samo s inicijaliziranim podacima, provjeriti sve pristupe memoriji kako bi se osiguralo da pripadaju važećem rasponu adresa i osigurati međumodulnu zaštitu (na primjer, zaštititi program koji poziva od grešaka u biblioteci). Sve ove provjere izvode se u hardveru. Za zaštićeni način rada postoji cjeloviti prevodilac i knjižnica za podršku izvođenja. Treba razumjeti da nametnuta ograničenja dovode do nemogućnosti organiziranja izvršavanja npr. koda napisanog u C++.

Čak iu normalnom, "nezaštićenom" načinu rada Elbrus procesora, postoje značajke koje povećavaju pouzdanost sustava. Stoga je hrpa informacija za povezivanje (lanac povratnih adresa za proceduralne pozive) odvojena od hrpe korisničkih podataka i nedostupna je napadima kao što je krivotvorenje povratne adrese koje se koristi u virusima.

Razvoj stvoren tijekom godina omogućuje ne samo sustizanje i nadmašivanje konkurentskih arhitektura u smislu performansi i skalabilnosti, već i pružanje zaštite od pogrešaka koje muče x86/amd64. Knjižne oznake poput Meltdown (CVE-2017-5754), Spectre (CVE-2017-5753, CVE-2017-5715), RIDL (CVE-2018-12126, CVE-2018-12130), Fallout (CVE-2018-12127), ZombieLoad (CVE-2019-11091) i slično.

Moderna zaštita od ranjivosti pronađenih u x86/amd64 arhitekturi temelji se na zakrpama na razini operativnog sustava. Zbog toga je pad performansi na sadašnjim i prethodnim generacijama procesora ovih arhitektura tako osjetan i kreće se od 30% do 80%. Mi, kao aktivni korisnici x86 procesora, znamo za to, patimo i nastavljamo “jesti kaktus”, ali imati rješenje ovih problema u korijenu je nedvojbena korist za nas (i u konačnici za naše kupce), pogotovo ako rješenje je rusko.

Технические характеристики

Ispod su službene tehničke karakteristike Elbrus procesora prošlih (4C), trenutnih (8C), novih (8SV) i budućih (16C) generacija u usporedbi sa sličnim Intel x86 procesorima.

Već letimičan pogled na ovu tablicu pokazuje (i to je vrlo drago) da se tehnološki jaz domaćih procesora, koji se prije 10 godina činio nepremostivim, sada čini prilično malen, a 2021. godine s lansiranjem Elbrusa-16S (koji je, među ostalim) stvari, podržavat će virtualizaciju) bit će svedene na minimalne udaljenosti.

AERODISK sustav za pohranu na procesorima Elbrus 8C

Prelazimo s teorije na praksu. U sklopu strateškog saveza tvrtki MCST, Aerodisk, Basalt SPO (ranije Alt Linux) i NORSI-TRANS razvijen je i pripremljen za rad sustav za pohranu podataka koji u ovom trenutku u smislu sigurnosti, funkcionalnosti, cijene i performansi je, ako ne i najbolje, onda je, po našem mišljenju, nedvojbeno dostojno rješenje koje može osigurati odgovarajuću razinu tehnološke neovisnosti naše domovine.
Sada detalji...

Hardverski dio

Hardver za pohranu podataka implementiran je na temelju univerzalne platforme Yakhont UVM tvrtke NORSI-TRANS. Platforma Yakhont UVM dobila je status telekomunikacijske opreme ruskog podrijetla i uvrštena je u jedinstveni registar ruskih radio-elektroničkih proizvoda. Sustav se sastoji od dva odvojena kontrolera za pohranu (svaki 2U), koji su međusobno povezani 1G ili 10G Ethernet interkonekcijom, kao i sa zajedničkim policama diskova pomoću SAS veze.

Naravno, ovo nije tako lijepo kao format "Cluster in a box" (kada su kontroleri i pogoni sa zajedničkom stražnjom pločom ugrađeni u jednu 2U šasiju), koji obično koristimo, ali u bliskoj budućnosti će također biti dostupan. Glavna stvar ovdje je da dobro radi, a o "lukovima" ćemo razmišljati kasnije.

Ispod haube svaki kontroler ima jednoprocesorsku matičnu ploču s četiri utora za RAM (DDR3 za 8C procesor). Također na ploči svakog kontrolera postoje 4 1G Ethernet porta (od kojih dva koristi softver AERODISK ENGINE kao servis) i tri PCIe konektora za Back-end (SAS) i Front-end (Ethernet ili FibreChannel) adaptere.

Ruski SATA SSD diskovi tvrtke GS Nanotech koriste se kao boot diskovi, koje smo više puta testirali i koristili u projektima.

Kad smo se prvi put upoznali s platformom, pažljivo smo je ispitali. Nismo imali pitanja o kvaliteti montaže i lemljenja, sve je učinjeno pažljivo i pouzdano.

Operativni sustav

Za certifikaciju se koristi verzija OS-a Alt 8SP. Uskoro planiramo stvoriti plug-in i stalno ažurirano spremište za Viola OS sa softverom za pohranu Aerodisk.

Ova verzija distribucije izgrađena je na trenutnoj stabilnoj verziji Linux kernela 4.9 za E2K (granu s dugotrajnom podrškom prenijeli su stručnjaci MCST), dopunjenu zakrpama za funkcionalnost i sigurnost. Svi paketi u Alt OS-u sastavljaju se izravno na Elbrusu koristeći izvorni sustav transakcijskog sklapanja projekta ALT Linux Team, što je omogućilo smanjenje troškova rada za sam prijenos i više pažnje posvetilo kvaliteti proizvoda.

Svako izdanje Alt OS-a za Elbrus može se značajno proširiti u smislu funkcionalnosti pomoću repozitorija koji je za njega dostupan (od približno 6 tisuća izvornih paketa za osmu verziju do približno 12 za devetu).

Izbor je također napravljen jer tvrtka Basalt SPO, programer Viola OS-a, aktivno surađuje s drugim programerima softvera i uređaja na različitim platformama, osiguravajući besprijekornu interakciju unutar hardverskih i softverskih sustava.

Sustavi za pohranu softvera

Prilikom prijenosa odmah smo odustali od ideje korištenja x2 emulacije podržane u E86K i počeli izravno raditi s procesorima (srećom, Alt već ima potrebne alate za to).

Između ostalog, nativni način izvršavanja pruža bolju sigurnost (ta tri hardverska hrpa umjesto jednog) i povećanu izvedbu (nema potrebe alocirati jednu ili dvije jezgre od osam za pokretanje binarnog prevoditelja, a kompajler bolje obavlja svoj posao nego JIT).

Zapravo, implementacija AERODISK ENGINE na E2K podržava većinu postojeće funkcionalnosti pohrane koja je dostupna u x86. Softver sustava za pohranu koristi trenutnu verziju AERODISK ENGINE (A-CORE verzija 2.30)

Bez ikakvih problema, sljedeće funkcije su instalirane na E2K i testirane za korištenje u proizvodnji:

Tolerancija grešaka za do dva kontrolera i višestruki I/O (mpio)
Blokiranje i pristup datotekama s tankim volumenima (RDG, DDP skupovi; FC, iSCSI, NFS, SMB protokoli uključujući integraciju s Active Directoryjem)
Razne razine RAID-a do trostrukog pariteta (uključujući mogućnost korištenja RAID buildera)
Hibridna pohrana (kombinacija SSD-a i HDD-a unutar jednog skupa, tj. predmemorije i slojeva)
Mogućnosti za uštedu prostora korištenjem deduplikacije i kompresije
ROW snimke, klonovi i različite opcije replikacije
I druge male, ali korisne značajke kao što su QoS, globalni hotspare, VLAN, BOND, itd.

Zapravo, na E2K smo uspjeli implementirati sve naše funkcionalnosti, osim multi-kontrolera (više od dva) i I/O planera s više niti, što nam omogućuje povećanje performansi all-flash skupova za 20-30% .

Ali prirodno ćemo dodati i ove korisne funkcije, pitanje je vremena.

Malo o performansama

Nakon što smo uspješno položili testove osnovne funkcionalnosti skladišnog sustava, krenuli smo, naravno, s testovima opterećenja.

Na primjer, na sustavu za pohranu s dva kontrolera (2xCPU E8C 1.3 Ghz, 32 GB RAM + 4 SAS SSD 800 GB 3DWD), u kojem je RAM predmemorija bila onemogućena, stvorili smo dva DDP skupa s glavnom razinom RAID-10 i dva 500G LUN-ove i spojio te LUN-ove putem iSCSI-ja (10G Ethernet) na Linux host. Izveli smo jedan od osnovnih jednosatnih testova na malim blokovima sekvencijalnog opterećenja koristeći FIO program.

Prvi rezultati bili su prilično pozitivni.

Opterećenje procesora bilo je u prosjeku 60%, tj. Ovo je osnovna razina na kojoj sustav za pohranu može sigurno raditi.

Da, ovo je daleko od velikog opterećenja i neka vrsta naplate očito nije dovoljna za DBMS-ove visokih performansi, ali, kao što pokazuje naša praksa, ove su karakteristike dovoljne za 80% uobičajenih zadataka za koje se koriste sustavi za pohranu.

Malo kasnije planiramo se vratiti s detaljnim izvješćem o testovima opterećenja Elbrusa kao platforme za skladišne sustave.

Svijetla budućnost

Kao što smo gore napisali, masovna proizvodnja Elbrusa 8C zapravo je započela tek nedavno - početkom 2019., a do prosinca je već proizvedeno oko 4000 procesora. Usporedbe radi, samo 4 procesora prethodne generacije Elbrus 5000C proizvedeno je u cijelom razdoblju njihove proizvodnje, tako da je napredak očit.

Jasno je da je to kap koja je prelila čašu, čak i za rusko tržište, ali oni koji hodaju putem mogu to prevladati.
Izdanje nekoliko desetaka tisuća Elbrus 2020C procesora planirano je za 8., a to je već ozbiljna brojka. Osim toga, tijekom 2020. godine, Elbrus-8SV procesor bi trebao biti doveden u masovnu proizvodnju od strane MCST tima.

Ovakvi proizvodni planovi aplikacija su za vrlo značajan udio u cjelokupnom domaćem tržištu poslužiteljskih procesora.

Kao rezultat toga, ovdje i sada imamo dobar i moderan ruski procesor s jasnom i, po našem mišljenju, ispravnom strategijom razvoja, na temelju koje imamo najsigurniji i najcertificiraniji sustav za pohranu podataka ruske proizvodnje (i u budućnost, virtualizacijski sustav na Elbrus-16C). Sustav je ruski u onoj mjeri u kojoj je to fizički moguće u modernim uvjetima.

U vijestima često vidimo najnovije epske promašaje tvrtki koje sebe ponosno nazivaju ruskim proizvođačima, a zapravo se bave prelijepljenjem etiketa, bez dodavanja vlastite vrijednosti proizvodima stranog proizvođača, osim njihove marže. Takve tvrtke, nažalost, bacaju sjenu na sve prave ruske programere i proizvođače.

Ovim člankom želimo jasno pokazati da su u našoj zemlji postojale, postoje i postojat će tvrtke koje stvarno i učinkovito proizvode moderne složene informatičke sustave i aktivno se razvijaju, a supstitucija uvoza u informatici nije profanacija, već stvarnost u kojoj smo svi živi. Možete ne voljeti ovu stvarnost, možete je kritizirati ili možete raditi i učiniti je boljom.

Raspad SSSR-a svojedobno je spriječio tim kreatora Elbrusa da postane istaknuti igrač u svijetu procesora i natjerao tim da traži sredstva za svoj razvoj u inozemstvu. Pronađen je, posao je dovršen, a intelektualno vlasništvo sačuvano, na čemu ovim ljudima želim reći veliko hvala!

To je sve za sada, pišite svoje komentare, pitanja i, naravno, kritike. Uvijek smo sretni.

Također, u ime cijele tvrtke Aerodisk, želio bih čestitati cijeloj ruskoj IT zajednici na nadolazećoj Novoj godini i Božiću, poželjeti 100% neprekidnog rada - i da sigurnosne kopije nikome neće biti korisne u novoj godini))).