Zdravo svima. Kao što smo i obećali, čitaoce Habra uranjamo u detalje proizvodnje ruskih hardverskih platformi za Aerodisk Vostok sisteme za skladištenje podataka na Elbrus procesorima. U ovom članku ćemo opisati korak po korak proizvodnju Yakhont-UVM E124 platforme, koja efektivno drži 5 diska u 124 jedinica, može raditi na temperaturi od +30 stepeni Celzijusa, a istovremeno ne samo da radi, već i radi. dobro.
Organizujemo i webinar 05.06.2020, na kojem ćemo detaljno razgovarati o tehničkim nijansama proizvodnje Vostok sistema skladištenja i odgovoriti na sva pitanja. Za webinar se možete prijaviti putem linka:
Pa krenimo!
Pre nego što uđemo u proces koji se sada organizuje, malo istorijske pozadine od pre dve godine. U trenutku kada je počeo razvoj platformi opisanih u ovom članku, uslovi za njihovu proizvodnju bili su, blago rečeno, nepostojeći. Postoje razlozi za to, oni su svima poznati: masovna proizvodnja (naime proizvodnja, a ne ponovno lijepljenje naljepnica) serverskih platformi u Rusiji je izostala kao klasa. Postojale su zasebne fabrike koje su mogle proizvoditi pojedinačne komponente, ali na vrlo ograničen način i često zasnovane na zastarjelim tehnologijama. Stoga smo morali početi praktično „od nule“ i istovremeno podići proizvodnju serverskih rješenja u Rusiji na kvalitativno novi nivo.
Dakle, proces svake proizvodnje počinje sa potrebom, koja se potom transformiše u opšte zahteve. Takve zahtjeve u početku formiraju programeri NORSI-TRANS-a u Nižnjem Novgorodu. Zahtjevi, naravno, nisu izvučeni iz zraka, već iz potreba kupaca. Ovo još nije tehnički zadatak, kako se pogrešno čini. U fazi općih zahtjeva nemoguće je napraviti potpunu tehničku specifikaciju, jer postoji previše nepoznatih uslova za proizvodnju.
Razvoj ciljnog modela: od ideje do implementacije
Nakon što su formirani opći zahtjevi, počinje odabir baze elemenata. Iz istorijskih podataka proizilazi da baza elemenata ne postoji, odnosno da se mora kreirati.
Da bi se to postiglo, sastavlja se pilot uzorak od onoga što je dostupno na otvorenom tržištu, koji je barem donekle sličan ciljnom. Zatim se provode standardna ispitivanja ovog uzorka kako bi se utvrdile njegove performanse. Ako je sve u redu, sljedeći korak je razvoj ciljnog modela (2D i 3D).
Tada počinje potraga za ruskim preduzećima koja su spremna da započnu proizvodnju ovog pilota. Programeri vrše potrebne modifikacije svakog od elemenata proizvoda, na osnovu mogućnosti određenog preduzeća.
Tokom procesa projektovanja vrše se potrebne modifikacije svakog elementa proizvoda. Na primjer, u radu s prototipom korišteni su klasični 12G SAS ekspanderi sa velikim brojem žica (veoma veliki, s obzirom na broj diskova). Nije jeftino, nezgodno je za ovu platformu, a osim toga, neprijateljski ekspanderi su strani. Ali ovo je privremeno rješenje za testiranje uzorka u cjelini i prelazak na sljedeću fazu. Međutim, nije prikladno koristiti SAS ekspandere za konačnu verziju na određenoj serverskoj platformi.
Ne trebaju nam neprijateljski ekspanderi, sami ćemo napraviti backplane sa blackjackom i sh...
Uzimajući u obzir buduće planove za obim proizvodnje (hiljade servera), odlučeno je da se za ovaj proizvod (i, naravno, za naredne) razvije vlastita SAS backplane, koja je mnogo funkcionalnija od ekspandera u odnosu na ovo rješenje . Dizajn i programiranje pozadinske ploče vrši isti tim programera, a proizvodnja ploča se vrši u fabrici Microlit u Moskovskoj regiji (obećavamo poseban članak o ovoj tvornici i kako su matične ploče za Elbrus procesore tamo štampano).
Inače, evo njegovog prvog prototipa, sada izgleda potpuno drugačije.
I evo ih programiraju
Zanimljiva činjenica: kada je počeo razvoj pozadinske ploče, a dizajneri su se obratili programeru SAS3 čipa za dizajn referentne ploče, ispostavilo se da nijedna kompanija u Europi ne zna kako razviti vlastitu stražnju ploču. Ranije je postojalo zajedničko ulaganje Fujitsu-Siemens, ali nakon što je Siemens Nixdorf Informations systeme AG napustio zajedničko ulaganje i potpunog zatvaranja kompjuterskog odjela u Siemensu, kompetencije u ovoj oblasti u Evropi su izgubljene.
Stoga, proizvođač čipa u početku nije odmah shvatio razvoj NORSI-TRANS-a ozbiljno, što je uzrokovalo kašnjenja u razvoju konačnog dizajna. Istina, kasnije, kada je postala očigledna ozbiljnost namjera i kompetencije kompanije NORSI-TRANS, a backplane razvijen i odštampan, njegov stav se promijenio na bolje.
Kako ohladiti 124 diska i server u 5 jedinica i ostati živ?
Postojala je posebna potraga sa hranom i hlađenjem. Činjenica je da, na osnovu zahtjeva, platforma E124 mora raditi na temperaturi od 30 stepeni Celzijusa, a tu se na minut postavlja 124 dobro zagrijana mehanička diska u 5 jedinica i, osim toga, matična ploča sa procesorom (tj. ovo nije glupi JBOD, već punopravni kontroler sistema za skladištenje sa diskovima).
Za hlađenje (osim malih ventilatora iznutra) na kraju smo odlučili da koristimo tri prilično velika ventilatora na stražnjoj strani kućišta, sa svakim zamjenjivim na vrući način. Za normalan rad sistema dovoljna su dva (temperatura se uopće ne mijenja), tako da možete sigurno planirati posao zamjene ventilatora i ne razmišljati o temperaturi. Ako isključite dva ventilatora (na primjer, po zakonu podlosti, dok je jedan bio zamijenjen, drugi se pokvario), onda i s jednim ventilatorom sistem može normalno raditi, ali će temperatura porasti za 10-20% posto, što je prihvatljivo pod uslovom da se uskoro ugradi barem još jedan ventilator.
Fanovi su (kao i skoro sve ostalo) takođe ispali jedinstveni. Razlog jedinstvenosti bio je jedan trošak. U određenim uslovima može se desiti da ventilatori, umesto da usisavaju vazduh, izduvavajući celo kućište iznutra, mogu da počnu da ga usisavaju, a onda „zbogom“, odnosno da se platforma brzo pregreje. Stoga, kako bi se spriječio ovakav problem, napravljene su promjene u dizajnu ventilatora i dodali smo vlastito “know-how” - nepovratni ventil. Ovaj nepovratni ventil mirno dopušta usisavanje zraka iz platforme, ali istovremeno blokira samu mogućnost usisavanja zraka natrag u svakom slučaju.
U fazi pilotiranja rashladnog sistema bilo je mnogo kvarova, razni elementi sistema su se pregrijavali i palili, ali su na kraju programeri platforme uspjeli postići bolje hlađenje od čak i svjetski poznatih konkurenata.
“Dijeta se ne može kršiti.”
Slična je bila priča i sa napajanjima, tj. napravljene su specijalno za ovu platformu i razlog je banalan. Svaka jedinica je puno novca, zbog čega je razvijena tako super gusta platforma i, ako se ne varam (ispravite u komentarima ako griješim), ovo je svjetski rekord do sada, jer Još nema servera ili JBOD-ova sa velikim brojem diskova za 5 jedinica.
Dakle, da bi se platforma napajala i istovremeno organizirala mogućnost zamjene napajanja u normalnom režimu, ukupna snaga aktivnih jedinica morala je biti 4 kilovata (naravno, takvih rješenja nema na market), pa su rađeni po narudžbini uz pokretanje proizvodne linije za masovnu proizvodnju (da podsjetim da je u planu hiljade takvih servera).
Kako je rekao jedan od glavnih dizajnera platforme, „Struje su kao u aparatu za zavarivanje - ovo nije baš zabavno :-)”
Prilikom projektovanja bilo je moguće raditi i napajanje ne samo na 220V, već i na 48V, tj. u OPC arhitekturi, koja je sada veoma važna za telekom operatere i velike data centre.
Kao rezultat toga, rješenje s napajanjem ponavlja logiku rješenja s hlađenjem; platforma može udobno raditi s dva izvora napajanja, što omogućava da se rad zamjene obavlja kao i obično. Ako u slučaju nesreće ostane samo jedna jedinica za napajanje od tri, ona će moći izvući rad platforme pri vršnom opterećenju, ali, naravno, nemoguće je ostaviti platformu u ovom obliku dugo vremena.
Metal i plastika: nije sve tako jednostavno, ispostavilo se.
Postoji mnogo nijansi u procesu razvoja platforme. Slična situacija se dogodila ne samo s elektroničkim komponentama (ulazne ploče, stražnje ploče, matične ploče itd.), već i s običnim metalom i plastikom: na primjer, s kućištem, šinama, pa čak i nosačima diskova.
Čini se da ne bi trebalo biti problema s tijelom i drugim manje inteligentnim elementima platforme. Ali u praksi je sve drugačije. Kada su programeri platforme prvi put pristupili raznim ruskim fabrikama sa proizvodnim potrebama, pokazalo se da većina njih radi po prilično nesavremenim metodama, što je u konačnici uticalo i na kvalitetu i na kvantitet proizvoda.
Prvi rezultati proizvodnje kutija postali su potvrda toga. Nepravilna geometrija, grubi zavari, neprecizne rupe i slični troškovi učinili su proizvod neprikladnim za upotrebu.
Većina fabrika koje su mogle da prave serverske kućišta radile su tada (da podsetim da pod "tada" mislimo pre 2 godine) "na starinski način", odnosno proizvodile su gomilu projektne dokumentacije, u skladu sa kojom je operater je ručno podešavao rad mašina, a često se umesto zakovica koristilo zavarivanje metala. Kao rezultat toga, nizak stepen automatizacije, ljudski faktor i prevelika birokratizacija proizvodnje urodili su plodom. Ispalo je dugo, loše i skupo.
Moramo odati počast fabrikama: mnoge od njih su od tada uveliko modernizirale svoju proizvodnju. Poboljšali smo kvalitet zavarivanja, savladali zakivanje, a često smo počeli koristiti i kompjuterske mašine za numeričko upravljanje (CNC). Sada, umjesto tone dokumenata, podaci o proizvodu se učitavaju direktno iz 3D i 2D modela u CNC.
CNC intervenciju operatera mašine u procesu proizvodnje proizvoda svodi na minimum, tako da ljudski faktor više ne ometa život. Glavna briga operatera su uglavnom pripremne i završne operacije: ugradnja i uklanjanje proizvoda, postavljanje alata itd.
Kada se pojave novi dijelovi, proizvodnja više ne staje, za njihovu proizvodnju dovoljno je izvršiti promjene u CNC softveru. U skladu s tim, vrijeme proizvodnje dijelova za nove projekte u tvornicama je skraćeno sa mjeseci na sedmice, što je dobra vijest. I, naravno, preciznost je takođe značajno porasla.
Matične ploče i procesor: nema problema
Procesori i matične ploče dolaze kao set iz tvornice. Ova proizvodnja je već prilično dobro uspostavljena, tako da NORSI vrši standardnu kontrolu ulaza i izlaza na nivou gotovih platformi.
Svaki set matične ploče i procesora testiran je softverom nabavljenim od MCST-a.
U slučaju određenih problema (hvala Bogu, vrlo ih je malo sa matičnom pločom i procesorom) postoji dobro funkcionirajući lanac vraćanja modula proizvođaču i njihove zamjene.
Montaža i završna kontrola
Da bi naša balalajka počela da svira, ostaje samo da je sastavimo i testiramo. Sada je proizvodnja u toku, sistem se montira na standardni način u Moskvi.
Svaki sistem dolazi sa SSD-ovima za pokretanje (za OS) i punim vretenima (za buduće podatke).
Nakon toga počinje testiranje ulaza i same platforme i diskova instaliranih na njoj. Da biste to učinili, svi diskovi u sistemu se učitavaju automatskim testovima najmanje sat vremena.
Automatsko čitanje i pisanje vrši se na svakom disku, beležeći brzinu čitanja, brzinu pisanja i temperaturu svakog diska. U normalnom režimu, prosječna temperatura bi trebala biti oko 30-35 stepeni Celzijusa. Na vrhuncu, svaki pojedinačni disk može "odskočiti" do 40 stepeni. Ako temperatura poraste ili brzina padne ispod pragova za čitanje i upisivanje, disk postaje crven i ne može se odbaciti. Komponente koje su prošle testove se pakuju za dalju upotrebu.
zaključak
Postoji mit koji aktivno podržavaju razne ličnosti da „u Rusiji ne znaju ništa da rade osim da pumpaju naftu“. Nažalost, ovaj mit izjeda glave čak i poštovanim i inteligentnim ljudima.
Nedavno se jednom mom kolegi dogodila izuzetna priča. Vozio se sa jednog od displeja Vostok sistema za skladištenje i ovaj sistem za skladištenje je ležao u prtljažniku njegovog automobila (ne E124, naravno, jednostavniji je). Na putu je uhvatio jednog od predstavnika kupca (veoma važna osoba, radi na visokoj poziciji u jednoj od državnih agencija), a u autu su imali otprilike sljedeći razgovor:
Moj kolega: „Upravo smo pokazali sistem za skladištenje na Elbrusu, rezultati su bili dobri, svi su bili zadovoljni, usput, ovaj sistem skladištenja će takođe biti koristan za vašu industriju.“
Kupac: „Znam da imate sisteme za skladištenje, ali o kakvom Elbrusu govorite?“
Moj kolega: “Pa... ruski procesor Elbrus, nedavno su izdali 8, što se tiče performansi za sisteme za skladištenje, mi smo, shodno tome, napravili novu liniju sistema za skladištenje podataka na njemu, pod nazivom Vostok”
Kupac: „Elbrus je planina! I nemojte pričati bajke o ruskom procesoru u pristojnom društvu, sve se to radi samo da bi se apsorbirali budžeti, u stvarnosti nema ničega i ništa se neće dogoditi.”
Moj kolega: „U smislu? Da li je u redu da je ovaj sistem za skladištenje u mom prtljažniku? Zaustavimo se odmah, pokazaću ti!”
Kupac: „Dobro je patiti se sa glupostima, idemo dalje, ne postoje „ruski sistemi za skladištenje“ - to je u suštini nemoguće“
U tom trenutku važna osoba nije htjela ništa više da čuje o Elbrusu. Naravno, kasnije, kada je razjasnio informaciju, priznao je da je pogriješio, ali ipak do samog kraja nije vjerovao u istinitost ove informacije.
Naime, nakon raspada SSSR-a, naša zemlja je zapravo stala u razvoju proizvodnje mikroelektronike. Nešto je izvezeno i pokradeno u korist transnacionalnih korporacija, nešto je ukrala lokalna privatizacijska kompanija, nešto je, naravno, uloženo, ali uglavnom u korist istih transnacionalnih korporacija. Drvo je posječeno, ali korijen je ostao.
Nakon skoro 30 godina iluzija na temu „Zapad će nam pomoći“, gotovo svima je postalo jasno da možemo pomoći samo sebi, pa moramo obnoviti proizvodnju ne samo u oblasti mikroelektronike, već u svim industrijama. .
U ovom trenutku, u kontekstu globalne pandemije u situaciji kada su transnacionalni proizvodni lanci zapravo stali, već postaje jasno da obnova lokalne proizvodnje više nije razvoj budžeta, već uslov opstanka Rusije kao nezavisna država.
Stoga ćemo nastaviti da tražimo i koristimo rusku opremu u životu i pričamo o tome čime se naše kompanije zapravo bave, s kojim se problemima suočavaju i kakve titanske napore ulažu da ih riješe.
Prilično je teško govoriti o svim aspektima produkcije u jednom članku, pa ćemo kao bonus organizirati online diskusiju u formatu webinara na ovu temu. Na ovom webinaru ćemo detaljno i u živopisnim bojama govoriti o tehničkim aspektima proizvodnje Yakhont platformi za Vostok sisteme za skladištenje i odgovoriti na sva, čak i najškakljivija pitanja na mreži.
Naš sagovornik će biti predstavnik developera platforme, kompanije NORSI-TRANS. Webinar će se održati 05.06.2020., a oni koji žele da učestvuju mogu se prijaviti putem linka: .
Hvala svima, kao i uvijek, radujemo se konstruktivnim komentarima.
izvor: www.habr.com