Hej alle. Som vi lovede, fordyber vi Habr-læsere i detaljerne omkring produktionen af russiske hardwareplatforme til Aerodisk Vostok-lagringssystemer på Elbrus-processorer. I denne artikel vil vi trin for trin beskrive produktionen af Yakhont-UVM E124-platformen, som effektivt rummer 5 diske i 124 enheder, kan fungere ved en temperatur på +30 grader Celsius og samtidig ikke kun fungerer, men fungerer godt.
Vi arrangerer også et webinar den 05.06.2020/XNUMX/XNUMX, hvor vi vil tale detaljeret om de tekniske nuancer af Vostok-lagersystemproduktion og besvare eventuelle spørgsmål. Du kan tilmelde dig webinaret via linket:
Så lad os gå!
Inden du dykker ned i den proces, der er ved at blive organiseret nu, lidt historisk baggrund fra to år siden. På det tidspunkt, hvor udviklingen af platformene beskrevet i denne artikel begyndte, var betingelserne for deres produktion mildt sagt ikke-eksisterende. Der er grunde til dette, de er kendt af alle: masseproduktion (nemlig produktion, ikke genlimning af klistermærker) af serverplatforme i Rusland var fraværende som en klasse. Der var separate fabrikker, der kunne producere individuelle komponenter, men på en meget begrænset måde og ofte baseret på forældede teknologier. Derfor var vi nødt til at starte stort set “fra bunden” og samtidig løfte produktionen af serverløsninger i Rusland til et kvalitativt nyt niveau.
Så processen med enhver produktion begynder med et behov, som derefter omdannes til generelle krav. Sådanne krav er oprindeligt dannet af udviklerne af NORSI-TRANS i Nizhny Novgorod. Krav er naturligvis ikke taget ud af den blå luft, men fra kundernes behov. Dette er endnu ikke en teknisk opgave, som det fejlagtigt kan se ud. På stadiet med generelle krav er det umuligt at lave en fuldgyldig teknisk specifikation, da der er for mange ukendte produktionsbetingelser.
Udvikling af en målmodel: fra idé til implementering
Efter at de generelle krav er blevet dannet, begynder udvælgelsen af elementbasen. Af historisk information følger det, at grundstofbasen ikke eksisterer, det vil sige, at den skal skabes.
For at gøre dette samles en pilotprøve fra det, der er tilgængeligt på det åbne marked, som i det mindste ligner målet. Dernæst udføres standardtest af denne prøve for at bestemme dens ydeevne. Hvis alt er godt, så er næste skridt at udvikle målmodellen (2D og 3D).
Derefter begynder søgningen efter russiske virksomheder, der er klar til at begynde produktionen af denne pilot.Udviklerne udfører de nødvendige ændringer af hvert af produktets elementer baseret på en bestemt virksomheds muligheder.
Under designprocessen udføres de nødvendige ændringer af hvert af produktelementerne. For eksempel, mens man arbejdede med prototypen, blev der brugt klassiske 12G SAS-expandere med et stort antal ledninger (meget stort i betragtning af antallet af diske). Det er ikke billigt, det er ubelejligt for netop denne platform, og desuden er fjendens ekspandere fremmede. Men dette er en midlertidig løsning for at teste prøven som helhed og gå videre til næste fase. Det er dog ikke egnet at bruge SAS expanders til den endelige version på en bestemt serverplatform.
Vi har ikke brug for fjendens udvidere, vi laver vores eget backplane med blackjack og sh...
Under hensyntagen til fremtidige planer for produktionsmængder (tusindvis af servere), blev det besluttet at udvikle vores eget SAS-backplane til dette produkt (og selvfølgelig til de efterfølgende), som er meget mere funktionelt end en udvidelse i forhold til denne løsning . Designet og programmeringen af bagplanet udføres af det samme team af udviklere, og produktionen af boards udføres på Microlit-fabrikken i Moskva-regionen (vi lover en separat artikel om dette anlæg og hvordan bundkort til Elbrus-processorer er trykt der).
Her er i øvrigt dens første prototype, nu ser den helt anderledes ud.
Og her programmerer de det
Interessant kendsgerning: Da udviklingen af backplane begyndte, og designerne henvendte sig til udvikleren af SAS3-chippen for at få et referencekortdesign, viste det sig, at ikke en eneste virksomhed i Europa vidste, hvordan man udviklede deres egne backplanes. Tidligere var der et Fujitsu-Siemens joint venture, men efter at Siemens Nixdorf Informations systeme AG forlod joint venturet og den fuldstændige lukning af computerafdelingen hos Siemens, gik kompetencen på dette område i Europa tabt.
Derfor tog chipudvikleren i første omgang ikke umiddelbart udviklingen af NORSI-TRANS alvorligt, hvilket medførte forsinkelser i udviklingen af det endelige design. Sandt nok, senere, da alvoren i NORSI-TRANS-virksomhedens intentioner og kompetencer blev indlysende, og bagplanet blev udviklet og trykt, ændrede hans holdning sig til det bedre.
Hvordan afkøler man 124 diske og en server i 5 enheder og holder sig i live?
Der var en separat søgen med mad og afkøling. Faktum er, at E124-platformen baseret på kravene skal fungere ved en temperatur på 30 grader Celsius, og der i et minut 124 velopvarmede mekaniske diske i 5 enheder og desuden et bundkort med en processor (dvs. dette er ikke dumme JBOD, men en fuldgyldig lagersystemcontroller med diske).
Til afkøling (bortset fra de små blæsere indeni) besluttede vi til sidst at bruge tre ret store blæsere på bagsiden af kabinettet, hvor hver enkelt kan udskiftes. Til normal drift af systemet er to nok (temperaturen ændres overhovedet ikke), så du sikkert kan planlægge arbejdet med at udskifte ventilatorer og ikke tænke på temperaturen. Hvis du slukker for to blæsere (f.eks. ifølge ondskabens lov, mens den ene blev udskiftet, gik den anden i stykker), så kan systemet med en blæser også fungere normalt, men temperaturen vil stige med 10-20 % procent, hvilket er acceptabelt, forudsat at der snart installeres mindst en blæser mere.
Fansene (som næsten alt andet) viste sig også at være unikke. Årsagen til det unikke var én omkostning. Under visse forhold kan det ske, at ventilatorerne, i stedet for at suge luft, blæser hele kabinettet indefra, kan begynde at suge det ind, og så "farvel", det vil sige, at platformen hurtigt bliver overophedet. For at forhindre et sådant problem blev der derfor foretaget ændringer i ventilatordesignet, og vi tilføjede vores egen "knowhow" - en kontraventil. Denne kontraventil tillader roligt at suge luft ud af platformen, men blokerer samtidig selve muligheden for under alle omstændigheder at suge luft tilbage.
På tidspunktet for piloteringen af kølesystemet var der mange fejl, forskellige elementer i systemet overophedede og brændte, men i sidste ende lykkedes det platformudviklerne at opnå bedre køling end selv verdensberømte konkurrenter.
"Diæten kan ikke overtrædes."
Det var en lignende historie med strømforsyninger, dvs. de blev lavet specielt til denne platform, og årsagen er banal. Hver enhed er mange penge, hvilket er grunden til, at en så supertæt platform blev udviklet, og hvis jeg ikke tager fejl (korrekt i kommentarerne, hvis jeg tager fejl), er dette en verdensrekord indtil videre, fordi Der er endnu ingen servere eller JBOD'er med et stort antal diske til 5 enheder.
For at levere strøm til platformen og samtidig organisere muligheden for at udskifte strømforsyningen i normal tilstand, skulle den samlede effekt af de aktive enheder være 4 kilowatt (selvfølgelig er der ingen sådanne løsninger på marked), så de blev lavet på bestilling med lanceringen af en produktionslinje til masseproduktion (Lad mig minde dig om, at der er planer om tusindvis af sådanne servere).
Som en af platformens hoveddesignere udtrykte det: "Strømmene her er som i en svejsemaskine - det er ikke særlig sjovt :-)"
Under designet var det også muligt at drive strømforsyningen ikke kun på 220V, men også på 48V, dvs. i OPC-arkitektur, som nu er meget vigtig for teleoperatører og store datacentre.
Som et resultat heraf gentager løsningen med strømforsyning løsningens logik med køling; platformen kan komfortabelt fungere med to strømforsyninger, hvilket gør det muligt at udføre udskiftningsarbejde som normalt. Hvis der i tilfælde af en ulykke kun er én strømforsyningsenhed tilbage ud af tre, vil den være i stand til at trække platformens arbejde ud ved spidsbelastning, men det er selvfølgelig umuligt at forlade platformen i denne form i lang tid.
Metal og plastik: ikke alt er så simpelt, viser det sig.
Der er mange nuancer i platformudviklingsprocessen. En lignende situation opstod ikke kun med elektroniske komponenter (stigrør, bagplader, bundkort osv.), Men også med almindeligt metal og plastik: for eksempel med kabinettet, skinner og endda diskvogne.
Det ser ud til, at der ikke skulle være problemer med kroppen og andre mindre intelligente elementer på platformen. Men i praksis er alt anderledes. Da platformsudviklerne først henvendte sig til forskellige russiske fabrikker med produktionsbehov, viste det sig, at de fleste af dem arbejdede med ret umoderne metoder, hvilket i sidste ende påvirkede både kvaliteten og kvantiteten af produkter.
De første resultater af fremstillingen af sager blev bekræftelse af dette. Forkert geometri, ru svejsninger, unøjagtige huller og lignende omkostninger gjorde produktet uegnet til brug.
De fleste af de fabrikker, der kunne lave servercases, fungerede dengang (lad mig minde dig om, at med "dengang" mener vi for 2 år siden) "på gammeldags måde", det vil sige, de producerede en masse designdokumentation, i overensstemmelse med hvilken operatør manuelt justeret driften af maskinerne, også ofte i stedet for nitter blev metalsvejsning brugt. Som følge heraf bar den lave grad af automatisering, den menneskelige faktor og overdreven bureaukratisering af produktionen frugt. Det blev langt, dårligt og dyrt.
Vi skal hylde fabrikkerne: Mange af dem har i høj grad moderniseret deres produktion siden dengang. Vi forbedrede kvaliteten af svejsning, mestrede nitning og begyndte også ofte at bruge computer numerisk kontrol (CNC) maskiner. Nu, i stedet for et væld af dokumenter, indlæses produktdata direkte fra 3D- og 2D-modeller til CNC'en.
CNC reducerer maskinoperatørens indgriben i fremstillingsprocessen af produktet til et minimum, så den menneskelige faktor ikke længere forstyrrer livet. Operatørens hovedanliggende er hovedsageligt de forberedende og afsluttende operationer: installation og fjernelse af produktet, opsætning af værktøjer osv.
Når nye dele dukker op, går produktionen ikke længere i stå, for at producere dem er det nok at foretage ændringer i CNC-softwaren. Derfor er produktionstiden for reservedele til nye projekter på fabrikker reduceret fra måneder til uger, hvilket er godt nyt. Og nøjagtigheden er selvfølgelig også steget meget.
Bundkort og processor: intet problem
Processorer og bundkort kommer som et sæt fra fabrikken. Denne produktion er allerede ret veletableret, så NORSI udfører standard inputkontrol og outputkontrol på niveau med færdige platforme.
Hvert sæt bundkort og processor er testet med software fra MCST.
I tilfælde af visse problemer (gudskelov er der meget få af dem med bundkortet og processoren), er der en velfungerende kæde af returnering af moduler til producenten og udskiftning af dem.
Montering og slutkontrol
For at vores balalaika kan begynde at spille, er der kun tilbage at samle og teste den. Nu er produktionen sat i gang, systemet er samlet på en standard måde i Moskva.
Hvert system kommer med boot SSD'er (til OS) og fulde spindler (til fremtidige data).
Herefter begynder inputtest af både selve platformen og de diske, der er installeret på den. For at gøre dette er alle diske i systemet indlæst med auto-tests i mindst en time.
Automatisk læsning og skrivning udføres på hver disk, der registrerer læsehastigheden, skrivehastigheden og temperaturen på hver disk. I normal tilstand skal gennemsnitstemperaturen være omkring 30-35 grader Celsius. Ved spidsbelastninger kan hver enkelt disk "hoppe" op til 40 grader. Hvis temperaturen bliver højere, eller hastigheden falder under læse-skrivegrænserne, bliver disken rød og kan ikke afvises. De komponenter, der har bestået testene, pakkes til videre brug.
Konklusion
Der er en myte, der aktivt støttes af forskellige figurer, at "i Rusland ved de ikke, hvordan man gør andet end pumpeolie." Desværre tærer denne myte sig ind i hovedet på selv respekterede og intelligente mennesker.
For nylig skete en bemærkelsesværdig historie for en kollega af mig. Han kørte fra en af skærmene i Vostok-lagersystemet, og dette opbevaringssystem lå i bagagerummet på hans bil (ikke E124, selvfølgelig, det er enklere). På vejen fangede han en af kundens repræsentanter (en meget vigtig person, arbejder i en høj stilling i et af de offentlige myndigheder), og i bilen havde de omtrent følgende samtale:
Min kollega: "Vi har lige vist lagersystemet på Elbrus, resultaterne var gode, alle var glade, i øvrigt vil dette lagersystem også være nyttigt for din branche"
Kunde: "Jeg ved godt, at du har lagersystemer, men hvilken slags Elbrus taler du om?"
Min kollega: "Nå... den russiske processor Elbrus, de udgav for nylig 8, med hensyn til ydeevne for lagersystemer, vi lavede derfor en ny linje af lagersystemer på den, kaldet Vostok"
Kunde: "Elbrus er et bjerg! Og lad være med at tale eventyr om den russiske processor i det høflige samfund, det hele bliver gjort for at absorbere budgetter, i virkeligheden er der intet, og intet vil ske."
Min kollega: "Med hensyn til? Er det i orden, at dette særlige opbevaringssystem er i mit bagagerum? Lad os stoppe lige nu, jeg skal vise dig!"
Kunde: "Det er godt at lide med nonsens, lad os komme videre, der er ingen "russiske lagringssystemer" - det er dybest set umuligt"
I det øjeblik ønskede den vigtige person ikke at høre mere om Elbrus. Selvfølgelig, senere, da han afklarede oplysningerne, indrømmede han, at han tog fejl, men stadig, indtil det sidste, troede han ikke på rigtigheden af disse oplysninger.
Faktisk, efter Sovjetunionens sammenbrud, stoppede vores land faktisk i udviklingen af mikroelektronikproduktion. Noget blev eksporteret og stjålet til fordel for transnationale selskaber, noget blev stjålet af det lokale privatiseringsfirma, noget blev selvfølgelig investeret, men hovedsageligt til fordel for de samme transnationale selskaber. Træet blev fældet, men roden blev tilbage.
Efter næsten 30 år med illusioner om emnet "Vesten vil hjælpe os", er det blevet tydeligt for næsten alle, at vi kun kan hjælpe os selv, så vi er nødt til at genoprette vores produktion ikke kun inden for mikroelektronik, men i alle industrier .
I øjeblikket, i forbindelse med en global pandemi i en situation, hvor transnationale produktionskæder faktisk er stoppet, er det allerede ved at blive klart, at genoprettelse af lokal produktion ikke længere er udvikling af budgetter, men en betingelse for Ruslands overlevelse som en selvstændig stat.
Derfor vil vi fortsætte med at lede efter og bruge russisk udstyr i livet og fortælle dig om, hvad vores virksomheder rent faktisk laver, hvilke problemer de står over for, og hvilke enorme anstrengelser de gør for at løse dem.
Det er ret svært at tale om alle aspekter af produktionen i en artikel, så som en bonus vil vi organisere en online diskussion i webinarformat om dette emne. På dette webinar vil vi tale i detaljer og detaljeret om de tekniske aspekter af produktionen af Yakhont-platforme til Vostok-lagringssystemer og vil besvare alle, selv de mest vanskelige, spørgsmål online.
Vores samtalepartner vil være en repræsentant for platformsudvikleren, NORSI-TRANS-virksomheden. Webinaret finder sted den 05.06.2020/XNUMX/XNUMX; de, der ønsker at deltage, kan tilmelde sig via linket: .
Tak til jer alle, som altid, vi ser frem til konstruktive kommentarer.
Kilde: www.habr.com