Hallo zusammen. Wie versprochen, tauchen wir die Habr-Leser in die Details der Produktion russischer Hardwareplattformen für Aerodisk Vostok-Speichersysteme auf Elbrus-Prozessoren ein. In diesem Artikel beschreiben wir Schritt für Schritt die Herstellung der Yakhont-UVM E124-Plattform, die effektiv 5 Festplatten in 124 Einheiten fasst, bei einer Temperatur von +30 Grad Celsius betrieben werden kann und gleichzeitig nicht nur funktioniert, sondern funktioniert Also.
Außerdem organisieren wir am 05.06.2020 ein Webinar, in dem wir ausführlich über die technischen Nuancen der Vostok-Speichersystemproduktion sprechen und alle Fragen beantworten. Über den Link können Sie sich für das Webinar anmelden:
Also los geht!
Bevor wir uns mit dem Prozess befassen, der jetzt organisiert wird, ein wenig historischer Hintergrund von vor zwei Jahren. Zu dem Zeitpunkt, als die Entwicklung der in diesem Artikel beschriebenen Plattformen begann, waren die Voraussetzungen für deren Produktion, gelinde gesagt, nicht gegeben. Dafür gibt es Gründe, die jedem bekannt sind: Die Massenproduktion (nämlich Produktion, nicht Nachkleben von Aufklebern) von Serverplattformen in Russland fehlte als Klasse. Es gab separate Fabriken, die einzelne Komponenten produzieren konnten, allerdings in sehr begrenztem Umfang und oft auf der Grundlage veralteter Technologien. Daher mussten wir praktisch „von vorne“ beginnen und gleichzeitig die Produktion von Serverlösungen in Russland auf ein qualitativ neues Niveau heben.
Der Prozess jeder Produktion beginnt also mit einem Bedarf, der dann in allgemeine Anforderungen umgewandelt wird. Solche Anforderungen werden zunächst von den Entwicklern von NORSI-TRANS in Nischni Nowgorod formuliert. Anforderungen entstehen natürlich nicht aus der Luft, sondern aus den Bedürfnissen der Kunden. Dies ist noch keine technische Aufgabe, wie es fälschlicherweise scheinen mag. Im Stadium der allgemeinen Anforderungen ist es unmöglich, eine vollständige technische Spezifikation zu erstellen, da zu viele unbekannte Produktionsbedingungen vorliegen.
Entwicklung eines Zielmodells: von der Idee bis zur Umsetzung
Nachdem die allgemeinen Anforderungen formuliert wurden, beginnt die Auswahl der Elementbasis. Aus historischen Informationen folgt, dass die Elementbasis nicht existiert, das heißt, sie muss erstellt werden.
Dazu wird aus dem, was auf dem freien Markt verfügbar ist, ein Pilotmuster zusammengestellt, das dem Zielmuster zumindest einigermaßen ähnelt. Als nächstes werden Standardtests dieser Probe durchgeführt, um ihre Leistung zu bestimmen. Wenn alles gut ist, dann ist der nächste Schritt die Entwicklung des Zielmodells (2D und 3D).
Dann beginnt die Suche nach russischen Unternehmen, die bereit sind, mit der Produktion dieses Pilotprojekts zu beginnen. Die Entwickler nehmen die notwendigen Änderungen an jedem Element des Produkts vor, basierend auf den Fähigkeiten eines bestimmten Unternehmens.
Während des Designprozesses werden die notwendigen Änderungen an den einzelnen Produktelementen vorgenommen. Beispielsweise wurden bei der Arbeit mit dem Prototyp klassische 12G-SAS-Expander mit einer großen Anzahl von Drähten verwendet (sehr groß angesichts der Anzahl der Festplatten). Es ist nicht billig, für diese spezielle Plattform unpraktisch und außerdem sind die Expander des Feindes fremd. Dies ist jedoch eine vorübergehende Lösung, um die Probe als Ganzes zu testen und mit der nächsten Stufe fortzufahren. Es ist jedoch nicht geeignet, SAS-Expander für die endgültige Version auf einer bestimmten Serverplattform zu verwenden.
Wir brauchen keine feindlichen Expander, wir bauen unsere eigene Backplane mit Blackjack und Sh...
Unter Berücksichtigung zukünftiger Produktionspläne (Tausende Server) wurde beschlossen, für dieses Produkt (und natürlich auch für nachfolgende) eine eigene SAS-Backplane zu entwickeln, die in Bezug auf diese Lösung viel funktionaler ist als ein Expander . Das Design und die Programmierung der Backplane erfolgt durch dasselbe Entwicklerteam, die Produktion der Platinen erfolgt im Microlit-Werk in der Region Moskau (wir versprechen einen separaten Artikel über dieses Werk und wie Motherboards für Elbrus-Prozessoren sind). dort abgedruckt).
Hier ist übrigens sein erster Prototyp, jetzt sieht er ganz anders aus.
Und hier programmieren sie es
Eine interessante Tatsache: Als die Entwicklung der Backplane begann und sich die Designer wegen eines Referenzplatinendesigns an den Entwickler des SAS3-Chips wandten, stellte sich heraus, dass kein einziges Unternehmen in Europa wusste, wie man eigene Backplanes entwickelt. Zuvor gab es ein Joint Venture zwischen Fujitsu und Siemens, doch nach dem Ausstieg der Siemens Nixdorf Informationssysteme AG aus dem Joint Venture und der vollständigen Schließung der Computerabteilung bei Siemens ging die Kompetenz in diesem Bereich in Europa verloren.
Daher nahm der Chipentwickler die Entwicklungen von NORSI-TRANS zunächst nicht ernst, was zu Verzögerungen bei der Entwicklung des endgültigen Designs führte. Allerdings änderte sich seine Einstellung zum Besseren, als später die Ernsthaftigkeit der Absichten und die Kompetenz des Unternehmens NORSI-TRANS offensichtlich wurden und die Rückwandplatine entwickelt und gedruckt wurde.
Wie kühlt man 124 Festplatten und einen Server in 5 Einheiten und bleibt dabei am Leben?
Es gab eine separate Quest mit Essen und Kühlung. Tatsache ist, dass die E124-Plattform aufgrund der Anforderungen bei einer Temperatur von 30 Grad Celsius betrieben werden muss und dort für eine Minute 124 gut erhitzte mechanische Festplatten in 5 Einheiten und darüber hinaus ein Motherboard mit einem Prozessor (d. h. Das ist kein dummer JBOD, sondern ein vollwertiger Speichersystem-Controller mit Festplatten.
Zur Kühlung (mit Ausnahme der kleinen Lüfter im Inneren) entschieden wir uns schließlich für die Verwendung von drei ziemlich großen Lüftern an der Rückseite des Gehäuses, von denen jeder im laufenden Betrieb austauschbar ist. Für den normalen Betrieb des Systems reichen zwei aus (die Temperatur ändert sich überhaupt nicht), sodass Sie den Austausch der Lüfter sicher planen können und nicht an die Temperatur denken müssen. Wenn Sie zwei Lüfter ausschalten (z. B. nach dem Gesetz der Gemeinheit, als einer ausgetauscht wurde, ging der zweite kaputt), dann kann das System auch mit einem Lüfter normal funktionieren, aber die Temperatur steigt um 10-20 % Prozent, was akzeptabel ist, vorausgesetzt, dass bald mindestens ein weiterer Lüfter eingebaut wird.
Auch die Fans sind (wie fast alles andere) einzigartig geworden. Der Grund für die Einzigartigkeit waren die Kosten. Unter bestimmten Bedingungen kann es vorkommen, dass die Lüfter, anstatt Luft anzusaugen, indem sie das gesamte Gehäuse von innen durchblasen, beginnen, diese anzusaugen, und dann „auf Wiedersehen“, das heißt, die Plattform wird schnell überhitzt. Um ein solches Problem zu verhindern, wurden daher Änderungen am Ventilatordesign vorgenommen und wir haben unser eigenes „Know-how“ hinzugefügt – ein Rückschlagventil. Dieses Rückschlagventil ermöglicht das ruhige Absaugen von Luft aus der Plattform, blockiert aber gleichzeitig in jedem Fall die Möglichkeit, Luft zurückzusaugen.
In der Pilotphase des Kühlsystems kam es zu vielen Ausfällen, verschiedene Elemente des Systems überhitzten und brannten durch, aber am Ende gelang es den Plattformentwicklern, eine bessere Kühlung zu erreichen als selbst weltberühmte Konkurrenten.
„Die Diät darf nicht verletzt werden.“
Ähnlich verhielt es sich mit den Netzteilen, d.h. Sie wurden speziell für diese Plattform erstellt und der Grund ist banal. Jede Einheit kostet viel Geld, weshalb eine so superdichte Plattform entwickelt wurde, und wenn ich mich nicht irre (korrigiert in den Kommentaren, wenn ich falsch liege), ist dies bisher ein Weltrekord, denn Es gibt noch keine Server oder JBODs mit einer großen Anzahl an Festplatten für 5 Einheiten.
Um die Plattform mit Strom zu versorgen und gleichzeitig die Möglichkeit zu schaffen, die Stromversorgung im Normalbetrieb auszutauschen, musste die Gesamtleistung der aktiven Einheiten 4 Kilowatt betragen (solche Lösungen gibt es auf der Plattform natürlich nicht). Daher wurden sie mit der Einführung einer Produktionslinie für die Massenproduktion auf Bestellung gefertigt (ich möchte Sie daran erinnern, dass es Pläne für Tausende solcher Server gibt).
Wie einer der Hauptentwickler der Plattform es ausdrückte: „Die Ströme hier sind wie in einer Schweißmaschine – das macht keinen großen Spaß :-)“
Bei der Konstruktion war es auch möglich, das Netzteil nicht nur mit 220V, sondern auch mit 48V zu betreiben, also in der OPC-Architektur, die heute für Telekommunikationsbetreiber und große Rechenzentren sehr wichtig ist.
Damit wiederholt die Lösung mit Netzteil die Logik der Lösung mit Kühlung: Die Plattform kann komfortabel mit zwei Netzteilen betrieben werden, wodurch Austauscharbeiten wie gewohnt durchgeführt werden können. Wenn im Falle eines Unfalls nur noch eins von drei Netzteilen übrig ist, kann es die Arbeit der Plattform bei Spitzenlast übernehmen, aber es ist natürlich unmöglich, die Plattform in dieser Form zu verlassen für eine lange Zeit.
Metall und Kunststoff: Nicht alles ist so einfach, wie sich herausstellt.
Es gibt viele Nuancen im Plattformentwicklungsprozess. Eine ähnliche Situation trat nicht nur bei elektronischen Komponenten (Riser, Backplanes, Motherboards usw.) auf, sondern auch bei gewöhnlichem Metall und Kunststoff: beispielsweise beim Gehäuse, bei Schienen und sogar bei Festplattenlaufwerken.
Es scheint, dass es keine Probleme mit der Karosserie und anderen weniger intelligenten Elementen der Plattform geben sollte. Doch in der Praxis ist alles anders. Als sich die Plattformentwickler mit Produktionsbedarf erstmals an verschiedene russische Fabriken wandten, stellte sich heraus, dass die meisten von ihnen mit eher unmodernen Methoden arbeiteten, was sich letztendlich sowohl auf die Qualität als auch auf die Quantität der Produkte auswirkte.
Die ersten Ergebnisse der Fallproduktion bestätigten dies. Falsche Geometrie, grobe Schweißnähte, ungenaue Löcher und ähnliche Kosten machten das Produkt unbrauchbar.
Die meisten Fabriken, die Servergehäuse herstellen konnten, arbeiteten damals (ich möchte Sie daran erinnern, dass wir mit „damals“ vor zwei Jahren meinen) „auf die altmodische Art“, das heißt, sie erstellten eine Reihe von Designdokumentationen, nach denen die Der Bediener stellte den Betrieb der Maschinen manuell ein, außerdem wurde häufig Metallschweißen anstelle von Nieten verwendet. Dadurch trugen der geringe Automatisierungsgrad, der Faktor Mensch und die übermäßige Bürokratisierung der Produktion Früchte. Es stellte sich als langwierig, schlecht und teuer heraus.
Wir müssen den Fabriken Tribut zollen: Viele von ihnen haben ihre Produktion seitdem stark modernisiert. Wir verbesserten die Qualität des Schweißens, beherrschten das Nieten und begannen auch häufig mit dem Einsatz von CNC-Maschinen (Computer Numerical Control). Statt tonnenweise Dokumenten werden nun Produktdaten direkt aus 3D- und 2D-Modellen in die CNC geladen.
CNC reduziert den Eingriff des Maschinenbedieners in den Herstellungsprozess des Produkts auf ein Minimum, sodass der menschliche Faktor das Leben nicht mehr beeinträchtigt. Das Hauptanliegen des Bedieners sind vor allem die vorbereitenden und abschließenden Arbeiten: Ein- und Ausbau des Produkts, Einrichten von Werkzeugen usw.
Wenn neue Teile auftauchen, steht die Produktion nicht mehr still; um sie zu produzieren, genügt es, Änderungen an der CNC-Software vorzunehmen. Dementsprechend wurde die Produktionszeit für Teile für neue Projekte in Fabriken von Monaten auf Wochen verkürzt, was eine gute Nachricht ist. Und natürlich ist auch die Genauigkeit stark gestiegen.
Mainboards und Prozessor: kein Problem
Prozessoren und Motherboards werden ab Werk als Set geliefert. Diese Produktion ist bereits recht gut etabliert, daher führt NORSI eine standardmäßige Eingangs- und Ausgangskontrolle auf der Ebene fertiger Plattformen durch.
Jeder Satz Motherboard und Prozessor wird mit der von MCST bezogenen Software getestet.
Bei bestimmten Problemen (davon gibt es beim Mainboard und Prozessor Gott sei Dank nur sehr wenige) gibt es eine gut funktionierende Kette der Rücksendung von Modulen an den Hersteller und des Austauschs.
Montage und Endkontrolle
Damit unsere Balalaika spielen kann, müssen Sie sie nur noch zusammenbauen und testen. Jetzt läuft die Produktion, das System wird in Moskau standardmäßig zusammengebaut.
Jedes System wird mit Boot-SSDs (für das Betriebssystem) und vollständigen Spindeln (für zukünftige Daten) geliefert.
Danach beginnt der Eingabetest sowohl der Plattform selbst als auch der darauf installierten Festplatten. Dazu werden alle Festplatten im System für mindestens eine Stunde mit Autotests belastet.
Auf jeder Festplatte wird ein automatisches Lesen und Schreiben durchgeführt, wobei die Lesegeschwindigkeit, die Schreibgeschwindigkeit und die Temperatur jeder Festplatte aufgezeichnet werden. Im Normalmodus sollte die Durchschnittstemperatur etwa 30-35 Grad Celsius betragen. In Spitzenzeiten kann jede einzelne Scheibe um bis zu 40 Grad „springen“. Wenn die Temperatur steigt oder die Geschwindigkeit unter die Lese-/Schreibschwellenwerte fällt, wird die Festplatte rot und wird nicht zurückgewiesen. Die Komponenten, die die Tests bestanden haben, werden zur weiteren Verwendung verpackt.
Abschluss
Es gibt einen Mythos, der von verschiedenen Persönlichkeiten aktiv unterstützt wird: „In Russland weiß man nichts anderes als Öl zu pumpen.“ Leider frisst sich dieser Mythos selbst in die Köpfe angesehener und intelligenter Menschen ein.
Kürzlich passierte einem Kollegen von mir eine bemerkenswerte Geschichte. Er fuhr von einem der Displays des Vostok-Speichersystems aus und dieses Speichersystem lag im Kofferraum seines Autos (natürlich nicht der E124, das ist einfacher). Unterwegs nahm er einen Vertreter des Kunden gefangen (eine sehr wichtige Person, die in einer hohen Position in einer der Regierungsbehörden arbeitet), und im Auto führten sie ungefähr das folgende Gespräch:
Mein Kollege: „Wir haben das Speichersystem gerade auf Elbrus gezeigt, die Ergebnisse waren gut, alle waren zufrieden, dieses Speichersystem wird übrigens auch für Ihre Branche nützlich sein.“
Kunde: „Ich weiß, dass Sie Speichersysteme haben, aber von was für einem Elbrus sprechen Sie?“
Mein Kollege: „Nun... der russische Prozessor Elbrus hat kürzlich 8 herausgebracht, in Bezug auf die Leistung von Speichersystemen haben wir dementsprechend eine neue Reihe von Speichersystemen darauf entwickelt, namens Vostok.“
Kunde: „Elbrus ist ein Berg! Und verbreiten Sie keine Märchen über den russischen Prozessor in der vornehmen Gesellschaft, das alles wird nur gemacht, um Budgets zu verschlingen, in Wirklichkeit gibt es nichts und nichts wird passieren.“
Mein Kollege: "Im Sinne? Ist es in Ordnung, dass sich dieses spezielle Speichersystem in meinem Kofferraum befindet? Lass uns jetzt aufhören, ich zeige es dir!“
Kunde: „Es ist gut, unter Unsinn zu leiden, lasst uns weitermachen, es gibt keine „russischen Speichersysteme“ – das ist im Grunde unmöglich“
In diesem Moment wollte die wichtige Person nichts mehr über Elbrus hören. Später, als er die Informationen klarstellte, gab er natürlich zu, dass er falsch lag, glaubte aber bis zum Schluss nicht an die Richtigkeit dieser Informationen.
Tatsächlich hat unser Land nach dem Zusammenbruch der UdSSR die Entwicklung der Mikroelektronikproduktion tatsächlich eingestellt. Etwas wurde zugunsten transnationaler Konzerne exportiert und gestohlen, etwas wurde von der örtlichen Privatisierungsgesellschaft gestohlen, etwas wurde natürlich investiert, aber hauptsächlich zugunsten derselben transnationalen Konzerne. Der Baum wurde gefällt, aber die Wurzel blieb übrig.
Nach fast 30 Jahren der Illusionen über das Thema „Der Westen wird uns helfen“ ist fast jedem klar geworden, dass wir uns nur selbst helfen können und daher unsere Produktion nicht nur im Bereich der Mikroelektronik, sondern in allen Branchen wieder aufbauen müssen .
Im Moment, im Kontext einer globalen Pandemie und in einer Situation, in der transnationale Produktionsketten tatsächlich zum Stillstand gekommen sind, wird bereits deutlich, dass die Wiederherstellung der lokalen Produktion nicht mehr eine Haushaltsentwicklung, sondern eine Voraussetzung für das Überleben Russlands ist ein unabhängiger Staat.
Deshalb werden wir weiterhin nach russischer Ausrüstung suchen und sie im Leben nutzen und Ihnen erzählen, was unsere Unternehmen tatsächlich tun, mit welchen Problemen sie konfrontiert sind und welche gigantischen Anstrengungen sie unternehmen, um diese zu lösen.
Es ist ziemlich schwierig, alle Aspekte der Produktion in einem Artikel zu behandeln. Als Bonus organisieren wir zu diesem Thema eine Online-Diskussion im Webinar-Format. In diesem Webinar sprechen wir ausführlich und in lebendigen Farben über die technischen Aspekte der Produktion von Yakhont-Plattformen für Vostok-Speichersysteme und beantworten online alle, auch die kniffligsten Fragen.
Unser Gesprächspartner wird ein Vertreter des Plattformentwicklers NORSI-TRANS sein. Das Webinar findet am 05.06.2020 statt; wer teilnehmen möchte, kann sich über den Link anmelden: .
Vielen Dank an alle, wir freuen uns wie immer über konstruktive Kommentare.
Source: habr.com