[Supercomputing 2019]. Multi-Cloud-Speicher als Einsatzgebiet der neuen Kingston DC1000M-Laufwerke

Stellen Sie sich vor, Sie gründen ein innovatives Medizinunternehmen – individuelle Arzneimittelauswahl auf Basis der Analyse des menschlichen Genoms. Jeder Patient hat 3 Milliarden Genpaare, und die Berechnung eines regulären Servers auf x86-Prozessoren würde mehrere Tage dauern. Sie wissen, dass Sie den Prozess auf einem Server mit einem FPGA-Prozessor beschleunigen können, der Berechnungen über Tausende von Threads hinweg parallelisiert. Die Genomberechnung wird in etwa einer Stunde abgeschlossen sein. Solche Server können bei Amazon Web Services (AWS) gemietet werden. Aber hier ist die Sache: Der Kunde, das Krankenhaus, ist kategorisch dagegen, genetische Daten in der Cloud des Anbieters zu platzieren. Was soll ich machen? Kingston und das Cloud-Startup zeigten Architektur auf der Supercomputing-2019-Ausstellung Privater MultiCloud-Speicher (PMCS), was dieses Problem löst.

Drei Bedingungen für Hochleistungsrechnen

Die Berechnung des menschlichen Genoms ist nicht die einzige Aufgabe im Bereich des Hochleistungsrechnens (HPC, High Performance Computing). Wissenschaftler berechnen physikalische Felder, Ingenieure berechnen Flugzeugteile, Finanziers berechnen Wirtschaftsmodelle und gemeinsam analysieren sie Big Data, bauen neuronale Netze auf und führen viele andere komplexe Berechnungen durch.

Die drei Bedingungen von HPC sind enorme Rechenleistung, sehr großer und schneller Speicher und hoher Netzwerkdurchsatz. Daher erfolgt die Durchführung von LPC-Berechnungen standardmäßig im unternehmenseigenen Rechenzentrum (on-premises) oder bei einem Anbieter in der Cloud.

Aber nicht alle Unternehmen verfügen über eigene Rechenzentren, und diejenigen, die über solche verfügen, sind kommerziellen Rechenzentren in Bezug auf die Ressourceneffizienz oft unterlegen (Investitionen sind für den Kauf und die Aktualisierung von Hardware und Software erforderlich, die Bezahlung von hochqualifiziertem Personal usw.). Cloud-Anbieter hingegen bieten IT-Ressourcen nach dem „Pay-as-you-go“-Betriebskostenmodell an, d. h. Die Miete wird nur für die Nutzungsdauer berechnet. Wenn die Berechnungen abgeschlossen sind, können Server aus dem Konto entfernt werden, wodurch IT-Budgets gespart werden. Besteht jedoch ein gesetzliches oder unternehmerisches Verbot der Datenübertragung an den Anbieter, steht HPC-Computing in der Cloud nicht zur Verfügung.

Privater MultiCloud-Speicher

Die Private MultiCloud Storage-Architektur ist darauf ausgelegt, Zugriff auf Cloud-Dienste zu ermöglichen, während die Daten selbst physisch am Unternehmensstandort oder mithilfe eines Colocation-Dienstes in einem separaten sicheren Bereich des Rechenzentrums verbleiben. Im Wesentlichen handelt es sich um ein datenzentriertes verteiltes Computermodell, bei dem Cloud-Server mit Remote-Speichersystemen aus einer privaten Cloud zusammenarbeiten. Dementsprechend können Sie mit demselben lokalen Datenspeicher mit Cloud-Diensten der größten Anbieter arbeiten: AWS, MS Azure, Google Cloud Platform usw.

Als Beispiel für die Implementierung von PMCS präsentierte Kingston auf der Supercomputing-2019-Ausstellung ein Beispiel eines Hochleistungs-Datenspeichersystems (SSD) auf Basis von DC1000M-SSD-Laufwerken, und eines der Cloud-Startups präsentierte die StorOne S1-Verwaltungssoftware für Software- Definierter Speicher und dedizierte Kommunikationskanäle mit großen Cloud-Anbietern.

Es ist zu beachten, dass PMCS als funktionierendes Cloud-Computing-Modell mit privatem Speicher für den nordamerikanischen Markt konzipiert ist und über eine entwickelte Netzwerkkonnektivität zwischen Rechenzentren verfügt, die von der AT&T- und Equinix-Infrastruktur unterstützt wird. Somit beträgt der Ping zwischen einem Colocation-Speichersystem in einem beliebigen Equinix Cloud Exchange-Knoten und der AWS-Cloud weniger als 1 Millisekunde (Quelle: ITProHeute).

Bei der auf der Ausstellung gezeigten Demonstration der PMCS-Architektur befand sich das Speichersystem auf DC1000M NVMe-Festplatten in Colocation und virtuelle Maschinen wurden in den Clouds AWS, MS Azure und Google Cloud Platform installiert, die sich gegenseitig anpingten. Die Client-Server-Anwendung arbeitete remote mit dem Kingston-Speichersystem und den HP DL380-Servern im Rechenzentrum und griff über die Kommunikationskanalinfrastruktur von Equinix auf die Cloud-Plattformen der oben genannten großen Anbieter zu.

Folie von der Präsentation von Private MultiCloud Storage auf der Supercomputing-2019-Ausstellung. Quelle: Kingston

Software mit ähnlicher Funktionalität zur Verwaltung der Architektur privater Multicloud-Speicher wird von verschiedenen Unternehmen angeboten. Die Begriffe für diese Architektur können auch unterschiedlich klingen – Private MultiCloud Storage oder Private Storage for Cloud.

„Heutige Supercomputer führen eine Vielzahl von HPC-Anwendungen aus, die an der Spitze des Fortschritts stehen, von der Öl- und Gasexploration bis hin zu Wettervorhersagen, Finanzmärkten und der Entwicklung neuer Technologien“, sagte Keith Schimmenti, Manager für Enterprise SSD Management bei Kingston. „Diese HPC-Anwendungen erfordern eine viel bessere Abstimmung zwischen Prozessorleistung und I/O-Geschwindigkeit. Wir sind stolz darauf, Ihnen mitteilen zu können, wie Kingston-Lösungen dazu beitragen, Durchbrüche in der Datenverarbeitung voranzutreiben und die Leistung zu liefern, die in den extremsten Computerumgebungen und -anwendungen der Welt benötigt wird.“

DC1000M-Laufwerk und ein Beispiel eines darauf basierenden Speichersystems

Die DC1000M U.2 NVMe SSD wurde von Kingston für das Rechenzentrum entwickelt und ist speziell für datenintensive und HPC-Anwendungen wie Anwendungen der künstlichen Intelligenz (KI) und des maschinellen Lernens (ML) konzipiert.

DC1000M U.2 NVMe 3.84 TB Laufwerk. Quelle: Kingston

DC1000M U.2-Laufwerke basieren auf einem 96-Layer-Intel-3D-NAND-Speicher, der von einem Silicon Motion SM2270-Controller (PCIe 3.0 und NVMe 3.0) gesteuert wird. Der Silicon Motion SM2270 ist ein 16-spuriger Enterprise-NVMe-Controller mit PCIe 3.0 x8-Schnittstelle, dualem 32-Bit-DRAM-Datenbus und drei ARM Cortex R5 Dual-Prozessoren.

Zur Veröffentlichung werden DC1000M mit unterschiedlichen Kapazitäten angeboten: von 0.96 bis 7.68 TB (die beliebtesten Kapazitäten dürften 3.84 und 7.68 TB sein). Die Leistung des Laufwerks wird auf 800 IOPS geschätzt.

Speichersystem mit 10x DC1000M U.2 NVMe 7.68 TB. Quelle: Kingston

Als Beispiel für ein Speichersystem für HPC-Anwendungen präsentierte Kingston auf der Supercomputing 2019 eine Rack-Lösung mit 10 DC1000M U.2 NVMe-Laufwerken mit einer Kapazität von jeweils 7.68 TB. Das Speichersystem basiert auf dem SB122A-PH, einer 1U-Formfaktor-Plattform von AIC. Prozessoren: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Teilenummer: KSM24RS4/16HAI). Das installierte Betriebssystem ist Ubuntu 18.04.3 LTS, Linux-Kernel Version 5.0.0-31. Der gfio v3.13-Test (Flexible I/O-Tester) ergab eine Leseleistung von 5.8 Millionen IOPS bei einem Durchsatz von 23.8 Gbit/s.

Das vorgestellte Speichersystem zeigte beeindruckende Eigenschaften hinsichtlich der stabilen Lesegeschwindigkeit von 5,8 Millionen IOPS (Eingabe-Ausgabe-Operationen pro Sekunde). Das ist zwei Größenordnungen schneller als SSDs für Massenmarktsysteme. Diese Lesegeschwindigkeit wird für HPC-Anwendungen benötigt, die auf speziellen Prozessoren ausgeführt werden.

Cloud Computing HPC mit privatem Speicher in Russland

Auch für russische Unternehmen ist die Aufgabe relevant, beim Anbieter Hochleistungsrechnen durchzuführen, die Daten aber physisch vor Ort zu speichern. Ein weiterer häufiger Fall im Inlandsgeschäft ist, dass sich die Daten bei der Nutzung ausländischer Cloud-Dienste auf dem Territorium der Russischen Föderation befinden müssen. Wir haben im Namen des Cloud-Anbieters Selectel, einem langjährigen Partner von Kingston, um einen Kommentar zu diesen Situationen gebeten.

„In Russland ist es möglich, eine ähnliche Architektur aufzubauen, mit Service auf Russisch und allen Berichtsdokumenten für die Buchhaltungsabteilung des Kunden. Wenn ein Unternehmen Hochleistungsrechnen mit lokalen Speichersystemen durchführen muss, vermieten wir bei Selectel Server mit Prozessoren verschiedener Typen, darunter FPGA, GPU oder Multi-Core-CPUs. Darüber hinaus organisieren wir über Partner die Verlegung eines dedizierten optischen Kanals zwischen dem Büro des Kunden und unserem Rechenzentrum“, kommentiert Alexander Tugov, Director of Services Development bei Selectel. — Der Kunde kann sein Speichersystem auch in einem Computerraum mit einem speziellen Zugriffsmodus kolokalisieren und Anwendungen sowohl auf unseren Servern als auch in den Clouds der globalen Anbieter AWS, MS Azure und Google Cloud ausführen. Natürlich ist die Signalverzögerung im letzteren Fall höher, als wenn das Speichersystem des Kunden in den USA stehen würde, aber es wird eine breitbandige Multi-Cloud-Verbindung bereitgestellt.“

Im nächsten Artikel werden wir über eine weitere Kingston-Lösung sprechen, die auf der Supercomputing 2019-Ausstellung (Denver, Colorado, USA) vorgestellt wurde und für Anwendungen des maschinellen Lernens und der Big-Data-Analyse mithilfe von GPUs gedacht ist. Hierbei handelt es sich um die GPUDirect Storage-Technologie, die eine direkte Datenübertragung zwischen NVMe-Speicher und GPU-Prozessorspeicher ermöglicht. Und darüber hinaus erklären wir, wie wir es geschafft haben, in einem Rack-Speichersystem auf NVMe-Festplatten eine Datenlesegeschwindigkeit von 5.8 Millionen IOPS zu erreichen.

Weitere Informationen zu den Produkten von Kingston Technology finden Sie unter Die Website des Unternehmens.

Source: habr.com