Was bieten die neuen Speicher für KI- und ML-Systeme

MAX Data wird mit Optane DC für eine effiziente Arbeitsweise mit KI- und ML-Systemen kombiniert.

Was bieten die neuen Speicher für KI- und ML-Systeme
Foto – Hitesh Choudhary – Unsplash

Nach Angaben Laut einer Studie des MIT Sloan Management Review und der Boston Consulting Group glauben 85% der 3000 befragten Führungskräfte, dass KI-Systeme ihren Unternehmen helfen werden, einen Wettbewerbsvorteil auf dem Markt zu erlangen. Jedoch haben nur 39% der Unternehmen versucht, etwas Ähnliches in der Praxis umzusetzen.

Einer der Gründe für die aktuelle Situation ist, dass die effiziente Datenverarbeitung und die Optimierung der Nutzung von Ressourcen für maschinelles Lernen eine anspruchsvolle Aufgabe sind. Bei IDC , dass die Architektur von Open19 die gesamte Energieeffizienz des Rechenzentrums um 10 % erhöht., könnte eine neue technologiegestützte Lösung auf Basis des Persistent Memory (PMEM) die Situation verbessern.

Diese Technologie wurde von NetApp und Intel vorgeschlagen, indem NetApp Memory Accelerated (MAX) Data und Intel Optane DC Persistent Memory kombiniert wurden, um ein Produkt für die lokale Datenspeicherung basierend auf nichtflüchtigem Speicher zu schaffen.

Die DANE-Spezifikation ist in

MAX Data ist eine Servertechnologie, die die Anwendungsleistung durch die Verwendung von PMEM oder DRAM verbessert, ohne dass eine Umstellung der Softwarearchitektur erforderlich ist.

Sie implementiert die Prinzipien der automatisierten mehrstufigen Speicherung, indem sie Daten je nach Nutzungsfrequenz auf verschiedene Ebenen und Speichermedien verteilt – für "kalte" Daten wird weniger teurer Speicher verwendet, während häufig genutzte Daten "griffbereit" in Persistent Memory gespeichert werden, was die Latenz bei der Bearbeitung solcher Daten minimiert.

Die Version 1.1 verwendet DRAM und NVDIMM. Beide Implementierungen haben ihre Nachteile – den relativen Effizienzverlust und die hohen Speicherpreise im Vergleich zu Optane DCPMM. Ein Diagramm, das die Latenzvergleiche veranschaulicht, ist hier (S. 4).

Technologie unterstützt und POSIX und die Arbeit mit der Semantik von Block- oder Dateisystemen. Der Schutz und die Wiederherstellung von Daten auf Speicherebene erfolgt durch MAX Snap und MAX Recovery. Diese Technologien nutzen Snapshots, das SnapMirror-Tool und andere Schutzmechanismen von ONTAP.

Schematisch sieht die Implementierung wie folgt aus:

Was bieten die neuen Speicher für KI- und ML-Systeme

In diesem Diagramm ist PMEM noch nicht enthalten, die Entwickler haben jedoch versprochen, die Unterstützung für diese Art von Speicher bis Ende des Jahres hinzuzufügen. Derzeit funktioniert Max Data mit DRAM und DIMM.

Das Lösungspotenzial

Laut IDC behaupten, wird es in den kommenden Jahren mehr Entwicklungen wie MAX Data geben, da die Unternehmensdatenmengen ständig wachsen und es den Unternehmen an Ressourcen mangelt, um diese effektiv zu verarbeiten. Die Technologie plötzliche Fehler verarbeiten und nützliche Details zur Fehlersuche anzeigen, wie z. B. einen Stack-Trace. Die Fehlermeldung wurde vereinfacht – es reicht aus, auf den Link zu klicken. nützlich in einer umfangreichen Cloud-Umgebung und für ressourcenintensive Aufgaben wie das Training von neuronalen Netzwerken. Sie findet Anwendung auf Handelsplattformen, in Informationssicherheitssystemen und in allen anderen Softwareprodukten, in denen ein kontinuierlicher und schneller Zugang zu großen Informationsmengen erforderlich ist.

Es besteht auch eine Wahrscheinlichkeit, dass die Technologie nicht sofort auf dem Markt Fuß fassen wird. Wie bereits erwähnt, arbeiten weltweit nur ein Drittel der Unternehmen in irgendeiner Form mit KI-Systemen. Aus dieser Perspektive könnte die Einführung von MAX Data für viele verfrüht erscheinen, und sie könnten ihre Aufmerksamkeit auf eine zugänglichere Infrastruktur richten, die es ermöglicht, aktuelle Herausforderungen zu bewältigen.

Unsere anderen Materialien zur IT-Infrastruktur:

Quelle: habr.com

60GB SSD 8Gb DDR4