Wat zullen nieuwe opslagsystemen bieden voor AI- en ML-systemen

MAX Data combineert met Optane DC voor een effectieve werking met AI- en ML-systemen.

Wat zullen nieuwe opslagsystemen bieden voor AI- en ML-systemen
Foto — Hitesh Choudhary — Unsplash

Volgens gegevens Onderzoek van MIT Sloan Management Review en The Boston Consulting Group toont aan dat 85% van de drie duizend ondervraagde managers gelooft dat AI-systemen hun bedrijven een concurrentievoordeel op de markt zullen bieden. Echter, slechts 39% van de bedrijven heeft dergelijke systemen daadwerkelijk in de praktijk geprobeerd te implementeren.

Een van de redenen voor deze situatie is dat effectief werken met gegevens en de optimalisatie van middelen voor machine learning-taken geen gemakkelijke opgave is. Bij IDC , dat tegen 2021 al 94% van de wereldwijde datacenter-werklasten gevirtualiseerd zal zijn. Volgens, wordt gesuggereerd dat een nieuwe technologie op basis van persistent geheugen (Persistent Memory, PMEM) deze situatie zou kunnen verhelpen.

Deze technologie werd voorgesteld door NetApp en Intel, door NetApp Memory Accelerated (MAX) Data en Intel Optane DC Persistent Memory te combineren om een product voor lokale gegevensopslagen op basis van niet-vluchtig geheugen te creƫren.

Hoe het werkt

MAX Data is een servertechnologie die de prestaties van toepassingen verhoogt door gebruik te maken van PMEM of DRAM, zonder dat de softwarearchitectuur hoeft te worden herontworpen.

Het implementeert de principes van geautomatiseerde gelaagdheid van opslag, waarbij gegevens worden verdeeld over niveaus en opslagmedia op basis van gebruiksfrequentie – voor ā€˜koude’ gegevens wordt goedkopere opslag gebruikt, terwijl vaak gebruikte gegevens ā€˜bij de hand’ blijven – in Persistent Memory, wat de latentie bij het werken met dergelijke gegevens minimaliseert.

Versie 1.1 maakt gebruik van DRAM-geheugen en NVDIMM. Beide implementaties hebben hun nadelen – respectievelijk een relatief verlies van efficiĆ«ntie en hoge kosten van geheugen – in vergelijking met Optane DCPMM. Een diagram dat een vergelijkende beoordeling van de latentie biedt, is gepresenteerd hier (p. 4).

Technologie wordt ondersteund en POSIX en het werken met de semantiek van block- of bestandssystemen. Bescherming en herstel van gegevens op het niveau van opslag worden gerealiseerd door MAX Snap en MAX Recovery. Deze technologieƫn maken gebruik van snapshots, de SnapMirror-tool en andere beschermingsmechanismen van ONTAP.

Schematically ziet de implementatie er als volgt uit:

Wat zullen nieuwe opslagsystemen bieden voor AI- en ML-systemen

In dit diagram is PMEM nog niet aanwezig, maar de ontwikkelaars beloven ondersteuning voor dit type geheugen voor het einde van het jaar toe te voegen. Tot nu toe werkt Max Data met DRAM en DIMM.

Het potentieel van de oplossing

Bij IDC bevestigen, wordt aangegeven dat er de komende jaren meer ontwikkelingen zoals MAX Data zullen komen, omdat de volumes van bedrijfsgegevens voortdurend groeien en bedrijven niet over de capaciteit beschikken voor een effectieve verwerking ervan. Technologie kan nuttig zijn in een grootschalige cloudomgeving en voor het uitvoeren van resource-intensieve taken zoals het trainen van neurale netwerken. Het zal zijn toepassing vinden op handelsplatforms, in informatiebeveiligingssystemen en in andere softwareproducten waar continue en snelle toegang tot grote hoeveelheden informatie vereist is.

Er is een kans dat de technologie niet onmiddellijk op de markt zal aanslaan. Zoals we hierboven hebben opgemerkt, werkt slechts een derde van de bedrijven wereldwijd op een of andere manier met AI-systemen. Vanuit dit perspectief kunnen velen de komst van MAX Data als prematuur beschouwen en hun aandacht richten op een toegankelijkere infrastructuur die in staat is om de huidige uitdagingen aan te pakken.

Onze andere materialen over IT-infrastructuur:

Bron: habr.com

Koop betrouwbare webhosting met bescherming tegen DDoS, VPS VDS servers šŸ”„ Koop betrouwbare webhosting met bescherming tegen DDoS, VPS VDS servers | ProHoster