Co zaoferują nowe repozytoria dla systemów AI i ML?

MAX Data zostanie połączona z Optane DC, aby efektywnie współpracować z systemami AI i ML.

Co zaoferują nowe repozytoria dla systemów AI i ML?
Фото - Hitesh Choudhary — Rozpryskiwanie

Na Według Z badania przeprowadzonego przez MIT Sloan Management Review i The Boston Consulting Group wynika, że ​​85% z trzech tysięcy ankietowanych menedżerów uważa, że ​​systemy AI pomogą ich firmom zdobyć przewagę konkurencyjną na rynku. Jednak tylko 39% firm próbowało wdrożyć coś podobnego w praktyce.

Jedną z przyczyn tej sytuacji jest to, że efektywna praca z danymi i optymalizacja wykorzystania mocy do zadań uczenia maszynowego nie jest łatwym zadaniem. W IDC świętować, że nowa technologia oparta na pamięci trwałej (Persistent Memory, PMEM) może rozwiązać tę sytuację.

Technologia ta została zaproponowana przez NetApp i Intel, jednoczenie NetApp Memory Accelerated (MAX) Data i Intel Optane DC Persistent Memory dla lokalnego produktu pamięci trwałej.

Jak to działa

MAX Data to technologia serwerowa, która poprawia wydajność aplikacji poprzez zastosowanie PMEM lub DRAM, ale nie wymaga zmian w architekturze oprogramowania.

Realizuje zasady zautomatyzowanego przechowywania wielopoziomowego, rozdzielania danych na poziomy i przechowywania w zależności od częstotliwości użytkowania - na „zimne” dane wykorzystuje się bardziej dostępną pamięć masową, a często używane dane są „pod ręką” – w pamięci trwałej, która minimalizuje opóźnienia podczas pracy z takimi danymi.

Wersja 1.1 wykorzystuje pamięć DRAM i NVDIMM. Obie implementacje mają swoje wady – odpowiednio względną utratę wydajności i wysokie koszty pamięci – w porównaniu z Optane DCPMM. Przedstawiono wykres przedstawiający porównawcze oszacowanie opóźnienia tutaj (strona 4).

Технология obsługuje и POSIX i praca z semantyką systemów blokowych lub plików. Ochrona i odzyskiwanie danych na poziomie pamięci masowej realizowane jest za pomocą MAX Snap i MAX Recovery. Technologie te wykorzystują migawki, narzędzie SnapMirror i inne mechanizmy bezpieczeństwa ONTAP.

Schematycznie implementacja wygląda następująco:

Co zaoferują nowe repozytoria dla systemów AI i ML?

Na tym obwodzie nie ma jeszcze PMEM, ale programiści obiecują dodać obsługę tego typu pamięci do końca roku. Jak dotąd Max Data współpracuje z DRAM i DIMM.

Potencjał rozwiązania

W IDC roszczenieże w nadchodzących latach będzie więcej takich rozwiązań jak MAX Data, ponieważ wolumen danych korporacyjnych stale rośnie, a firmy nie mają wystarczającej mocy, aby je efektywnie przetwarzać. Technologia może przydatne w środowisku chmury na dużą skalę i do pracy z zadaniami wymagającymi dużych zasobów, takimi jak szkolenie sieci neuronowych. Znajdzie zastosowanie na platformach transakcyjnych, systemach bezpieczeństwa informacji i wszelkich innych produktach programowych, które wymagają stałego i szybkiego dostępu do dużych ilości informacji.

Istnieje też szansa, że ​​technologia nie od razu zakorzeni się na rynku. Jak zauważyliśmy powyżej, tylko jedna trzecia firm na całym świecie pracuje z systemami AI w takiej czy innej formie. Z tego punktu widzenia wielu może uznać pojawienie się MAX Data za przedwczesne i skupi swoją uwagę na bardziej dostępnej infrastrukturze, która pozwoli im rozwiązywać bieżące problemy.

Inne nasze materiały o infrastrukturze IT:

Źródło: www.habr.com

Dodaj komentarz