Какво ще предложат новите хранилища за AI и ML системи?

MAX Data ще се комбинира с Optane DC за ефективна работа с AI и ML системи.

Снимка - Хитеш Чоудхари — Unplash

На данни проучване на MIT Sloan Management Review и The Boston Consulting Group, 85% от анкетираните три хиляди мениджъри вярват, че AI системите ще помогнат на техните компании да получат конкурентно предимство на пазара. Само 39% от компаниите обаче са се опитали да приложат нещо подобно на практика.

Една от причините за тази ситуация е, че ефективната работа с данни и оптимизирането на използването на капацитета за задачи за машинно обучение не е лесна работа. В IDC маркаче нова технология, базирана на постоянна памет (Persistent Memory, PMEM), може да разреши ситуацията.

Тази технология е предложена от NetApp и Intel, обединяване NetApp Memory Accelerated (MAX) Data и Intel Optane DC Persistent Memory за продукт за локално съхранение, базиран на постоянна памет.

Как работи

MAX Data е сървърна технология, която подобрява производителността на приложенията чрез използването на PMEM или DRAM, но не изисква преархитектиране на софтуера.

Реализира принципите на автоматизирано многослойно съхранение, като разпределя данните на нива и хранилища в зависимост от честотата на използване - за "студените" данни се използва по-достъпно хранилище, а често използваните са "под ръка" - в Persistent Memory, което минимизира забавянето при работа с такива данни.

Версия 1.1 използва DRAM и NVDIMM модули. И двете реализации имат своите недостатъци - относителна загуба на ефективност и съответно висока цена на паметта - в сравнение с Optane DCPMM. Представена е диаграма, даваща сравнителна оценка на забавянето тук (страница 4).

Технология поддържа и POSIX и работа със семантиката на блокови или файлови системи. Защитата и възстановяването на данните на ниво съхранение се реализират с MAX Snap и MAX Recovery. Тези технологии използват моментни снимки, инструмента SnapMirror и други ONTAP механизми за сигурност.

Схематично изпълнението изглежда така:

В тази схема все още няма PMEM, но разработчиците обещават да добавят поддръжка за този тип памет преди края на годината. Засега Max Data работи с DRAM и DIMM.

Потенциал за решение

В IDC искче през следващите години ще има повече разработки като MAX Data, тъй като обемът на корпоративните данни непрекъснато нараства, а компаниите нямат достатъчно капацитет да ги обработват ефективно. технология мога полезен в широкомащабна облачна среда и за работа с ресурсоемки задачи като обучение на невронни мрежи. Ще намери приложение в платформи за търговия, системи за информационна сигурност и всякакви други софтуерни продукти, изискващи постоянен и бърз достъп до големи количества информация.

Съществува и известна вероятност технологията да не пусне веднага корени на пазара. Както отбелязахме по-горе, само една трета от компаниите по света работят с AI системи под една или друга форма. От тази гледна точка, появата на MAX Data може да се счита за преждевременна от мнозина и ще насочи вниманието им към по-достъпна инфраструктура, която им позволява да решават текущи проблеми.

Други наши материали за ИТ инфраструктура:

• NetApp от А до Я: преглед на технологиите на производителите, използвани в съвременните системи за съхранение
• Примери за използване на NetApp съхранение в различни бизнес области
• Преглед на NetApp Directions 2018
• Разопаковане на сървъри Cisco UCS M4308
• IaaS и управлявани ИТ: технологичен сборник

Източник: www.habr.com