Čo ponúknu nové úložiská pre systémy AI a ML

MAX Data sa spojí s Optane DC na efektívnu prácu so systémami AI a ML.

Čo ponúknu nové úložiská pre systémy AI a ML
Foto — Hitesh Choudhary — Unsplash

V porovnaní údajov výskumné štúdie MIT Sloan Management Review a The Boston Consulting Group zistili, že 85 % zo troch tisíc oslovených manažérov verí, že systémy AI pomôžu ich spoločnostiam získať konkurenčnú výhodu na trhu. Avšak niečo podobné sa doposiaľ pokúsilo uviesť do praxe len 39 % spoločností.

Jedným z dôvodov tejto situácie je, že efektívna práca s dátami a optimalizácia využitia výkonu na úlohy strojového učenia nie sú ľahké. V IDC poznamenávajú, že riešením situácie by mohla byť nová technológia založená na trvalej pamäti (Persistent Memory, PMEM).

Takúto technológiu navrhli NetApp a Intel, spojením NetApp Memory Accelerated (MAX) Data a Intel Optane DC Persistent Memory, aby vytvorili produkt pre lokálne ukladanie dát založený na nevolatilnej pamäti.

Ako to funguje

MAX Data je serverová technológia, ktorá umožňuje zvýšiť výkon aplikácií pomocou PMEM alebo DRAM, ale nevyžaduje prestavbu architektúry softvéru.

Realizuje princípy automatizovaného viacosového ukladania, pričom rozdeľuje dáta podľa úrovní a úložísk na základe frekvencie používania – pre „chladné“ dáta sa využíva cenovo dostupnejšie úložisko, zatiaľ čo často používané sú dostupné „na dosah“ – v Persistent Memory, ktorá minimalizuje latenciu pri práci s takýmito dátami.

Verzia 1.1 využíva pamäť DRAM a NVDIMM. Obe realizácie majú svoje nedostatky – relatívna strata efektivity a vysoké náklady na pamäť v porovnaní s Optane DCPMM. Diagram, ktorý poskytuje porovnávaciu hodnotu latencie, je zobrazený tu (s. 4).

Technológia podporuje a POSIX a práca so semantikou blokových alebo súborových systémov. Ochrana a obnova dát na úrovni úložiska je realizovaná pomocou MAX Snap a MAX Recovery. Tieto technológie využívajú vo svojej práci snímky, nástroj SnapMirror a iné ochranné mechanizmy ONTAP.

Schématicky realizácia vyzerá nasledovne:

Čo ponúknu nové úložiská pre systémy AI a ML

Na tomto schéme zatiaľ nie je PMEM, ale vývojári sľubujú, že podporu tohto typu pamäte pridajú do konca roka. Zatiaľ Max Data funguje s DRAM a DIMM.

Potenciál riešenia

V IDC tvrdia, že v najbližších rokoch sa objaví viac vývojov ako MAX Data, pretože objemy podnikových dát neustále rastú a spoločnostiam chýbajú kapacity na ich efektívne spracovanie. Technológia môže bude užitočné v rozsiahlej cloudovej infraštruktúre a pri práci s náročnými úlohami, ako je školenie neurónových sietí. Nájde uplatnenie na obchodných platformách, v informačných systémoch a akýchkoľvek iných softvérových produktoch, kde je potrebný stály a rýchly prístup k veľkým objemom informácií.

Existuje aj šanca, že technológia sa na trhu neuchytí hneď. Ako sme spomenuli vyššie, len tretina spoločností po celom svete pracuje so systémami AI v jednej alebo druhej forme. Z tohto pohľadu môžu mnohí považovať príchod MAX Data za predčasný a sústredia svoju pozornosť na dostupnejšiu infraštruktúru, ktorá umožňuje riešiť aktuálne úlohy.

Naše ďalšie materiály o IT infraštruktúre:

Zdroj: habr.com

Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery 🔥 Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery | ProHoster