Salut Habr! Seturile de date pentru Big Data și învățarea automată cresc exponential și trebuie să ne adaptăm pentru a le procesa. Postarea noastră este despre o altă tehnologie inovatoare în domeniul calculului de înaltă performanță (HPC, High Performance Computing), prezentată pe standul Kingston la . Aceasta este utilizarea sistemelor avansate de stocare (SAS) în servere cu procesoare grafice (GPU) și tehnologia GPUDirect Storage. Datorită schimbului de date direct între SAS și GPU, ocolind CPU-ul, se accelerează semnificativ încărcarea datelor în acceleratoarele GPU, permițând aplicațiilor Big Data să funcționeze la capacitate maximă, oferită de GPU-uri. În același timp, pe dezvoltatorii de sisteme HPC îi interesează progresele în tehnologia SAS cu cele mai înalte viteze de intrare/ieșire — cum ar fi cele produse de Kingston.
Performanța GPU depășește încărcarea datelor
De când în 2007 a fost creat CUDA — arhitectura hardware-software pentru calculul paralel bazat pe GPU pentru dezvoltarea aplicațiilor generice, capacitățile hardware ale GPU-urilor au crescut incredibil. Astăzi, GPU-urile sunt tot mai utilizate în aplicații HPC, cum ar fi Big Data, învățarea automată (ML, machine learning) și învățarea profundă (DL, deep learning).
Este de menționat că, în ciuda similitudinii termenilor, ultimele două sunt probleme algoritmic diferite. ML învață computerul pe baza datelor structurate, în timp ce DL se bazează pe răspunsul unei rețele neuronale. Un exemplu care ajută la înțelegerea diferențelor este destul de simplu. Să presupunem că computerul trebuie să distingă fotografiile câinilor de cele ale pisicilor, care sunt încărcate de pe un sistem de stocare. Pentru ML, este necesar să se furnizeze un set de imagini cu multe etichete, fiecare determinând o anumită caracteristică a animalului. Pentru DL, este suficient să încărcați un număr mult mai mare de imagini, dar cu un singur etichetă: „aceasta este o pisică” sau „acesta este un câine”. DL este foarte asemănător cu modul în care sunt învățați copiii mici — ei sunt pur și simplu expuși la imagini ale câinilor și pisicilor în cărți și în viața reală (de cele mai multe ori, fără a explica detaliile diferenței), iar creierul copilului începe singur să distingă tipul animalului după un anumit număr critic de imagini pentru comparație (se estimează că este vorba despre o sută-două de expuneri pe tot parcursul copilăriei timpurii). Algoritmii DL nu sunt încă atât de perfecți: pentru ca rețeaua neuronală să funcționeze cu aceeași succes în recunoașterea imaginilor, este necesar să se furnizeze și să se proceseze milioane de imagini în GPU.
Concluzia introducerii: pe baza GPU-urilor se pot construi aplicații HPC în domeniul Big Data, ML și DL, dar există o problemă - seturile de date sunt atât de mari încât timpul necesar pentru a încărca datele din sistemul de stocare în GPU începe să scadă performanța generală a aplicației. Cu alte cuvinte, procesoarele grafice rapide rămân neutilizate din cauza vitezei lente de intrare-ieșire a datelor venind din alte subsisteme. Diferența de viteză de intrare-ieșire între GPU și magistrala CPU/Sistem de Stocare poate fi semnificativă.
Cum funcționează tehnologia GPUDirect Storage?
Procesul de intrare-ieșire este controlat de CPU, la fel ca și procesul de încărcare a datelor din stocare în procesoarele grafice pentru procesare ulterioară. De aici apare cerința pentru o tehnologie care să ofere acces direct între GPU și unitățile NVMe pentru interacțiuni rapide între ele. Prima astfel de tehnologie a fost propusă de NVIDIA și a fost numită GPUDirect Storage. Practic, aceasta este o variantă a tehnologiei anterioare dezvoltate de ei, GPUDirect RDMA (Remote Direct Memory Address).
Jensen Huang, CEO-ul NVIDIA, prezintă GPUDirect Storage ca o variantă a GPUDirect RDMA la expoziția SC-19. Sursă: NVIDIA
Diferența dintre GPUDirect RDMA și GPUDirect Storage constă în dispozitivele între care se face adresarea. Tehnologia GPUDirect RDMA este dedicată mutării datelor direct între placa de rețea (NIC) și memoria GPU, în timp ce GPUDirect Storage oferă un traseu direct pentru transmiterea datelor între un depozit local sau la distanță, cum ar fi NVMe sau NVMe over Fabric (NVMe-oF), și memoria GPU.
Ambele opțiuni, GPUDirect RDMA și GPUDirect Storage, evită mișcările inutile ale datelor printr-un buffer în memoria CPU și permit mecanismului de acces direct la memorie (DMA) să transfere datele de la placa de rețea sau depozit direct în memoria GPU sau din aceasta — și toate acestea fără a solicita procesorul central. În cazul GPUDirect Storage, locația depozitului nu are importanță: aceasta poate fi un disc NVME situat în unitatea cu GPU, în dulap sau conectat prin rețea ca NVMe-oF.
Schema de funcționare a GPUDirect Storage. Sursa: NVIDIA
Soluțiile de stocare Hi-End pe NVMe sunt foarte căutate pe piața aplicațiilor HPC.
Înțelegând că, odată cu introducerea GPUDirect Storage, interesul clienților mari se va concentra pe ofertele de sisteme de stocare cu lățimi de bandă corespunzătoare capacității GPU, la târgul SC-19, Kingston a prezentat un demo al unui sistem format din soluții de stocare bazate pe discuri NVMe și unități cu GPU, în cadrul căruia au fost analizate mii de imagini satelitare pe secundă. Despre această soluție de stocare bazată pe 10 unități DC1000M U.2 NVMe am mai scris. .
Soluția de stocare bazată pe 10 unități DC1000M U.2 NVMe completează în mod adecvat un server cu acceleratoare grafice. Sursa: Kingston.
Această soluție de stocare este realizată sub formă de unitate de rack de 1U sau mai mare și poate fi scalată în funcție de numărul de discuri DC1000M U.2 NVMe, fiecare având o capacitate de 3.84-7.68 TB. DC1000M este primul model NVMe SSD în format U.2 din gama de soluții de stocare Kingston pentru centre de date. Acesta are o evaluare a durabilității (DWPD, Drive writes per day), care permite rescrierea datelor pe întreaga capacitate o dată pe zi pe parcursul duratei de viață garantate a dispozitivului.
În testul fio v3.13 pe sistemul de operare Ubuntu 18.04.3 LTS, kernel Linux 5.0.0-31-generic, prototipul soluției de stocare a arătat o viteză de citire (Sustained Read) de 5.8 milioane IOPS cu o lățime de bandă susținută (Sustained Bandwidth) de 23.8 Gbps.
Ariel Pérez, manager de afaceri SSD la Kingston, a caracterizat noile soluții de stocare: „Suntem pregătiți să furnizăm următoarea generație de servere cu soluții SSD U.2 NVMe, pentru a elimina multe dintre blocajele de transfer de date, care au fost în mod tradițional asociate cu sistemele de stocare. Combinația dintre unitățile NVMe SSD și memoria noastră de calitate superioară Server Premier DRAM face ca Kingston să fie unul dintre cei mai completi furnizori din industrie de soluții integrate pentru procesarea datelor.”
Testul gfio v3.13 a arătat o lățime de bandă de 23.8 Gbps pentru soluția de stocare demonstrativă cu discuri DC1000M U.2 NVMe. Sursa: Kingston
Cum va arăta un sistem tipic pentru aplicații HPC, în care este implementată tehnologia GPUDirect Storage sau o tehnologie similară? Aceasta este o arhitectură cu separarea fizică a blocurilor funcționale în cadrul unității: una sau două unități pentru memorie, câteva pentru noduri de calcul GPU și CPU și una sau mai multe unități pentru soluția de stocare.
Odată cu anunțul GPUDirect Storage și cu o posibilă apariție a tehnologiilor similare de la alți furnizori de GPU, pentru Kingston se extinde cererea de soluții de stocare concepute pentru utilizarea în calculul de înaltă performanță. Un indicator va fi viteza de citire a datelor din soluțiile de stocare, comparabilă cu lățimea de bandă a plăcilor de rețea de 40 sau 100 Gbps la intrarea în unitatea de calcul cu GPU. Astfel, soluțiile de stocare ultra-rapide, inclusiv NVMe externe prin Fabric, vor deveni mainstream pentru aplicațiile HPC. Pe lângă știință și calcule financiare, acestea vor găsi aplicația în multe alte domenii practice, cum ar fi sistemele de securitate la nivel de metropolă Safe City sau centrele de observație în transport, unde se cere viteza de recunoaștere și identificare la nivelul milioanelor de imagini HD pe secundă”, a definit nișa de piață a celor mai bune soluții de stocare.
Informații suplimentare despre produsele Kingston pot fi găsite pe companie.
Sursa: habr.com
