5.8 ΠΌΠ»Π½ IOPS: Π·Π°Ρ‡Π΅ΠΌ Ρ‚Π°ΠΊ ΠΌΠ½ΠΎΠ³ΠΎ?

ΠŸΡ€ΠΈΠ²Π΅Ρ‚ Π₯Π°Π±Ρ€! Наборы Π΄Π°Π½Π½Ρ‹Ρ… для Big Data ΠΈ машинного обучСния ΡΠΊΡΠΏΠΎΠ½Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎ растут ΠΈ Π½Π°Π΄ΠΎ ΡƒΡΠΏΠ΅Π²Π°Ρ‚ΡŒ ΠΈΡ… ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ. Наш пост ΠΎ Π΅Ρ‰Π΅ ΠΎΠ΄Π½ΠΎΠΉ ΠΈΠ½Π½ΠΎΠ²Π°Ρ†ΠΈΠΎΠ½Π½ΠΎΠΉ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ Π² области Π²Ρ‹ΡΠΎΠΊΠΎΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… вычислСний (HPC, High Performance Computing), ΠΏΠΎΠΊΠ°Π·Π°Π½Π½ΠΎΠΉ Π½Π° стСндС Kingston Π½Π° Supercomputing-2019. Π­Ρ‚ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Hi-End систСм хранСния Π΄Π°Π½Π½Ρ‹Ρ… (Π‘Π₯Π”) Π² сСрвСрах с графичСскими процСссорами (GPU) ΠΈ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠ΅ΠΉ ΡˆΠΈΠ½Ρ‹ GPUDirect Storage. Благодаря прямому ΠΎΠ±ΠΌΠ΅Π½Ρƒ Π΄Π°Π½Π½Ρ‹ΠΌΠΈ ΠΌΠ΅ΠΆΠ΄Ρƒ Π‘Π₯Π” ΠΈ GPU, минуя CPU, Π½Π° порядок ускоряСтся Π·Π°Π³Ρ€ΡƒΠ·ΠΊΠ° Π΄Π°Π½Π½Ρ‹Ρ… Π² GPU-ускоритСли, поэтому прилоТСния Big Data Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡŽΡ‚ΡΡ Π½Π° максимумС ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ ΠΎΠ±Π΅ΡΠΏΠ΅Ρ‡ΠΈΠ²Π°ΡŽΡ‚ GPU. Π’ свою ΠΎΡ‡Π΅Ρ€Π΅Π΄ΡŒ, Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΎΠ² HPC-систСм ΠΈΠ½Ρ‚Π΅Ρ€Π΅ΡΡƒΡŽΡ‚ достиТСния Π² области Π‘Π₯Π” с Π²Ρ‹ΡΠΎΡ‡Π°ΠΉΡˆΠ΅ΠΉ ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒΡŽ Π²Π²ΠΎΠ΄Π°/Π²Ρ‹Π²ΠΎΠ΄Π° β€” Ρ‚Π°ΠΊΠΈΡ…, ΠΊΠ°ΠΊΠΈΠ΅ выпускаСт Kingston.

5.8 ΠΌΠ»Π½ IOPS: Π·Π°Ρ‡Π΅ΠΌ Ρ‚Π°ΠΊ ΠΌΠ½ΠΎΠ³ΠΎ?

ΠŸΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ GPU ΠΎΠΏΠ΅Ρ€Π΅ΠΆΠ°Π΅Ρ‚ Π·Π°Π³Ρ€ΡƒΠ·ΠΊΡƒ Π΄Π°Π½Π½Ρ‹Ρ…

Π‘ Ρ‚Π΅Ρ… ΠΏΠΎΡ€, ΠΊΠ°ΠΊ Π² 2007 Π³ΠΎΠ΄Ρƒ Π±Ρ‹Π»Π° создана CUDA β€” ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ½ΠΎ-аппаратная Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π° ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½Ρ‹Ρ… вычислСний Π½Π° основС GPU для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΏΡ€ΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ ΠΎΠ±Ρ‰Π΅Π³ΠΎ назначСния, Π°ΠΏΠΏΠ°Ρ€Π°Ρ‚Π½Ρ‹Π΅ возмоТности самих GPU выросли нСвСроятно. БСгодня GPU находят всС большСС ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Π² области HPC-ΠΏΡ€ΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ, Ρ‚Π°ΠΊΠΈΡ… ΠΊΠ°ΠΊ большиС Π΄Π°Π½Π½Ρ‹Π΅ (Big Data), машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ (ML, machine learning) ΠΈ Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ΅ ΠΈΠ·ΡƒΡ‡Π΅Π½ΠΈΠ΅ (DL, deep learning).

ΠžΡ‚ΠΌΠ΅Ρ‚ΠΈΠΌ, Ρ‡Ρ‚ΠΎ нСсмотря Π½Π° ΡΡ…ΠΎΠΆΠ΅ΡΡ‚ΡŒ Ρ‚Π΅Ρ€ΠΌΠΈΠ½ΠΎΠ², Π΄Π²Π° послСдних β€” это алгоритмичСски Ρ€Π°Π·Π½Ρ‹Π΅ Π·Π°Π΄Π°Ρ‡ΠΈ. ML ΠΎΠ±ΡƒΡ‡Π°Π΅Ρ‚ ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€ Π½Π° основС структурированных Π΄Π°Π½Π½Ρ‹Ρ…, Π° DL β€” Π½Π° основС ΠΎΡ‚ΠΊΠ»ΠΈΠΊΠ° ΠΎΡ‚ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти. ΠŸΡ€ΠΈΠΌΠ΅Ρ€, ΠΏΠΎΠΌΠΎΠ³Π°ΡŽΡ‰ΠΈΠΉ ΠΏΠΎΠ½ΡΡ‚ΡŒ различия, довольно прост. ΠŸΡ€Π΅Π΄ΠΏΠΎΠ»ΠΎΠΆΠΈΠΌ, Ρ‡Ρ‚ΠΎ ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€ Π΄ΠΎΠ»ΠΆΠ΅Π½ ΠΎΡ‚Π»ΠΈΡ‡Π°Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ кошСк ΠΈ собак, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π·Π°Π³Ρ€ΡƒΠΆΠ°ΡŽΡ‚ΡΡ с Π‘Π₯Π”. Для ML слСдуСт ΠΏΠΎΠ΄Π°Ρ‚ΡŒ Π½Π°Π±ΠΎΡ€ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ с мноТСством Ρ‚Π΅Π³ΠΎΠ², ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ ΠΈΠ· ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… опрСдСляСт ΠΊΠ°ΠΊΡƒΡŽ-Ρ‚ΠΎ ΠΎΠ΄Π½Ρƒ ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎΡΡ‚ΡŒ ΠΆΠΈΠ²ΠΎΡ‚Π½ΠΎΠ³ΠΎ. Для DL достаточно Π·Π°Π³Ρ€ΡƒΠ·ΠΈΡ‚ΡŒ Π½Π°ΠΌΠ½ΠΎΠ³ΠΎ большСС число ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ, Π½ΠΎ всСго лишь с ΠΎΠ΄Π½ΠΈΠΌ Ρ‚Π΅Π³ΠΎΠΌ «это кошка» ΠΈΠ»ΠΈ «это собака». DL ΠΎΡ‡Π΅Π½ΡŒ ΠΏΠΎΡ…ΠΎΠΆΠ΅ Π½Π° Ρ‚ΠΎ, ΠΊΠ°ΠΊ ΡƒΡ‡Π°Ρ‚ ΠΌΠ°Π»Π΅Π½ΡŒΠΊΠΈΡ… Π΄Π΅Ρ‚Π΅ΠΉ β€” ΠΈΠΌ просто ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‚ изобраТСния собак ΠΈ кошСк Π² ΠΊΠ½ΠΈΠΆΠΊΠ°Ρ… ΠΈ Π² ΠΆΠΈΠ·Π½ΠΈ (Ρ‡Π°Ρ‰Π΅ всСго, Π΄Π°ΠΆΠ΅ Π½Π΅ объясняя Π΄Π΅Ρ‚Π°Π»ΡŒΠ½ΠΎΠ΅ Ρ€Π°Π·Π»ΠΈΡ‡ΠΈΠ΅), Π° ΠΌΠΎΠ·Π³ Ρ€Π΅Π±Π΅Π½ΠΊΠ° сам Π½Π°Ρ‡ΠΈΠ½Π°Π΅Ρ‚ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡ‚ΡŒ Ρ‚ΠΈΠΏ ΠΆΠΈΠ²ΠΎΡ‚Π½ΠΎΠ³ΠΎ послС Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ критичСского числа ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΎΠΊ для сравнСния (ΠΏΠΎ ΠΎΡ†Π΅Π½ΠΊΠ°ΠΌ, Ρ€Π΅Ρ‡ΡŒ ΠΈΠ΄Π΅Ρ‚ всСго ΠΎ сотнС-Π΄Ρ€ΡƒΠ³ΠΎΠΉ ΠΏΠΎΠΊΠ°Π·ΠΎΠ² Π·Π° всС врСмя Ρ€Π°Π½Π½Π΅Π³ΠΎ дСтства). Алгоритмы DL Π΅Ρ‰Π΅ Π½Π΅ Π½Π°ΡΡ‚ΠΎΠ»ΡŒΠΊΠΎ ΡΠΎΠ²Π΅Ρ€ΡˆΠ΅Π½Π½Ρ‹: Ρ‡Ρ‚ΠΎΠ±Ρ‹ Ρ‚Π°ΠΊΠΆΠ΅ ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎ ΠΌΠΎΠ³Π»Π° Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ Π½Π°Π΄ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠ² нСйронная ΡΠ΅Ρ‚ΡŒ, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΠΎΠ΄Π°Ρ‚ΡŒ ΠΈ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ Π² GPU ΠΌΠΈΠ»Π»ΠΈΠΎΠ½Ρ‹ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ.

Π˜Ρ‚ΠΎΠ³ прСдисловия: Π½Π° Π±Π°Π·Π΅ GPU ΠΌΠΎΠΆΠ½ΠΎ ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ HPC-прилоТСния Π² области Big Data, ML ΠΈ DL, Π½ΠΎ сущСствуСт ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ° β€” Π½Π°Π±ΠΎΡ€Ρ‹ Π΄Π°Π½Π½Ρ‹Ρ… Π½Π°ΡΡ‚ΠΎΠ»ΡŒΠΊΠΎ Π²Π΅Π»ΠΈΠΊΠΈ, Ρ‡Ρ‚ΠΎ врСмя, Π·Π°Ρ‚Ρ€Π°Ρ‡ΠΈΠ²Π°Π΅ΠΌΠΎΠ΅ Π½Π° Π·Π°Π³Ρ€ΡƒΠ·ΠΊΡƒ Π΄Π°Π½Π½Ρ‹Ρ… ΠΈΠ· систСмы хранСния Π² GPU, Π½Π°Ρ‡ΠΈΠ½Π°Π΅Ρ‚ ΡΠ½ΠΈΠΆΠ°Ρ‚ΡŒ ΠΎΠ±Ρ‰ΡƒΡŽ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ прилоТСния. Π˜Π½Ρ‹ΠΌΠΈ словами, быстрыС графичСскиС процСссоры ΠΎΡΡ‚Π°ΡŽΡ‚ΡΡ Π½Π΅Π΄ΠΎΠ³Ρ€ΡƒΠΆΠ΅Π½Π½Ρ‹ΠΌΠΈ Π²Π²ΠΈΠ΄Ρƒ ΠΌΠ΅Π΄Π»Π΅Π½Π½ΠΎΠ³ΠΎ Π²Π²ΠΎΠ΄Π°-Π²Ρ‹Π²ΠΎΠ΄Π° Π΄Π°Π½Π½Ρ‹Ρ…, ΠΏΠΎΡΡ‚ΡƒΠΏΠ°ΡŽΡ‰ΠΈΡ… ΠΎΡ‚ Π΄Ρ€ΡƒΠ³ΠΈΡ… подсистСм. Π Π°Π·Π½ΠΈΡ†Π° Π² скорости Π²Π²ΠΎΠ΄Π°/Π²Ρ‹Π²ΠΎΠ΄Π° GPU ΠΈ ΡˆΠΈΠ½Ρ‹ ΠΊ CPU/Π‘Π₯Π” ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ Π½Π° порядок.

Как Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ тСхнология GPUDirect Storage?

ΠŸΡ€ΠΎΡ†Π΅ΡΡ Π²Π²ΠΎΠ΄Π°-Π²Ρ‹Π²ΠΎΠ΄Π° контролируСтся CPU, Ρ‚Π°ΠΊΠΆΠ΅ ΠΊΠ°ΠΊ ΠΈ процСсс Π·Π°Π³Ρ€ΡƒΠ·ΠΊΠΈ Π΄Π°Π½Π½Ρ‹Ρ… ΠΈΠ· Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π° Π² графичСскиС процСссоры для ΠΏΠΎΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅ΠΉ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ. ΠžΡ‚ΡΡŽΠ΄Π° Π²ΠΎΠ·Π½ΠΈΠΊ запрос Π½Π° Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΡŽ, которая обСспСчила Π±Ρ‹ прямой доступ ΠΌΠ΅ΠΆΠ΄Ρƒ GPU ΠΈ NVMe-дисками для быстрого взаимодСйствия Π΄Ρ€ΡƒΠ³ с Π΄Ρ€ΡƒΠ³ΠΎΠΌ. ΠŸΠ΅Ρ€Π²ΠΎΠΉ Ρ‚Π°ΠΊΡƒΡŽ тСхнология ΠΏΡ€Π΅Π΄Π»ΠΎΠΆΠΈΠ»Π° NVIDIA ΠΈ Π½Π°Π·Π²Π°Π»Π° Π΅Π΅ GPUDirect Storage. По сути, это Ρ€Π°Π·Π½ΠΎΠ²ΠΈΠ΄Π½ΠΎΡΡ‚ΡŒ Ρ€Π°Π½Π΅Π΅ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Π°Π½Π½ΠΎΠΉ ΠΈΠΌΠΈ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ GPUDirect RDMA (Remote Direct Memory Address).

5.8 ΠΌΠ»Π½ IOPS: Π·Π°Ρ‡Π΅ΠΌ Ρ‚Π°ΠΊ ΠΌΠ½ΠΎΠ³ΠΎ?
ДТСнсСн Π₯ΡƒΠ°Π½Π³, Π³Π΅Π½Π΅Ρ€Π°Π»ΡŒΠ½Ρ‹ΠΉ Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΎΡ€ NVIDIA, ΠΏΡ€Π΅Π·Π΅Π½Ρ‚ΡƒΠ΅Ρ‚ GPUDirect Storage ΠΊΠ°ΠΊ Ρ€Π°Π·Π½ΠΎΠ²ΠΈΠ΄Π½ΠΎΡΡ‚ΡŒ GPUDirect RDMA Π½Π° выставкС SΠ‘-19. Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: NVIDIA

Π Π°Π·Π½ΠΈΡ†Π° ΠΌΠ΅ΠΆΠ΄Ρƒ GPUDirect RDMA ΠΈ GPUDirect Storage β€” Π² устройствах, ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌΠΈ осущСствляСтся адрСсация. ВСхнология GPUDirect RDMA ΠΏΠ΅Ρ€Π΅Π½Π°Π·Π½Π°Ρ‡Π΅Π½Π° для пСрСмСщСния Π΄Π°Π½Π½Ρ‹Ρ… нСпосрСдствСнно ΠΌΠ΅ΠΆΠ΄Ρƒ Π²Ρ…ΠΎΠ΄Π½ΠΎΠΉ ΠΊΠ°Ρ€Ρ‚ΠΎΠΉ сСтСвого интСрфСйса (NIC) ΠΈ ΠΏΠ°ΠΌΡΡ‚ΡŒΡŽ GPU, Π° GPUDirect Storage обСспСчиваСт прямой ΠΏΡƒΡ‚ΡŒ ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ Π΄Π°Π½Π½Ρ‹Ρ… ΠΌΠ΅ΠΆΠ΄Ρƒ Π»ΠΎΠΊΠ°Π»ΡŒΠ½Ρ‹ΠΌ ΠΈΠ»ΠΈ ΡƒΠ΄Π°Π»Π΅Π½Π½Ρ‹ΠΌ Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π΅ΠΌ, Ρ‚Π°ΠΊΠΈΠΌ ΠΊΠ°ΠΊ NVMe ΠΈΠ»ΠΈ NVMe Ρ‡Π΅Ρ€Π΅Π· Fabric (NVMe-oF) ΠΈ ΠΏΠ°ΠΌΡΡ‚ΡŒΡŽ GPU.

Оба Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Π°, GPUDirect RDMA ΠΈ GPUDirect Storage, ΠΈΠ·Π±Π΅Π³Π°ΡŽΡ‚ Π»ΠΈΡˆΠ½ΠΈΡ… ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Ρ‰Π΅Π½ΠΈΠΉ Π΄Π°Π½Π½Ρ‹Ρ… Ρ‡Π΅Ρ€Π΅Π· Π±ΡƒΡ„Π΅Ρ€ Π² памяти CPU ΠΈ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‚ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡƒ прямого доступа ΠΊ памяти (DMA) ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Ρ‰Π°Ρ‚ΡŒ Π΄Π°Π½Π½Ρ‹Π΅ ΠΎΡ‚ сСтСвой ΠΊΠ°Ρ€Ρ‚Ρ‹ ΠΈΠ»ΠΈ Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π° сразу Π² ΠΏΠ°ΠΌΡΡ‚ΡŒ GPU ΠΈΠ»ΠΈ ΠΈΠ· Π½Π΅Π΅ β€” ΠΈ всС это Π±Π΅Π· Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠΈ Π½Π° Ρ†Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½Ρ‹ΠΉ процСссор. Для GPUDirect Storage мСстополоТСниС Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π° Π½Π΅ ΠΈΠΌΠ΅Π΅Ρ‚ значСния: это ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ NVME-диск Π²Π½ΡƒΡ‚Ρ€ΠΈ ΡŽΠ½ΠΈΡ‚Π° с GPU, Π²Π½ΡƒΡ‚Ρ€ΠΈ стойки ΠΈΠ»ΠΈ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ ΠΏΠΎ сСти ΠΊΠ°ΠΊ NVMe-oF.

5.8 ΠΌΠ»Π½ IOPS: Π·Π°Ρ‡Π΅ΠΌ Ρ‚Π°ΠΊ ΠΌΠ½ΠΎΠ³ΠΎ?
Π‘Ρ…Π΅ΠΌΠ° Ρ€Π°Π±ΠΎΡ‚Ρ‹ GPUDirect Storage. Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: NVIDIA

Hi-End Π‘Π₯Π” Π½Π° NVMe вострСбованы Π½Π° Ρ€Ρ‹Π½ΠΊΠ΅ HPC-ΠΏΡ€ΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ

Понимая, Ρ‡Ρ‚ΠΎ с появлСниСм GPUDirect Storage интСрСс ΠΊΡ€ΡƒΠΏΠ½Ρ‹Ρ… ΠΊΠ»ΠΈΠ΅Π½Ρ‚ΠΎΠ² Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΠ±Ρ€Π°Ρ‰Π΅Π½ Π½Π° ΠΏΡ€Π΅Π΄Π»ΠΎΠΆΠ΅Π½ΠΈΠ΅ систСм хранСния со ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒΡŽ Π²Π²ΠΎΠ΄Π°/Π²Ρ‹Π²ΠΎΠ΄Π°, ΡΠΎΠΎΡ‚Π²Π΅Ρ‚ΡΡ‚Π²ΡƒΡŽΡ‰Π΅ΠΉ пропускной способности GPU, Π½Π° выставкС SC-19 Kingston ΠΏΠΎΠΊΠ°Π·Π°Π» Π΄Π΅ΠΌΠΎ систСмы, состоящСй ΠΈΠ· Π‘Π₯Π” Π½Π° Π±Π°Π·Π΅ NVMe-дисков ΠΈ ΡŽΠ½ΠΈΡ‚Π° с GPU, Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ проводился Π°Π½Π°Π»ΠΈΠ· тысяч спутниковых снимков Π² сСкунду. О Ρ‚Π°ΠΊΠΎΠΉ Π‘Π₯Π” Π½Π° Π±Π°Π·Π΅ 10 Π½Π°ΠΊΠΎΠΏΠΈΡ‚Π΅Π»Π΅ΠΉ DC1000M U.2 NVMe ΠΌΡ‹ ΡƒΠΆΠ΅ писали Π² Ρ€Π΅ΠΏΠΎΡ€Ρ‚Π°ΠΆΠ΅ с выставки ΡΡƒΠΏΠ΅Ρ€ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€ΠΎΠ².

5.8 ΠΌΠ»Π½ IOPS: Π·Π°Ρ‡Π΅ΠΌ Ρ‚Π°ΠΊ ΠΌΠ½ΠΎΠ³ΠΎ?
Π‘Π₯Π” Π½Π° Π±Π°Π·Π΅ 10 Π½Π°ΠΊΠΎΠΏΠΈΡ‚Π΅Π»Π΅ΠΉ DC1000M U.2 NVMe достойно дополняСт сСрвСр с графичСскими ускоритСлями. Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: Kingston

Вакая Π‘Π₯Π” выполняСтся Π² Π²ΠΈΠ΄Π΅ стоСчного ΡŽΠ½ΠΈΡ‚Π° 1U ΠΈΠ»ΠΈ большС ΠΈ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ Π² зависимости ΠΎΡ‚ числа дисков DC1000M U.2 NVMe, Π³Π΄Π΅ ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ Π΅ΠΌΠΊΠΎΡΡ‚ΡŒΡŽ 3.84-7.68 Π’Π‘. DC1000M являСтся ΠΏΠ΅Ρ€Π²ΠΎΠΉ модСлью NVMe SSD Π² Ρ„ΠΎΡ€ΠΌ-Ρ„Π°ΠΊΡ‚ΠΎΡ€Π΅ U.2 Π² Π»ΠΈΠ½Π΅ΠΉΠΊΠ΅ Π½Π°ΠΊΠΎΠΏΠΈΡ‚Π΅Π»Π΅ΠΉ Kingston для Π΄Π°Ρ‚Π°-Ρ†Π΅Π½Ρ‚Ρ€ΠΎΠ². Он ΠΎΠ±Π»Π°Π΄Π°Π΅Ρ‚ Ρ€Π΅ΠΉΡ‚ΠΈΠ½Π³ΠΎΠΌ выносливости (DWPD, Drive writes per day), ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‰ΠΈΠΌ ΠΏΠ΅Ρ€Π΅Π·Π°ΠΏΠΈΡΡ‹Π²Π°Ρ‚ΡŒ Π΄Π°Π½Π½Ρ‹Π΅ Π½Π° ΠΏΠΎΠ»Π½ΡƒΡŽ Π΅ΠΌΠΊΠΎΡΡ‚ΡŒ ΠΎΠ΄ΠΈΠ½ Ρ€Π°Π· Π² дСнь Π² Ρ‚Π΅Ρ‡Π΅Π½ΠΈΠ΅ Π³Π°Ρ€Π°Π½Ρ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½ΠΎΠ³ΠΎ срока слуТбы накопитСля.

Π’ тСстС fio v3.13 Π½Π° ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΎΠ½Π½ΠΎΠΉ систСмС Ubuntu 18.04.3 LTS, Linux kernel 5.0.0-31-generic выставочный ΠΎΠ±Ρ€Π°Π·Π΅Ρ† Π‘Π₯Π” ΠΏΠΎΠΊΠ°Π·Π°Π» ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ чтСния (Sustained Read) 5.8 ΠΌΠ»Π½ IOPS ΠΏΡ€ΠΈ устойчивой пропускной способности (Sustained Bandwidth) 23.8 Π“Π±ΠΈΡ‚/с.

ΠΡ€ΠΈΡΠ»ΡŒ ΠŸΠ΅Ρ€Π΅Ρ, бизнСс-ΠΌΠ΅Π½Π΅Π΄ΠΆΠ΅Ρ€ SSD Π² Kingston, Ρ‚Π°ΠΊ ΠΎΡ…Π°Ρ€Π°ΠΊΡ‚Π΅Ρ€ΠΈΠ·ΠΎΠ²Π°Π» Π½ΠΎΠ²Ρ‹Π΅ Π‘Π₯Π”: Β«ΠœΡ‹ Π³ΠΎΡ‚ΠΎΠ²Ρ‹ ΡΠ½Π°Π±Π΄ΠΈΡ‚ΡŒ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅ ΠΏΠΎΠΊΠΎΠ»Π΅Π½ΠΈΠ΅ сСрвСров SSD-Ρ€Π΅ΡˆΠ΅Π½ΠΈΡΠΌΠΈ U.2 NVMe, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΡΡ‚Ρ€Π°Π½ΠΈΡ‚ΡŒ ΠΌΠ½ΠΎΠ³ΠΈΠ΅ ΡƒΠ·ΠΊΠΈΠ΅ мСста Π² ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡Π΅ Π΄Π°Π½Π½Ρ‹Ρ…, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½ΠΎ Π±Ρ‹Π»ΠΈ связаны с систСмой хранСния. Π‘ΠΎΡ‡Π΅Ρ‚Π°Π½ΠΈΠ΅ Π½Π°ΠΊΠΎΠΏΠΈΡ‚Π΅Π»Π΅ΠΉ NVMe SSD ΠΈ нашСй ΠΏΡ€Π΅ΠΌΠΈΠ°Π»ΡŒΠ½ΠΎΠΉ ΠΎΠΏΠ΅Ρ€Π°Ρ‚ΠΈΠ²Π½ΠΎΠΉ памяти Server Premier DRAM Π΄Π΅Π»Π°Π΅Ρ‚ Kingston ΠΎΠ΄Π½ΠΈΠΌ ΠΈΠ· самых ΠΏΠΎΠ»Π½Ρ‹Ρ… Π² отрасли поставщиков комплСксных Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΉ для ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ Π΄Π°Π½Π½Ρ‹Ρ…Β».

5.8 ΠΌΠ»Π½ IOPS: Π·Π°Ρ‡Π΅ΠΌ Ρ‚Π°ΠΊ ΠΌΠ½ΠΎΠ³ΠΎ?
ВСст gfio v3.13 ΠΏΠΎΠΊΠ°Π·Π°Π» ΠΏΡ€ΠΎΠΏΡƒΡΠΊΠ½ΡƒΡŽ ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡ‚ΡŒ 23.8 Π“Π±ΠΈΡ‚/с для дСмонстрационной Π‘Π₯Π” Π½Π° дисках DC1000M U.2 NVMe. Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: Kingston

Как Π±ΡƒΠ΄Π΅Ρ‚ Π²Ρ‹Π³Π»ΡΠ΄Π΅Ρ‚ΡŒ типичная систСма для HPC-ΠΏΡ€ΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ, Π³Π΄Π΅ Ρ€Π΅Π°Π»ΠΈΠ·ΠΎΠ²Π°Π½Π° тСхнология GPUDirect Storage ΠΈΠ»ΠΈ аналогичная Π΅ΠΉ? Π­Ρ‚ΠΎ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π° с физичСским Ρ€Π°Π·Π΄Π΅Π»Π΅Π½ΠΈΠ΅ΠΌ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½Ρ‹Ρ… Π±Π»ΠΎΠΊΠΎΠ² Π² ΠΏΡ€Π΅Π΄Π΅Π»Π°Ρ… стойки: ΠΎΠ΄ΠΈΠ½-Π΄Π²Π° ΡŽΠ½ΠΈΡ‚Π° Π½Π° ΠΎΠΏΠ΅Ρ€Π°Ρ‚ΠΈΠ²Π½ΡƒΡŽ ΠΏΠ°ΠΌΡΡ‚ΡŒ, Π΅Ρ‰Π΅ нСсколько Π½Π° Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ ΡƒΠ·Π»Ρ‹ GPU ΠΈ CPU ΠΈ ΠΎΠ΄ΠΈΠ½ ΠΈΠ»ΠΈ нСсколько ΡŽΠ½ΠΈΡ‚ΠΎΠ² ΠΏΠΎΠ΄ Π‘Π₯Π”.

Π‘ анонсом GPUDirect Storage ΠΈ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½Ρ‹ΠΌ появлСниСм Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½Ρ‹Ρ… Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΉ Ρƒ Π΄Ρ€ΡƒΠ³ΠΈΡ… Π²Π΅Π½Π΄ΠΎΡ€ΠΎΠ² GPU, для Kingston Ρ€Π°ΡΡˆΠΈΡ€ΡΠ΅Ρ‚ΡΡ спрос Π½Π° Π‘Π₯Π”, рассчитанныС Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Π² Π²Ρ‹ΡΠΎΠΊΠΎΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… вычислСниях. ΠœΠ°Ρ€ΠΊΠ΅Ρ€ΠΎΠΌ Π±ΡƒΠ΄Π΅Ρ‚ ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ чтСния Π΄Π°Π½Π½Ρ‹Ρ… ΠΈΠ· Π‘Π₯Π”, сопоставимая с пропускной ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡ‚ΡŒΡŽ 40- ΠΈΠ»ΠΈ 100-Π“Π±ΠΈΡ‚Π½Ρ‹Ρ… сСтСвых ΠΊΠ°Ρ€Ρ‚ Π½Π° Π²Ρ…ΠΎΠ΄Π΅ Π² Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ ΡŽΠ½ΠΈΡ‚ с GPU. Π’Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ, ΡƒΠ»ΡŒΡ‚Ρ€Π°ΡΠΊΠΎΡ€ΠΎΡΡ‚Π½Ρ‹Π΅ Π‘Π₯Π”, Π² Ρ‚ΠΎΠΌ числС внСшниС NVMe Ρ‡Π΅Ρ€Π΅Π· Fabric, ΠΈΠ· экзотики станут мэйнстримом для HPC-ΠΏΡ€ΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ. ΠšΡ€ΠΎΠΌΠ΅ Π½Π°ΡƒΠΊΠΈ ΠΈ финансовых расчСтов, ΠΎΠ½ΠΈ Π½Π°ΠΉΠ΄ΡƒΡ‚ ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Π²ΠΎ ΠΌΠ½ΠΎΠ³ΠΈΡ… Π΄Ρ€ΡƒΠ³ΠΈΡ… практичСских областях, Ρ‚Π°ΠΊΠΈΡ… ΠΊΠ°ΠΊ систСмы бСзопасности уровня мСгаполиса Safe City ΠΈΠ»ΠΈ Ρ†Π΅Π½Ρ‚Ρ€ΠΎΠ² наблюдСния Π½Π° транспортС, Π³Π΄Π΅ трСбуСтся ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ распознавания ΠΈ ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΠΈ Π½Π° ΡƒΡ€ΠΎΠ²Π½Π΅ ΠΌΠΈΠ»Π»ΠΈΠΎΠ½ΠΎΠ² HD-ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ Π² сСкунду», β€” ΠΎΠ±ΠΎΠ·Π½Π°Ρ‡ΠΈΠ» Ρ€Ρ‹Π½ΠΎΡ‡Π½ΡƒΡŽ Π½ΠΈΡˆΡƒ Ρ‚ΠΎΠΏΠΎΠ²Ρ‹Ρ… Π‘Π₯Π”

Π”ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΡƒΡŽ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ ΠΎ ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚Π°Ρ… Kingston ΠΌΠΎΠΆΠ½ΠΎ Π½Π°ΠΉΡ‚ΠΈ Π½Π° ΠΎΡ„ΠΈΡ†ΠΈΠ°Π»ΡŒΠ½ΠΎΠΌ сайтС ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ.

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: habr.com

Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ