IOPS 5.8 သန်း- ဘာကြောင့် ဒီလောက်များလဲ။

မင်္ဂလာပါ Habr။ Big Data နှင့် machine learning အတွက် ဒေတာအစုံများသည် အဆမတန်ကြီးထွားလာကာ ၎င်းတို့နှင့်လိုက်လျောညီထွေရှိရန် လိုအပ်ပါသည်။ Kingston booth တွင် ပြသထားသော စွမ်းဆောင်ရည်မြင့် ကွန်ပျူတာ (HPC၊ High Performance Computing) နယ်ပယ်တွင် အခြားသော ဆန်းသစ်တီထွင်နည်းပညာများအကြောင်း ကျွန်ုပ်တို့၏ ပို့စ်၊ စူပါကွန်ပြူတာ-၂၀၁၉. ၎င်းသည် ဂရပ်ဖစ်လုပ်ဆောင်ခြင်းယူနစ် (GPU) နှင့် GPUDirect Storage bus နည်းပညာပါရှိသော ဆာဗာများတွင် Hi-End ဒေတာသိုလှောင်မှုစနစ် (SDS) ကို အသုံးပြုခြင်းဖြစ်သည်။ သိုလှောင်မှုစနစ်နှင့် GPU အကြား တိုက်ရိုက်ဒေတာဖလှယ်မှုကြောင့် CPU ကိုကျော်ဖြတ်ကာ GPU အရှိန်မြှင့်စက်များထဲသို့ ဒေတာများတင်ခြင်းကို ပြင်းအားအစီအစဥ်ဖြင့် အရှိန်မြှင့်ပေးသည့်အတွက် GPUs ပေးဆောင်သည့် အမြင့်ဆုံးစွမ်းဆောင်ရည်ဖြင့် Big Data အပလီကေးရှင်းများကို လုပ်ဆောင်သည်။ တစ်ဖန်၊ HPC စနစ် developer များသည် Kingston မှထုတ်လုပ်သည့် အမြင့်ဆုံး I/O အမြန်နှုန်းဖြင့် သိုလှောင်မှုစနစ်များတွင် တိုးတက်မှုကို စိတ်ဝင်စားကြသည်။

GPU စွမ်းဆောင်ရည်သည် ဒေတာတင်ခြင်းထက် သာလွန်သည်။

ယေဘူယျရည်ရွယ်ချက်အပလီကေးရှင်းများဖန်တီးရန်အတွက် GPU-based hardware နှင့် software parallel computing architecture CUDA ကို 2007 ခုနှစ်တွင် ဖန်တီးခဲ့ပြီးဖြစ်သောကြောင့် GPUs များ၏ hardware စွမ်းရည်များသည် မယုံနိုင်လောက်အောင် ကြီးထွားလာပါသည်။ ယနေ့တွင်၊ GPU များကို Big Data၊ machine learning (ML) နှင့် deep learning (DL) ကဲ့သို့သော HPC အပလီကေးရှင်းများတွင် ပိုမိုအသုံးပြုလာကြသည်။

ဝေါဟာရများ တူညီနေသော်လည်း နောက်ဆုံးနှစ်ခုသည် အယ်လ်ဂိုရီသမ်အရ ကွဲပြားသော လုပ်ဆောင်ချက်များကို သတိပြုပါ။ ML သည် ကွန်ပြူတာအား ဖွဲ့စည်းတည်ဆောက်ထားသည့် အချက်အလက်ပေါ်အခြေခံ၍ လေ့ကျင့်ပေးကာ DL သည် အာရုံကြောကွန်ရက်မှ တုံ့ပြန်ချက်များကို အခြေခံ၍ ကွန်ပျူတာကို လေ့ကျင့်ပေးသည်။ ကွဲပြားမှုများကို နားလည်ရန် ဥပမာတစ်ခုသည် ရိုးရှင်းပါသည်။ ကွန်ပျူတာသည် သိုလှောင်မှုစနစ်မှ တင်ဆောင်လာသော ကြောင်များနှင့် ခွေးများ၏ ဓာတ်ပုံများကို ပိုင်းခြားနိုင်သည်ဟု ယူဆကြပါစို့။ ML အတွက်၊ သင်သည် တိရိစ္ဆာန်၏ သီးခြားအင်္ဂါရပ်တစ်ခုစီကို သတ်မှတ်ပေးသည့် တဂ်များစွာပါသော ပုံအစုံကို တင်ပြသင့်သည်။ DL အတွက်၊ များစွာသော ပုံများစွာကို အပ်လုဒ်လုပ်ရန် လုံလောက်သည်၊ သို့သော် "ဒါက ကြောင်" သို့မဟုတ် "ဒါက ခွေးဖြစ်သည်" တဂ်တစ်ခုဖြင့်သာ။ DL သည် ကလေးများအား သင်ကြားပုံနှင့် အလွန်ဆင်တူသည် - ၎င်းတို့သည် စာအုပ်များတွင် ခွေးနှင့်ကြောင်ပုံများကို ရိုးရိုးရှင်းရှင်းပြသထားပြီး ဘဝတွင် (အသေးစိတ်ကွဲပြားမှုကို ရှင်းပြခြင်းပင်မပြုဘဲ) နှင့် ကလေး၏ဦးနှောက်ကိုယ်တိုင်က နောက်ပိုင်းတွင် တိရစ္ဆာန်အမျိုးအစားကို စတင်ဆုံးဖြတ်သည်။ နှိုင်းယှဉ်ရန်အတွက် အရေးကြီးသော ပုံအရေအတွက်အချို့ (ခန့်မှန်းချက်များအရ၊ ကျွန်ုပ်တို့သည် ငယ်ရွယ်စဉ် ကလေးဘဝတစ်လျှောက်ရှိုးပေါင်း တစ်ရာ သို့မဟုတ် နှစ်ပုံခန့်သာ စကားပြောသည်)။ DL အယ်လဂိုရီသမ်များသည် ပြီးပြည့်စုံမှုမရှိသေးပါ- အာရုံကြောကွန်ရက်တစ်ခုသည် ရုပ်ပုံများကို ခွဲခြားသတ်မှတ်ရာတွင်လည်း အောင်မြင်စွာလုပ်ဆောင်နိုင်စေရန်အတွက်၊ ရုပ်ပုံသန်းပေါင်းများစွာကို GPU ထဲသို့ ကျွေးမွေးပြီး လုပ်ဆောင်ရန် လိုအပ်ပါသည်။

နိဒါန်း၏ အကျဉ်းချုပ်- GPU များကို အခြေခံ၍ Big Data၊ ML နှင့် DL နယ်ပယ်တွင် HPC အပလီကေးရှင်းများကို သင်တည်ဆောက်နိုင်သည်၊ သို့သော် ပြဿနာတစ်ခုရှိသည် - ဒေတာအစုံများသည် အလွန်ကြီးမားသောကြောင့် သိုလှောင်မှုစနစ်မှ ဒေတာကို GPU သို့ တင်သည့်အချိန်ကုန်ဆုံးချိန်၊ အပလီကေးရှင်း၏ အလုံးစုံစွမ်းဆောင်ရည်ကို လျှော့ချရန် စတင်သည်။ တစ်နည်းဆိုရသော်၊ အခြားစနစ်ခွဲများမှလာသော နှေးကွေးသော I/O ဒေတာကြောင့် အမြန် GPU များကို အသုံးမပြုနိုင်ပါ။ GPU ၏ I/O အမြန်နှုန်းနှင့် CPU/storage စနစ်ဆီသို့ bus ၏ ကွာခြားချက်မှာ ပြင်းအားတစ်ခုဖြစ်သည်။

GPUDirect Storage နည်းပညာက ဘယ်လိုအလုပ်လုပ်သလဲ။

I/O လုပ်ငန်းစဉ်ကို CPU မှ ထိန်းချုပ်ထားပြီး နောက်ထပ်လုပ်ဆောင်ရန်အတွက် သိုလှောင်မှုမှ GPU များသို့ ဒေတာများတင်ဆောင်သည့် လုပ်ငန်းစဉ်ဖြစ်သည်။ ယင်းကြောင့် တစ်ဦးနှင့်တစ်ဦး လျင်မြန်စွာ ဆက်သွယ်နိုင်ရန် GPU နှင့် NVMe drives များကြား တိုက်ရိုက်ဝင်ရောက်ခွင့်ကို ပံ့ပိုးပေးမည့် နည်းပညာတောင်းဆိုမှုကို ဖြစ်ပေါ်စေခဲ့သည်။ NVIDIA သည် ထိုသို့သောနည်းပညာကို ပထမဆုံးကမ်းလှမ်းခဲ့ပြီး ၎င်းကို GPUDirect Storage ဟုခေါ်သည်။ အမှန်မှာ၊ ၎င်းသည် ၎င်းတို့ယခင်က ထုတ်လုပ်ခဲ့သော GPUDirect RDMA (Remote Direct Memory Address) နည်းပညာ၏ ပြောင်းလဲမှုတစ်ခုဖြစ်သည်။

NVIDIA ၏ CEO Jensen Huang သည် GPUDirect Storage ကို SC-19 တွင် GPUDirect RDMA ၏ မူကွဲတစ်ခုအဖြစ် တင်ပြပါမည်။ အရင်းအမြစ်- NVIDIA

GPUDirect RDMA နှင့် GPUDirect Storage အကြား ခြားနားချက်မှာ လိပ်စာကို လုပ်ဆောင်သည့် စက်များကြားတွင် ဖြစ်သည်။ GPUDirect RDMA နည်းပညာသည် front-end network interface card (NIC) နှင့် GPU memory အကြား ဒေတာကို တိုက်ရိုက်ရွှေ့ရန် ပြန်လည်အသုံးပြုထားပြီး GPUDirect Storage သည် NVMe သို့မဟုတ် NVMe over Fabric (NVMe-oF) ကဲ့သို့ ဒေသဆိုင်ရာ သို့မဟုတ် အဝေးထိန်းသိမ်းဆည်းမှုကြား တိုက်ရိုက်ဒေတာလမ်းကြောင်းကို ပံ့ပိုးပေးပါသည်။ GPU မမ်မိုရီ။

GPUDirect RDMA နှင့် GPUDirect Storage နှစ်ခုလုံးသည် CPU memory အတွင်းရှိ ကြားခံတစ်ခုမှတစ်ဆင့် မလိုအပ်သောဒေတာလှုပ်ရှားမှုများကို ရှောင်ကြဉ်ပြီး ကွန်ရက်ကတ် သို့မဟုတ် သိုလှောင်မှုမှဒေတာများကို ဗဟို CPU ပေါ်တွင် တင်စရာမလိုဘဲ တိုက်ရိုက်မှတ်ဉာဏ်ဝင်ရောက်ခွင့် (DMA) ယန္တရားအား ခွင့်ပြုပါသည်။ GPUDirect Storage အတွက်၊ သိုလှောင်မှုတည်နေရာသည် အရေးမကြီးပါ- ၎င်းသည် GPU ယူနစ်အတွင်းရှိ NVME ဒစ်ခ်၊ ထိန်သိမ်းအတွင်း သို့မဟုတ် NVMe-oF အဖြစ် ကွန်ရက်ပေါ်တွင် ချိတ်ဆက်ထားနိုင်သည်။

GPUDirect Storage ၏ လည်ပတ်မှုပုံစံ။ အရင်းအမြစ်- NVIDIA

NVMe ရှိ Hi-End သိုလှောင်မှုစနစ်များသည် HPC အပလီကေးရှင်းဈေးကွက်တွင် ဝယ်လိုအားရှိနေသည်။

GPUDirect Storage ထွန်းကားလာသည်နှင့်အမျှ၊ သုံးစွဲသူကြီးများ၏ စိတ်ဝင်စားမှုသည် GPU ၏ဖြတ်သန်းမှုနှုန်းနှင့်ကိုက်ညီသော I/O အမြန်နှုန်းများဖြင့် သိုလှောင်မှုစနစ်များကို ပေးဆောင်ရန် စိတ်ဝင်စားလာမည်ဖြစ်ကြောင်း SC-19 ပြပွဲတွင် Kingston က SC-10 ပြပွဲတွင် Kingston မှ စနစ်တစ်ခု၏သရုပ်ပြပြသခဲ့သည်။ NVMe ဒစ်ခ်များနှင့် GPU ပါရှိသော ယူနစ်ကို အခြေခံသည့် သိုလှောင်မှုစနစ်သည် တစ်စက္ကန့်လျှင် ဂြိုလ်တုပုံရိပ်ထောင်ပေါင်းများစွာကို ပိုင်းခြားစိတ်ဖြာသည်။ DC1000M U.2 NVMe drives XNUMX ခုကို အခြေခံ၍ ထိုသို့သော သိုလှောင်မှုစနစ်အကြောင်း ကျွန်ုပ်တို့ ရေးသားထားပြီးဖြစ်သည်။ စူပါကွန်ပြူတာ ပြပွဲမှ အစီရင်ခံစာတစ်စောင်တွင် ဖော်ပြထားသည်။.

10 DC1000M U.2 NVMe ပေါ်အခြေခံထားသော သိုလှောင်မှုစနစ်သည် ဆာဗာတစ်ခုအား ဂရပ်ဖစ်အရှိန်မြှင့်ကိရိယာများဖြင့် လုံလောက်စွာဖြည့်စွက်ပေးပါသည်။ အရင်းအမြစ်- Kingston

ဤသိုလှောင်မှုစနစ်ကို 1U သို့မဟုတ် ပိုကြီးသော rack ယူနစ်အဖြစ် ဒီဇိုင်းထုတ်ထားပြီး တစ်ခုစီသည် 1000-2 TB ရှိသော DC3.84M U.7.68 NVMe ဒရိုက်များ၏ အရေအတွက်ပေါ်မူတည်၍ အတိုင်းအတာဖြင့် ချိန်ညှိနိုင်သည်။ DC1000M သည် Kingston ၏ဒေတာစင်တာဒရိုက်ဗ်များတွင် U.2 ဖောင်ပုံစံအချက်တွင် ပထမဆုံး NVMe SSD မော်ဒယ်ဖြစ်သည်။ ၎င်းတွင် ခံနိုင်ရည်အဆင့်သတ်မှတ်ချက် (DWPD၊ Drive သည် တစ်ရက်လျှင် ရေးသည်) ပါရှိပြီး ၎င်းသည် drive ၏ အာမခံသက်တမ်းအတွက် တစ်နေ့လျှင် တစ်ကြိမ် ဒေတာကို ၎င်း၏စွမ်းရည်အပြည့်ဖြင့် ပြန်လည်ရေးသားနိုင်စေမည်ဖြစ်သည်။

Ubuntu 3.13 LTS လည်ပတ်မှုစနစ်၊ Linux kernel 18.04.3-5.0.0-generic ရှိ fio v31 စမ်းသပ်မှုတွင်၊ ပြပွဲသိုလှောင်မှုနမူနာတွင် 5.8 မီလီယံ IOPS ၏ ဖတ်ရှုနှုန်း (Sustained Read) ကို ပြသခဲ့သည် ) 23.8 Gbit/s ။

Kingston မှ SSD လုပ်ငန်းမန်နေဂျာ Ariel Perez က သိုလှောင်မှုစနစ်အသစ်နှင့်ပတ်သက်၍ “ကျွန်ုပ်တို့သည် အစဉ်အလာသိုလှောင်မှုနှင့် ဆက်နွှယ်နေသည့် ဒေတာလွှဲပြောင်းမှုဆိုင်ရာ ပိတ်ဆို့မှုများစွာကို ဖယ်ရှားရန် U.2 NVMe SSD ဖြေရှင်းချက်များနှင့် မျိုးဆက်သစ်ဆာဗာများကို တပ်ဆင်ရန် ကျွန်ုပ်တို့ အသင့်ရှိနေပါသည်။ NVMe SSD ဒရိုက်များနှင့် ကျွန်ုပ်တို့၏ ပရီမီယံဆာဗာ Premier DRAM ပေါင်းစပ်မှုသည် Kingston သည် စက်မှုလုပ်ငန်း၏ အပြည့်စုံဆုံး အဆုံးမှအဆုံး ဒေတာဖြေရှင်းချက်ပေးသူများထဲမှ တစ်ခုဖြစ်လာစေသည်။"

gfio v3.13 စမ်းသပ်မှုတွင် DC23.8M U.1000 NVMe drives များရှိ သရုပ်ပြသိုလှောင်မှုစနစ်အတွက် 2 Gbps ဖြတ်သန်းမှုကို ပြသခဲ့သည်။ အရင်းအမြစ်- Kingston

GPUDirect Storage သို့မဟုတ် အလားတူနည်းပညာကို အသုံးပြုထားသည့် HPC အပလီကေးရှင်းများအတွက် ပုံမှန်စနစ်သည် အဘယ်နည်း။ ၎င်းသည် rack တစ်ခုအတွင်း လုပ်ဆောင်နိုင်သော ယူနစ်များကို ရုပ်ပိုင်းဆိုင်ရာ ပိုင်းခြားထားသော ဗိသုကာတစ်ခုဖြစ်သည်- RAM အတွက် တစ်ယူနစ် သို့မဟုတ် နှစ်ခု၊ GPU နှင့် CPU တွက်ချက်ခြင်း node အတွက် များစွာနှင့် သိုလှောင်မှုစနစ်များအတွက် တစ်ခု သို့မဟုတ် တစ်ခုထက်ပိုသော ယူနစ်များ။

GPUDirect Storage ၏ ကြေငြာချက်နှင့် အခြားသော GPU ရောင်းချသူများထံမှ အလားတူနည်းပညာများ ပေါ်ထွက်လာခြင်းနှင့်အတူ Kingston ၏ စွမ်းဆောင်ရည်မြင့်မားသော ကွန်ပျူတာများတွင် အသုံးပြုရန်အတွက် ဒီဇိုင်းထုတ်ထားသော သိုလှောင်မှုစနစ်များအတွက် တောင်းဆိုမှုသည် တိုးလာပါသည်။ အမှတ်အသားသည် GPU ပါသည့် ကွန်ပျူတာယူနစ်တစ်ခု၏ ဝင်ပေါက်ရှိ 40- သို့မဟုတ် 100-Gbit ကွန်ရက်ကတ်များ၏ ဖြတ်သန်းမှုနှင့် နှိုင်းယှဉ်နိုင်သော သိုလှောင်မှုစနစ်မှ ဒေတာဖတ်ရှုခြင်း၏ မြန်နှုန်းဖြစ်သည်။ ထို့ကြောင့် Fabric မှတစ်ဆင့် ပြင်ပ NVMe အပါအဝင် အလွန်မြန်နှုန်းမြင့် သိုလှောင်မှုစနစ်များသည် ထူးခြားဆန်းပြားမှုမှ HPC အပလီကေးရှင်းများအတွက် ပင်မရေစီးကြောင်းသို့ ရောက်သွားမည်ဖြစ်သည်။ သိပ္ပံနှင့်ဘဏ္ဍာရေးတွက်ချက်မှုများအပြင်၊ တစ်စက္ကန့်လျှင် HD ရုပ်ပုံသန်းပေါင်းများစွာကို အသိအမှတ်ပြုမှုနှင့် ခွဲခြားသတ်မှတ်မှုအမြန်နှုန်းလိုအပ်သည့် Safe City မြို့တော်အဆင့် သို့မဟုတ် သယ်ယူပို့ဆောင်ရေးစောင့်ကြည့်ရေးစင်တာများကဲ့သို့သော လုံခြုံရေးစနစ်များကဲ့သို့သော လက်တွေ့နယ်ပယ်များစွာတွင် အသုံးချမှုကို ၎င်းတို့က တွေ့ရှိလိမ့်မည်” ဟုဖော်ပြထားသည်။ ထိပ်တန်း သိုလှောင်မှုစနစ်၏ စျေးကွက်တွင် အထူးအခွင့်အရေး

Kingston ထုတ်ကုန်များအကြောင်း ပိုမိုသိရှိလိုပါက တွင် ကြည့်ရှုနိုင်ပါသည်။ တရားဝင်ဝက်ဘ်ဆိုက် ကုမ္ပဏီ။

source: www.habr.com