ආයුබෝවන් Habr! විශාල දත්ත සහ යන්ත්‍ර ඉගෙනීම සඳහා වන දත්ත කට්ටල ඝාතීය ලෙස වර්ධනය වන අතර අපි ඒවා සමඟ දිගටම සිටිය යුතුය. කිංග්ස්ටන් ප්‍රදර්ශන කුටියේ පෙන්වන ඉහළ කාර්ය සාධන පරිගණක (HPC, High Performance Computing) ක්ෂේත්‍රයේ තවත් නව්‍ය තාක්ෂණයක් පිළිබඳ අපගේ සටහන . මෙය ග්‍රැෆික් සැකසුම් ඒකක (GPU) සහ GPUDirect Storage බස් තාක්ෂණය සහිත සේවාදායකවල Hi-End දත්ත ගබඩා පද්ධති (SDS) භාවිතයයි. ගබඩා පද්ධතිය සහ GPU අතර සෘජු දත්ත හුවමාරුවට ස්තූතිවන්ත වන්නට, CPU මඟහැර, GPU ත්වරණකාරක වෙත දත්ත පැටවීම විශාලත්වයේ අනුපිළිවෙලකින් වේගවත් වේ, එබැවින් Big Data යෙදුම් GPU සපයන උපරිම කාර්ය සාධනයෙන් ක්‍රියාත්මක වේ. අනෙක් අතට, HPC පද්ධති සංවර්ධකයින් කිංග්ස්ටන් විසින් නිෂ්පාදනය කරන ලද ඉහළම I/O වේගය සහිත ගබඩා පද්ධතිවල දියුණුව ගැන උනන්දු වෙති.
GPU කාර්ය සාධනය දත්ත පැටවීම ඉක්මවා යයි
CUDA, GPU මත පදනම් වූ දෘඪාංග සහ මෘදුකාංග සමාන්තර පරිගණන ගෘහ නිර්මාණ ශිල්පය සාමාන්‍ය අරමුණු යෙදුම් සංවර්ධනය කිරීම සඳහා 2007 දී නිර්මාණය කරන ලද බැවින්, GPU වල දෘඪාංග හැකියාවන් ඇදහිය නොහැකි ලෙස වර්ධනය වී ඇත. අද, විශාල දත්ත, යන්ත්‍ර ඉගෙනීම (ML) සහ ගැඹුරු ඉගෙනුම් (DL) වැනි HPC යෙදුම්වල GPU වැඩි වැඩියෙන් භාවිතා වේ.
පදවල සමානකම් තිබියදීත්, අවසාන දෙක ඇල්ගොරිතමය වශයෙන් වෙනස් කාර්යයන් බව සලකන්න. ML ව්‍යුහගත දත්ත මත පදනම්ව පරිගණකය පුහුණු කරන අතර DL ස්නායුක ජාලයකින් ලැබෙන ප්‍රතිපෝෂණ මත පදනම්ව පරිගණකය පුහුණු කරයි. වෙනස්කම් තේරුම් ගැනීමට උපකාරී වන උදාහරණයක් තරමක් සරල ය. ගබඩා පද්ධතියෙන් පටවනු ලබන බළලුන්ගේ සහ බල්ලන්ගේ ඡායාරූප අතර පරිගණකය වෙන්කර හඳුනාගත යුතු යැයි උපකල්පනය කරමු. ML සඳහා, ඔබ බොහෝ ටැග් සහිත රූප කට්ටලයක් ඉදිරිපත් කළ යුතු අතර, ඒ සෑම එකක්ම සත්වයාගේ එක් විශේෂිත ලක්ෂණයක් නිර්වචනය කරයි. DL සඳහා, පින්තූර විශාල ප්‍රමාණයක් උඩුගත කිරීම ප්‍රමාණවත් වේ, නමුත් “මෙය බළලෙක්” හෝ “මේ බල්ලෙක්” යන ටැග් එකකින් පමණි. ඩීඑල් කුඩා දරුවන්ට උගන්වන ආකාරය හා සමාන ය - ඔවුන්ට පොත්වල සහ ජීවිතයේ බල්ලන්ගේ සහ බළලුන්ගේ පින්තූර සරලව පෙන්වනු ලැබේ (බොහෝ විට, සවිස්තරාත්මක වෙනස පවා පැහැදිලි නොකර), සහ දරුවාගේ මොළය විසින්ම සත්ව වර්ගය තීරණය කිරීමට පටන් ගනී. සංසන්දනය කිරීම සඳහා නිශ්චිත තීරණාත්මක පින්තූර ගණනක් ( ඇස්තමේන්තු වලට අනුව, අපි කතා කරන්නේ මුල් ළමාවිය පුරාවටම සංදර්ශන සියයක් හෝ දෙකක් ගැන පමණි). DL ඇල්ගොරිතම තවමත් එතරම් පරිපූර්ණ නැත: ස්නායුක ජාලයක් රූප හඳුනාගැනීම සඳහා සාර්ථකව ක්‍රියා කිරීමට නම්, GPU වෙත රූප මිලියන ගණනක් පෝෂණය කිරීම සහ සැකසීම අවශ්‍ය වේ.
පෙරවදනේ සාරාංශය: GPU මත පදනම්ව, ඔබට විශාල දත්ත, ML සහ DL යන ක්ෂේත්‍රවල HPC යෙදුම් ගොඩනගා ගත හැකිය, නමුත් ගැටළුවක් ඇත - දත්ත කට්ටල ඉතා විශාල බැවින් ගබඩා පද්ධතියෙන් GPU වෙත දත්ත පැටවීමට ගතවන කාලය යෙදුමේ සමස්ත කාර්ය සාධනය අඩු කිරීමට පටන් ගනී. වෙනත් වචන වලින් කිවහොත්, අනෙකුත් උප පද්ධති වලින් ලැබෙන මන්දගාමී I/O දත්ත හේතුවෙන් වේගවත් GPUs ඌන උපයෝගිතා වේ. GPU හි I/O වේගය සහ CPU/ගබඩා පද්ධතියට බස් රථයේ වෙනස විශාලත්වයේ අනුපිළිවෙලක් විය හැක.
GPUDirect Storage තාක්ෂණය ක්‍රියා කරන්නේ කෙසේද?
I/O ක්‍රියාවලිය CPU විසින් පාලනය කරනු ලබන අතර, තවදුරටත් සැකසීම සඳහා ගබඩාවේ සිට GPU වෙත දත්ත පැටවීමේ ක්‍රියාවලිය මෙන්ම. මෙය GPUs සහ NVMe ඩ්‍රයිව් අතර ඍජු ප්‍රවේශය ලබා දෙන තාක්ෂණය සඳහා ඉල්ලීමක් කිරීමට හේතු විය. NVIDIA එවැනි තාක්ෂණයක් ලබා දුන් පළමු පුද්ගලයා වන අතර එය GPUDirect Storage ලෙස නම් කරන ලදී. ඇත්ත වශයෙන්ම, මෙය ඔවුන් කලින් සංවර්ධනය කරන ලද GPUDirect RDMA (Remote Direct Memory Address) තාක්ෂණයේ ප්‍රභේදයකි.
NVIDIA හි ප්‍රධාන විධායක නිලධාරී Jensen Huang, SC-19 හි GPUDirect RDMA හි ප්‍රභේදයක් ලෙස GPUDirect ගබඩාව ඉදිරිපත් කරනු ඇත. මූලාශ්රය: NVIDIA
GPUDirect RDMA සහ GPUDirect ආචයනය අතර වෙනස වන්නේ ආමන්ත්‍රණය සිදු කරන උපාංග අතර වේ. GPUDirect RDMA තාක්ෂණය පෙරමුනු ජාල අතුරුමුහුණත් කාඩ්පත (NIC) සහ GPU මතකය අතර සෘජුවම දත්ත ගෙනයාමට ප්‍රතිනිර්මාණය කර ඇති අතර, GPUDirect ගබඩාව Fabric (NVMe-oF) හරහා NVMe හෝ NVMe වැනි දේශීය හෝ දුරස්ථ ගබඩා අතර සෘජු දත්ත මාර්ගයක් සපයයි. GPU මතකය.
GPUDirect RDMA සහ GPUDirect ආචයනය යන දෙකම CPU මතකයේ බෆරයක් හරහා අනවශ්‍ය දත්ත චලනයන් වළක්වන අතර සෘජු මතක ප්‍රවේශ (DMA) යාන්ත්‍රණයට ජාල කාඩ්පතෙන් හෝ ගබඩාවෙන් දත්ත කෙලින්ම GPU මතකයට හෝ එයින් ගෙන යාමට ඉඩ සලසයි - සියල්ල මධ්‍යම CPU මත පැටවීමකින් තොරව. GPUDirect ආචයනය සඳහා, ගබඩාවේ පිහිටීම වැදගත් නොවේ: එය GPU ඒකකයක් තුළ NVME තැටියක්, රාක්කයක් තුළ හෝ NVMe-oF ලෙස ජාලය හරහා සම්බන්ධ විය හැක.
GPUDirect ආචයනයේ මෙහෙයුම් යෝජනා ක්රමය. මූලාශ්රය: NVIDIA
NVMe හි Hi-End ගබඩා පද්ධති HPC යෙදුම් වෙළඳපොලේ ඉල්ලුමක් පවතී
GPUDirect Storage පැමිණීමත් සමඟම, GPU හි ප්‍රතිදානයට අනුරූප වන I/O වේගය සහිත ගබඩා පද්ධති පිරිනැමීමට විශාල පාරිභෝගිකයින්ගේ උනන්දුව ඇදී යන බව වටහා ගනිමින්, SC-19 ප්‍රදර්ශනයේදී Kingston විසින් SC-10 ප්‍රදර්ශනයේ දී, NVMe තැටි මත පදනම් වූ ගබඩා පද්ධතිය සහ තත්පරයකට චන්ද්‍රිකා ඡායාරූප දහස් ගණනක් විශ්ලේෂණය කරන GPU සහිත ඒකකයක්. අපි දැනටමත් 1000 DC2M U.XNUMX NVMe ධාවකයන් මත පදනම් වූ එවැනි ගබඩා පද්ධතියක් ගැන ලියා ඇත. .
10 DC1000M U.2 NVMe ධාවකයන් මත පදනම් වූ ගබඩා පද්ධතියක් ග්‍රැෆික් ත්වරණකාරක සහිත සේවාදායකයක් ප්‍රමාණවත් ලෙස සම්පූර්ණ කරයි. මූලාශ්රය: කිංග්ස්ටන්
මෙම ගබඩා පද්ධතිය 1U හෝ විශාල රාක්ක ඒකකයක් ලෙස නිර්මාණය කර ඇති අතර DC1000M U.2 NVMe ධාවක ගණන අනුව පරිමාණය කළ හැකි අතර, එක් එක් ධාරිතාව 3.84-7.68 TB වේ. DC1000M යනු Kingston හි දත්ත මධ්‍යස්ථාන ධාවක වල U.2 ආකෘති සාධකයේ පළමු NVMe SSD ආකෘතියයි. එය විඳදරාගැනීමේ ශ්‍රේණිගත කිරීමක් ඇත (DWPD, Drive දිනකට ලියන), එය ධාවකයේ සහතික ආයු කාලය සඳහා දිනකට වරක් එහි සම්පූර්ණ ධාරිතාවට දත්ත නැවත ලිවීමට ඉඩ සලසයි.
Ubuntu 3.13 LTS මෙහෙයුම් පද්ධතිය, Linux kernel 18.04.3-5.0.0-generic මත fio v31 පරීක්ෂණයේදී, ප්‍රදර්ශන ගබඩා නියැදිය තිරසාර ප්‍රතිදානයක් (Sustained Bandwidth) සමඟ IOPS මිලියන 5.8 ක කියවීමේ වේගයක් (තිරසාර කියවීම) පෙන්නුම් කළේය. ) 23.8 Gbit/s.
Kingston හි SSD ව්‍යාපාරික කළමනාකරු Ariel Perez, නව ගබඩා පද්ධති ගැන මෙසේ පැවසීය: “සාම්ප්‍රදායිකව ගබඩා කිරීම සමඟ සම්බන්ධ වී ඇති බොහෝ දත්ත හුවමාරු බාධක ඉවත් කිරීම සඳහා U.2 NVMe SSD විසඳුම් සමඟ මීළඟ පරම්පරාවේ සේවාදායකයන් සන්නද්ධ කිරීමට අපි සූදානම්. NVMe SSD ඩ්‍රයිව් සහ අපගේ වාරික සර්වර් ප්‍රිමියර් ඩ්‍රැම් වල සංකලනය කිංග්ස්ටන් කර්මාන්තයේ වඩාත්ම සවිස්තරාත්මක අන්තයේ සිට අවසානය දක්වා දත්ත විසඳුම් සපයන්නෙකු බවට පත් කරයි.
Gfio v3.13 පරීක්ෂණය DC23.8M U.1000 NVMe ධාවකයන් මත ආදර්ශන ගබඩා පද්ධතිය සඳහා 2 Gbps ප්‍රතිදානයක් පෙන්නුම් කළේය. මූලාශ්රය: කිංග්ස්ටන්
HPC යෙදුම් සඳහා සාමාන්‍ය පද්ධතියක් GPUDirect Storage හෝ ඒ හා සමාන තාක්ෂණය භාවිතා කරන්නේ කෙසේද? මෙය රාක්කයක් තුළ ක්‍රියාකාරී ඒකකවල භෞතික වෙන්වීමක් සහිත ගෘහ නිර්මාණ ශිල්පයකි: RAM සඳහා ඒකක එකක් හෝ දෙකක්, GPU සහ CPU පරිගණක නෝඩ් සඳහා තවත් කිහිපයක් සහ ගබඩා පද්ධති සඳහා ඒකක එකක් හෝ කිහිපයක්.
GPUDirect Storage ප්‍රකාශයට පත් කිරීම සහ අනෙකුත් GPU වෙළෙන්දන්ගෙන් සමාන තාක්ෂණයන් මතුවීමත් සමඟ, ඉහළ කාර්ය සාධනයක් සහිත පරිගණකකරණය සඳහා නිර්මාණය කර ඇති ගබඩා පද්ධති සඳහා Kingston හි ඉල්ලුම පුළුල් වෙමින් පවතී. GPU එකක් සහිත පරිගණක ඒකකයකට ඇතුල් වන ස්ථානයේ 40- හෝ 100-Gbit ජාල කාඩ්පත් ප්‍රතිදානය හා සැසඳිය හැකි ගබඩා පද්ධතියෙන් දත්ත කියවීමේ වේගය සලකුණු කාරකය වනු ඇත. මේ අනුව, Fabric හරහා බාහිර NVMe ඇතුළු අතිශය අධිවේගී ගබඩා පද්ධති, HPC යෙදුම් සඳහා විදේශීය සිට ප්‍රධාන ධාරාවට යයි. විද්‍යාව සහ මූල්‍ය ගණනය කිරීම් වලට අමතරව, ඔවුන් Safe City metropolitan මට්ටමේ ආරක්ෂක පද්ධති හෝ ප්‍රවාහන නිරීක්ෂණ මධ්‍යස්ථාන වැනි තවත් බොහෝ ප්‍රායෝගික ක්ෂේත්‍රවල යෙදුම සොයා ගනු ඇත, එහිදී තත්පරයකට HD රූප මිලියන ගණනක හඳුනාගැනීමේ සහ හඳුනාගැනීමේ වේගය අවශ්‍ය වේ. ඉහළම ගබඩා පද්ධතියේ වෙළඳපල නිකේතනය
කිංග්ස්ටන් නිෂ්පාදන පිළිබඳ වැඩි විස්තර මෙතැනින් සොයාගත හැකිය සමාගම.
මූලාශ්රය: www.habr.com