હેલો હેબ્ર! બિગ ડેટા અને મશીન લર્નિંગ માટેના ડેટા સેટ્સ ઝડપથી વધી રહ્યા છે અને આપણે તેમની સાથે રહેવાની જરૂર છે. હાઇ પર્ફોર્મન્સ કમ્પ્યુટીંગ (એચપીસી, હાઇ પરફોર્મન્સ કોમ્પ્યુટીંગ) ના ક્ષેત્રમાં બીજી નવીન ટેકનોલોજી વિશેની અમારી પોસ્ટ, કિંગ્સટન બૂથ પર બતાવવામાં આવી છે. . આ ગ્રાફિક પ્રોસેસિંગ યુનિટ્સ (GPU) અને GPU ડાયરેક્ટ સ્ટોરેજ બસ ટેક્નોલોજીવાળા સર્વરમાં હાઈ-એન્ડ ડેટા સ્ટોરેજ સિસ્ટમ્સ (SDS) નો ઉપયોગ છે. સ્ટોરેજ સિસ્ટમ અને GPU વચ્ચે ડાયરેક્ટ ડેટા એક્સચેન્જ માટે આભાર, CPU ને બાયપાસ કરીને, GPU એક્સિલરેટરમાં ડેટા લોડિંગને મેગ્નિટ્યુડના ક્રમ દ્વારા ઝડપી કરવામાં આવે છે, તેથી મોટા ડેટા એપ્લિકેશન્સ GPU આપે છે તે મહત્તમ પ્રદર્શન પર ચાલે છે. બદલામાં, HPC સિસ્ટમ ડેવલપર્સ સૌથી વધુ I/O સ્પીડ સાથે સ્ટોરેજ સિસ્ટમ્સમાં એડવાન્સિસમાં રસ ધરાવે છે, જેમ કે કિંગ્સટન દ્વારા ઉત્પાદિત.
GPU પ્રદર્શન ડેટા લોડિંગને આગળ ધપાવે છે
CUDA, GPU-આધારિત હાર્ડવેર અને સોફ્ટવેર સમાંતર કમ્પ્યુટિંગ આર્કિટેક્ચર સામાન્ય-હેતુ એપ્લિકેશનો વિકસાવવા માટે, 2007 માં બનાવવામાં આવ્યું હોવાથી, GPU ની હાર્ડવેર ક્ષમતાઓ અવિશ્વસનીય રીતે વધી છે. આજે, બીગ ડેટા, મશીન લર્નિંગ (એમએલ), અને ડીપ લર્નિંગ (ડીએલ) જેવી HPC એપ્લિકેશન્સમાં GPU નો વધુને વધુ ઉપયોગ થાય છે.
નોંધ કરો કે શરતોની સમાનતા હોવા છતાં, છેલ્લા બે એલ્ગોરિધમિક રીતે અલગ કાર્યો છે. ML સ્ટ્રક્ચર્ડ ડેટાના આધારે કમ્પ્યુટરને તાલીમ આપે છે, જ્યારે DL ન્યુરલ નેટવર્કના પ્રતિસાદના આધારે કમ્પ્યુટરને તાલીમ આપે છે. તફાવતોને સમજવામાં મદદ કરવા માટેનું ઉદાહરણ એકદમ સરળ છે. ચાલો ધારીએ કે કમ્પ્યુટરને બિલાડીઓ અને કૂતરાઓના ફોટા વચ્ચે તફાવત કરવો જોઈએ જે સ્ટોરેજ સિસ્ટમમાંથી લોડ થાય છે. ML માટે, તમારે ઘણા ટૅગ્સ સાથે છબીઓનો સમૂહ સબમિટ કરવો જોઈએ, જેમાંથી દરેક પ્રાણીની એક વિશિષ્ટ વિશેષતાને વ્યાખ્યાયિત કરે છે. DL માટે, તે ઘણી મોટી સંખ્યામાં છબીઓ અપલોડ કરવા માટે પૂરતું છે, પરંતુ ફક્ત એક ટેગ સાથે "આ બિલાડી છે" અથવા "આ કૂતરો છે". DL એ નાના બાળકોને કેવી રીતે શીખવવામાં આવે છે તેના જેવું જ છે - તેઓને પુસ્તકોમાં અને જીવનમાં ફક્ત કૂતરા અને બિલાડીઓના ચિત્રો બતાવવામાં આવે છે (મોટાભાગે, વિગતવાર તફાવત સમજાવ્યા વિના), અને બાળકનું મગજ પોતે જ પ્રાણીનો પ્રકાર નક્કી કરવાનું શરૂ કરે છે. સરખામણી માટે ચિત્રોની ચોક્કસ નિર્ણાયક સંખ્યા ( અંદાજ મુજબ, અમે પ્રારંભિક બાળપણમાં ફક્ત સો કે બે શો વિશે વાત કરી રહ્યા છીએ). DL એલ્ગોરિધમ્સ હજી એટલા પરફેક્ટ નથી: ન્યુરલ નેટવર્ક માટે ઇમેજને ઓળખવા પર સફળતાપૂર્વક કામ કરવા માટે, લાખો ઇમેજને GPU માં ફીડ કરવી અને પ્રોસેસ કરવી જરૂરી છે.
પ્રસ્તાવનાનો સારાંશ: જીપીયુના આધારે, તમે બીગ ડેટા, એમએલ અને ડીએલના ક્ષેત્રમાં એચપીસી એપ્લિકેશન બનાવી શકો છો, પરંતુ એક સમસ્યા છે - ડેટા સેટ એટલા મોટા છે કે સ્ટોરેજ સિસ્ટમમાંથી જીપીયુ પર ડેટા લોડ કરવામાં સમય પસાર થાય છે. એપ્લિકેશનના એકંદર પ્રભાવને ઘટાડવાનું શરૂ કરે છે. બીજા શબ્દોમાં કહીએ તો, અન્ય સબસિસ્ટમ્સમાંથી આવતા ધીમા I/O ડેટાને કારણે ઝડપી GPU નો ઉપયોગ ઓછો થાય છે. GPU ની I/O સ્પીડ અને CPU/સ્ટોરેજ સિસ્ટમની બસમાં તફાવત એ મેગ્નિટ્યુડનો ક્રમ હોઈ શકે છે.
GPUDirect સ્ટોરેજ ટેક્નોલોજી કેવી રીતે કામ કરે છે?
I/O પ્રક્રિયા CPU દ્વારા નિયંત્રિત થાય છે, જેમ કે આગળની પ્રક્રિયા માટે સ્ટોરેજમાંથી GPUs પર ડેટા લોડ કરવાની પ્રક્રિયા છે. આનાથી ટેક્નોલોજી માટે વિનંતી થઈ કે જે GPUs અને NVMe ડ્રાઈવો વચ્ચે ઝડપથી એકબીજા સાથે વાતચીત કરવા માટે સીધી ઍક્સેસ પ્રદાન કરશે. NVIDIA આવી ટેક્નોલોજી ઓફર કરનાર સૌપ્રથમ હતું અને તેને GPUDirect Storage કહે છે. હકીકતમાં, આ GPUDirect RDMA (રિમોટ ડાયરેક્ટ મેમરી એડ્રેસ) ટેક્નોલોજીની વિવિધતા છે જે તેઓએ અગાઉ વિકસાવી હતી.
NVIDIA ના CEO જેન્સેન હુઆંગ, SC-19 ખાતે GPUDirect RDMA ના ચલ તરીકે GPUDirect સ્ટોરેજ રજૂ કરશે. સ્ત્રોત: NVIDIA
GPUDirect RDMA અને GPUDirect સ્ટોરેજ વચ્ચેનો તફાવત એ ઉપકરણોમાં છે કે જેની વચ્ચે એડ્રેસિંગ હાથ ધરવામાં આવે છે. GPUDirect RDMA ટેક્નોલૉજીને ફ્રન્ટ-એન્ડ નેટવર્ક ઇન્ટરફેસ કાર્ડ (NIC) અને GPU મેમરી વચ્ચે સીધા જ ડેટાને ખસેડવા માટે પુનઃપ્રયોજિત કરવામાં આવે છે, અને GPUDirect સ્ટોરેજ સ્થાનિક અથવા રિમોટ સ્ટોરેજ જેમ કે NVMe અથવા NVMe ઓવર ફેબ્રિક (NVMe-oF) વચ્ચે સીધો ડેટા પાથ પૂરો પાડે છે. GPU મેમરી.
GPUDirect RDMA અને GPUDirect સ્ટોરેજ બંને CPU મેમરીમાં બફર દ્વારા બિનજરૂરી ડેટાની હિલચાલને ટાળે છે અને ડાયરેક્ટ મેમરી એક્સેસ (DMA) મિકેનિઝમને નેટવર્ક કાર્ડ અથવા સ્ટોરેજમાંથી ડેટાને સીધા જ GPU મેમરીમાં અથવા ત્યાંથી ખસેડવાની મંજૂરી આપે છે - બધું કેન્દ્રીય CPU પર લોડ કર્યા વિના. GPUDirect સ્ટોરેજ માટે, સ્ટોરેજનું સ્થાન કોઈ વાંધો નથી: તે GPU યુનિટની અંદર, રેકની અંદર, અથવા NVMe-oF તરીકે નેટવર્ક પર જોડાયેલ NVME ડિસ્ક હોઈ શકે છે.
GPU ડાયરેક્ટ સ્ટોરેજની કામગીરીની યોજના. સ્ત્રોત: NVIDIA
NVMe પર હાઇ-એન્ડ સ્ટોરેજ સિસ્ટમ્સની HPC એપ્લિકેશન માર્કેટમાં માંગ છે
GPU ડાયરેક્ટ સ્ટોરેજના આગમન સાથે, મોટા ગ્રાહકોની રુચિ GPU ના થ્રુપુટને અનુરૂપ I/O સ્પીડ સાથે સ્ટોરેજ સિસ્ટમ્સ ઓફર કરવા તરફ આકર્ષિત થશે તે સમજીને, SC-19 પ્રદર્શનમાં કિંગ્સ્ટન એ એક સિસ્ટમનો ડેમો દર્શાવ્યો જેમાં NVMe ડિસ્ક પર આધારિત સ્ટોરેજ સિસ્ટમ અને GPU સાથેનું એકમ, જે પ્રતિ સેકન્ડ હજારો સેટેલાઇટ ઇમેજનું વિશ્લેષણ કરે છે. અમે 10 DC1000M U.2 NVMe ડ્રાઇવ પર આધારિત આવી સ્ટોરેજ સિસ્ટમ વિશે પહેલેથી જ લખ્યું છે. .
10 DC1000M U.2 NVMe ડ્રાઇવ પર આધારિત સ્ટોરેજ સિસ્ટમ ગ્રાફિક્સ એક્સિલરેટર્સ સાથે સર્વરને પૂરતા પ્રમાણમાં પૂરક બનાવે છે. સ્ત્રોત: કિંગ્સ્ટન
આ સ્ટોરેજ સિસ્ટમ 1U અથવા મોટા રેક યુનિટ તરીકે ડિઝાઇન કરવામાં આવી છે અને DC1000M U.2 NVMe ડ્રાઇવની સંખ્યાના આધારે માપી શકાય છે, દરેકની ક્ષમતા 3.84-7.68 TB છે. DC1000M એ કિંગ્સ્ટનની ડેટા સેન્ટર ડ્રાઇવની લાઇનમાં U.2 ફોર્મ ફેક્ટરમાં પ્રથમ NVMe SSD મોડલ છે. તે એક સહનશક્તિ રેટિંગ ધરાવે છે (DWPD, ડ્રાઇવ દરરોજ લખે છે), તેને ડ્રાઇવના ગેરંટીકૃત જીવન માટે દિવસમાં એકવાર તેની સંપૂર્ણ ક્ષમતામાં ડેટાને ફરીથી લખવાની મંજૂરી આપે છે.
ઉબુન્ટુ 3.13 LTS ઓપરેટિંગ સિસ્ટમ, Linux kernel 18.04.3-5.0.0-generic પર fio v31 પરીક્ષણમાં, પ્રદર્શન સંગ્રહ નમૂનાએ ટકાઉ થ્રુપુટ (સસ્ટેન્ડ બેન્ડવિડ્થ) સાથે 5.8 મિલિયન IOPS ની રીડ સ્પીડ (સસ્ટેન્ડ રીડ) દર્શાવી હતી. ) 23.8 Gbit/s.
કિંગ્સ્ટન ખાતેના SSD બિઝનેસ મેનેજર એરિયલ પેરેઝે નવી સ્ટોરેજ સિસ્ટમ્સ વિશે જણાવ્યું હતું કે: “પરંપરાગત રીતે સ્ટોરેજ સાથે સંકળાયેલી ઘણી ડેટા ટ્રાન્સફર અવરોધોને દૂર કરવા માટે અમે આગામી પેઢીના સર્વરને U.2 NVMe SSD સોલ્યુશન્સથી સજ્જ કરવા તૈયાર છીએ. NVMe SSD ડ્રાઇવ્સ અને અમારા પ્રીમિયમ સર્વર પ્રીમિયર DRAM નું સંયોજન કિંગ્સટનને ઉદ્યોગના સૌથી વ્યાપક એન્ડ-ટુ-એન્ડ ડેટા સોલ્યુશન્સ પ્રદાતાઓમાંનું એક બનાવે છે."
gfio v3.13 પરીક્ષણે DC23.8M U.1000 NVMe ડ્રાઇવ્સ પર ડેમો સ્ટોરેજ સિસ્ટમ માટે 2 Gbps નું થ્રુપુટ દર્શાવ્યું હતું. સ્ત્રોત: કિંગ્સ્ટન
GPUDirect Storage અથવા સમાન ટેક્નોલોજીનો ઉપયોગ કરીને HPC એપ્લિકેશન્સ માટેની લાક્ષણિક સિસ્ટમ કેવી દેખાશે? આ એક રેકની અંદર કાર્યાત્મક એકમોના ભૌતિક વિભાજન સાથેનું આર્કિટેક્ચર છે: RAM માટે એક અથવા બે એકમો, GPU અને CPU કમ્પ્યુટિંગ નોડ્સ માટે ઘણા વધુ અને સ્ટોરેજ સિસ્ટમ્સ માટે એક અથવા વધુ એકમો.
GPUDirect સ્ટોરેજની જાહેરાત અને અન્ય GPU વિક્રેતાઓ તરફથી સમાન તકનીકોના સંભવિત ઉદભવ સાથે, ઉચ્ચ-પ્રદર્શન કમ્પ્યુટિંગમાં ઉપયોગ માટે ડિઝાઇન કરાયેલ સ્ટોરેજ સિસ્ટમ્સની કિંગ્સટનની માંગ વિસ્તરી રહી છે. માર્કર એ સ્ટોરેજ સિસ્ટમમાંથી ડેટા વાંચવાની ઝડપ હશે, જે GPU સાથે કમ્પ્યુટિંગ યુનિટના પ્રવેશદ્વાર પર 40- અથવા 100-Gbit નેટવર્ક કાર્ડના થ્રુપુટ સાથે તુલનાત્મક હશે. આમ, અલ્ટ્રા-હાઈ-સ્પીડ સ્ટોરેજ સિસ્ટમ્સ, જેમાં ફેબ્રિક દ્વારા બાહ્ય NVMeનો સમાવેશ થાય છે, HPC એપ્લિકેશનો માટે વિદેશી બનવાથી મુખ્ય પ્રવાહમાં જશે. વિજ્ઞાન અને નાણાકીય ગણતરીઓ ઉપરાંત, તેઓ અન્ય ઘણા વ્યવહારુ ક્ષેત્રોમાં એપ્લિકેશન મેળવશે, જેમ કે સેફ સિટી મેટ્રોપોલિટન સ્તરે સુરક્ષા પ્રણાલીઓ અથવા પરિવહન સર્વેલન્સ કેન્દ્રો, જ્યાં પ્રતિ સેકન્ડ લાખો એચડી ઈમેજોની ઓળખ અને ઓળખની ઝડપ જરૂરી છે," દર્શાવેલ છે. ટોચની સ્ટોરેજ સિસ્ટમનું બજાર વિશિષ્ટ
કિંગ્સટન ઉત્પાદનો વિશે વધુ માહિતી અહીં મળી શકે છે કંપની.
સોર્સ: www.habr.com