هيلو حبر! بگ ڊيٽا ۽ مشين لرننگ لاءِ ڊيٽا سيٽ تيزي سان وڌي رهيا آهن ۽ اسان کي انهن سان گڏ رهڻ جي ضرورت آهي. اسان جي پوسٽ اعلي ڪارڪردگي ڪمپيوٽنگ (HPC، اعلي ڪارڪردگي ڪمپيوٽنگ) جي ميدان ۾ هڪ ٻي جديد ٽيڪنالاجي بابت، ڪنگسٽن بوٿ تي ڏيکاريل آهي. . هي آهي هاءِ-اينڊ ڊيٽا اسٽوريج سسٽم (SDS) جو استعمال سرورز ۾ گرافڪ پروسيسنگ يونٽس (GPU) ۽ GPUDirect اسٽوريج بس ٽيڪنالاجي سان. اسٽوريج سسٽم ۽ GPU جي وچ ۾ سڌي طرح ڊيٽا جي مٽاسٽا جي مهرباني، سي پي يو کان پاسو ڪندي، GPU ايڪسيليٽر ۾ ڊيٽا لوڊ ڪرڻ جي رفتار جي ترتيب سان تيز ٿي ويندي آهي، تنهنڪري بگ ڊيٽا ايپليڪيشنون وڌ ۾ وڌ ڪارڪردگي تي هلن ٿيون جيڪي GPUs مهيا ڪن ٿيون. موڙ ۾، HPC سسٽم ڊولپرز اسٽوريج سسٽم ۾ ترقي ۾ دلچسپي رکن ٿا اعلي I / O رفتار سان، جهڙوڪ ڪنگسٽن پاران پيدا ڪيل.
GPU ڪارڪردگي ڊيٽا جي لوڊشيڊنگ کي ختم ڪري ٿي
CUDA کان وٺي، هڪ GPU-بنياد هارڊويئر ۽ سافٽ ويئر متوازي ڪمپيوٽنگ آرڪيٽيڪچر عام مقصد جي ايپليڪيشنن کي ترقي ڪرڻ لاء، 2007 ۾ ٺاهي وئي، خود GPU جي هارڊويئر صلاحيتون ناقابل اعتبار حد تائين وڌي ويون آهن. اڄ، GPUs تيزي سان HPC ايپليڪيشنن ۾ استعمال ٿيندا آهن جهڙوڪ بگ ڊيٽا، مشين لرننگ (ML)، ۽ ڊيپ لرننگ (DL).
نوٽ ڪريو ته اصطلاحن جي هڪجهڙائي جي باوجود، آخري ٻه الگورتھم مختلف ڪم آهن. ايم ايل ڪمپيوٽر کي منظم ڪيل ڊيٽا جي بنياد تي تربيت ڏئي ٿو، جڏهن ته ڊي ايل ڪمپيوٽر کي تربيت ڏئي ٿو نيورل نيٽ ورڪ کان موٽ جي بنياد تي. فرق سمجھڻ ۾ مدد لاءِ ھڪڙو مثال بلڪل سادو آھي. اچو ته فرض ڪريون ته ڪمپيوٽر کي ٻلين ۽ ڪتن جي فوٽوز جي وچ ۾ فرق ڪرڻ گهرجي جيڪي اسٽوريج سسٽم مان لوڊ ڪيا ويا آهن. ML لاء، توهان کي ڪيترن ئي ٽيگ سان تصويرن جو هڪ سيٽ جمع ڪرڻ گهرجي، جن مان هر هڪ جانور جي هڪ خاص خصوصيت کي بيان ڪري ٿو. ڊي ايل لاءِ، اهو ڪافي آهي ته وڏي تعداد ۾ تصويرون اپ لوڊ ڪريو، پر صرف هڪ ٽيگ سان ”هي ٻلي آهي“ يا ”هي هڪ ڪتو آهي“. ڊي ايل بلڪل ائين ئي آهي جيئن ننڍڙن ٻارن کي سيکاريو وڃي ٿو - انهن کي صرف ڪتابن ۽ زندگيءَ ۾ ڪتن ۽ ٻليون جون تصويرون ڏيکاريون وڃن ٿيون (اڪثر ڪري، تفصيلي فرق بيان ڪرڻ کان سواءِ)، ۽ ٻار جو دماغ پاڻ جانور جي قسم جو تعين ڪرڻ شروع ڪري ٿو. مقابلي لاء تصويرن جي هڪ خاص نازڪ تعداد (انداز موجب، اسان جي باري ۾ ڳالهائي رهيا آهيون صرف هڪ سئو يا ٻه شو جي شروعات ننڍپڻ ۾). DL الگورٿمس اڃا ايترو مڪمل نه آهن: هڪ نيورل نيٽ ورڪ لاءِ پڻ ڪاميابيءَ سان تصويرن جي سڃاڻپ تي ڪم ڪرڻ لاءِ، اهو ضروري آهي ته لکين تصويرن کي فيڊ ۽ پروسيس ڪيو وڃي GPU ۾.
اڳڪٿي جو خلاصو: GPUs جي بنياد تي، توهان بگ ڊيٽا، ML ۽ DL جي فيلڊ ۾ HPC ايپليڪيشنون ٺاهي سگهو ٿا، پر اتي هڪ مسئلو آهي - ڊيٽا سيٽ ايترا وڏا آهن جو اسٽوريج سسٽم کان GPU تائين ڊيٽا کي لوڊ ڪرڻ وقت خرچ ڪيو ويو آهي. ايپليڪيشن جي مجموعي ڪارڪردگي کي گهٽائڻ شروع ٿئي ٿو. ٻين لفظن ۾، فاسٽ GPUs سست I/O ڊيٽا جي ڪري استعمال نه ڪيا ويا آهن ٻين سب سسٽم مان. GPU جي I/O اسپيڊ ۾ فرق ۽ سي پي يو/اسٽوريج سسٽم تائين بس جي شدت جو حڪم ٿي سگھي ٿو.
GPUDirect اسٽوريج ٽيڪنالاجي ڪيئن ڪم ڪري ٿي؟
I/O عمل سي پي يو طرفان ڪنٽرول ڪيو ويندو آهي، جيئن وڌيڪ پروسيسنگ لاءِ اسٽوريج کان GPUs تائين ڊيٽا لوڊ ڪرڻ جو عمل. هن ٽيڪنالاجي لاءِ درخواست ڪئي جيڪا GPUs ۽ NVMe ڊرائيو جي وچ ۾ سڌي طرح رسائي فراهم ڪندي جلدي هڪ ٻئي سان رابطو ڪرڻ لاءِ. NVIDIA اهڙي ٽيڪنالاجي پيش ڪرڻ لاء پهريون هو ۽ ان کي GPUDirect اسٽوريج سڏيو ويندو هو. حقيقت ۾، هي GPUDirect RDMA (ريموٽ ڊائريڪٽ ميموري ايڊريس) ٽيڪنالاجي جو هڪ تغير آهي جيڪو انهن اڳ ۾ ترقي ڪئي.
جينسن هوانگ، NVIDIA جو CEO، پيش ڪندو GPUDirect اسٽوريج کي SC-19 تي GPUDirect RDMA جي مختلف قسم جي طور تي. ذريعو: NVIDIA
GPUDirect RDMA ۽ GPUDirect اسٽوريج جي وچ ۾ فرق انهن ڊوائيسز ۾ آهي جن جي وچ ۾ ايڊريس ڪيو ويندو آهي. GPUDirect RDMA ٽيڪنالاجي ڊيٽا کي سڌو سنئون فرنٽ-اينڊ نيٽ ورڪ انٽرفيس ڪارڊ (NIC) ۽ GPU ميموري جي وچ ۾ منتقل ڪرڻ لاءِ استعمال ڪيو ويو آهي، ۽ GPUDirect اسٽوريج مقامي يا ريموٽ اسٽوريج جي وچ ۾ سڌو ڊيٽا جو رستو مهيا ڪري ٿو جهڙوڪ NVMe يا NVMe over Fabric (NVMe-oF) ۽ GPU ياداشت.
ٻئي GPUDirect RDMA ۽ GPUDirect اسٽوريج سي پي يو ميموري ۾ بفر ذريعي ڊيٽا جي غير ضروري حرڪت کان پاسو ڪن ٿا ۽ سڌو ميموري رسائي (DMA) ميکانيزم کي اجازت ڏين ٿا ته ڊيٽا کي نيٽ ورڪ ڪارڊ يا اسٽوريج مان سڌو يا GPU ميموري ۾ منتقل ڪرڻ - سڀ ڪجهه مرڪزي CPU تي لوڊ ٿيڻ کان سواءِ. GPUDirect Storage لاءِ، اسٽوريج جي جڳھ کي ڪا به اهميت نه آهي: اهو ٿي سگهي ٿو NVME ڊسڪ هڪ GPU يونٽ اندر، هڪ ريڪ اندر، يا نيٽ ورڪ تي NVMe-oF طور ڳنڍيل هجي.
GPUDirect اسٽوريج جي آپريشن جو اسڪيم. ذريعو: NVIDIA
NVMe تي هاءِ-اينڊ اسٽوريج سسٽم HPC ايپليڪيشن مارڪيٽ ۾ طلب ۾ آهن
اهو محسوس ڪندي ته GPUDirect Storage جي اچڻ سان، وڏي گراهڪن جي دلچسپي ورتي ويندي اسٽوريج سسٽم پيش ڪرڻ لاءِ I/O اسپيڊ سان جيڪي GPU جي ٿرو پُٽ سان مطابقت رکن ٿا، SC-19 نمائش ۾ ڪنگسٽن هڪ سسٽم جو هڪ ڊيمو ڏيکاريو جنهن ۾ هڪ اسٽوريج سسٽم NVMe ڊسڪ تي ٻڌل آهي ۽ هڪ GPU سان هڪ يونٽ، جيڪو هر سيڪنڊ ۾ هزارين سيٽلائيٽ تصويرن جو تجزيو ڪيو. اسان اڳ ۾ ئي 10 DC1000M U.2 NVMe ڊرائيو تي ٻڌل هڪ اسٽوريج سسٽم بابت لکيو آهي. .
10 DC1000M U.2 NVMe ڊرائيو تي ٻڌل هڪ اسٽوريج سسٽم مناسب طور تي هڪ سرور کي گرافڪس تيز ڪندڙ سان پورو ڪري ٿو. ذريعو: Kingston
هي اسٽوريج سسٽم هڪ 1U يا وڏي ريڪ يونٽ جي طور تي ٺهيل آهي ۽ DC1000M U.2 NVMe ڊرائيو جي تعداد تي منحصر ڪري سگهجي ٿو، هر هڪ 3.84-7.68 TB جي گنجائش سان. DC1000M پهريون NVMe SSD ماڊل آهي U.2 فارم فيڪٽر ۾ ڪنگسٽن جي ڊيٽا سينٽر ڊرائيو جي لائن ۾. ان ۾ برداشت جي درجه بندي آهي (DWPD، ڊرائيو في ڏينهن لکي ٿو)، ان کي اجازت ڏئي ٿي ته اها ڊيٽا کي پنهنجي پوري صلاحيت تي ٻيهر لکڻ جي لاءِ ڏينهن ۾ هڪ ڀيرو ڊرائيو جي ضمانت واري زندگي لاءِ.
Ubuntu 3.13 LTS آپريٽنگ سسٽم تي fio v18.04.3 ٽيسٽ ۾، لينڪس ڪنيل 5.0.0-31-generic، نمائش واري اسٽوريج نموني 5.8 ملين IOPS جي پڙهڻ جي رفتار ڏيکاري ٿي (مسلسل پڙهڻ) پائيدار انپٽ (مسلسل بينڊوڊٿ) سان. ) جو 23.8 گبٽ/س.
ايريل پيريز، ڪنگسٽن ۾ ايس ايس ڊي بزنس مئنيجر، نئين اسٽوريج سسٽم بابت چيو: ”اسان ايندڙ نسل جي سرورز کي U.2 NVMe SSD حلن سان ليس ڪرڻ لاءِ تيار آهيون ڊيٽا جي منتقلي جي ڪيترن ئي رڪاوٽن کي ختم ڪرڻ لاءِ جيڪي روايتي طور تي اسٽوريج سان جڙيل آهن. NVMe SSD ڊرائيو ۽ اسان جي پريميئم سرور پريميئر DRAM جو مجموعو ڪنگسٽن کي صنعت جي سڀ کان وڌيڪ جامع ڊيٽا حل فراهم ڪرڻ وارن مان هڪ بڻائي ٿو.
gfio v3.13 ٽيسٽ DC23.8M U.1000 NVMe ڊرائيو تي ڊيمو اسٽوريج سسٽم لاءِ 2 Gbps جي ذريعي پڌرو ڪيو. ذريعو: Kingston
HPC ايپليڪيشنن لاءِ هڪ عام سسٽم ڇا نظر ايندو جيئن GPUDirect اسٽوريج يا ساڳي ٽيڪنالاجي استعمال ڪندي؟ هي هڪ آرڪيٽيڪچر آهي هڪ ريڪ اندر فنڪشنل يونٽن جي جسماني علحدگيءَ سان: رام لاءِ هڪ يا ٻه يونٽ، GPU ۽ سي پي يو ڪمپيوٽنگ نوڊس لاءِ ڪيترائي، ۽ اسٽوريج سسٽم لاءِ هڪ يا وڌيڪ يونٽ.
GPUDirect Storage جي اعلان سان ۽ ٻين GPU وينڊرز کان ساڳي ٽيڪنالاجيز جي ممڪن طور تي ظاهر ٿيڻ سان، ڪنگسٽن جي اسٽوريج سسٽم لاءِ مطالبو ڪيو ويو آهي جيڪي اعليٰ ڪارڪردگي ڪمپيوٽنگ ۾ استعمال لاءِ ٺهيل آهن. مارڪر اسٽوريج سسٽم مان ڊيٽا پڙهڻ جي رفتار هوندي، 40- يا 100-Gbit نيٽ ورڪ ڪارڊ جي ذريعي وڃڻ جي مقابلي ۾ GPU سان گڏ ڪمپيوٽنگ يونٽ جي داخلا تي. اهڙيء طرح، الٽرا تيز رفتار اسٽوريج سسٽم، بشمول خارجي NVMe فيبرڪ ذريعي، HPC ايپليڪيشنن لاء مکيه وهڪرو ڏانهن ڌار ٿيڻ کان ويندي. سائنس ۽ مالي حسابن کان علاوه، اهي ٻين ڪيترن ئي عملي علائقن ۾ ايپليڪيشن ڳوليندا، جهڙوڪ سيف سٽي ميٽروپوليٽن ليول تي سيڪيورٽي سسٽم يا ٽرانسپورٽ سرويلنس سينٽر، جتي هر سيڪنڊ ۾ لکين HD تصويرن جي سڃاڻپ ۽ سڃاڻپ جي رفتار جي ضرورت هوندي آهي. مٿين اسٽوريج سسٽم جي مارڪيٽ جي جڳهه
Kingston جي شين جي باري ۾ وڌيڪ معلومات ملي سگهي ٿو تي ڪمپني.
جو ذريعو: www.habr.com