سلام حبر! د لوی ډیټا او ماشین زده کړې لپاره ډیټا سیټونه په چټکۍ سره وده کوي او موږ اړتیا لرو له دوی سره وساتو. د لوړ فعالیت کمپیوټري (HPC، لوړ فعالیت کمپیوټري) په برخه کې د بل نوښتګر ټیکنالوژۍ په اړه زموږ پوسټ په کنګسټن بوت کې ښودل شوی. . دا د ګرافیک پروسس کولو واحدونو (GPU) او GPUDirect Storage بس ټیکنالوژۍ سره په سرورونو کې د Hi-end ډیټا ذخیره کولو سیسټمونو (SDS) کارول دي. د ذخیره کولو سیسټم او GPU ترمینځ د مستقیم ډیټا تبادلې څخه مننه ، د CPU په تیریدو سره ، د GPU سرعت کونکو ته د ډیټا بار کول د اندازې ترتیب سره ګړندي کیږي ، نو د لوی ډیټا غوښتنلیکونه په اعظمي فعالیت کې پرمخ ځي چې GPUs چمتو کوي. په بدل کې، د HPC سیسټم پراختیا کونکي د لوړ I/O سرعت سره د ذخیره کولو سیسټمونو کې پرمختګ سره علاقه لري، لکه د کنگسټن لخوا تولید شوي.
د GPU فعالیت د ډیټا بار کولو څخه تیریږي
د CUDA د رامینځته کیدو راهیسې ، د GPU پراساس هارډویر - سافټویر موازي کمپیوټري جوړښت د عمومي هدف غوښتنلیکونو رامینځته کولو لپاره ، په 2007 کې ، پخپله د GPUs هارډویر وړتیاوې په حیرانونکي ډول وده کړې. نن ورځ، GPUs په زیاتیدونکي توګه د HPC غوښتنلیکونو کې کارول کیږي لکه لوی ډاټا، ماشین زده کړه (ML)، او ژورې زده کړې (DL).
په یاد ولرئ چې د شرایطو سره ورته والی سره سره، وروستي دوه د الګوریتمیک ډول مختلف دندې دي. ML کمپیوټر د جوړښت شوي ډیټا پراساس روزي ، پداسې حال کې چې DL کمپیوټر د عصبي شبکې څخه د فیډبیک پراساس روزي. د توپیرونو په پوهیدو کې د مرستې لپاره یو مثال خورا ساده دی. راځئ فرض کړو چې کمپیوټر باید د پیشو او سپي عکسونو ترمینځ توپیر وکړي چې د ذخیره کولو سیسټم څخه بار شوي. د ML لپاره، تاسو باید د ډیری ټګونو سره د عکسونو سیټ وسپارئ، چې هر یو یې د حیوان یو ځانګړی ځانګړتیا تعریفوي. د DL لپاره، دا د ډیری لوی شمیر عکسونو اپلوډ کولو لپاره کافي دی، مګر یوازې د یو ټګ سره "دا پیشو ده" یا "دا سپی دی". DL د کوچنیو ماشومانو د زده کړې څرنګوالي سره خورا ورته دی - دوی په ساده ډول په کتابونو او ژوند کې د سپي او پیشوګانو عکسونه ښودل شوي (ډیری وختونه حتی د تفصیلي توپیر تشریح کولو پرته) ، او د ماشوم مغز پخپله د څارویو ډول معلومول پیل کوي. د پرتله کولو لپاره د عکسونو یو ټاکلی مهم شمیر (د اټکلونو له مخې، موږ د ماشومتوب په پیل کې یوازې د سل یا دوه نندارتونونو په اړه خبرې کوو). د DL الګوریتمونه لاهم بشپړ ندي: د عصبي شبکې لپاره چې په بریالیتوب سره د عکسونو په پیژندلو کې کار وکړي ، نو اړینه ده چې ملیونونه عکسونه په GPU کې تغذیه او پروسس کړئ.
د مخکینۍ لنډیز: د GPUs پراساس ، تاسو کولی شئ د لوی ډیټا ، ML او DL په برخه کې د HPC غوښتنلیکونه رامینځته کړئ ، مګر ستونزه شتون لري - د ډیټا سیټونه دومره لوی دي چې د ذخیره کولو سیسټم څخه GPU ته د ډیټا بارولو وخت مصرفوي. د غوښتنلیک ټولیز فعالیت کمولو پیل کوي. په بل عبارت، ګړندي GPUs د نورو فرعي سیسټمونو څخه د ورو I/O ډیټا له امله لږ کارول کیږي. د GPU د I/O سرعت کې توپیر او د CPU/ذخیرې سیسټم ته بس کیدای شي د اندازې ترتیب وي.
د GPUDirect ذخیره کولو ټیکنالوژي څنګه کار کوي؟
د I/O پروسه د CPU لخوا کنټرول کیږي، لکه څنګه چې د ذخیره کولو څخه GPUs ته د نورو پروسس کولو لپاره د معلوماتو بارولو پروسه ده. دا د ټیکنالوژۍ غوښتنې لامل شوی چې د GPUs او NVMe ډرایو ترمینځ مستقیم لاسرسی چمتو کړي ترڅو ګړندي یو بل سره اړیکه ونیسي. NVIDIA لومړی و چې دا ډول ټیکنالوژي یې وړاندې کړه او ورته یې د GPUDirect Storage نوم ورکړ. په حقیقت کې، دا د GPUDirect RDMA (د ریموټ مستقیم حافظې پته) ټیکنالوژي توپیر دی چې دوی مخکې وده کړې.
جینسن هوانګ، د NVIDIA سی ای او به د GPUDirect ذخیره په SC-19 کې د GPUDirect RDMA د ډول په توګه وړاندې کړي. سرچینه: NVIDIA
د GPUDirect RDMA او GPUDirect ذخیره کولو ترمینځ توپیر په هغه وسیلو کې دی چې تر مینځ یې پته ورکول کیږي. د GPUDirect RDMA ټیکنالوژي د مخکینۍ پای شبکې انٹرفیس کارت (NIC) او GPU حافظې ترمینځ مستقیم ډیټا لیږدولو لپاره بیا رامینځته کیږي ، او GPUDirect ذخیره د ځایی یا لیرې ذخیره کولو ترمینځ مستقیم ډیټا لاره چمتو کوي لکه NVMe یا NVMe over Fabric (NVMe-oF) او د GPU حافظه.
دواړه GPUDirect RDMA او GPUDirect ذخیره د CPU حافظې کې د بفر له لارې د غیر ضروري ډیټا حرکتونو څخه مخنیوی کوي او د مستقیم حافظې لاسرسي (DMA) میکانیزم ته اجازه ورکوي چې ډیټا د شبکې کارت یا ذخیره کولو څخه مستقیم یا د GPU حافظې ته انتقال کړي - ټول پرته له دې چې په مرکزي CPU کې بار شي. د GPUDirect ذخیره کولو لپاره، د ذخیره کولو موقعیت مهم نه دی: دا کیدای شي د GPU واحد دننه د NVME ډیسک وي، په ریک کې دننه، یا د NVMe-oF په توګه د شبکې سره وصل وي.
د GPU مستقیم ذخیرې د عملیاتو سکیم. سرچینه: NVIDIA
په NVMe کې د عالي پای ذخیره کولو سیسټمونه د HPC غوښتنلیک بازار کې په تقاضا کې دي
په دې پوهیدل چې د GPUDirect Storage په راتګ سره، د لویو پیرودونکو علاقه به د I/O سرعت سره د ذخیره کولو سیسټمونو وړاندې کولو ته متوجه شي چې د GPU له لارې پواسطه ورته وي، په SC-19 نندارتون کې کینګسټن د یو سیسټم ډیمو وښوده چې په کې شامل دي. د NVMe ډیسکونو پراساس د ذخیره کولو سیسټم او د GPU سره یو واحد ، کوم چې په هره ثانیه کې د زرګونو سټلایټ عکسونه تحلیلوي. موږ دمخه د 10 DC1000M U.2 NVMe ډرایو پراساس د داسې ذخیره کولو سیسټم په اړه لیکلي دي .
د 10 DC1000M U.2 NVMe ډرایو پراساس د ذخیره کولو سیسټم په کافي اندازه د ګرافیک سرعت کونکو سره سرور بشپړوي. سرچینه: کینګسټن
دا ذخیره کولو سیسټم د 1U یا لوی ریک واحد په توګه ډیزاین شوی او د DC1000M U.2 NVMe ډرایوونو شمیر پورې اړه لري، هر یو د 3.84-7.68 TB ظرفیت سره اندازه کیدی شي. DC1000M د کنګسټن د ډیټا سنټر ډرایو په لاین کې د U.2 فارم فاکتور کې لومړی NVMe SSD ماډل دی. دا د برداشت درجه لري (DWPD، ډرایو هره ورځ لیکي)، دا اجازه ورکوي چې د ډرایو تضمین شوي ژوند لپاره په ورځ کې یو ځل خپل بشپړ ظرفیت ته ډاټا بیا لیکي.
د اوبنټو 3.13 LTS عملیاتي سیسټم کې د fio v18.04.3 ازموینې کې، د لینکس کرنل 5.0.0-31-جنریک، د نندارتون ذخیره نمونې د پایښت وړ انډول (دوامداره بینډ ویت) سره د 5.8 ملیون IOPS د لوستلو سرعت (دوامداره لوستل) ښودلی. د 23.8 Gbit/s.
ایریل پیریز، په کنگسټن کې د SSD سوداګرۍ مدیر، د نوي ذخیره کولو سیسټمونو په اړه وویل: "موږ د U.2 NVMe SSD حلونو سره د راتلونکي نسل سرورونو سمبالولو لپاره چمتو یو ترڅو د ډیټا لیږد ډیری خنډونه له منځه یوسو چې په دودیز ډول د ذخیره کولو سره تړاو لري. د NVMe SSD ډرایو او زموږ د پریمیم سرور پریمیر DRAM ترکیب کنګسټون د صنعت یو له خورا پراخه پای څخه تر پای پورې ډیټا حل چمتو کونکو څخه جوړوي.
د gfio v3.13 ازموینې په DC23.8M U.1000 NVMe ډرایو کې د ډیمو ذخیره کولو سیسټم لپاره د 2 Gbps انډول وښود. سرچینه: کینګسټن
د HPC غوښتنلیکونو لپاره یو عادي سیسټم به د GPUDirect ذخیره یا ورته ټیکنالوژۍ کارولو په څیر څه ښکاري؟ دا یو معمار دی چې په ریک کې د فعال واحدونو فزیکي جلا کولو سره: د رام لپاره یو یا دوه واحدونه، د GPU او CPU کمپیوټري نوډونو لپاره څو نور، او د ذخیره کولو سیسټمونو لپاره یو یا څو واحدونه.
د GPUDirect ذخیره کولو اعلان او د نورو GPU پلورونکو څخه د ورته ټیکنالوژیو احتمالي راڅرګندیدو سره ، د لوړ فعالیت کمپیوټري کارولو لپاره ډیزاین شوي د ذخیره کولو سیسټمونو لپاره د کنګسټن غوښتنه پراخه کیږي. مارکر به د ذخیره کولو سیسټم څخه د ډیټا لوستلو سرعت وي ، د GPU سره کمپیوټري واحد ته په ننوتلو کې د 40- یا 100-Gbit شبکې کارتونو له لارې د پرتله کولو وړ وي. پدې توګه ، د خورا لوړ سرعت ذخیره کولو سیسټمونه ، پشمول د فابریک له لارې بهرني NVMe به د HPC غوښتنلیکونو لپاره اصلي جریان ته د بهرني کیدو څخه لاړ شي. د ساینس او مالي محاسبې سربیره، دوی به په ډیرو نورو عملي برخو کې غوښتنلیک ومومي، لکه د خوندي ښار ښار په کچه امنیتي سیسټمونه یا د ټرانسپورټ د څارنې مرکزونه، چیرې چې په هره ثانیه کې د ملیونونو HD عکسونو پیژندلو او پیژندنې سرعت ته اړتیا لیدل کیږي. د لوړ ذخیره کولو سیسټم بازار ځای
د کنگسټون محصولاتو په اړه نور معلومات په کې موندل کیدی شي شرکت.
سرچینه: www.habr.com