Բարև Հաբր: Մեծ տվյալների և մեքենայական ուսուցման համար տվյալների հավաքածուները երկրաչափականորեն աճում են, և մենք պետք է հետևենք դրանց: Մեր գրառումը բարձր արդյունավետության հաշվարկման ոլորտում մեկ այլ նորարար տեխնոլոգիայի մասին (HPC, High Performance Computing), որը ցուցադրվել է Kingston-ի տաղավարում ժ. . Սա Hi-End տվյալների պահպանման համակարգերի (SDS) օգտագործումն է գրաֆիկական մշակման միավորներով (GPU) և GPUDirect Storage ավտոբուսի տեխնոլոգիայով սերվերներում: Պահպանման համակարգի և GPU-ի միջև տվյալների ուղղակի փոխանակման շնորհիվ, շրջանցելով պրոցեսորը, տվյալների բեռնումը GPU արագացուցիչներում արագանում է մեծության կարգով, ուստի Big Data հավելվածներն աշխատում են առավելագույն արդյունավետությամբ, որն ապահովում են GPU-ները: Իր հերթին, HPC համակարգերի մշակողները շահագրգռված են ամենաբարձր I/O արագությամբ պահեստավորման համակարգերի առաջընթացով, ինչպիսիք են Kingston-ի արտադրածները:
GPU-ի աշխատանքը գերազանցում է տվյալների բեռնումը
Քանի որ CUDA-ն՝ GPU-ի վրա հիմնված ապարատային և ծրագրային զուգահեռ հաշվողական ճարտարապետություն՝ ընդհանուր նշանակության հավելվածների մշակման համար, ստեղծվել է 2007 թվականին, GPU-ների ապարատային հնարավորություններն աներևակայելիորեն աճել են: Այսօր GPU-ները ավելի ու ավելի են օգտագործվում HPC ծրագրերում, ինչպիսիք են Big Data, մեքենայական ուսուցումը (ML) և խորը ուսուցումը (DL):
Նշենք, որ չնայած տերմինների նմանությանը, վերջին երկուսը ալգորիթմորեն տարբեր առաջադրանքներ են: ML-ը վարժեցնում է համակարգիչը՝ հիմնվելով կառուցվածքային տվյալների վրա, մինչդեռ DL-ն վարում է համակարգիչը՝ հիմնվելով նեյրոնային ցանցի հետադարձ կապի վրա: Տարբերությունները հասկանալու համար օրինակը բավականին պարզ է: Ենթադրենք, որ համակարգիչը պետք է տարբերի կատուների և շների լուսանկարները, որոնք բեռնված են պահեստավորման համակարգից: ML-ի համար դուք պետք է ներկայացնեք մի շարք պատկերներ բազմաթիվ պիտակներով, որոնցից յուրաքանչյուրը սահմանում է կենդանու մեկ առանձնահատուկ հատկանիշ: DL-ի համար բավական է բեռնել շատ ավելի մեծ թվով պատկերներ, բայց ընդամենը մեկ պիտակով՝ «սա կատու է» կամ «սա շուն է»: DL-ը շատ նման է նրան, թե ինչպես են փոքր երեխաներին սովորեցնում. նրանց պարզապես ցույց են տալիս շների և կատուների նկարները գրքերում և կյանքում (առավել հաճախ, նույնիսկ առանց մանրամասն տարբերությունը բացատրելու), և երեխայի ուղեղն ինքն է սկսում որոշել կենդանու տեսակը դրանից հետո: որոշակի կրիտիկական թվով նկարներ համեմատության համար ( Ըստ հաշվարկների, խոսքը գնում է ընդամենը հարյուր կամ երկու շոուի մասին վաղ մանկության ընթացքում): DL ալգորիթմները դեռ այնքան էլ կատարյալ չեն. որպեսզի նեյրոնային ցանցը նույնպես հաջողությամբ աշխատի պատկերների նույնականացման վրա, անհրաժեշտ է սնուցել և մշակել միլիոնավոր պատկերներ GPU:
Նախաբանի ամփոփում. հիմնվելով GPU-ների վրա՝ դուք կարող եք կառուցել HPC հավելվածներ Big Data, ML և DL ոլորտում, բայց խնդիր կա՝ տվյալների հավաքածուներն այնքան մեծ են, որ պահպանման համակարգից տվյալների բեռնման ժամանակ ծախսվում է GPU: սկսում է նվազեցնել հավելվածի ընդհանուր կատարումը: Այլ կերպ ասած, արագ GPU-ները մնում են թերօգտագործված՝ այլ ենթահամակարգերից ստացվող դանդաղ մուտքի/ելքի տվյալների պատճառով: GPU-ի և դեպի պրոցեսոր/պահեստային համակարգ մուտքի/ելքի արագության տարբերությունը կարող է լինել մեծության կարգ:
Ինչպե՞ս է աշխատում GPUDirect Storage տեխնոլոգիան:
I/O գործընթացը վերահսկվում է CPU-ի կողմից, ինչպես նաև տվյալների բեռնման գործընթացը պահեստից դեպի GPU՝ հետագա մշակման համար: Սա հանգեցրեց տեխնոլոգիայի խնդրանքին, որը կապահովի ուղիղ մուտք GPU-ների և NVMe կրիչների միջև՝ միմյանց հետ արագ շփվելու համար: NVIDIA-ն առաջինն էր, որ առաջարկեց նման տեխնոլոգիա և այն անվանեց GPUDirect Storage: Իրականում սա GPUDirect RDMA (Remote Direct Memory Address) տեխնոլոգիայի տարբերակն է, որը նրանք նախկինում մշակել էին:
NVIDIA-ի գործադիր տնօրեն Ջենսեն Հուանգը SC-19-ում կներկայացնի GPUDirect Storage-ը որպես GPUDirect RDMA-ի տարբերակ: Աղբյուր՝ NVIDIA
GPUDirect RDMA-ի և GPUDirect Storage-ի միջև տարբերությունը կայանում է այն սարքերում, որոնց միջև իրականացվում է հասցեավորումը: GPUDirect RDMA տեխնոլոգիան վերագործարկված է տվյալների ուղղակիորեն տեղափոխելու համար առջևի ցանցային ինտերֆեյսի քարտի (NIC) և GPU հիշողության միջև, իսկ GPUDirect Storage-ն ապահովում է տվյալների ուղիղ ճանապարհ տեղական կամ հեռավոր պահեստների միջև, ինչպիսիք են NVMe կամ NVMe Fabric-ի վրայով (NVMe-oF) և GPU հիշողություն.
Թե՛ GPUDirect RDMA-ն, և թե՛ GPUDirect Storage-ը խուսափում են տվյալների անհարկի տեղաշարժերից պրոցեսորի հիշողության մեջ բուֆերի միջոցով և թույլ են տալիս ուղղակի հիշողության մուտքի (DMA) մեխանիզմին տվյալների տեղափոխումը ցանցային քարտից կամ պահեստից անմիջապես դեպի կամ GPU հիշողությունից՝ առանց բեռի կենտրոնական պրոցեսորի վրա: GPUDirect Storage-ի համար պահեստի գտնվելու վայրը նշանակություն չունի. այն կարող է լինել NVME սկավառակ GPU միավորի ներսում, դարակի ներսում կամ ցանցի միջոցով միացված լինել որպես NVMe-oF:
GPUDirect Storage-ի շահագործման սխեման: Աղբյուր՝ NVIDIA
Hi-End պահեստավորման համակարգերը NVMe-ում պահանջարկ ունեն HPC հավելվածների շուկայում
Հասկանալով, որ GPUDirect Storage-ի գալուստով մեծ հաճախորդների հետաքրքրությունը կգրավի GPU-ի թողունակությանը համապատասխան I/O արագությամբ պահեստավորման համակարգեր առաջարկելուն, SC-19 ցուցահանդեսում Kingston-ը ցուցադրեց մի համակարգի ցուցադրություն, որը բաղկացած է պահեստավորման համակարգ՝ հիմնված NVMe սկավառակների և GPU-ով միավորի վրա, որը վայրկյանում վերլուծում էր հազարավոր արբանյակային պատկերներ: Մենք արդեն գրել ենք նման պահեստավորման համակարգի մասին, որը հիմնված է 10 DC1000M U.2 NVMe կրիչների վրա .
10 DC1000M U.2 NVMe կրիչների վրա հիմնված պահեստավորման համակարգը համարժեքորեն լրացնում է գրաֆիկական արագացուցիչներով սերվերը: Աղբյուր՝ Kingston
Այս պահեստավորման համակարգը նախագծված է որպես 1U կամ ավելի մեծ դարակաշար և կարող է մասշտաբավորվել՝ կախված DC1000M U.2 NVMe կրիչների քանակից՝ յուրաքանչյուրը 3.84-7.68 ՏԲ հզորությամբ: DC1000M-ն առաջին NVMe SSD մոդելն է U.2 ձևի գործոնով Kingston-ի տվյալների կենտրոնի կրիչների շարքում: Այն ունի դիմացկունության վարկանիշ (DWPD, Drive-ը գրում է օրական), ինչը թույլ է տալիս օրական մեկ անգամ վերաշարադրել տվյալները իր ամբողջ հզորությամբ՝ սկավառակի երաշխավորված ծառայության համար:
Fio v3.13 թեստում Ubuntu 18.04.3 LTS օպերացիոն համակարգի վրա, Linux միջուկ 5.0.0-31-ընդհանուր, ցուցահանդեսի պահեստավորման նմուշը ցույց տվեց 5.8 միլիոն IOPS ընթերցման արագություն (Կայուն ընթերցում) կայուն թողունակությամբ (Sustained Bandwidth): ) 23.8 Գբիթ/վրկ:
Արիել Պերեսը՝ Kingston-ի SSD բիզնես մենեջեր, նոր պահեստավորման համակարգերի մասին ասել է. «Մենք պատրաստ ենք սերվերների հաջորդ սերունդը համալրել U.2 NVMe SSD լուծումներով՝ վերացնելու տվյալների փոխանցման շատ խոչընդոտներ, որոնք ավանդաբար կապված են պահեստավորման հետ: NVMe SSD կրիչների և մեր պրեմիում սերվերի Premier DRAM-ի համադրությունը Kingston-ին դարձնում է արդյունաբերության ամենաընդգրկուն տվյալների վերջնական լուծումներ մատակարարողներից մեկը»:
Gfio v3.13 թեստը ցույց տվեց DC23.8M U.1000 NVMe կրիչներում ցուցադրական պահեստավորման համակարգի թողունակությունը 2 Գբիթ/վրկ: Աղբյուր՝ Kingston
Ինչպիսի՞ն կլինի HPC հավելվածների համար բնորոշ համակարգը՝ օգտագործելով GPUDirect Storage կամ նմանատիպ տեխնոլոգիա: Սա դարակի ներսում ֆունկցիոնալ միավորների ֆիզիկական տարանջատմամբ ճարտարապետություն է՝ մեկ կամ երկու միավոր RAM-ի համար, ևս մի քանի միավոր՝ GPU և CPU հաշվողական հանգույցների համար, և մեկ կամ մի քանի միավոր՝ պահեստավորման համակարգերի համար:
GPUDirect Storage-ի հայտարարության և GPU-ի այլ վաճառողների կողմից նմանատիպ տեխնոլոգիաների հնարավոր ի հայտ գալու հետ մեկտեղ, Kingston-ի պահանջարկը պահեստավորման համակարգերի նկատմամբ, որոնք նախատեսված են բարձր արդյունավետության հաշվարկներում օգտագործելու համար, ընդլայնվում է: Նշիչը կլինի պահեստավորման համակարգից տվյալների ընթերցման արագությունը, որը համեմատելի է 40 կամ 100 Գբիթանոց ցանցային քարտերի թողունակությանը GPU ունեցող հաշվողական միավորի մուտքի մոտ: Այսպիսով, գերարագ պահեստավորման համակարգերը, ներառյալ արտաքին NVMe-ը Fabric-ի միջոցով, էկզոտիկից կդառնան հիմնական՝ HPC հավելվածների համար: Բացի գիտությունից և ֆինանսական հաշվարկներից, դրանք կիրառություն կգտնեն շատ այլ գործնական ոլորտներում, ինչպիսիք են անվտանգության համակարգերը Անվտանգ քաղաքի մետրոպոլիայի մակարդակում կամ տրանսպորտի հսկողության կենտրոնները, որտեղ պահանջվում է վայրկյանում միլիոնավոր HD պատկերների ճանաչման և նույնականացման արագություն», վերին Պահպանման համակարգի շուկայական տեղը
Kingston-ի արտադրանքի մասին լրացուցիչ տեղեկություններ կարելի է գտնել այստեղ ընկերությունը
Source: www.habr.com