[Գերհամակարգչություն 2019]: Բազմաամպային պահեստավորում՝ որպես նոր Kingston DC1000M կրիչների կիրառման տարածք

Պատկերացրեք, որ դուք սկսում եք նորարարական բժշկական բիզնես՝ դեղամիջոցների անհատական ​​ընտրություն՝ հիմնված մարդու գենոմի վերլուծության վրա: Յուրաքանչյուր հիվանդ ունի 3 միլիարդ գենային զույգ, իսկ x86 պրոցեսորների վրա սովորական սերվերը հաշվարկելու համար կպահանջվի մի քանի օր: Դուք գիտեք, որ դուք կարող եք արագացնել գործընթացը սերվերի վրա FPGA պրոցեսորով, որը զուգահեռացնում է հաշվարկները հազարավոր թելերով: Այն կավարտի գենոմի հաշվարկը մոտ մեկ ժամում։ Նման սերվերները կարելի է վարձակալել Amazon Web Services-ից (AWS): Բայց ահա բանը. հաճախորդը՝ հիվանդանոցը, կտրականապես դեմ է մատակարարի ամպում գենետիկական տվյալների տեղադրմանը: Ինչ պետք է անեմ? Kingston-ը և ամպային ստարտափը ցուցադրել են ճարտարապետությունը Supercomputer-2019 ցուցահանդեսում Մասնավոր MultiCloud Storage (PMCS), որը լուծում է այս խնդիրը։

Երեք պայման բարձր կատարողական հաշվարկների համար

Մարդու գենոմի հաշվարկը միակ խնդիրը չէ բարձր արդյունավետության հաշվարկման ոլորտում (HPC, High Performance Computing): Գիտնականները հաշվարկում են ֆիզիկական դաշտերը, ինժեներները՝ ինքնաթիռների մասերը, ֆինանսիստները՝ տնտեսական մոդելները և միասին վերլուծում են մեծ տվյալները, կառուցում են նեյրոնային ցանցեր և շատ այլ բարդ հաշվարկներ։

HPC-ի երեք պայմաններն են՝ հսկայական հաշվողական հզորություն, շատ մեծ և արագ պահեստավորում և ցանցի բարձր թողունակություն: Հետևաբար, LPC-ի հաշվարկներն իրականացնելու ստանդարտ պրակտիկան գտնվում է ընկերության սեփական տվյալների կենտրոնում (տեղում) կամ ամպի մատակարարում:

Բայց ոչ բոլոր ընկերություններն ունեն իրենց սեփական տվյալների կենտրոնները, և նրանք, որոնք հաճախ ունեն, ռեսուրսների արդյունավետությամբ զիջում են առևտրային տվյալների կենտրոններին (կապիտալ ծախսեր են պահանջվում սարքավորումներ և ծրագրաշարեր գնելու և թարմացնելու, բարձր որակավորում ունեցող անձնակազմի համար վճարելու համար և այլն): Ամպային պրովայդերները, ընդհակառակը, առաջարկում են ՏՏ ռեսուրսներ «Pay-as-you-go» գործառնական ծախսերի մոդելի համաձայն, այսինքն. վարձավճարը գանձվում է միայն օգտագործման ժամկետի համար։ Երբ հաշվարկներն ավարտվեն, սերվերները կարող են հեռացվել հաշվից՝ դրանով իսկ խնայելով ՏՏ բյուջեները: Բայց եթե գոյություն ունի մատակարարին տվյալների փոխանցման օրենսդրական կամ կորպորատիվ արգելք, ապա HPC-ի հաշվարկը ամպում հասանելի չէ:

Մասնավոր MultiCloud պահեստավորում

Մասնավոր MultiCloud Storage ճարտարապետությունը նախագծված է ամպային ծառայություններին հասանելիություն ապահովելու համար, մինչդեռ տվյալները ֆիզիկապես թողնում են ձեռնարկության կայքում կամ տվյալների կենտրոնի առանձին անվտանգ բաժնում՝ օգտագործելով համակցման ծառայություն: Ըստ էության, դա տվյալների վրա հիմնված բաշխված հաշվողական մոդել է, որտեղ ամպային սերվերները աշխատում են մասնավոր ամպի հեռավոր պահեստավորման համակարգերի հետ: Համապատասխանաբար, օգտագործելով նույն տեղական տվյալների պահեստը, դուք կարող եք աշխատել խոշորագույն մատակարարների ամպային ծառայությունների հետ՝ AWS, MS Azure, Google Cloud Platform‎ և այլն:

Ցույց տալով Supercomputing-2019 ցուցահանդեսում PMCS-ի ներդրման օրինակ՝ Քինգսթոնը ներկայացրել է DC1000M SSD կրիչների վրա հիմնված տվյալների պահպանման բարձր արդյունավետության համակարգի (SSD) նմուշ, իսկ ամպային ստարտափներից մեկը ներկայացրել է StorOne S1 կառավարման ծրագրաշարը ծրագրային ապահովման համար. սահմանված պահեստավորում և հատուկ հաղորդակցման ուղիներ ամպային խոշոր մատակարարների հետ:

Հարկ է նշել, որ PMCS-ը, որպես մասնավոր պահեստով ամպային հաշվարկի աշխատանքային մոդել, նախատեսված է հյուսիսամերիկյան շուկայի համար՝ տվյալների կենտրոնների միջև զարգացած ցանցային կապով, որն աջակցվում է AT&T և Equinix ենթակառուցվածքներում: Այսպիսով, ցանկացած Equinix Cloud Exchange հանգույցում տեղակայման պահպանման համակարգի և AWS ամպի միջև պինգը 1 միլիվայրկյանից պակաս է (աղբյուր. ITProToday).

Ցուցահանդեսում ցուցադրված PMCS ճարտարապետության ցուցադրման ժամանակ DC1000M NVMe սկավառակների վրա պահեստավորման համակարգը տեղակայվել է տեղակայման մեջ, և վիրտուալ մեքենաները տեղադրվել են AWS, MS Azure և Google Cloud Platform ամպերում, որոնք ping միմյանց վրա: Հաճախորդ-սերվեր հավելվածը հեռակա կերպով աշխատել է Kingston պահեստավորման համակարգի և HP DL380 սերվերների հետ տվյալների կենտրոնում և Equinix կապի ալիքի ենթակառուցվածքի միջոցով մուտք է գործել վերը նշված խոշոր մատակարարների ամպային հարթակներ:

Սլայդ «Private MultiCloud Storage»-ի շնորհանդեսից Supercomputing-2019 ցուցահանդեսում: Աղբյուր՝ Kingston

Նմանատիպ ֆունկցիոնալ ծրագրակազմ՝ մասնավոր բազմաամպային պահեստի ճարտարապետությունը կառավարելու համար, առաջարկվում է տարբեր ընկերությունների կողմից: Այս ճարտարապետության պայմանները կարող են նաև տարբեր հնչել՝ Private MultiCloud Storage կամ Private Storage for Cloud:

«Այսօրվա սուպերհամակարգիչները գործարկում են HPC-ի մի շարք ծրագրեր, որոնք առաջնային են՝ նավթի և գազի հետախուզումից մինչև եղանակի կանխատեսում, ֆինանսական շուկաներ և նոր տեխնոլոգիաների զարգացում», - ասում է Քինգսթոնի ձեռնարկությունների SSD կառավարման մենեջեր Քիթ Շիմենտին: «Այս HPC հավելվածները պահանջում են շատ ավելի մեծ համընկնում պրոցեսորի կատարողականի և I/O արագության միջև: Մենք հպարտ ենք կիսվել, թե ինչպես են Kingston-ի լուծումներն օգնում առաջընթաց գրանցել հաշվողական ոլորտում՝ ապահովելով աշխարհի ամենաէքստրեմալ հաշվողական միջավայրերում և հավելվածներում անհրաժեշտ կատարողականությունը»:

DC1000M սկավառակ և դրա վրա հիմնված պահեստավորման համակարգի օրինակ

DC1000M U.2 NVMe SSD-ը նախագծված է Kingston-ի կողմից տվյալների կենտրոնի համար և հատուկ նախագծված է տվյալների ինտենսիվ և HPC հավելվածների համար, ինչպիսիք են արհեստական ​​ինտելեկտը (AI) և մեքենայական ուսուցման (ML) հավելվածները:

DC1000M U.2 NVMe 3.84TB սկավառակ: Աղբյուր՝ Kingston

DC1000M U.2 կրիչները հիմնված են 96-շերտ Intel 3D NAND հիշողության վրա, որը կառավարվում է Silicon Motion SM2270 կարգավորիչով (PCIe 3.0 և NVMe 3.0): Silicon Motion SM2270-ը ձեռնարկատիրական NVMe կարգավորիչ է 16 գծով, PCIe 3.0 x8 ինտերֆեյսով, կրկնակի 32-բիթանոց DRAM տվյալների ավտոբուսով և երեք ARM Cortex R5 կրկնակի պրոցեսորներով:

Տարբեր հզորությունների DC1000M-ն առաջարկվում է թողարկման համար՝ 0.96-ից մինչև 7.68 ՏԲ (համարվում է, որ ամենահայտնի հզորությունները 3.84 և 7.68 ՏԲ են): Սկավառակի արդյունավետությունը գնահատվում է 800 հազար IOPS:

Պահպանման համակարգ 10x DC1000M U.2 NVMe 7.68 TB: Աղբյուր՝ Kingston

Որպես HPC հավելվածների պահեստավորման համակարգի օրինակ՝ Kingston-ը Supercomputing 2019-ին ներկայացրեց դարակային լուծում 10 DC1000M U.2 NVMe կրիչներով, որոնցից յուրաքանչյուրը 7.68 ՏԲ հզորությամբ: Պահպանման համակարգը հիմնված է SB122A-PH-ի վրա՝ AIC-ի 1U ձևաչափի հարթակ: Պրոցեսորներ՝ 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Մասի համարը՝ KSM24RS4/16HAI): Տեղադրված ՕՀ-ն Ubuntu 18.04.3 LTS-ն է, Linux միջուկը՝ 5.0.0-31: Gfio v3.13 թեստը (Flexible I/O Tester) ցույց է տվել 5.8 միլիոն IOPS ընթերցման արդյունավետություն՝ 23.8 Գբիթ/վրկ թողունակությամբ:

Ներկայացված պահեստավորման համակարգը ցույց տվեց տպավորիչ բնութագրեր 5,8 միլիոն IOPS-ի կայուն ընթերցման առումով (մուտք-ելքային գործառնություններ վայրկյանում): Սա երկու կարգով ավելի արագ է, քան SSD-ները զանգվածային շուկայական համակարգերի համար: Ընթերցման այս արագությունն անհրաժեշտ է մասնագիտացված պրոցեսորների վրա աշխատող HPC հավելվածների համար:

Cloud computing HPC մասնավոր պահեստով Ռուսաստանում

Պրովայդերի մոտ բարձր արդյունավետությամբ հաշվարկներ կատարելու, բայց տեղում տվյալների ֆիզիկապես պահպանելու խնդիրը նույնպես արդիական է ռուսական ընկերությունների համար: Ներքին բիզնեսում մեկ այլ սովորական դեպք է, երբ օտարերկրյա ամպային ծառայություններից օգտվելիս տվյալները պետք է տեղակայվեն Ռուսաստանի Դաշնության տարածքում: Մենք խնդրեցինք մեկնաբանել այս իրավիճակները ամպային մատակարար Selectel-ի անունից՝ որպես Kingston-ի երկարամյա գործընկեր:

«Ռուսաստանում հնարավոր է կառուցել նմանատիպ ճարտարապետություն՝ ռուսերենով սպասարկմամբ և բոլոր հաշվետվական փաստաթղթերով հաճախորդի հաշվապահական հաշվառման բաժնի համար: Եթե ​​ընկերությանը պետք է կատարի բարձր արդյունավետությամբ հաշվարկներ՝ օգտագործելով ներտնային պահեստավորման համակարգերը, մենք Selectel-ում վարձակալում ենք տարբեր տեսակի պրոցեսորներով սերվերներ, այդ թվում՝ FPGA, GPU կամ բազմամիջուկ պրոցեսորներ: Բացի այդ, գործընկերների միջոցով մենք կազմակերպում ենք հատուկ օպտիկական ալիքի տեղադրում հաճախորդի գրասենյակի և մեր տվյալների կենտրոնի միջև», - մեկնաբանում է Selectel-ի ծառայությունների զարգացման տնօրեն Ալեքսանդր Տուգովը: — Հաճախորդը կարող է նաև տեղակայել իր պահեստային համակարգը համակարգչային սենյակում՝ հատուկ մուտքի ռեժիմով և գործարկել հավելվածները ինչպես մեր սերվերների, այնպես էլ համաշխարհային պրովայդերների AWS, MS Azure, Google Cloud ամպերում: Իհարկե, վերջին դեպքում ազդանշանի ուշացումը ավելի մեծ կլինի, քան եթե հաճախորդի պահեստային համակարգը գտնվեր ԱՄՆ-ում, բայց կապահովվի լայնաշերտ բազմաամպային կապ»:

Հաջորդ հոդվածում կխոսենք Kingston-ի մեկ այլ լուծման մասին, որը ներկայացվել է Supercomputing 2019 ցուցահանդեսում (Դենվեր, Կոլորադո, ԱՄՆ) և նախատեսված է մեքենայական ուսուցման հավելվածների և մեծ տվյալների վերլուծության համար՝ օգտագործելով GPU։ Սա GPUDirect Storage տեխնոլոգիան է, որն ապահովում է տվյալների ուղղակի փոխանցում NVMe պահեստավորման և GPU պրոցեսորի հիշողության միջև: Եվ ի լրումն, մենք կբացատրենք, թե ինչպես մեզ հաջողվեց հասնել տվյալների ընթերցման 5.8 միլիոն IOPS արագության NVMe սկավառակների վրա դարակաշարային պահեստավորման համակարգում:

Kingston Technology արտադրանքի մասին լրացուցիչ տեղեկությունների համար այցելեք ընկերության կայք.

Source: www.habr.com