Micron Technology, DRAM և ֆլեշ հիշողության ընկերություն, նոր պահեստային շարժիչ (Հետերոգեն հիշողություն Storage Engine), որը նախագծված է հաշվի առնելով SSD կրիչների օգտագործման առանձնահատկությունները, որոնք հիմնված են NAND ֆլեշի (X100, TLC, QLC 3D NAND) կամ մշտական հիշողության (NVDIMM) վրա: Շարժիչը նախագծված է որպես գրադարան՝ այլ հավելվածների մեջ ներդնելու համար և աջակցում է տվյալների մշակման հիմնական արժեքի ձևաչափով: HSE կոդը գրված է C և լիցենզավորված Apache 2.0-ի համաձայն:
Շարժիչի կիրառման ոլորտներից նշվում են տվյալների ցածր մակարդակի պահպանումը NoSQL DBMS-ում, ծրագրային ապահովման պահեստները (SDS, Ծրագրային ապահովման կողմից սահմանված պահեստավորում), ինչպիսիք են Ceph-ը և Scality RING-ը, մեծ քանակությամբ տվյալների մշակման հարթակներ (Big Data) , բարձր արդյունավետությամբ հաշվողական համակարգեր (HPC), իրերի ինտերնետ սարքեր (IoT) և լուծումներ մեքենայական ուսուցման համակարգերի համար։
HSE-ն օպտիմիզացված է ոչ միայն առավելագույն կատարողականության, այլև SSD-ի տարբեր դասերի երկարակեցության համար: Գործողության բարձր արագությունը ձեռք է բերվում հիբրիդային պահեստավորման մոդելի միջոցով. առավել համապատասխան տվյալները պահվում են RAM-ում, ինչը նվազեցնում է սկավառակի մուտքերի քանակը: Որպես երրորդ կողմի նախագծերում նոր շարժիչի ինտեգրման օրինակ փաստաթղթերի վրա հիմնված DBMS MongoDB-ի տարբերակ, որը թարգմանվել է HSE-ի օգտագործման համար:
Տեխնոլոգիապես, HSE-ն հենվում է միջուկի լրացուցիչ մոդուլի վրա , որն իրականացնում է օբյեկտների պահպանման մասնագիտացված ինտերֆեյս պինդ վիճակում գտնվող կրիչների համար՝ հաշվի առնելով դրանց հնարավորություններն ու առանձնահատկությունները, ինչը թույլ է տալիս ձեռք բերել սկզբունքորեն տարբեր կատարողական և ամրության բնութագրեր։ Mpool-ը նաև Micron Technology-ի մշակում է, որը բաց է HSE-ի հետ միաժամանակ, բայց առանձնացված է անկախ ենթակառուցվածքային նախագծի: Mpool-ը ենթադրում է օգտագործումը и , բայց ներկայումս աջակցում է միայն ավանդական SSD-ներին:
Փաթեթի օգտագործմամբ կատարողականի փորձարկում (Yahoo Cloud Serving Benchmark) ցույց է տվել կատարողականի զգալի աճ՝ 2 ՏԲ տարածք օգտագործելիս՝ 1 ԿԲ տվյալների բլոկների մշակմամբ: Հատկապես զգալի կատարողականի աճ է նկատվում կարդալու և գրելու գործողությունների միասնական բաշխմամբ թեստում («Ա» թեստը գրաֆիկում):
Օրինակ, HSE շարժիչով MongoDB-ն մոտ 8 անգամ ավելի արագ էր, քան ստանդարտ WiredTiger շարժիչով տարբերակը, իսկ RocksDB DBMS-ն ավելի քան 6 անգամ ավելի արագ էր, քան HSE շարժիչը: Գերազանց կատարումը տեսանելի է նաև թեստերում, որոնք ներառում են 95% ընթերցման գործողություններ և 5% փոփոխման կամ հավելվածի գործողություններ («B» և «D» թեստերը գրաֆիկներում): C թեստը, որը ներառում է միայն կարդալու գործողություններ, ցույց է տալիս մոտավորապես 40% շահույթ: Գրելու գործառնությունների ընթացքում SSD կրիչների գոյատևման աճը RocksDB-ի վրա հիմնված լուծման համեմատությամբ գնահատվում է 7 անգամ:
HSE-ի հիմնական առանձնահատկությունները.
- Ստանդարտ և ընդլայնված օպերատորների աջակցություն՝ բանալին/արժեք ձևաչափով տվյալների մշակման համար;
- Գործարքների լիակատար աջակցություն և պահոցների հատվածները մեկուսացնելու ունակությամբ՝ նկարների ստեղծման միջոցով (պատկերները կարող են օգտագործվել նաև մեկ պահեստում անկախ հավաքածուներ պահելու համար);
- Կուրսորներ օգտագործելու կարողություն՝ տվյալների ներթափանցման համար պատկերի վրա հիմնված դիտումներում;
- Տվյալների մոդելը օպտիմիզացված է մեկ պահեստում խառը բեռների տեսակների համար.
- Պահպանման հուսալիության կառավարման ճկուն մեխանիզմներ;
- Անհատականացվող տվյալների կազմակերպման սխեմաներ (տարբեր տեսակի հիշողության բաշխում, որոնք առկա են պահեստում);
- C API-ով գրադարան, որը կարող է դինամիկ կերպով կապվել ցանկացած հավելվածի հետ;
- Տվյալների տերաբայթի չափման և պահեստում հարյուրավոր միլիարդավոր բանալիների չափման ունակություն;
- հազարավոր զուգահեռ գործողությունների արդյունավետ մշակում;
- Արտադրողականության զգալի աճ, հետաձգման կրճատում և տարբեր տեսակի աշխատանքային ծանրաբեռնվածության համար գրելու/ընթերցելու կատարողականի բարձրացում՝ համեմատած ստանդարտ այլընտրանքային լուծումների հետ.
- Տարբեր դասերի SSD կրիչներ մեկ պահեստում օգտագործելու ունակություն՝ արդյունավետությունն ու ամրությունը օպտիմալացնելու համար:
Source: opennet.ru