માઇક્રોન ઓપન કોડ HSE સ્ટોરેજ એન્જિન SSD માટે ઑપ્ટિમાઇઝ કરેલું

DRAM અને ફ્લેશ મેમરી કંપની માઇક્રોન ટેકનોલોજી, પ્રસ્તુત નવું સ્ટોરેજ એન્જિન એચ.એસ.ઇ. (વિષમ-મેમરી સ્ટોરેજ એન્જિન), NAND ફ્લેશ (X100, TLC, QLC 3D NAND) અથવા કાયમી મેમરી (NVDIMM) પર આધારિત SSD ડ્રાઇવ્સ પર ઉપયોગની વિશિષ્ટતાઓને ધ્યાનમાં રાખીને ડિઝાઇન કરવામાં આવી છે. એન્જિનને અન્ય એપ્લિકેશન્સમાં એમ્બેડ કરવા માટે લાઇબ્રેરી તરીકે ડિઝાઇન કરવામાં આવ્યું છે અને કી-વેલ્યુ ફોર્મેટમાં પ્રોસેસિંગ ડેટાને સપોર્ટ કરે છે. HSE કોડ C અને માં લખાયેલ છે દ્વારા વિતરિત Apache 2.0 હેઠળ લાઇસન્સ.

એન્જિનના ઉપયોગના ક્ષેત્રોમાં, NoSQL DBMS, સોફ્ટવેર સ્ટોરેજ (SDS, સોફ્ટવેર-ડિફાઈન્ડ સ્ટોરેજ) જેવા કે Ceph અને Scality RING, મોટી માત્રામાં ડેટાની પ્રક્રિયા કરવા માટેના પ્લેટફોર્મ (બિગ ડેટા) માં લો-લેવલ ડેટા સ્ટોરેજનો ઉલ્લેખ કરવામાં આવ્યો છે. , હાઇ-પર્ફોર્મન્સ કમ્પ્યુટિંગ સિસ્ટમ્સ (HPC), ઈન્ટરનેટ ડિવાઇસીસ ઓફ થિંગ્સ (IoT) અને મશીન લર્નિંગ સિસ્ટમ્સ માટે સોલ્યુશન્સ.

HSE માત્ર મહત્તમ પ્રદર્શન માટે જ નહીં, પરંતુ વિવિધ SSD વર્ગોમાં આયુષ્ય માટે પણ ઑપ્ટિમાઇઝ કરવામાં આવ્યું છે. હાઇબ્રિડ સ્ટોરેજ મોડલ દ્વારા હાઇ ઓપરેટિંગ સ્પીડ પ્રાપ્ત થાય છે - સૌથી વધુ સુસંગત ડેટા રેમમાં કેશ કરવામાં આવે છે, જે ડ્રાઇવમાં એક્સેસની સંખ્યા ઘટાડે છે. તૃતીય-પક્ષ પ્રોજેક્ટ્સમાં નવા એન્જિનને એકીકૃત કરવાના ઉદાહરણ તરીકે તૈયાર દસ્તાવેજ-લક્ષી DBMS MongoDB નું સંસ્કરણ, HSE નો ઉપયોગ કરવા માટે અનુવાદિત.

તકનીકી રીતે, HSE વધારાના કર્નલ મોડ્યુલ પર આધાર રાખે છે mpool, જે સોલિડ-સ્ટેટ ડ્રાઇવ્સ માટે વિશિષ્ટ ઑબ્જેક્ટ સ્ટોરેજ ઇન્ટરફેસનો અમલ કરે છે, તેમની ક્ષમતાઓ અને સુવિધાઓને ધ્યાનમાં લે છે, જે તમને મૂળભૂત રીતે અલગ કામગીરી અને ટકાઉપણું લાક્ષણિકતાઓ મેળવવા માટે પરવાનગી આપે છે. એમપૂલ એ માઇક્રોન ટેક્નોલોજીનો વિકાસ પણ છે, જે HSEની જેમ જ ખુલ્લી છે, પરંતુ સ્વતંત્ર ઇન્ફ્રાસ્ટ્રક્ચર પ્રોજેક્ટમાં અલગ છે. Mpool ઉપયોગ ધારે છે સતત યાદશક્તિ и ઝોનલ સ્ટોરેજ સુવિધાઓ, પરંતુ હાલમાં માત્ર પરંપરાગત SSD ને સમર્થન આપે છે.

પેકેજનો ઉપયોગ કરીને પ્રદર્શન પરીક્ષણ YCSB (યાહૂ ક્લાઉડ સર્વિંગ બેન્ચમાર્ક) 2 KB ડેટા બ્લોક્સની પ્રક્રિયા સાથે 1 TB સ્ટોરેજનો ઉપયોગ કરતી વખતે પ્રભાવમાં નોંધપાત્ર વધારો દર્શાવે છે. વાંચવા અને લખવાની કામગીરીના સમાન વિતરણ સાથે પરીક્ષણમાં ખાસ કરીને નોંધપાત્ર કામગીરીમાં વધારો જોવા મળે છે (ગ્રાફમાં "A" પરીક્ષણ).

ઉદાહરણ તરીકે, HSE એન્જિન સાથેનું MongoDB પ્રમાણભૂત વાયરટાઈગર એન્જિન સાથેના સંસ્કરણ કરતાં લગભગ 8 ગણું ઝડપી હતું, અને RocksDB DBMS HSE એન્જિન કરતાં 6 ગણા કરતાં વધુ ઝડપી હતું. 95% રીડ ઑપરેશન અને 5% સંશોધિત અથવા એપેન્ડ ઑપરેશન્સ (આલેખમાં "B" અને "D" પરીક્ષણો) શામેલ હોય તેવા પરીક્ષણોમાં પણ ઉત્તમ પ્રદર્શન દેખાય છે. ટેસ્ટ C, જેમાં માત્ર વાંચન કામગીરીનો સમાવેશ થાય છે, તે લગભગ 40% નો વધારો દર્શાવે છે. રૉક્સડીબી પર આધારિત સોલ્યુશનની તુલનામાં રાઇટ ઑપરેશન દરમિયાન SSD ડ્રાઇવની અસ્તિત્વ ટકાવી રાખવાની ક્ષમતામાં 7 ગણો વધારો થવાનો અંદાજ છે.

HSE ની મુખ્ય લાક્ષણિકતાઓ:

• કી/મૂલ્ય ફોર્મેટમાં ડેટાની પ્રક્રિયા કરવા માટે પ્રમાણભૂત અને વિસ્તૃત ઓપરેટરો માટે સપોર્ટ;
• વ્યવહારો માટે સંપૂર્ણ સમર્થન અને સ્નેપશોટની રચના દ્વારા સ્ટોરેજ સ્લાઇસેસને અલગ કરવાની ક્ષમતા સાથે (સ્નેપશોટનો ઉપયોગ એક સ્ટોરેજમાં સ્વતંત્ર સંગ્રહ જાળવવા માટે પણ થઈ શકે છે);
• સ્નેપશોટ-આધારિત દૃશ્યોમાં ડેટાને પાર કરવા માટે કર્સરનો ઉપયોગ કરવાની ક્ષમતા;
• એક જ સ્ટોરેજમાં મિશ્ર લોડ પ્રકારો માટે ઑપ્ટિમાઇઝ કરેલ ડેટા મોડલ;
• સંગ્રહની વિશ્વસનીયતાના સંચાલન માટે લવચીક પદ્ધતિઓ;
• કસ્ટમાઇઝ કરવા યોગ્ય ડેટા ઓર્કેસ્ટ્રેશન સ્કીમ્સ (સ્ટોરેજમાં હાજર વિવિધ પ્રકારની મેમરીમાં વિતરણ);
• C API સાથેની લાઇબ્રેરી જે ગતિશીલ રીતે કોઈપણ એપ્લિકેશન સાથે લિંક કરી શકે છે;
• ડેટાના ટેરાબાઇટ્સ અને સેંકડો અબજો કીઓ સ્ટોરેજમાં માપવાની ક્ષમતા;
• હજારો સમાંતર કામગીરીની કાર્યક્ષમ પ્રક્રિયા;
• પ્રમાણભૂત વૈકલ્પિક ઉકેલોની સરખામણીમાં વિવિધ પ્રકારના વર્કલોડ માટે થ્રુપુટમાં નોંધપાત્ર વધારો, લેટન્સીમાં ઘટાડો અને લેખન/વાંચન કામગીરીમાં વધારો;
• પ્રદર્શન અને ટકાઉપણું ઑપ્ટિમાઇઝ કરવા માટે એક સ્ટોરેજમાં વિવિધ વર્ગોની SSD ડ્રાઇવનો ઉપયોગ કરવાની ક્ષમતા.

સોર્સ: opennet.ru