Micron open sourced HSE storage engine nga na-optimize alang sa SSD

Micron Technology, usa ka DRAM ug flash memory nga kompanya, gipresentar bag-ong storage engine HSE (Heterogenous-memory Storage Engine), gidisenyo nga nagkonsiderar sa mga detalye sa paggamit sa SSD drive base sa NAND flash (X100, TLC, QLC 3D NAND) o permanenteng memorya (NVDIMM). Ang makina gidisenyo isip usa ka librarya alang sa pag-embed sa ubang mga aplikasyon ug pagsuporta sa pagproseso sa datos sa key-value format. Ang HSE code gisulat sa C ug giapod-apod sa lisensyado ubos sa Apache 2.0.

Lakip sa mga lugar sa aplikasyon sa makina, ang paghisgot gihimo sa ubos nga lebel sa pagtipig sa datos sa NoSQL DBMS, mga storage sa software (SDS, Software-Defined Storage) sama sa Ceph ug Scality RING, mga plataporma alang sa pagproseso sa daghang mga datos (Big Data) , high-performance computing systems (HPC), Internet devices of things (IoT) ug mga solusyon alang sa machine learning system.

Ang HSE gi-optimize dili lamang alang sa labing taas nga pasundayag, apan alang usab sa taas nga kinabuhi sa lainlaing mga klase sa SSD. Ang taas nga tulin sa pag-opera nakab-ot pinaagi sa usa ka hybrid nga modelo sa pagtipig - ang labing may kalabutan nga datos gi-cache sa RAM, nga nagpamenos sa gidaghanon sa mga pag-access sa drive. Ingon usa ka pananglitan sa pag-integrate sa usa ka bag-ong makina sa mga proyekto sa ikatulo nga partido giandam usa ka bersyon sa DBMS nga MongoDB nga nakabase sa dokumento, gihubad aron gamiton ang HSE.

Sa teknolohiya, ang HSE nagsalig sa usa ka dugang nga kernel module mpool, nga nagpatuman sa usa ka espesyal nga interface sa pagtipig sa butang alang sa solid-state drive, nga gikonsiderar ang ilang mga kapabilidad ug mga bahin, nga nagtugot kanimo nga makakuha sa sukaranan nga lainlaing mga kinaiya sa pasundayag ug kalig-on. Ang Mpool usa usab ka pag-uswag sa Micron Technology, bukas sa parehas nga oras sa HSE, apan gibulag sa usa ka independente nga proyekto sa imprastraktura. Giangkon ni Mpool ang paggamit padayon nga memorya и mga pasilidad sa pagtipig sa zonal, apan sa pagkakaron nagsuporta lamang sa mga tradisyonal nga SSD.

Pagsulay sa performance gamit ang package YCSB (Yahoo Cloud Serving Benchmark) nagpakita sa usa ka mahinungdanon nga pagtaas sa performance sa diha nga ang paggamit sa 2 TB storage uban sa pagproseso sa 1 KB data blocks. Ang usa ka labi ka hinungdanon nga pagtaas sa pasundayag nakita sa pagsulay nga adunay managsama nga pag-apod-apod sa mga operasyon sa pagbasa ug pagsulat (pagsulay "A" sa graph).

Pananglitan, ang MongoDB nga adunay HSE nga makina nahimo nga mga 8 ka beses nga mas paspas kaysa sa bersyon nga adunay standard nga WiredTiger nga makina, ug ang RocksDB DBMS mas paspas kaysa sa HSE nga makina sa sobra sa 6 ka beses. Ang maayo kaayo nga performance makita usab sa mga pagsulay nga naglakip sa 95% nga mga operasyon sa pagbasa ug 5% sa pag-usab o pagdugang sa mga operasyon (mga pagsulay "B" ug "D" sa mga graph). Ang Test C, nga naglakip lamang sa mga operasyon sa pagbasa, nagpakita sa usa ka ganansya nga gibana-bana nga 40%. Ang pagtaas sa survivability sa SSD drive sa panahon sa pagsulat nga mga operasyon kumpara sa usa ka solusyon nga gibase sa RocksDB gibanabana nga 7 ka beses.

Panguna nga mga bahin sa HSE:

• Suporta para sa standard ug extended operators para sa pagproseso sa datos sa key/value format;
• Ang bug-os nga suporta alang sa mga transaksyon ug uban ang abilidad sa paglain sa mga hiwa sa pagtipig pinaagi sa paghimo sa mga snapshot (mahimo usab nga magamit ang mga snapshot aron mapadayon ang mga independente nga koleksyon sa usa ka pagtipig);
• Abilidad sa paggamit sa mga cursor sa pagtabok sa datos sa snapshot-based nga mga panglantaw;
• Ang modelo sa datos na-optimize alang sa nagkasagol nga mga tipo sa pagkarga sa usa ka storage;
• Flexible nga mga mekanismo alang sa pagdumala sa kasaligan sa pagtipig;
• Napasibo nga mga laraw sa orkestra sa datos (pag-apod-apod sa lainlaing mga lahi sa panumduman nga naa sa pagtipig);
• Usa ka librarya nga adunay usa ka C API nga mahimong dinamikong mag-link sa bisan unsang aplikasyon;
• Abilidad sa pagsukod sa terabytes sa datos ug gatusan ka bilyon nga mga yawe sa pagtipig;
• Episyente nga pagproseso sa liboan ka parallel nga operasyon;
• Mahinungdanon nga pag-uswag sa throughput, pagkunhod sa latency ug pagtaas sa pagsulat/pagbasa nga pasundayag alang sa lainlaing mga klase sa workload kung itandi sa standard nga alternatibong mga solusyon;
• Ang abilidad sa paggamit sa SSD drive sa lain-laing mga klase sa usa ka storage aron ma-optimize ang performance ug durability.

Source: opennet.ru