మైక్రోన్ ఓపెన్ సోర్స్డ్ HSE స్టోరేజ్ ఇంజన్ SSD కోసం ఆప్టిమైజ్ చేయబడింది

మైక్రోన్ టెక్నాలజీ, DRAM మరియు ఫ్లాష్ మెమరీ కంపెనీ, సమర్పించారు కొత్త నిల్వ ఇంజిన్ HSE (విజాతీయ-మెమరీ స్టోరేజ్ ఇంజిన్), NAND ఫ్లాష్ (X100, TLC, QLC 3D NAND) లేదా శాశ్వత మెమరీ (NVDIMM) ఆధారంగా SSD డ్రైవ్‌లలో ఉపయోగం యొక్క ప్రత్యేకతలను పరిగణనలోకి తీసుకుని రూపొందించబడింది. ఇంజిన్ ఇతర అనువర్తనాల్లో పొందుపరచడానికి లైబ్రరీగా రూపొందించబడింది మరియు కీ-విలువ ఆకృతిలో డేటాను ప్రాసెస్ చేయడానికి మద్దతు ఇస్తుంది. HSE కోడ్ C మరియు లో వ్రాయబడింది ద్వారా పంపిణీ చేయబడింది Apache 2.0 క్రింద లైసెన్స్ పొందింది.

ఇంజిన్ యొక్క అప్లికేషన్ యొక్క విభాగాలలో, NoSQL DBMSలో తక్కువ-స్థాయి డేటా నిల్వ, Ceph మరియు Scality RING వంటి సాఫ్ట్‌వేర్ నిల్వలు (SDS, సాఫ్ట్‌వేర్-నిర్వచించిన నిల్వ), పెద్ద మొత్తంలో డేటాను ప్రాసెస్ చేయడానికి ప్లాట్‌ఫారమ్‌లు (బిగ్ డేటా) గురించి ప్రస్తావించబడింది. , హై-పెర్ఫార్మెన్స్ కంప్యూటింగ్ సిస్టమ్స్ (HPC), ఇంటర్నెట్ డివైజ్ ఆఫ్ థింగ్స్ (IoT) మరియు మెషీన్ లెర్నింగ్ సిస్టమ్స్ కోసం సొల్యూషన్స్.

HSE గరిష్ట పనితీరు కోసం మాత్రమే కాకుండా, వివిధ రకాల SSD తరగతుల్లో దీర్ఘాయువు కోసం కూడా ఆప్టిమైజ్ చేయబడింది. హైబ్రిడ్ స్టోరేజ్ మోడల్ ద్వారా అధిక ఆపరేటింగ్ వేగం సాధించబడుతుంది - అత్యంత సంబంధిత డేటా RAMలో కాష్ చేయబడుతుంది, ఇది డ్రైవ్‌కు యాక్సెస్‌ల సంఖ్యను తగ్గిస్తుంది. థర్డ్-పార్టీ ప్రాజెక్ట్‌లలో కొత్త ఇంజిన్‌ను ఏకీకృతం చేయడానికి ఉదాహరణగా సిద్ధం డాక్యుమెంట్-ఆధారిత DBMS MongoDB యొక్క సంస్కరణ, HSEని ఉపయోగించడానికి అనువదించబడింది.

సాంకేతికంగా, HSE అదనపు కెర్నల్ మాడ్యూల్‌పై ఆధారపడుతుంది కొలను, ఇది సాలిడ్-స్టేట్ డ్రైవ్‌ల కోసం ప్రత్యేకమైన ఆబ్జెక్ట్ స్టోరేజ్ ఇంటర్‌ఫేస్‌ను అమలు చేస్తుంది, వాటి సామర్థ్యాలు మరియు లక్షణాలను పరిగణనలోకి తీసుకుంటుంది, ఇది ప్రాథమికంగా భిన్నమైన పనితీరు మరియు మన్నిక లక్షణాలను పొందేందుకు మిమ్మల్ని అనుమతిస్తుంది. Mpool అనేది మైక్రోన్ టెక్నాలజీ యొక్క అభివృద్ధి, HSE వలె అదే సమయంలో తెరవబడింది, కానీ స్వతంత్ర మౌలిక సదుపాయాల ప్రాజెక్ట్‌గా విభజించబడింది. Mpool ఉపయోగం ఊహిస్తుంది నిరంతర జ్ఞాపకశక్తి и జోనల్ నిల్వ సౌకర్యాలు, కానీ ప్రస్తుతం సాంప్రదాయ SSDలకు మాత్రమే మద్దతు ఇస్తుంది.

ప్యాకేజీని ఉపయోగించి పనితీరు పరీక్ష YCSB (Yahoo Cloud Serving Benchmark) 2 KB డేటా బ్లాక్‌లను ప్రాసెస్ చేయడంతో 1 TB నిల్వను ఉపయోగిస్తున్నప్పుడు పనితీరులో గణనీయమైన పెరుగుదలను చూపింది. రీడ్ మరియు రైట్ ఆపరేషన్ల ఏకరీతి పంపిణీతో పరీక్షలో ప్రత్యేకంగా గణనీయమైన పనితీరు పెరుగుదల గమనించబడుతుంది (గ్రాఫ్‌లో పరీక్ష "A").

ఉదాహరణకు, HSE ఇంజిన్‌తో ఉన్న MongoDB ప్రామాణిక WiredTiger ఇంజిన్‌తో ఉన్న వెర్షన్ కంటే దాదాపు 8 రెట్లు వేగంగా ఉంది మరియు RocksDB DBMS HSE ఇంజిన్ కంటే 6 రెట్లు ఎక్కువ వేగంగా ఉంది. 95% రీడ్ ఆపరేషన్‌లు మరియు 5% సవరణలు లేదా అనుబంధిత ఆపరేషన్‌లు (గ్రాఫ్‌లలో "B" మరియు "D" పరీక్షలు) ఉండే పరీక్షలలో కూడా అద్భుతమైన పనితీరు కనిపిస్తుంది. "C" పరీక్షలో, కేవలం రీడ్ ఆపరేషన్‌లను మాత్రమే కలిగి ఉంటుంది, సుమారుగా 40% లాభం ప్రదర్శించబడుతుంది. RocksDB ఆధారిత పరిష్కారంతో పోలిస్తే వ్రాత కార్యకలాపాల సమయంలో SSD డ్రైవ్‌ల మనుగడలో పెరుగుదల 7 రెట్లు అంచనా వేయబడింది.

HSE యొక్క ముఖ్య లక్షణాలు:

• కీ/విలువ ఆకృతిలో డేటాను ప్రాసెస్ చేయడానికి ప్రామాణిక మరియు పొడిగించిన ఆపరేటర్లకు మద్దతు;
• లావాదేవీలకు పూర్తి మద్దతు మరియు స్నాప్‌షాట్‌ల సృష్టి ద్వారా నిల్వ స్లైస్‌లను వేరుచేసే సామర్థ్యంతో (ఒక నిల్వలో స్వతంత్ర సేకరణలను నిర్వహించడానికి స్నాప్‌షాట్‌లను కూడా ఉపయోగించవచ్చు);
• స్నాప్‌షాట్-ఆధారిత వీక్షణలలో డేటాను దాటడానికి కర్సర్‌లను ఉపయోగించగల సామర్థ్యం;
• ఒక నిల్వలో మిక్స్డ్ వర్క్‌లోడ్ రకాల కోసం ఆప్టిమైజ్ చేయబడిన డేటా మోడల్;
• సౌకర్యవంతమైన నిల్వ విశ్వసనీయత నిర్వహణ విధానాలు;
• అనుకూలీకరించదగిన డేటా ఆర్కెస్ట్రేషన్ పథకాలు (నిల్వలో ఉన్న వివిధ రకాల మెమరీలో పంపిణీ);
• ఏదైనా అప్లికేషన్‌కి డైనమిక్‌గా లింక్ చేయగల C APIతో లైబ్రరీ;
• టెరాబైట్‌ల డేటా మరియు వందల బిలియన్ల కీల నిల్వలో స్కేల్ చేయగల సామర్థ్యం;
• వేలకొద్దీ సమాంతర కార్యకలాపాల సమర్థవంతమైన ప్రాసెసింగ్;
• ప్రామాణిక ప్రత్యామ్నాయ పరిష్కారాలతో పోలిస్తే వివిధ రకాల పనిభారం కోసం నిర్గమాంశలో గణనీయమైన పెరుగుదల, తగ్గిన జాప్యం మరియు పెరిగిన వ్రాత/పఠన పనితీరు;
• పనితీరు మరియు మన్నికను ఆప్టిమైజ్ చేయడానికి ఒకే స్టోరేజ్‌లో వివిధ తరగతుల SSD డ్రైవ్‌లను ఉపయోగించగల సామర్థ్యం.

మూలం: opennet.ru