ఈ రోజు మనం ఐదవ తరం నెట్వర్క్లు, జీనోమ్ స్కానర్‌లు మరియు సెల్ఫ్ డ్రైవింగ్ కార్లు పారిశ్రామిక విప్లవానికి ముందు సృష్టించబడిన మొత్తం మానవాళి కంటే రోజుకు ఎక్కువ డేటాను ఉత్పత్తి చేసే ప్రపంచంలో డేటాను ఎలా నిల్వ చేయాలనే దాని గురించి మాట్లాడుతాము.
మన ప్రపంచం మరింత సమాచారాన్ని సృష్టిస్తోంది. దానిలో కొంత భాగం నశ్వరమైనది మరియు సేకరించినంత త్వరగా పోతుంది. మరొకటి ఎక్కువసేపు నిల్వ చేయబడాలి మరియు మరొకటి "శతాబ్దాలుగా" కూడా రూపొందించబడింది - కనీసం మనం ప్రస్తుతం నుండి చూస్తున్నది. సమాచార ప్రవాహాలు డేటా కేంద్రాలలో అంత వేగంతో స్థిరపడతాయి, ఏదైనా కొత్త విధానం, ఈ అంతులేని "డిమాండ్"ని సంతృప్తి పరచడానికి రూపొందించబడిన ఏదైనా సాంకేతికత త్వరగా వాడుకలో లేదు.
పంపిణీ చేయబడిన నిల్వ వ్యవస్థల అభివృద్ధి 40 సంవత్సరాలు
మనకు తెలిసిన రూపంలోని మొదటి నెట్‌వర్క్ నిల్వ 1980లలో కనిపించింది. మీలో చాలా మంది NFS (నెట్‌వర్క్ ఫైల్ సిస్టమ్), AFS (ఆండ్రూ ఫైల్ సిస్టమ్) లేదా కోడాను చూశారు. ఒక దశాబ్దం తరువాత, ఫ్యాషన్ మరియు సాంకేతికత మారాయి మరియు పంపిణీ చేయబడిన ఫైల్ సిస్టమ్‌లు GPFS (జనరల్ ప్యారలల్ ఫైల్ సిస్టమ్), CFS (క్లస్టర్డ్ ఫైల్ సిస్టమ్స్) మరియు StorNext ఆధారంగా క్లస్టర్డ్ స్టోరేజ్ సిస్టమ్‌లకు దారితీశాయి. క్లాసికల్ ఆర్కిటెక్చర్ యొక్క బ్లాక్ స్టోరేజ్ ప్రాతిపదికగా ఉపయోగించబడింది, దాని పైన సాఫ్ట్వేర్ లేయర్ ఉపయోగించి ఒకే ఫైల్ సిస్టమ్ సృష్టించబడింది. ఇవి మరియు ఇలాంటి పరిష్కారాలు ఇప్పటికీ ఉపయోగించబడుతున్నాయి, వాటి సముచిత స్థానాన్ని ఆక్రమించాయి మరియు చాలా డిమాండ్‌లో ఉన్నాయి.
సహస్రాబ్ది ప్రారంభంలో, పంపిణీ చేయబడిన నిల్వ నమూనా కొంతవరకు మారిపోయింది మరియు SN (షేర్డ్-నథింగ్) ఆర్కిటెక్చర్‌తో కూడిన సిస్టమ్‌లు ప్రముఖ స్థానాలను ఆక్రమించాయి. క్లస్టర్ స్టోరేజ్ నుండి వ్యక్తిగత నోడ్‌లలో స్టోరేజీకి పరివర్తన ఉంది, ఇది ఒక నియమం వలె, విశ్వసనీయ నిల్వను అందించే సాఫ్ట్‌వేర్‌తో క్లాసిక్ సర్వర్లు; అటువంటి సూత్రాలపై, HDFS (హడూప్ డిస్ట్రిబ్యూటెడ్ ఫైల్ సిస్టమ్) మరియు GFS (గ్లోబల్ ఫైల్ సిస్టమ్) నిర్మించబడ్డాయి.
2010లకు దగ్గరగా, పంపిణీ చేయబడిన నిల్వ వ్యవస్థల అంతర్లీన భావనలు VMware vSAN, Dell EMC ఐసిలాన్ మరియు మా వంటి పూర్తి స్థాయి వాణిజ్య ఉత్పత్తులలో ఎక్కువగా ప్రతిబింబించడం ప్రారంభించాయి. . పేర్కొన్న ప్లాట్‌ఫారమ్‌ల వెనుక ఇప్పుడు ఔత్సాహికుల సంఘం లేదు, కానీ ఉత్పత్తి యొక్క కార్యాచరణ, మద్దతు మరియు సేవకు బాధ్యత వహించే నిర్దిష్ట విక్రేతలు మరియు దాని తదుపరి అభివృద్ధికి హామీ ఇస్తారు. ఇటువంటి పరిష్కారాలకు అనేక ప్రాంతాలలో చాలా డిమాండ్ ఉంది.
టెలికాం ఆపరేటర్లు
బహుశా పంపిణీ చేయబడిన నిల్వ వ్యవస్థల యొక్క పురాతన వినియోగదారులలో ఒకరు టెలికాం ఆపరేటర్లు. ఏయే అనువర్తనాల సమూహాలు ఎక్కువ డేటాను ఉత్పత్తి చేస్తాయో రేఖాచిత్రం చూపుతుంది. OSS (ఆపరేషన్స్ సపోర్ట్ సిస్టమ్స్), MSS (మేనేజ్‌మెంట్ సపోర్ట్ సర్వీసెస్) మరియు BSS (బిజినెస్ సపోర్ట్ సిస్టమ్స్) సబ్‌స్క్రైబర్‌లకు సేవను అందించడానికి అవసరమైన మూడు కాంప్లిమెంటరీ సాఫ్ట్వేర్ లేయర్‌లను సూచిస్తాయి, ప్రొవైడర్‌కు ఆర్థిక నివేదికలు మరియు ఆపరేటర్ ఇంజనీర్‌లకు కార్యాచరణ మద్దతు.
తరచుగా, ఈ పొరల యొక్క డేటా ఒకదానికొకటి భారీగా మిళితం చేయబడుతుంది మరియు అనవసరమైన కాపీలు పేరుకుపోకుండా ఉండటానికి, పంపిణీ చేయబడిన నిల్వ ఉపయోగించబడుతుంది, ఇది ఆపరేటింగ్ నెట్‌వర్క్ నుండి వచ్చే మొత్తం సమాచారాన్ని సంచితం చేస్తుంది. నిల్వలు ఒక సాధారణ పూల్‌గా మిళితం చేయబడ్డాయి, ఇది అన్ని సేవల ద్వారా యాక్సెస్ చేయబడుతుంది.
క్లాసిక్ స్టోరేజ్ సిస్టమ్‌ల నుండి బ్లాక్ స్టోరేజీ సిస్టమ్‌లకు మారడం అనేది ప్రత్యేకమైన హై-ఎండ్ స్టోరేజ్ సిస్టమ్‌లను వదిలివేసి, సాంప్రదాయిక క్లాసికల్ ఆర్కిటెక్చర్ సర్వర్‌లను (సాధారణంగా x70) ఉపయోగించడం ద్వారా మాత్రమే బడ్జెట్‌లో 86% వరకు ఆదా చేయగలదని మా లెక్కలు చూపిస్తున్నాయి. సాఫ్ట్వేర్. సెల్యులార్ ఆపరేటర్లు చాలా కాలం క్రితం పెద్ద పరిమాణంలో ఇటువంటి పరిష్కారాలను కొనుగోలు చేయడం ప్రారంభించారు. ముఖ్యంగా, రష్యన్ ఆపరేటర్లు ఆరు సంవత్సరాలకు పైగా Huawei నుండి ఇటువంటి ఉత్పత్తులను ఉపయోగిస్తున్నారు.
అవును, పంపిణీ చేయబడిన వ్యవస్థలను ఉపయోగించి అనేక పనులు పూర్తి చేయబడవు. ఉదాహరణకు, పెరిగిన పనితీరు అవసరాలు లేదా పాత ప్రోటోకాల్‌లతో అనుకూలతతో. కానీ ఆపరేటర్ ద్వారా ప్రాసెస్ చేయబడిన డేటాలో కనీసం 70% పంపిణీ చేయబడిన పూల్‌లో ఉంటుంది.
బ్యాంకింగ్ రంగం
ఏ బ్యాంకులోనైనా అనేక విభిన్న IT వ్యవస్థలు ఉన్నాయి, ప్రాసెసింగ్ నుండి ప్రారంభించి ఆటోమేటెడ్ బ్యాంకింగ్ సిస్టమ్‌తో ముగుస్తుంది. ఈ అవస్థాపన భారీ మొత్తంలో సమాచారంతో పని చేస్తుంది, అయితే చాలా పనులకు నిల్వ వ్యవస్థల పనితీరు మరియు విశ్వసనీయత పెరగడం అవసరం లేదు, ఉదాహరణకు, అభివృద్ధి, పరీక్ష, కార్యాలయ ప్రక్రియల ఆటోమేషన్ మొదలైనవి ఇక్కడ, క్లాసిక్ నిల్వ వ్యవస్థల ఉపయోగం సాధ్యమవుతుంది, కానీ ప్రతి సంవత్సరం అది తక్కువ మరియు తక్కువ లాభదాయకంగా ఉంటుంది. అదనంగా, ఈ సందర్భంలో నిల్వ వ్యవస్థ వనరులను ఉపయోగించడంలో ఎటువంటి వశ్యత లేదు, దీని పనితీరు గరిష్ట లోడ్ ఆధారంగా లెక్కించబడుతుంది.
పంపిణీ చేయబడిన నిల్వ వ్యవస్థలను ఉపయోగిస్తున్నప్పుడు, వాస్తవానికి సాధారణ సర్వర్లు అయిన వాటి నోడ్‌లను ఎప్పుడైనా మార్చవచ్చు, ఉదాహరణకు, సర్వర్ ఫారమ్‌గా మరియు కంప్యూటింగ్ ప్లాట్‌ఫారమ్‌గా ఉపయోగించబడుతుంది.
డేటా సరస్సులు
పైన ఉన్న రేఖాచిత్రం సాధారణ సేవా వినియోగదారుల జాబితాను చూపుతుంది . ఇవి ఇ-ప్రభుత్వ సేవలు (ఉదాహరణకు, "ప్రభుత్వ సేవలు"), డిజిటలైజ్డ్ ఎంటర్‌ప్రైజెస్, ఫైనాన్షియల్ ఇన్‌స్టిట్యూషన్‌లు మొదలైనవి కావచ్చు. అవన్నీ పెద్ద మొత్తంలో భిన్నమైన సమాచారంతో పని చేయాలి.
అటువంటి సమస్యలను పరిష్కరించడానికి క్లాసిక్ స్టోరేజ్ సిస్టమ్‌లను ఉపయోగించడం అసమర్థమైనది, ఎందుకంటే బ్లాక్ డేటాబేస్‌లకు అధిక-పనితీరు గల యాక్సెస్ మరియు వస్తువులుగా నిల్వ చేయబడిన స్కాన్ చేసిన పత్రాల లైబ్రరీలకు సాధారణ యాక్సెస్ రెండూ అవసరం. ఉదాహరణకు, వెబ్ పోర్టల్ ద్వారా ఆర్డరింగ్ సిస్టమ్‌ను కూడా ఇక్కడ లింక్ చేయవచ్చు. క్లాసిక్ స్టోరేజ్ ప్లాట్‌ఫారమ్‌లో వీటన్నింటినీ అమలు చేయడానికి, మీకు వివిధ పనుల కోసం పెద్ద మొత్తంలో పరికరాలు అవసరం. ఒక క్షితిజ సమాంతర సార్వత్రిక నిల్వ వ్యవస్థ గతంలో జాబితా చేయబడిన అన్ని టాస్క్‌లను బాగా కవర్ చేస్తుంది: మీరు దానిలో విభిన్న నిల్వ లక్షణాలతో అనేక కొలనులను సృష్టించాలి.
కొత్త సమాచారం జనరేటర్లు
ప్రపంచంలో నిల్వ చేయబడిన సమాచారం సంవత్సరానికి సుమారు 30% పెరుగుతోంది. నిల్వ విక్రేతలకు ఇది శుభవార్త, అయితే ఈ డేటా యొక్క ప్రధాన మూలం ఏమిటి?
పది సంవత్సరాల క్రితం, సోషల్ నెట్వర్క్లు అటువంటి జనరేటర్‌లుగా మారాయి; దీనికి పెద్ద సంఖ్యలో కొత్త అల్గారిథమ్‌లు, హార్డ్‌వేర్ సొల్యూషన్‌లు మొదలైన వాటి సృష్టి అవసరం. ఇప్పుడు నిల్వ వాల్యూమ్‌ల పెరుగుదలకు మూడు ప్రధాన డ్రైవర్లు ఉన్నాయి. మొదటిది క్లౌడ్ కంప్యూటింగ్. ప్రస్తుతం, దాదాపు 70% కంపెనీలు క్లౌడ్ సేవలను ఒక విధంగా లేదా మరొక విధంగా ఉపయోగిస్తున్నాయి. ఇవి ఎలక్ట్రానిక్ మెయిల్ సిస్టమ్‌లు, బ్యాకప్ కాపీలు మరియు ఇతర వర్చువలైజ్డ్ ఎంటిటీలు కావచ్చు.
రెండవ డ్రైవర్ ఐదవ తరం నెట్వర్క్లు. ఇవి కొత్త వేగం మరియు కొత్త డేటా బదిలీ వాల్యూమ్‌లు. మా అంచనాల ప్రకారం, 5Gని విస్తృతంగా స్వీకరించడం వలన ఫ్లాష్ మెమరీ కార్డ్‌ల డిమాండ్ తగ్గుతుంది. ఫోన్‌లో ఎంత మెమరీ ఉన్నప్పటికీ, అది ఇప్పటికీ అయిపోతుంది మరియు గాడ్జెట్‌లో 100-మెగాబిట్ ఛానెల్ ఉంటే, ఫోటోలను స్థానికంగా నిల్వ చేయవలసిన అవసరం లేదు.
స్టోరేజ్ సిస్టమ్‌లకు డిమాండ్ పెరగడానికి గల కారణాలలో మూడవ సమూహం కృత్రిమ మేధస్సు యొక్క వేగవంతమైన అభివృద్ధి, పెద్ద డేటా విశ్లేషణలకు మారడం మరియు సాధ్యమయ్యే ప్రతిదానికీ సార్వత్రిక ఆటోమేషన్ వైపు ధోరణిని కలిగి ఉంటుంది.
"కొత్త ట్రాఫిక్" యొక్క లక్షణం దాని . మేము ఈ డేటాను దాని ఆకృతిని ఏ విధంగానూ నిర్వచించకుండా నిల్వ చేయాలి. తదుపరి పఠనానికి మాత్రమే ఇది అవసరం. ఉదాహరణకు, అందుబాటులో ఉన్న లోన్ మొత్తాన్ని నిర్ణయించడానికి, బ్యాంకింగ్ స్కోరింగ్ సిస్టమ్ మీరు సోషల్ నెట్‌వర్క్‌లలో పోస్ట్ చేసే ఫోటోలను పరిశీలిస్తుంది, మీరు తరచుగా సముద్రానికి మరియు రెస్టారెంట్‌లకు వెళుతున్నారో లేదో నిర్ణయిస్తుంది మరియు అదే సమయంలో అందుబాటులో ఉన్న మీ వైద్య పత్రాల నుండి సేకరించిన వాటిని అధ్యయనం చేస్తుంది. దానికి. ఈ డేటా, ఒక వైపు, సమగ్రమైనది, కానీ మరోవైపు, సజాతీయత లేదు.
నిర్మాణాత్మక డేటా యొక్క మహాసముద్రం
"కొత్త డేటా" యొక్క ఆవిర్భావం ఏ సమస్యలను కలిగిస్తుంది? వాటిలో మొదటిది, వాస్తవానికి, సమాచార పరిమాణం మరియు దాని నిల్వ యొక్క అంచనా కాలం. ఒక ఆధునిక డ్రైవర్‌లెస్ అటానమస్ కారు మాత్రమే దాని అన్ని సెన్సార్‌లు మరియు మెకానిజమ్‌ల నుండి ప్రతిరోజూ 60 టెరాబైట్‌ల డేటాను ఉత్పత్తి చేస్తుంది. కొత్త కదలిక అల్గారిథమ్‌లను అభివృద్ధి చేయడానికి, ఈ సమాచారం తప్పనిసరిగా అదే రోజులో ప్రాసెస్ చేయబడాలి, లేకుంటే అది పేరుకుపోవడం ప్రారంభమవుతుంది. అదే సమయంలో, ఇది చాలా కాలం పాటు నిల్వ చేయబడాలి - దశాబ్దాలు. అప్పుడే పెద్ద విశ్లేషణాత్మక నమూనాల ఆధారంగా తీర్మానాలు చేయడం భవిష్యత్తులో సాధ్యమవుతుంది.
జన్యు శ్రేణులను అర్థంచేసుకోవడానికి ఒక పరికరం రోజుకు 6 TBని ఉత్పత్తి చేస్తుంది. మరియు దాని సహాయంతో సేకరించిన డేటా తొలగింపును సూచించదు, అనగా, ఊహాత్మకంగా, అది ఎప్పటికీ నిల్వ చేయబడాలి.
చివరగా, అదే ఐదవ తరం నెట్వర్క్లు. అసలు ప్రసారం చేయబడిన సమాచారంతో పాటు, అటువంటి నెట్‌వర్క్ డేటా యొక్క భారీ జనరేటర్: కార్యాచరణ లాగ్‌లు, కాల్ రికార్డ్‌లు, మెషిన్-టు-మెషిన్ ఇంటరాక్షన్‌ల ఇంటర్మీడియట్ ఫలితాలు మొదలైనవి.
వీటన్నింటికీ సమాచారాన్ని నిల్వ చేయడానికి మరియు ప్రాసెస్ చేయడానికి కొత్త విధానాలు మరియు అల్గారిథమ్‌ల అభివృద్ధి అవసరం. మరియు అలాంటి విధానాలు పుట్టుకొస్తున్నాయి.
కొత్త యుగం సాంకేతికతలు
సమాచార నిల్వ వ్యవస్థల కోసం కొత్త అవసరాలను ఎదుర్కోవటానికి రూపొందించబడిన పరిష్కారాల యొక్క మూడు సమూహాలు ఉన్నాయి: కృత్రిమ మేధస్సు పరిచయం, నిల్వ మాధ్యమం యొక్క సాంకేతిక పరిణామం మరియు సిస్టమ్ నిర్మాణ రంగంలో ఆవిష్కరణలు. AIతో ప్రారంభిద్దాం.
కొత్త Huawei సొల్యూషన్స్‌లో, కృత్రిమ మేధస్సు నిల్వ స్థాయిలోనే ఉపయోగించబడుతుంది, ఇది AI ప్రాసెసర్‌తో అమర్చబడి ఉంటుంది, ఇది సిస్టమ్ దాని పరిస్థితిని స్వతంత్రంగా విశ్లేషించడానికి మరియు వైఫల్యాలను అంచనా వేయడానికి అనుమతిస్తుంది. స్టోరేజ్ సిస్టమ్ ముఖ్యమైన కంప్యూటింగ్ సామర్థ్యాలను కలిగి ఉన్న సర్వీస్ క్లౌడ్‌కు కనెక్ట్ చేయబడితే, కృత్రిమ మేధస్సు మరింత సమాచారాన్ని ప్రాసెస్ చేయగలదు మరియు దాని పరికల్పనల యొక్క ఖచ్చితత్వాన్ని పెంచుతుంది.
వైఫల్యాలకు అదనంగా, అటువంటి AI భవిష్యత్తులో గరిష్ట లోడ్ మరియు సామర్థ్యం అయిపోయే వరకు మిగిలిన సమయాన్ని అంచనా వేయగలదు. ఇది ఏదైనా అవాంఛనీయ సంఘటనలు సంభవించే ముందు పనితీరును ఆప్టిమైజ్ చేయడానికి మరియు సిస్టమ్‌ను స్కేల్ చేయడానికి మిమ్మల్ని అనుమతిస్తుంది.
ఇప్పుడు నిల్వ మీడియా పరిణామం గురించి. మొదటి ఫ్లాష్ డ్రైవ్‌లు SLC (సింగిల్-లెవల్ సెల్) సాంకేతికతను ఉపయోగించి తయారు చేయబడ్డాయి. దాని ఆధారంగా పరికరాలు వేగవంతమైనవి, నమ్మదగినవి, స్థిరమైనవి, కానీ చిన్న సామర్థ్యాన్ని కలిగి ఉంటాయి మరియు చాలా ఖరీదైనవి. కొన్ని సాంకేతిక రాయితీల ద్వారా వాల్యూమ్ పెరుగుదల మరియు ధర తగ్గింపు సాధించబడ్డాయి, దీని కారణంగా డ్రైవ్‌ల వేగం, విశ్వసనీయత మరియు సేవా జీవితం తగ్గించబడ్డాయి. అయినప్పటికీ, ఈ ధోరణి నిల్వ వ్యవస్థలను ప్రభావితం చేయలేదు, ఇది వివిధ నిర్మాణ ఉపాయాల కారణంగా, సాధారణంగా మరింత ఉత్పాదకత మరియు మరింత నమ్మదగినదిగా మారింది.
అయితే మీకు ఆల్-ఫ్లాష్ స్టోరేజ్ సిస్టమ్‌లు ఎందుకు అవసరం? ఇప్పటికే ఆపరేటింగ్ సిస్టమ్‌లోని పాత HDDలను అదే ఫారమ్ ఫ్యాక్టర్‌తో కొత్త SSDలతో భర్తీ చేయడం సరిపోదా? కొత్త సాలిడ్-స్టేట్ డ్రైవ్‌ల యొక్క అన్ని వనరులను సమర్థవంతంగా ఉపయోగించడానికి ఇది అవసరం, ఇది పాత సిస్టమ్‌లలో అసాధ్యం.
ఉదాహరణకు, Huawei ఈ సమస్యను పరిష్కరించడానికి అనేక సాంకేతికతలను అభివృద్ధి చేసింది, వాటిలో ఒకటి , ఇది "డిస్క్-కంట్రోలర్" పరస్పర చర్యలను సాధ్యమైనంత వరకు ఆప్టిమైజ్ చేయడం సాధ్యపడింది.
ఇంటెలిజెంట్ ఐడెంటిఫికేషన్ డేటాను అనేక స్ట్రీమ్‌లుగా విడదీయడం మరియు అనేక అవాంఛనీయ దృగ్విషయాలను ఎదుర్కోవడం సాధ్యం చేసింది. (యాంప్లిఫికేషన్ వ్రాయండి). అదే సమయంలో, కొత్త రికవరీ అల్గోరిథంలు, ముఖ్యంగా , పునర్నిర్మాణం యొక్క వేగాన్ని పెంచింది, దాని సమయాన్ని పూర్తిగా తక్కువ మొత్తాలకు తగ్గించింది.
వైఫల్యం, రద్దీ, చెత్త సేకరణ - ఈ కారకాలు నియంత్రికలకు ప్రత్యేక మార్పులకు ధన్యవాదాలు నిల్వ వ్యవస్థ పనితీరును కూడా ప్రభావితం చేయవు.
మరియు బ్లాక్ డేటా నిల్వలు కూడా కలవడానికి సిద్ధమవుతున్నాయి . డేటా యాక్సెస్‌ని నిర్వహించడానికి క్లాసిక్ స్కీమ్ ఇలా పని చేసిందని గుర్తుచేసుకుందాం: ప్రాసెసర్ PCI ఎక్స్‌ప్రెస్ బస్ ద్వారా RAID కంట్రోలర్‌ను యాక్సెస్ చేసింది. అది, SCSI లేదా SAS ద్వారా మెకానికల్ డిస్క్‌లతో సంకర్షణ చెందుతుంది. బ్యాకెండ్‌లో NVMe యొక్క ఉపయోగం మొత్తం ప్రక్రియను గణనీయంగా వేగవంతం చేసింది, అయితే దీనికి ఒక లోపం ఉంది: మెమరీకి ప్రత్యక్ష ప్రాప్యతను అందించడానికి డ్రైవ్‌లు నేరుగా ప్రాసెసర్‌కి కనెక్ట్ చేయబడాలి.
ఇప్పుడు మనం చూస్తున్న సాంకేతిక అభివృద్ధి యొక్క తదుపరి దశ NVMe-oF (NVMe ఓవర్ ఫ్యాబ్రిక్స్) వాడకం. Huawei బ్లాక్ టెక్నాలజీల విషయానికొస్తే, వారు ఇప్పటికే FC-NVMe (ఫైబర్ ఛానెల్ ద్వారా NVMe)కి మద్దతు ఇస్తున్నారు మరియు NVMe ఓవర్ RoCE (RDMA ఓవర్ కన్వర్జ్డ్ ఈథర్నెట్) మార్గంలో ఉంది. పరీక్ష నమూనాలు చాలా ఫంక్షనల్‌గా ఉన్నాయి; వాటి అధికారిక ప్రదర్శనకు చాలా నెలలు మిగిలి ఉన్నాయి. "లాస్‌లెస్ ఈథర్నెట్" చాలా డిమాండ్‌లో ఉన్న డిస్ట్రిబ్యూటెడ్ సిస్టమ్‌లలో ఇవన్నీ కనిపిస్తాయని గమనించండి.
పంపిణీ చేయబడిన నిల్వ యొక్క ఆపరేషన్‌ను ఆప్టిమైజ్ చేయడానికి అదనపు మార్గం డేటా మిర్రరింగ్‌ను పూర్తిగా వదిలివేయడం. Huawei సొల్యూషన్‌లు సాధారణ RAID 1లో వలె ఇకపై n కాపీలను ఉపయోగించవు మరియు పూర్తిగా దీనికి మారతాయి (ఎరేజర్ కోడింగ్). ఒక ప్రత్యేక గణిత ప్యాకేజీ ఒక నిర్దిష్ట ఆవర్తన సమయంలో నియంత్రణ బ్లాక్‌లను లెక్కిస్తుంది, ఇది నష్టం విషయంలో ఇంటర్మీడియట్ డేటాను పునరుద్ధరించడానికి మిమ్మల్ని అనుమతిస్తుంది.
డూప్లికేషన్ మరియు కంప్రెషన్ మెకానిజమ్స్ తప్పనిసరి అవుతాయి. క్లాసిక్ స్టోరేజ్ సిస్టమ్‌లలో మనం కంట్రోలర్‌లలో ఇన్‌స్టాల్ చేసిన ప్రాసెసర్‌ల సంఖ్యతో పరిమితం చేయబడితే, పంపిణీ చేయబడిన క్షితిజ సమాంతర స్కేలబుల్ స్టోరేజ్ సిస్టమ్‌లలో, ప్రతి నోడ్‌లో అవసరమైన ప్రతిదీ ఉంటుంది: డిస్క్‌లు, మెమరీ, ప్రాసెసర్‌లు మరియు ఇంటర్‌కనెక్ట్. డీప్లికేషన్ మరియు కుదింపు పనితీరుపై తక్కువ ప్రభావాన్ని కలిగి ఉండేలా ఈ వనరులు సరిపోతాయి.
మరియు హార్డ్‌వేర్ ఆప్టిమైజేషన్ పద్ధతుల గురించి. ఇక్కడ అదనపు అంకితమైన చిప్‌ల (లేదా ప్రాసెసర్‌లోని అంకితమైన బ్లాక్‌లు) సహాయంతో సెంట్రల్ ప్రాసెసర్‌లపై లోడ్ తగ్గించడం సాధ్యమైంది, ఇవి పాత్ర పోషిస్తాయి. (TCP/IP ఆఫ్‌లోడ్ ఇంజిన్) లేదా EC, డ్యూప్లికేషన్ మరియు కంప్రెషన్ యొక్క గణిత శాస్త్ర విధులను చేపట్టడం.
డేటా నిల్వకు కొత్త విధానాలు విడదీయబడిన (పంపిణీ చేయబడిన) నిర్మాణంలో పొందుపరచబడ్డాయి. కేంద్రీకృత నిల్వ వ్యవస్థలు ఫైబర్ ఛానెల్ ద్వారా కనెక్ట్ చేయబడిన సర్వర్ ఫ్యాక్టరీని కలిగి ఉంటాయి చాలా శ్రేణులతో. ఈ విధానం యొక్క ప్రతికూలతలు స్కేలింగ్ మరియు సేవ యొక్క హామీ స్థాయిని నిర్ధారించడం (పనితీరు లేదా జాప్యం పరంగా) కష్టం. హైపర్‌కన్వర్జ్డ్ సిస్టమ్‌లు సమాచారాన్ని నిల్వ చేయడానికి మరియు ప్రాసెస్ చేయడానికి ఒకే హోస్ట్‌లను ఉపయోగిస్తాయి. ఇది స్కేలింగ్ కోసం వాస్తవంగా అపరిమిత పరిధిని ఇస్తుంది, అయితే డేటా సమగ్రతను నిర్వహించడానికి అధిక ఖర్చులను కలిగి ఉంటుంది.
పైన పేర్కొన్న రెండింటిలా కాకుండా, విడదీయబడిన వాస్తుశిల్పం సూచిస్తుంది సిస్టమ్‌ను కంప్యూటింగ్ ఫాబ్రిక్ మరియు క్షితిజ సమాంతర నిల్వ వ్యవస్థగా విభజించడం. ఇది రెండు ఆర్కిటెక్చర్ల ప్రయోజనాలను అందిస్తుంది మరియు పనితీరు లేని మూలకం యొక్క దాదాపు అపరిమిత స్కేలింగ్‌ను అనుమతిస్తుంది.
ఏకీకరణ నుండి కలయిక వరకు
గత 15 సంవత్సరాలుగా వృద్ధి చెందిన ఒక క్లాసిక్ టాస్క్, బ్లాక్ స్టోరేజ్, ఫైల్ యాక్సెస్, వస్తువులకు యాక్సెస్, పెద్ద డేటా ఫామ్ యొక్క ఆపరేషన్ మొదలైనవాటిని ఏకకాలంలో అందించాల్సిన అవసరం ఉంది. ఉదాహరణకు, మాగ్నెటిక్ టేప్‌పై బ్యాకప్ సిస్టమ్.
మొదటి దశలో, ఈ సేవల నిర్వహణను మాత్రమే ఏకీకృతం చేయవచ్చు. వైవిధ్య డేటా నిల్వ వ్యవస్థలు కొన్ని ప్రత్యేక సాఫ్ట్‌వేర్‌లకు అనుసంధానించబడ్డాయి, దీని ద్వారా నిర్వాహకుడు అందుబాటులో ఉన్న పూల్స్ నుండి వనరులను పంపిణీ చేశాడు. కానీ ఈ కొలనులు వేర్వేరు హార్డ్‌వేర్‌లను కలిగి ఉన్నందున, వాటి మధ్య లోడ్ మైగ్రేషన్ అసాధ్యం. అధిక స్థాయి ఏకీకరణలో, గేట్‌వే స్థాయిలో అగ్రిగేషన్ జరిగింది. ఫైల్ షేరింగ్ అందుబాటులో ఉంటే, అది వివిధ ప్రోటోకాల్‌ల ద్వారా అందించబడుతుంది.
ప్రస్తుతం మనకు అందుబాటులో ఉన్న అత్యంత అధునాతన కన్వర్జెన్స్ పద్ధతి సార్వత్రిక హైబ్రిడ్ వ్యవస్థను సృష్టించడం. సరిగ్గా మనది ఎలా మారాలి . యూనివర్సల్ యాక్సెస్ ఒకే హార్డ్‌వేర్ వనరులను ఉపయోగిస్తుంది, తార్కికంగా వివిధ పూల్స్‌గా విభజించబడింది, కానీ లోడ్ మైగ్రేషన్‌ను అనుమతిస్తుంది. ఇవన్నీ ఒకే మేనేజ్‌మెంట్ కన్సోల్ ద్వారా చేయవచ్చు. ఈ విధంగా, మేము "ఒక డేటా సెంటర్ - ఒక నిల్వ వ్యవస్థ" అనే భావనను అమలు చేయగలిగాము.
సమాచారాన్ని నిల్వ చేయడానికి అయ్యే ఖర్చు ఇప్పుడు అనేక నిర్మాణ నిర్ణయాలను నిర్ణయిస్తుంది. మరియు దీనిని సురక్షితంగా ముందంజలో ఉంచగలిగినప్పటికీ, ఈ రోజు మనం క్రియాశీల ప్రాప్యతతో "ప్రత్యక్ష" నిల్వను చర్చిస్తున్నాము, కాబట్టి పనితీరును కూడా పరిగణనలోకి తీసుకోవాలి. తదుపరి తరం పంపిణీ వ్యవస్థల యొక్క మరొక ముఖ్యమైన ఆస్తి ఏకీకరణ. అన్నింటికంటే, వేర్వేరు కన్సోల్‌ల నుండి నియంత్రించబడే అనేక అసమాన వ్యవస్థలను ఎవరూ కోరుకోరు. ఈ లక్షణాలన్నీ Huawei ఉత్పత్తుల యొక్క కొత్త సిరీస్‌లో పొందుపరచబడ్డాయి .
కొత్త తరం యొక్క మాస్ స్టోరేజ్ సిస్టమ్
OceanStor పసిఫిక్ ఆరు-తొమ్మిది విశ్వసనీయత అవసరాలను (99,9999%) తీరుస్తుంది మరియు హైపర్‌మెట్రో క్లాస్ డేటా సెంటర్‌లను రూపొందించడానికి ఉపయోగించవచ్చు. 100 కి.మీ వరకు ఉన్న రెండు డేటా సెంటర్ల మధ్య దూరంతో, సిస్టమ్‌లు 2 ఎంఎస్‌ల అదనపు జాప్యాన్ని ప్రదర్శిస్తాయి, ఇది కోరం సర్వర్‌లతో సహా ఏదైనా విపత్తు-నిరోధక పరిష్కారాలను వాటి ఆధారంగా రూపొందించడం సాధ్యం చేస్తుంది.
కొత్త సిరీస్ ఉత్పత్తులు ప్రోటోకాల్ బహుముఖ ప్రజ్ఞను ప్రదర్శిస్తాయి. ఇప్పటికే, OceanStor 100D బ్లాక్ యాక్సెస్, ఆబ్జెక్ట్ యాక్సెస్ మరియు హడూప్ యాక్సెస్‌కి మద్దతు ఇస్తుంది. సమీప భవిష్యత్తులో ఫైల్ యాక్సెస్ కూడా అమలు చేయబడుతుంది. విభిన్న ప్రోటోకాల్‌ల ద్వారా డేటాను జారీ చేయగలిగితే బహుళ కాపీలను నిల్వ చేయవలసిన అవసరం లేదు.
"లాస్‌లెస్ నెట్‌వర్క్" అనే భావనకు స్టోరేజీ సిస్టమ్‌లతో సంబంధం ఏమిటి? వాస్తవం ఏమిటంటే పంపిణీ చేయబడిన డేటా నిల్వ వ్యవస్థలు తగిన అల్గారిథమ్‌లు మరియు RoCE మెకానిజంకు మద్దతు ఇచ్చే వేగవంతమైన నెట్‌వర్క్ ఆధారంగా నిర్మించబడ్డాయి. మా స్విచ్‌ల ద్వారా సపోర్ట్ చేసే ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ సిస్టమ్ నెట్‌వర్క్ వేగాన్ని మరింత పెంచడానికి మరియు జాప్యాన్ని తగ్గించడానికి సహాయపడుతుంది. . AI ఫ్యాబ్రిక్‌ని యాక్టివేట్ చేసినప్పుడు స్టోరేజ్ పనితీరులో లాభం 20%కి చేరుకుంటుంది.
కొత్త OceanStor పసిఫిక్ డిస్ట్రిబ్యూట్ స్టోరేజ్ నోడ్ అంటే ఏమిటి? 5U ఫారమ్ ఫ్యాక్టర్ సొల్యూషన్ 120 డ్రైవ్‌లను కలిగి ఉంటుంది మరియు మూడు క్లాసిక్ నోడ్‌లను భర్తీ చేయగలదు, ఇది ర్యాక్ స్పేస్‌లో రెండు రెట్లు ఎక్కువ పొదుపులను అందిస్తుంది. కాపీలను నిల్వ చేయకుండా, డ్రైవ్‌ల సామర్థ్యం గణనీయంగా పెరుగుతుంది (+92% వరకు).
సాఫ్ట్వేర్-నిర్వచించిన నిల్వ అనేది క్లాసిక్ సర్వర్‌లో ఇన్‌స్టాల్ చేయబడిన ప్రత్యేక సాఫ్ట్వేర్ అనే వాస్తవాన్ని మేము అలవాటు చేసుకున్నాము. కానీ ఇప్పుడు, సరైన పారామితులను సాధించడానికి, ఈ నిర్మాణ పరిష్కారానికి ప్రత్యేక నోడ్లు కూడా అవసరం. ఇది మూడు-అంగుళాల డ్రైవ్‌ల శ్రేణిని నిర్వహించే ARM ప్రాసెసర్‌ల ఆధారంగా రెండు సర్వర్‌లను కలిగి ఉంటుంది.
ఈ సర్వర్లు హైపర్‌కన్వర్జ్డ్ సొల్యూషన్‌లకు తగినవి కావు. ముందుగా, ARM కోసం చాలా కొన్ని అప్లికేషన్‌లు ఉన్నాయి మరియు రెండవది, లోడ్ బ్యాలెన్స్‌ను నిర్వహించడం కష్టం. మేము ప్రత్యేక నిల్వకు వెళ్లాలని ప్రతిపాదిస్తున్నాము: క్లాసిక్ లేదా ర్యాక్ సర్వర్‌లచే సూచించబడే కంప్యూటింగ్ క్లస్టర్ విడిగా పనిచేస్తుంది, కానీ OceanStor పసిఫిక్ స్టోరేజ్ నోడ్‌లకు కనెక్ట్ చేయబడింది, ఇది వాటి ప్రత్యక్ష విధులను కూడా నిర్వహిస్తుంది. మరియు అది తనను తాను సమర్థిస్తుంది.
ఉదాహరణకు, 15 సర్వర్ రాక్‌లను ఆక్రమించే హైపర్‌కన్వర్జ్డ్ సిస్టమ్‌తో క్లాసిక్ బిగ్ డేటా స్టోరేజ్ సొల్యూషన్‌ను తీసుకుందాం. మీరు ప్రత్యేక కంప్యూటింగ్ సర్వర్లు మరియు OceanStor పసిఫిక్ నిల్వ నోడ్‌ల మధ్య లోడ్‌ను పంపిణీ చేస్తే, వాటిని ఒకదానికొకటి వేరు చేస్తే, అవసరమైన రాక్‌ల సంఖ్య సగానికి తగ్గించబడుతుంది! ఇది డేటా సెంటర్ నిర్వహణ ఖర్చులను తగ్గిస్తుంది మరియు యాజమాన్యం యొక్క మొత్తం వ్యయాన్ని తగ్గిస్తుంది. నిల్వ చేయబడిన సమాచారం యొక్క పరిమాణం సంవత్సరానికి 30% పెరుగుతున్న ప్రపంచంలో, అటువంటి ప్రయోజనాలు చుట్టూ విసిరివేయబడవు.
***
మీరు మాలో Huawei సొల్యూషన్‌లు మరియు వాటి అప్లికేషన్ దృశ్యాల గురించి మరింత సమాచారాన్ని పొందవచ్చు లేదా నేరుగా కంపెనీ ప్రతినిధులను సంప్రదించడం ద్వారా.
మూలం: www.habr.com