హలో, హబ్ర్ పాఠకులు. ఈ కథనంతో మేము అభివృద్ధి చేసిన హైపర్కన్వర్జ్డ్ సిస్టమ్ AERODISK vAIR గురించి మాట్లాడే సిరీస్‌ని తెరుస్తాము. మొదట్లో, మేము మొదటి వ్యాసంలో ప్రతిదాని గురించి చెప్పాలనుకున్నాము, కానీ వ్యవస్థ చాలా క్లిష్టంగా ఉంటుంది, కాబట్టి మేము ఏనుగును భాగాలుగా తింటాము.
సిస్టమ్ యొక్క సృష్టి చరిత్రతో కథను ప్రారంభిద్దాం, vAIR యొక్క ఆధారమైన ARDFS ఫైల్ సిస్టమ్‌ను పరిశోధించండి మరియు రష్యన్ మార్కెట్లో ఈ పరిష్కారం యొక్క స్థానం గురించి కొంచెం మాట్లాడండి.
భవిష్యత్ కథనాలలో మేము వివిధ నిర్మాణ భాగాలు (క్లస్టర్, హైపర్‌వైజర్, లోడ్ బ్యాలెన్సర్, మానిటరింగ్ సిస్టమ్, మొదలైనవి), కాన్ఫిగరేషన్ ప్రక్రియ గురించి మరింత వివరంగా మాట్లాడుతాము, లైసెన్సింగ్ సమస్యలను లేవనెత్తుతాము, క్రాష్ పరీక్షలను విడిగా చూపుతాము మరియు వాస్తవానికి లోడ్ పరీక్ష గురించి వ్రాస్తాము మరియు పరిమాణం. మేము vAIR కమ్యూనిటీ వెర్షన్‌కి ప్రత్యేక కథనాన్ని కూడా కేటాయిస్తాము.
ఏరోడిస్క్ స్టోరేజ్ సిస్టమ్స్ గురించిన కథనా? లేదా మనం మొదటి స్థానంలో హైపర్‌కన్వర్జెన్స్ చేయడం ఎందుకు ప్రారంభించాము?
ప్రారంభంలో, మా స్వంత హైపర్‌కన్వర్జెన్స్‌ను సృష్టించాలనే ఆలోచన 2010లో ఎక్కడో మాకు వచ్చింది. ఆ సమయంలో, మార్కెట్లో ఏరోడిస్క్ లేదా సారూప్య పరిష్కారాలు (వాణిజ్య బాక్స్డ్ హైపర్కన్వర్జ్డ్ సిస్టమ్స్) లేవు. మా పని కిందిది: స్థానిక డిస్క్‌లతో కూడిన సర్వర్‌ల సెట్ నుండి, ఈథర్నెట్ ప్రోటోకాల్ ద్వారా ఇంటర్‌కనెక్ట్ ద్వారా ఏకీకృతం చేయబడి, విస్తరించిన నిల్వను సృష్టించడం మరియు అక్కడ వర్చువల్ మిషన్లు మరియు సాఫ్ట్‌వేర్ నెట్‌వర్క్‌ను ప్రారంభించడం అవసరం. ఇవన్నీ నిల్వ వ్యవస్థలు లేకుండా అమలు చేయబడాలి (ఎందుకంటే నిల్వ వ్యవస్థలు మరియు దాని హార్డ్‌వేర్ కోసం డబ్బు లేదు మరియు మేము ఇంకా మా స్వంత నిల్వ వ్యవస్థలను కనుగొనలేదు).
మేము అనేక ఓపెన్ సోర్స్ పరిష్కారాలను ప్రయత్నించాము మరియు చివరకు ఈ సమస్యను పరిష్కరించాము, కానీ పరిష్కారం చాలా క్లిష్టమైనది మరియు పునరావృతం చేయడం కష్టం. అంతేకాకుండా, ఈ పరిష్కారం “ఇది పని చేస్తుందా? తాకవద్దు! అందువల్ల, ఆ సమస్యను పరిష్కరించిన తర్వాత, మా పని ఫలితాన్ని పూర్తి స్థాయి ఉత్పత్తిగా మార్చాలనే ఆలోచనను మేము మరింత అభివృద్ధి చేయలేదు.
ఆ సంఘటన తర్వాత, మేము ఈ ఆలోచన నుండి వైదొలిగాము, కానీ ఈ సమస్య పూర్తిగా పరిష్కరించగలదనే భావన మాకు ఇంకా ఉంది మరియు అటువంటి పరిష్కారం యొక్క ప్రయోజనాలు స్పష్టంగా ఉన్నాయి. తదనంతరం, విదేశీ కంపెనీల విడుదలైన HCI ఉత్పత్తులు ఈ అనుభూతిని మాత్రమే ధృవీకరించాయి.
అందువల్ల, 2016 మధ్యలో, మేము పూర్తి స్థాయి ఉత్పత్తిని రూపొందించడంలో భాగంగా ఈ పనికి తిరిగి వచ్చాము. ఆ సమయంలో మాకు ఇంకా పెట్టుబడిదారులతో ఎలాంటి సంబంధాలు లేవు, కాబట్టి మేము మా స్వంత పెద్ద డబ్బు కోసం అభివృద్ధి స్టాండ్‌ను కొనుగోలు చేయాల్సి వచ్చింది. Avitoలో ఉపయోగించిన సర్వర్లు మరియు స్విచ్‌లను సేకరించిన తర్వాత, మేము వ్యాపారానికి దిగాము.
ఈథర్నెట్ ద్వారా ఇంటర్‌కనెక్ట్ ద్వారా కనెక్ట్ చేయబడిన క్లస్టర్ నోడ్‌ల యొక్క nవ నంబర్‌లో వర్చువల్ బ్లాక్‌ల రూపంలో స్వయంచాలకంగా మరియు సమానంగా డేటాను పంపిణీ చేయగల మా స్వంత ఫైల్ సిస్టమ్‌ను సాధారణమైనప్పటికీ, మా స్వంత ఫైల్ సిస్టమ్‌ను సృష్టించడం ప్రధాన ప్రారంభ పని. అదే సమయంలో, FS బాగా మరియు సులభంగా స్కేల్ చేయాలి మరియు ప్రక్కనే ఉన్న వ్యవస్థల నుండి స్వతంత్రంగా ఉండాలి, అనగా. "కేవలం నిల్వ సదుపాయం" రూపంలో vAIR నుండి దూరం చేయబడుతుంది.
మొదటి vAIR భావన
మేము ఇప్పటికే వారితో చాలా ప్రాజెక్ట్ అనుభవాన్ని కలిగి ఉన్నందున, మా స్వంత అభివృద్ధికి అనుకూలంగా సాగదీసిన నిల్వ (సెఫ్, గ్లస్టర్, మెరుపు మరియు ఇలాంటివి) నిర్వహించడం కోసం రెడీమేడ్ ఓపెన్ సోర్స్ సొల్యూషన్‌ల వినియోగాన్ని మేము ఉద్దేశపూర్వకంగా విరమించుకున్నాము. వాస్తవానికి, ఈ పరిష్కారాలు అద్భుతమైనవి, మరియు ఏరోడిస్క్‌లో పని చేయడానికి ముందు, మేము వారితో ఒకటి కంటే ఎక్కువ ఇంటిగ్రేషన్ ప్రాజెక్ట్‌లను అమలు చేసాము. కానీ ఒక కస్టమర్ కోసం ఒక నిర్దిష్ట పనిని అమలు చేయడం ఒక విషయం, రైలు సిబ్బంది మరియు, బహుశా, ఒక పెద్ద విక్రేత యొక్క మద్దతును కొనుగోలు చేయడం మరియు వివిధ పనుల కోసం ఉపయోగించే సులభంగా ప్రతిరూపమైన ఉత్పత్తిని సృష్టించడం మరొక విషయం. విక్రేత, మన గురించి మనం కూడా తెలుసుకోలేము. రెండవ ప్రయోజనం కోసం, ఇప్పటికే ఉన్న ఓపెన్ సోర్స్ ఉత్పత్తులు మాకు సరిపోవు, కాబట్టి మేము పంపిణీ చేయబడిన ఫైల్ సిస్టమ్‌ను స్వయంగా సృష్టించాలని నిర్ణయించుకున్నాము.
రెండు సంవత్సరాల తరువాత, అనేక మంది డెవలపర్లు (క్లాసిక్ ఇంజిన్ స్టోరేజ్ సిస్టమ్‌పై పనితో vAIR పనిని కలిపి) ఒక నిర్దిష్ట ఫలితాన్ని సాధించారు.
2018 నాటికి, మేము ఒక సాధారణ ఫైల్ సిస్టమ్‌ను వ్రాసాము మరియు అవసరమైన హార్డ్‌వేర్‌తో అనుబంధించాము. సిస్టమ్ వివిధ సర్వర్‌ల నుండి భౌతిక (స్థానిక) డిస్క్‌లను ఒక అంతర్గత ఇంటర్‌కనెక్ట్ ద్వారా ఒక ఫ్లాట్ పూల్‌గా మిళితం చేసి, వాటిని వర్చువల్ బ్లాక్‌లుగా “కట్” చేసి, ఆపై వర్చువల్ బ్లాక్‌ల నుండి వివిధ స్థాయిలలో తప్పు సహనంతో బ్లాక్ పరికరాలు సృష్టించబడ్డాయి, దానిపై వర్చువల్ వాటిని సృష్టించారు. మరియు KVM హైపర్‌వైజర్ కార్లను ఉపయోగించి అమలు చేయబడింది.
మేము ఫైల్ సిస్టమ్ పేరుతో పెద్దగా ఇబ్బంది పడలేదు మరియు దానిని క్లుప్తంగా ARDFS అని పిలుస్తాము (ఇది దేనికి సంబంధించినదో ఊహించండి))
ఈ ప్రోటోటైప్ బాగా కనిపించింది (దృశ్యపరంగా కాదు, అయితే, ఇంకా విజువల్ డిజైన్ లేదు) మరియు పనితీరు మరియు స్కేలింగ్ పరంగా మంచి ఫలితాలను చూపించింది. మొదటి నిజమైన ఫలితం తర్వాత, మేము ఈ ప్రాజెక్ట్‌ను చలనంలో ఉంచాము, పూర్తి స్థాయి అభివృద్ధి వాతావరణాన్ని మరియు vAIRతో మాత్రమే వ్యవహరించే ప్రత్యేక బృందాన్ని నిర్వహిస్తాము.
ఆ సమయానికి, పరిష్కారం యొక్క సాధారణ నిర్మాణం పరిపక్వం చెందింది, ఇది ఇంకా పెద్ద మార్పులకు గురికాలేదు.
ARDFS ఫైల్ సిస్టమ్‌లోకి ప్రవేశించడం
ARDFS అనేది vAIR యొక్క పునాది, ఇది మొత్తం క్లస్టర్‌లో పంపిణీ చేయబడిన, తప్పు-తట్టుకునే డేటా నిల్వను అందిస్తుంది. ARDFS యొక్క విలక్షణమైన లక్షణాలలో ఒకటి (కానీ మాత్రమే కాదు) అది మెటాడేటా మరియు నిర్వహణ కోసం ఎటువంటి అదనపు అంకితమైన సర్వర్‌లను ఉపయోగించదు. ఇది మొదట పరిష్కారం యొక్క కాన్ఫిగరేషన్‌ను సరళీకృతం చేయడానికి మరియు దాని విశ్వసనీయత కోసం రూపొందించబడింది.
నిల్వ నిర్మాణం
క్లస్టర్ యొక్క అన్ని నోడ్‌లలో, ARDFS అందుబాటులో ఉన్న అన్ని డిస్క్ స్థలం నుండి లాజికల్ పూల్‌ను నిర్వహిస్తుంది. పూల్ అనేది ఇంకా డేటా లేదా ఫార్మాట్ చేయబడిన స్థలం కాదని అర్థం చేసుకోవడం ముఖ్యం, కానీ కేవలం మార్కప్, అనగా. క్లస్టర్‌కు జోడించబడినప్పుడు vAIR ఇన్‌స్టాల్ చేయబడిన ఏవైనా నోడ్‌లు స్వయంచాలకంగా భాగస్వామ్య ARDFS పూల్‌కి జోడించబడతాయి మరియు డిస్క్ వనరులు స్వయంచాలకంగా మొత్తం క్లస్టర్‌లో భాగస్వామ్యం చేయబడతాయి (మరియు భవిష్యత్తులో డేటా నిల్వ కోసం అందుబాటులో ఉంటాయి). ఈ విధానం ఇప్పటికే నడుస్తున్న సిస్టమ్‌పై ఎటువంటి తీవ్రమైన ప్రభావం లేకుండా ఫ్లైలో నోడ్‌లను జోడించడానికి మరియు తీసివేయడానికి మిమ్మల్ని అనుమతిస్తుంది. ఆ. సిస్టమ్ "ఇటుకలలో" స్కేల్ చేయడం చాలా సులభం, అవసరమైతే క్లస్టర్‌లో నోడ్‌లను జోడించడం లేదా తీసివేయడం.
వర్చువల్ డిస్క్‌లు (వర్చువల్ మెషీన్‌ల కోసం నిల్వ వస్తువులు) ARDFS పూల్ పైన జోడించబడ్డాయి, ఇవి 4 మెగాబైట్ల పరిమాణంలో ఉన్న వర్చువల్ బ్లాక్‌ల నుండి నిర్మించబడ్డాయి. వర్చువల్ డిస్క్‌లు నేరుగా డేటాను నిల్వ చేస్తాయి. ఫాల్ట్ టాలరెన్స్ స్కీమ్ వర్చువల్ డిస్క్ స్థాయిలో కూడా సెట్ చేయబడింది.
మీరు ఇప్పటికే ఊహించినట్లుగా, డిస్క్ సబ్‌సిస్టమ్ యొక్క తప్పు సహనం కోసం, మేము RAID (స్వతంత్ర డిస్క్‌ల యొక్క పునరావృత శ్రేణి) భావనను ఉపయోగించము, కానీ RAIN (ఇండిపెండెంట్ నోడ్స్ యొక్క పునరావృత శ్రేణి)ని ఉపయోగిస్తాము. ఆ. ఫాల్ట్ టాలరెన్స్ డిస్క్‌ల ఆధారంగా కాకుండా నోడ్‌ల ఆధారంగా కొలుస్తారు, ఆటోమేటెడ్ మరియు నిర్వహించబడుతుంది. డిస్క్‌లు, వాస్తవానికి, ఒక నిల్వ వస్తువు, అవి అన్నిటిలాగే పర్యవేక్షించబడతాయి, స్థానిక హార్డ్‌వేర్ RAIDని అసెంబ్లింగ్ చేయడంతో సహా మీరు వాటితో అన్ని ప్రామాణిక కార్యకలాపాలను నిర్వహించవచ్చు, అయితే క్లస్టర్ ప్రత్యేకంగా నోడ్‌లలో పనిచేస్తుంది.
మీరు నిజంగా RAIDని కోరుకునే పరిస్థితిలో (ఉదాహరణకు, చిన్న క్లస్టర్‌లలో బహుళ వైఫల్యాలకు మద్దతు ఇచ్చే దృశ్యం), స్థానిక RAID కంట్రోలర్‌లను ఉపయోగించకుండా మరియు పైన విస్తరించిన నిల్వ మరియు RAIN ఆర్కిటెక్చర్‌ని ఉపయోగించకుండా ఏదీ మిమ్మల్ని నిరోధించదు. ఈ దృశ్యం చాలా ప్రత్యక్షంగా ఉంది మరియు మాకు మద్దతు ఉంది, కాబట్టి మేము దీని గురించి vAIRని ఉపయోగించడం కోసం సాధారణ దృశ్యాల గురించి ఒక కథనంలో మాట్లాడుతాము.
స్టోరేజీ ఫాల్ట్ టాలరెన్స్ స్కీములు
vAIRలో వర్చువల్ డిస్క్‌ల కోసం రెండు ఫాల్ట్ టాలరెన్స్ స్కీమ్‌లు ఉండవచ్చు:
1) రెప్లికేషన్ ఫ్యాక్టర్ లేదా సింపుల్ రెప్లికేషన్ - ఈ ఫాల్ట్ టాలరెన్స్ పద్ధతి కర్ర మరియు తాడు వలె చాలా సులభం. 2 (క్లస్టర్‌కు 2 కాపీలు) లేదా 3 (వరుసగా 3 కాపీలు) కారకంతో నోడ్‌ల మధ్య సింక్రోనస్ రెప్లికేషన్ నిర్వహించబడుతుంది. RF-2 క్లస్టర్‌లోని ఒక నోడ్ యొక్క వైఫల్యాన్ని తట్టుకోడానికి వర్చువల్ డిస్క్‌ను అనుమతిస్తుంది, అయితే ఉపయోగకరమైన వాల్యూమ్‌లో సగం "తింటుంది" మరియు RF-3 క్లస్టర్‌లోని 2 నోడ్‌ల వైఫల్యాన్ని తట్టుకుంటుంది, కానీ 2/3 ని నిల్వ చేస్తుంది దాని అవసరాలకు ఉపయోగకరమైన వాల్యూమ్. ఈ స్కీమ్ RAID-1కి చాలా పోలి ఉంటుంది, అంటే, RF-2లో కాన్ఫిగర్ చేయబడిన వర్చువల్ డిస్క్ క్లస్టర్‌లోని ఏదైనా ఒక నోడ్ యొక్క వైఫల్యానికి నిరోధకతను కలిగి ఉంటుంది. ఈ సందర్భంలో, డేటాతో ప్రతిదీ బాగానే ఉంటుంది మరియు I/O కూడా ఆగదు. పడిపోయిన నోడ్ సేవకు తిరిగి వచ్చినప్పుడు, ఆటోమేటిక్ డేటా రికవరీ/సింక్రొనైజేషన్ ప్రారంభమవుతుంది.
సాధారణ మోడ్‌లో మరియు విఫలమైన పరిస్థితిలో RF-2 మరియు RF-3 డేటా పంపిణీకి ఉదాహరణలు క్రింద ఉన్నాయి.
మా వద్ద 8MB ప్రత్యేక (ఉపయోగకరమైన) డేటా సామర్థ్యం కలిగిన వర్చువల్ మెషీన్ ఉంది, ఇది 4 vAIR నోడ్‌లపై నడుస్తుంది. వాస్తవానికి ఇంత చిన్న వాల్యూమ్ ఉండే అవకాశం లేదని స్పష్టంగా తెలుస్తుంది, అయితే ARDFS ఆపరేషన్ యొక్క లాజిక్‌ను ప్రతిబింబించే పథకం కోసం, ఈ ఉదాహరణ చాలా అర్థమయ్యేలా ఉంది. AB అనేది ప్రత్యేకమైన వర్చువల్ మెషీన్ డేటాను కలిగి ఉన్న 4MB వర్చువల్ బ్లాక్‌లు. RF-2 వరుసగా ఈ బ్లాక్‌ల A1+A2 మరియు B1+B2 యొక్క రెండు కాపీలను సృష్టిస్తుంది. ఈ బ్లాక్‌లు నోడ్‌ల అంతటా "వేసాయి", అదే నోడ్‌లో ఒకే డేటా యొక్క ఖండనను తప్పించడం, అంటే కాపీ A1 అదే నోడ్‌లో కాపీ A2 ఉండకూడదు. అదే B1 మరియు B2.
నోడ్‌లలో ఒకటి విఫలమైతే (ఉదాహరణకు, నోడ్ నంబర్ 3, ఇది B1 కాపీని కలిగి ఉంటుంది), ఈ కాపీ దాని కాపీ (అంటే, B2 యొక్క కాపీ) లేని నోడ్‌లో స్వయంచాలకంగా సక్రియం చేయబడుతుంది.
అందువలన, వర్చువల్ డిస్క్ (మరియు VM, తదనుగుణంగా) RF-2 పథకంలో ఒక నోడ్ యొక్క వైఫల్యాన్ని సులభంగా తట్టుకోగలదు.
రెప్లికేషన్ స్కీమ్, సరళమైనది మరియు నమ్మదగినది అయినప్పటికీ, RAID1 వలె అదే సమస్యతో బాధపడుతోంది - తగినంత వినియోగ స్థలం లేదు.
2) పై సమస్యను పరిష్కరించడానికి ఎరేజర్ కోడింగ్ లేదా ఎరేజర్ కోడింగ్ (దీనిని "రిడెండెంట్ కోడింగ్", "ఎరేజర్ కోడింగ్" లేదా "రిడెండెన్సీ కోడ్" అని కూడా పిలుస్తారు) ఉంది. EC అనేది రిడెండెన్సీ స్కీమ్, ఇది రెప్లికేషన్‌తో పోలిస్తే తక్కువ డిస్క్ స్పేస్ ఓవర్‌హెడ్‌తో అధిక డేటా లభ్యతను అందిస్తుంది. ఈ మెకానిజం యొక్క ఆపరేటింగ్ సూత్రం RAID 5, 6, 6P వలె ఉంటుంది.
ఎన్‌కోడింగ్ చేస్తున్నప్పుడు, EC ప్రక్రియ EC స్కీమ్‌పై ఆధారపడి వర్చువల్ బ్లాక్‌ను (డిఫాల్ట్‌గా 4MB) అనేక చిన్న "డేటా భాగాలు"గా విభజిస్తుంది (ఉదాహరణకు, 2+1 పథకం ప్రతి 4MB బ్లాక్‌ను 2 2MB భాగాలుగా విభజిస్తుంది). తరువాత, ఈ ప్రక్రియ గతంలో విభజించబడిన భాగాలలో ఒకటి కంటే పెద్దది కాని "డేటా భాగాలు" కోసం "పారిటీ భాగాలు" ఉత్పత్తి చేస్తుంది. డీకోడింగ్ చేస్తున్నప్పుడు, EC మొత్తం క్లస్టర్‌లో "సజీవంగా ఉన్న" డేటాను చదవడం ద్వారా తప్పిపోయిన భాగాలను ఉత్పత్తి చేస్తుంది.
ఉదాహరణకు, 2 క్లస్టర్ నోడ్‌లపై అమలు చేయబడిన 1 + 4 EC స్కీమ్‌తో కూడిన వర్చువల్ డిస్క్, RF-2 వలె క్లస్టర్‌లోని ఒక నోడ్ వైఫల్యాన్ని సులభంగా తట్టుకుంటుంది. ఈ సందర్భంలో, ఓవర్హెడ్ ఖర్చులు తక్కువగా ఉంటాయి, ప్రత్యేకించి, RF-2 కోసం ఉపయోగకరమైన సామర్థ్యం గుణకం 2, మరియు EC 2+1 కోసం ఇది 1,5 అవుతుంది.
దీన్ని మరింత సరళంగా వివరించడానికి, సారాంశం ఏమిటంటే, వర్చువల్ బ్లాక్ 2-8గా విభజించబడింది (ఎందుకు 2 నుండి 8 వరకు, క్రింద చూడండి) “ముక్కలు”, మరియు ఈ ముక్కల కోసం సమానమైన వాల్యూమ్ యొక్క సమానత్వం యొక్క “ముక్కలు” లెక్కించబడతాయి.
ఫలితంగా, డేటా మరియు సమానత్వం క్లస్టర్‌లోని అన్ని నోడ్‌లలో సమానంగా పంపిణీ చేయబడతాయి. అదే సమయంలో, ప్రతిరూపణతో, ARDFS స్వయంచాలకంగా డేటాను నోడ్‌ల అంతటా పంపిణీ చేస్తుంది, తద్వారా ఒకే నోడ్‌లో ఒకే డేటా (డేటా కాపీలు మరియు వాటి సమానత్వం) నిల్వ చేయబడకుండా నిరోధించడానికి, కారణంగా డేటాను కోల్పోయే అవకాశాన్ని తొలగిస్తుంది. డేటా మరియు వాటి సమానత్వం అకస్మాత్తుగా విఫలమైన ఒక నిల్వ నోడ్‌లో ముగుస్తుంది.
అదే 8 MB వర్చువల్ మిషన్ మరియు 4 నోడ్‌లతో, కానీ EC 2+1 స్కీమ్‌తో ఒక ఉదాహరణ క్రింద ఉంది.
A మరియు B బ్లాక్‌లు ఒక్కొక్కటి 2 MB చొప్పున రెండు ముక్కలుగా విభజించబడ్డాయి (రెండు ఎందుకంటే 2+1), అంటే A1+A2 మరియు B1+B2. ప్రతిరూపం వలె కాకుండా, A1 A2 యొక్క కాపీ కాదు, ఇది వర్చువల్ బ్లాక్ A, ఇది రెండు భాగాలుగా విభజించబడింది, B బ్లాక్‌తో సమానంగా ఉంటుంది. మొత్తంగా, మేము 4MB యొక్క రెండు సెట్‌లను పొందుతాము, వీటిలో ప్రతి ఒక్కటి రెండు రెండు-MB ముక్కలను కలిగి ఉంటుంది. తర్వాత, ఈ సెట్‌లలో ప్రతిదానికి, సమానత్వం ఒక ముక్క కంటే ఎక్కువ (అంటే 2 MB) వాల్యూమ్‌తో గణించబడుతుంది, మేము అదనంగా + 2 పారీటీ ముక్కలను (AP మరియు BP) పొందుతాము. మొత్తంగా మనకు 4×2 డేటా + 2×2 సమానత్వం ఉంది.
తరువాత, నోడ్‌ల మధ్య ముక్కలు "వేయబడ్డాయి", తద్వారా డేటా వాటి సమానత్వంతో కలుస్తుంది. ఆ. A1 మరియు A2 AP వలె ఒకే నోడ్‌లో ఉండవు.
ఒక నోడ్ విఫలమైన సందర్భంలో (ఉదాహరణకు, మూడవది కూడా), పడిపోయిన బ్లాక్ B1 స్వయంచాలకంగా BP పారిటీ నుండి పునరుద్ధరించబడుతుంది, ఇది నోడ్ నంబర్ 2లో నిల్వ చేయబడుతుంది మరియు అక్కడ ఉన్న నోడ్‌లో సక్రియం చేయబడుతుంది. బి-పారిటీ లేదు, అనగా. BP యొక్క భాగం. ఈ ఉదాహరణలో, ఇది నోడ్ నం. 1
పాఠకుడికి ఒక ప్రశ్న ఉందని నేను ఖచ్చితంగా అనుకుంటున్నాను:
"మీరు వివరించిన ప్రతిదీ పోటీదారులు మరియు ఓపెన్ సోర్స్ సొల్యూషన్‌లలో చాలా కాలంగా అమలు చేయబడింది, ARDFSలో మీ EC అమలుకు మధ్య తేడా ఏమిటి?"
ఆపై ARDFS యొక్క ఆసక్తికరమైన లక్షణాలు ఉంటాయి.
వశ్యతపై దృష్టి సారించి కోడింగ్‌ను తొలగించండి
ప్రారంభంలో, మేము చాలా అనువైన EC X+Y స్కీమ్‌ను అందించాము, ఇక్కడ X అనేది 2 నుండి 8 వరకు ఉన్న సంఖ్యకు సమానం మరియు Y అనేది 1 నుండి 8 వరకు ఉన్న సంఖ్యకు సమానం, కానీ ఎల్లప్పుడూ X కంటే తక్కువ లేదా సమానంగా ఉంటుంది. ఈ పథకం అందించబడుతుంది. వశ్యత కోసం. వర్చువల్ బ్లాక్ విభజించబడిన డేటా ముక్కల (X) సంఖ్యను పెంచడం వలన ఓవర్హెడ్ ఖర్చులను తగ్గించవచ్చు, అంటే ఉపయోగించగల స్థలాన్ని పెంచడం.
సమాన భాగాలు (Y) సంఖ్యను పెంచడం వలన వర్చువల్ డిస్క్ యొక్క విశ్వసనీయత పెరుగుతుంది. పెద్ద Y విలువ, క్లస్టర్‌లో ఎక్కువ నోడ్‌లు విఫలమవుతాయి. వాస్తవానికి, పారిటీ వాల్యూమ్‌ను పెంచడం వలన ఉపయోగించగల సామర్థ్యం మొత్తం తగ్గుతుంది, అయితే ఇది విశ్వసనీయత కోసం చెల్లించాల్సిన ధర.
EC సర్క్యూట్లపై పనితీరు యొక్క ఆధారపడటం దాదాపుగా ప్రత్యక్షంగా ఉంటుంది: మరింత "ముక్కలు", ఇక్కడ తక్కువ పనితీరు, వాస్తవానికి, సమతుల్య వీక్షణ అవసరం;
ఈ విధానం నిర్వాహకులు గరిష్ట వశ్యతతో సాగిన నిల్వను కాన్ఫిగర్ చేయడానికి అనుమతిస్తుంది. ARDFS పూల్‌లో, మీరు ఏదైనా తప్పు సహనం పథకాలు మరియు వాటి కలయికలను ఉపయోగించవచ్చు, ఇది మా అభిప్రాయం ప్రకారం, చాలా ఉపయోగకరంగా ఉంటుంది.
అనేక (అన్ని సాధ్యం కాదు) RF మరియు EC స్కీమ్‌లను పోల్చే పట్టిక క్రింద ఉంది.
ఒక క్లస్టర్‌లో ఏకకాలంలో 8 నోడ్‌ల వరకు కోల్పోవడాన్ని అనుమతించే అత్యంత “టెర్రీ” కలయిక EC 7+7 కూడా ప్రామాణిక ప్రతిరూపణ కంటే తక్కువ ఉపయోగించగల స్థలాన్ని (1,875 వర్సెస్ 2) “తింటుంది” మరియు 7 రెట్లు మెరుగ్గా రక్షిస్తుంది అని పట్టిక చూపిస్తుంది. , ఇది ఈ రక్షణ యంత్రాంగాన్ని మరింత క్లిష్టంగా ఉన్నప్పటికీ, పరిమిత డిస్క్ స్థలంలో గరిష్ట విశ్వసనీయతను నిర్ధారించడానికి అవసరమైన పరిస్థితులలో మరింత ఆకర్షణీయంగా ఉంటుంది. అదే సమయంలో, మీరు X లేదా Y నుండి ప్రతి "ప్లస్" అదనపు పనితీరు ఓవర్ హెడ్ అని అర్థం చేసుకోవాలి, కాబట్టి విశ్వసనీయత, పొదుపులు మరియు పనితీరు మధ్య త్రిభుజంలో మీరు చాలా జాగ్రత్తగా ఎంచుకోవాలి. ఈ కారణంగా, మేము కోడింగ్ పరిమాణాన్ని తొలగించడానికి ప్రత్యేక కథనాన్ని కేటాయిస్తాము.
ఫైల్ సిస్టమ్ యొక్క విశ్వసనీయత మరియు స్వయంప్రతిపత్తి
ARDFS క్లస్టర్‌లోని అన్ని నోడ్‌లపై స్థానికంగా నడుస్తుంది మరియు అంకితమైన ఈథర్నెట్ ఇంటర్‌ఫేస్‌ల ద్వారా దాని స్వంత మార్గాలను ఉపయోగించి వాటిని సమకాలీకరిస్తుంది. ముఖ్యమైన విషయం ఏమిటంటే, ARDFS స్వతంత్రంగా డేటాను మాత్రమే కాకుండా, నిల్వకు సంబంధించిన మెటాడేటాను కూడా సమకాలీకరిస్తుంది. ARDFSలో పని చేస్తున్నప్పుడు, మేము ఇప్పటికే ఉన్న అనేక పరిష్కారాలను ఏకకాలంలో అధ్యయనం చేసాము మరియు అనేక మంది ఫైల్ సిస్టమ్ మెటాను బాహ్య పంపిణీ చేయబడిన DBMSని ఉపయోగించి సమకాలీకరించడాన్ని మేము కనుగొన్నాము, మేము సమకాలీకరణ కోసం కూడా ఉపయోగిస్తాము, కానీ FS మెటాడేటా (దీని గురించి మరియు ఇతర సంబంధిత ఉపవ్యవస్థల గురించి కాదు) కాన్ఫిగరేషన్‌లను మాత్రమే ఉపయోగిస్తాము. తదుపరి వ్యాసంలో).
బాహ్య DBMSని ఉపయోగించి FS మెటాడేటాను సమకాలీకరించడం అనేది ఒక పని పరిష్కారం, అయితే ARDFSలో నిల్వ చేయబడిన డేటా యొక్క స్థిరత్వం బాహ్య DBMS మరియు దాని ప్రవర్తనపై ఆధారపడి ఉంటుంది (మరియు, స్పష్టంగా చెప్పాలంటే, ఇది ఒక మోజుకనుగుణ మహిళ), దీనిలో మా అభిప్రాయం చెడ్డది. ఎందుకు? FS మెటాడేటా దెబ్బతిన్నట్లయితే, FS డేటా కూడా "వీడ్కోలు" అని చెప్పవచ్చు, కాబట్టి మేము మరింత సంక్లిష్టమైన కానీ విశ్వసనీయమైన మార్గాన్ని తీసుకోవాలని నిర్ణయించుకున్నాము.
మేము ARDFS కోసం మెటాడేటా సింక్రొనైజేషన్ సబ్‌సిస్టమ్‌ను స్వయంగా తయారు చేసాము మరియు ఇది ప్రక్కనే ఉన్న సబ్‌సిస్టమ్‌ల నుండి పూర్తిగా స్వతంత్రంగా జీవిస్తుంది. ఆ. ఏ ఇతర ఉపవ్యవస్థ ARDFS డేటాను పాడు చేయదు. మా అభిప్రాయం ప్రకారం, ఇది అత్యంత నమ్మదగిన మరియు సరైన మార్గం, అయితే ఇది వాస్తవానికి అలా ఉందో లేదో సమయం తెలియజేస్తుంది. అదనంగా, ఈ విధానంతో అదనపు ప్రయోజనం ఉంది. ARDFS అనేది vAIR నుండి స్వతంత్రంగా ఉపయోగించబడుతుంది, ఇది విస్తరించిన నిల్వ వలె, మేము ఖచ్చితంగా భవిష్యత్ ఉత్పత్తులలో ఉపయోగిస్తాము.
ఫలితంగా, ARDFSను అభివృద్ధి చేయడం ద్వారా, మేము సౌకర్యవంతమైన మరియు విశ్వసనీయమైన ఫైల్ సిస్టమ్‌ను అందుకున్నాము, ఇది మీరు సామర్థ్యాన్ని ఆదా చేసే లేదా పనితీరుపై ప్రతిదానిని వదులుకోగల లేదా సహేతుకమైన ఖర్చుతో అల్ట్రా-విశ్వసనీయమైన నిల్వను చేయగల ఎంపికను ఇస్తుంది, కానీ పనితీరు అవసరాలను తగ్గిస్తుంది.
సరళమైన లైసెన్సింగ్ విధానం మరియు సౌకర్యవంతమైన డెలివరీ మోడల్‌తో కలిసి (ముందుగా వెతుకుతున్నప్పుడు, vAIR నోడ్ ద్వారా లైసెన్స్ పొందింది మరియు సాఫ్ట్‌వేర్‌గా లేదా సాఫ్ట్‌వేర్ ప్యాకేజీగా డెలివరీ చేయబడుతుంది), ఇది అనేక రకాల కస్టమర్ అవసరాలకు మరియు పరిష్కారాన్ని చాలా ఖచ్చితంగా రూపొందించడానికి మిమ్మల్ని అనుమతిస్తుంది. అప్పుడు సులభంగా ఈ సంతులనాన్ని నిర్వహించండి.
ఈ అద్భుతం ఎవరికి కావాలి?
ఒక వైపు, హైపర్‌కన్వర్జెన్స్ రంగంలో తీవ్రమైన పరిష్కారాలను కలిగి ఉన్న ప్లేయర్‌లు ఇప్పటికే మార్కెట్లో ఉన్నారని మేము చెప్పగలం మరియు ఇక్కడే మేము నిజంగా వెళ్తున్నాము. ఈ ప్రకటన నిజమేనని అనిపిస్తోంది, అయితే...
మరోవైపు, మేము ఫీల్డ్‌లలోకి వెళ్లి కస్టమర్‌లతో కమ్యూనికేట్ చేసినప్పుడు, ఇది అస్సలు జరగదని మేము మరియు మా భాగస్వాములు చూస్తాము. హైపర్‌కన్వర్జెన్స్ కోసం చాలా పనులు ఉన్నాయి, కొన్ని ప్రదేశాలలో అలాంటి పరిష్కారాలు ఉన్నాయని ప్రజలకు తెలియదు, మరికొన్నింటిలో ఇది ఖరీదైనదిగా అనిపించింది, మరికొన్నింటిలో ప్రత్యామ్నాయ పరిష్కారాల యొక్క విజయవంతం కాని పరీక్షలు ఉన్నాయి మరియు మరికొన్నింటిలో వారు ఆంక్షల కారణంగా కొనుగోలు చేయడాన్ని నిషేధించారు. సాధారణంగా, పొలం దున్నబడలేదని తేలింది, కాబట్టి మేము వర్జిన్ మట్టిని పెంచడానికి వెళ్ళాము))).
GCS కంటే స్టోరేజ్ సిస్టమ్ ఎప్పుడు మెరుగ్గా ఉంటుంది?
మేము మార్కెట్‌తో పని చేస్తున్నప్పుడు, స్టోరేజ్ సిస్టమ్‌లతో క్లాసిక్ స్కీమ్‌ను ఉపయోగించడం ఎప్పుడు మంచిది మరియు హైపర్‌కన్వర్జెంట్‌ను ఎప్పుడు ఉపయోగించాలి అని మమ్మల్ని తరచుగా అడుగుతారు. GCSను ఉత్పత్తి చేస్తున్న చాలా కంపెనీలు (ముఖ్యంగా తమ పోర్ట్‌ఫోలియోలో స్టోరేజీ సిస్టమ్‌లు లేనివి) ఇలా అంటున్నాయి: “స్టోరేజ్ సిస్టమ్‌లు వాడుకలో లేవు, హైపర్కన్వర్జ్డ్ మాత్రమే!” ఇది బోల్డ్ స్టేట్‌మెంట్, కానీ ఇది పూర్తిగా వాస్తవికతను ప్రతిబింబించదు.
నిజానికి, నిల్వ మార్కెట్ నిజానికి హైపర్‌కన్వర్జెన్స్ మరియు సారూప్య పరిష్కారాల వైపు కదులుతోంది, అయితే ఎల్లప్పుడూ “కానీ” ఉంటుంది.
మొదటిది, నిల్వ వ్యవస్థలతో శాస్త్రీయ పథకం ప్రకారం నిర్మించిన డేటా సెంటర్లు మరియు ఐటి మౌలిక సదుపాయాలు సులభంగా పునర్నిర్మించబడవు, కాబట్టి అటువంటి అవస్థాపనలను ఆధునీకరించడం మరియు పూర్తి చేయడం ఇప్పటికీ 5-7 సంవత్సరాలుగా వారసత్వంగా ఉంది.
రెండవది, ప్రస్తుతం చాలా వరకు నిర్మించబడుతున్న మౌలిక సదుపాయాలు (రష్యన్ ఫెడరేషన్ అని అర్ధం) నిల్వ వ్యవస్థలను ఉపయోగించి క్లాసికల్ పథకం ప్రకారం నిర్మించబడ్డాయి మరియు ప్రజలకు హైపర్‌కన్వర్జెన్స్ గురించి తెలియని కారణంగా కాదు, కానీ హైపర్‌కన్వర్జెన్స్ మార్కెట్ కొత్తది, పరిష్కారాలు మరియు ప్రమాణాలు ఇంకా స్థాపించబడలేదు , IT వ్యక్తులు ఇంకా శిక్షణ పొందలేదు, వారికి తక్కువ అనుభవం ఉంది, కానీ వారు ఇక్కడ మరియు ఇప్పుడు డేటా కేంద్రాలను నిర్మించాలి. మరియు ఈ ధోరణి మరో 3-5 సంవత్సరాలు కొనసాగుతుంది (ఆపై మరొక వారసత్వం, పాయింట్ 1 చూడండి).
మూడవదిగా, ఒక వ్రాతకి 2 మిల్లీసెకన్ల అదనపు చిన్న ఆలస్యాలలో పూర్తిగా సాంకేతిక పరిమితి ఉంది (కోర్సులో స్థానిక కాష్ మినహా), పంపిణీ చేయబడిన నిల్వ ఖర్చు.
బాగా, డిస్క్ సబ్‌సిస్టమ్ యొక్క నిలువు స్కేలింగ్‌ను ఇష్టపడే పెద్ద భౌతిక సర్వర్‌ల ఉపయోగం గురించి మనం మరచిపోకూడదు.
GCS కంటే స్టోరేజ్ సిస్టమ్‌లు మెరుగ్గా ప్రవర్తించే అనేక అవసరమైన మరియు జనాదరణ పొందిన పనులు ఉన్నాయి. ఇక్కడ, వాస్తవానికి, వారి ఉత్పత్తి పోర్ట్‌ఫోలియోలో నిల్వ వ్యవస్థలు లేని తయారీదారులు మాతో ఏకీభవించరు, కానీ మేము సహేతుకంగా వాదించడానికి సిద్ధంగా ఉన్నాము. వాస్తవానికి, మేము, రెండు ఉత్పత్తుల డెవలపర్‌లుగా, మా భవిష్యత్ ప్రచురణలలో ఒకదానిలో నిల్వ సిస్టమ్‌లు మరియు GCSలను ఖచ్చితంగా సరిపోల్చుతాము, ఇక్కడ మేము ఏ పరిస్థితులలో ఏది మంచిదో స్పష్టంగా ప్రదర్శిస్తాము.
మరియు నిల్వ వ్యవస్థల కంటే హైపర్కన్వర్జ్డ్ సొల్యూషన్‌లు ఎక్కడ మెరుగ్గా పని చేస్తాయి?
పై పాయింట్ల ఆధారంగా, మూడు స్పష్టమైన ముగింపులు తీసుకోవచ్చు:
- రికార్డింగ్ కోసం అదనంగా 2 మిల్లీసెకన్ల జాప్యం, ఇది ఏదైనా ఉత్పత్తిలో స్థిరంగా సంభవిస్తుంది (ఇప్పుడు మనం సింథటిక్స్ గురించి మాట్లాడటం లేదు, నానోసెకన్లు సింథటిక్స్‌పై చూపబడతాయి), విమర్శించనివి, హైపర్‌కన్వర్జెంట్ అనుకూలంగా ఉంటుంది.
- పెద్ద ఫిజికల్ సర్వర్‌ల నుండి వచ్చే లోడ్‌ను చాలా చిన్న వర్చువల్‌గా మార్చవచ్చు మరియు నోడ్‌ల మధ్య పంపిణీ చేయగలిగితే, అక్కడ హైపర్‌కన్వర్జెన్స్ కూడా బాగా పని చేస్తుంది.
- నిలువు స్కేలింగ్ కంటే క్షితిజసమాంతర స్కేలింగ్‌కు ఎక్కువ ప్రాధాన్యత ఉన్న చోట, GCS అక్కడ కూడా బాగా పని చేస్తుంది.
ఈ పరిష్కారాలు ఏమిటి?
- అన్ని ప్రామాణిక మౌలిక సదుపాయాల సేవలు (డైరెక్టరీ సేవ, మెయిల్, EDMS, ఫైల్ సర్వర్లు, చిన్న లేదా మధ్యస్థ ERP మరియు BI వ్యవస్థలు మొదలైనవి). మేము దీనిని "జనరల్ కంప్యూటింగ్" అని పిలుస్తాము.
- క్లౌడ్ ప్రొవైడర్ల యొక్క అవస్థాపన, క్లయింట్‌ల కోసం పెద్ద సంఖ్యలో వర్చువల్ మెషీన్‌లను త్వరగా మరియు ప్రామాణికంగా అడ్డంగా విస్తరించడం మరియు సులభంగా "కట్" చేయడం అవసరం.
- వర్చువల్ డెస్క్‌టాప్ ఇన్‌ఫ్రాస్ట్రక్చర్ (VDI), ఇక్కడ అనేక చిన్న వినియోగదారు వర్చువల్ మిషన్లు ఏకరీతి క్లస్టర్‌లో నడుస్తాయి మరియు నిశ్శబ్దంగా "ఫ్లోట్" అవుతాయి.
- బ్రాంచ్ నెట్‌వర్క్‌లు, ఇక్కడ ప్రతి బ్రాంచ్‌కు 15-20 వర్చువల్ మెషీన్‌ల ప్రామాణికమైన, తప్పులను తట్టుకునే, కానీ చవకైన మౌలిక సదుపాయాలు అవసరం.
- ఏదైనా పంపిణీ చేయబడిన కంప్యూటింగ్ (ఉదాహరణకు, పెద్ద డేటా సేవలు). ఎక్కడ లోడ్ "లోతులో" కాదు, "వెడల్పులో" వెళుతుంది.
- అదనపు చిన్న జాప్యాలు ఆమోదయోగ్యంగా ఉన్న పరీక్ష వాతావరణాలు, కానీ బడ్జెట్ పరిమితులు ఉన్నాయి, ఎందుకంటే ఇవి పరీక్షలు.
ప్రస్తుతానికి, ఈ పనుల కోసమే మేము AERODISK vAIRని తయారు చేసాము మరియు వాటిపైనే మేము దృష్టి పెడుతున్నాము (విజయవంతంగా ఇప్పటివరకు). బహుశా ఇది త్వరలో మారవచ్చు, ఎందుకంటే... ప్రపంచం నిశ్చలంగా నిలబడదు.
కాబట్టి…
ఇది పెద్ద శ్రేణి కథనాల మొదటి భాగాన్ని పూర్తి చేస్తుంది;
మేము ప్రశ్నలు, సూచనలు మరియు నిర్మాణాత్మక వివాదాలను స్వాగతిస్తాము.
మూలం: www.habr.com