S3 ఆబ్జెక్ట్ స్టోరేజ్ కమాండ్ ఆబ్జెక్ట్ స్టోరేజ్‌ని ఎంచుకునేటప్పుడు ఏ ప్రమాణాలు ముఖ్యమైనవి అనే దాని గురించి కథనాన్ని అనువదించారు. రచయిత దృక్కోణం నుండి క్రింది వచనం.
వస్తువు నిల్వ విషయానికి వస్తే, ప్రజలు సాధారణంగా ఒక విషయం గురించి మాత్రమే ఆలోచిస్తారు: TB/GBకి ధర. వాస్తవానికి, ఈ మెట్రిక్ ముఖ్యమైనది, కానీ ఇది విధానాన్ని ఏకపక్షంగా చేస్తుంది మరియు ఆర్కైవ్ నిల్వ సాధనంతో ఆబ్జెక్ట్ నిల్వను సమం చేస్తుంది. అదనంగా, ఈ విధానం ఎంటర్‌ప్రైజ్ టెక్నాలజీ స్టాక్ కోసం ఆబ్జెక్ట్ స్టోరేజ్ యొక్క ప్రాముఖ్యతను తగ్గిస్తుంది.
వస్తువు నిల్వను ఎన్నుకునేటప్పుడు, మీరు ఐదు లక్షణాలకు శ్రద్ధ వహించాలి:
- పనితీరు;
- స్కేలబిలిటీ;
- S3 అనుకూలత;
- వైఫల్యాలకు ప్రతిస్పందన;
- సమగ్రత.
ఈ ఐదు లక్షణాలు ఖర్చుతో పాటు వస్తువు నిల్వ కోసం కొత్త కొలమానాలు. అవన్నీ చూద్దాం.
ఉత్పాదకత
సాంప్రదాయ వస్తువుల దుకాణాల్లో పనితీరు లేదు. తక్కువ ధరల ముసుగులో సర్వీస్ ప్రొవైడర్లు నిరంతరం దానిని త్యాగం చేశారు. అయితే, ఆధునిక వస్తువు నిల్వ విషయాలు భిన్నంగా ఉంటాయి.
వివిధ నిల్వ వ్యవస్థలు హడూప్ యొక్క వేగాన్ని చేరుకుంటాయి లేదా మించిపోతాయి. చదవడం మరియు వ్రాయడం వేగం కోసం ఆధునిక అవసరాలు: హార్డ్ డ్రైవ్‌ల కోసం 10 GB/s నుండి, NVMe కోసం 35 GB/s వరకు.
Spark, Presto, Tensorflow, Teradata, Vertica, Splunk మరియు అనలిటిక్స్ స్టాక్‌లోని ఇతర ఆధునిక కంప్యూటింగ్ ఫ్రేమ్‌వర్క్‌లకు ఈ నిర్గమాంశ సరిపోతుంది. MPP డేటాబేస్‌లు ఆబ్జెక్ట్ స్టోరేజ్ కోసం కాన్ఫిగర్ చేయబడుతున్నాయి అనే వాస్తవం అది ప్రాథమిక నిల్వగా ఎక్కువగా ఉపయోగించబడుతుందని సూచిస్తుంది.
మీ నిల్వ సిస్టమ్ మీకు అవసరమైన వేగాన్ని అందించకపోతే, మీరు డేటాను ఉపయోగించలేరు మరియు దాని నుండి విలువను సేకరించలేరు. మీరు ఆబ్జెక్ట్ స్టోరేజ్ నుండి ఇన్-మెమరీ ప్రాసెసింగ్ స్ట్రక్చర్‌లోకి డేటాను తిరిగి పొందినప్పటికీ, డేటాను మెమరీకి మరియు దాని నుండి బదిలీ చేయడానికి మీకు బ్యాండ్‌విడ్త్ అవసరం. లెగసీ ఆబ్జెక్ట్ స్టోర్‌లలో అది తగినంతగా లేదు.
ఇది కీలకమైన అంశం: కొత్త పనితీరు మెట్రిక్ నిర్గమాంశం, జాప్యం కాదు. ఇది స్కేల్ వద్ద డేటా కోసం అవసరం మరియు ఆధునిక డేటా ఇన్‌ఫ్రాస్ట్రక్చర్‌లో ప్రమాణం.
పనితీరును గుర్తించడానికి బెంచ్‌మార్క్‌లు మంచి మార్గం అయితే, వాతావరణంలో అప్లికేషన్‌ను అమలు చేయడానికి ముందు దానిని ఖచ్చితంగా కొలవలేము. సాఫ్ట్‌వేర్, డిస్క్‌లు, నెట్‌వర్క్ లేదా కంప్యూటింగ్ స్థాయిలో: అడ్డంకి ఎక్కడ ఉందో దాని తర్వాత మాత్రమే మీరు చెప్పగలరు.
స్కేలబిలిటీ
స్కేలబిలిటీ అనేది ఒక నేమ్‌స్పేస్‌కి సరిపోయే పెటాబైట్‌ల సంఖ్యను సూచిస్తుంది. విక్రేతలు క్లెయిమ్ చేసేది సులభమైన స్కేలబిలిటీ, వారు చెప్పనిది ఏమిటంటే, వారు స్కేల్ చేస్తున్నప్పుడు, భారీ ఏకశిలా వ్యవస్థలు పెళుసుగా, సంక్లిష్టంగా, అస్థిరంగా మరియు ఖరీదైనవిగా మారతాయి.
స్కేలబిలిటీ కోసం కొత్త మెట్రిక్ మీరు సర్వ్ చేయగల నేమ్‌స్పేస్‌లు లేదా క్లయింట్‌ల సంఖ్య. మెట్రిక్ నేరుగా హైపర్‌స్కేలర్‌ల నుండి తీసుకోబడింది, ఇక్కడ స్టోరేజ్ బిల్డింగ్ బ్లాక్‌లు చిన్నవి కానీ బిలియన్ల యూనిట్లకు స్కేల్. సాధారణంగా, ఇది క్లౌడ్ మెట్రిక్.
బిల్డింగ్ బ్లాక్‌లు చిన్నగా ఉన్నప్పుడు, భద్రత, యాక్సెస్ కంట్రోల్, పాలసీ మేనేజ్‌మెంట్, లైఫ్‌సైకిల్ మేనేజ్‌మెంట్ మరియు అంతరాయం కలిగించని అప్‌డేట్‌ల కోసం వాటిని ఆప్టిమైజ్ చేయడం సులభం. మరియు చివరికి ఉత్పాదకతను నిర్ధారించండి. బిల్డింగ్ బ్లాక్ యొక్క పరిమాణం వైఫల్య ప్రాంతం యొక్క నియంత్రణ యొక్క విధి, ఇది అత్యంత స్థితిస్థాపక వ్యవస్థలు ఎలా నిర్మించబడ్డాయి.
బహుళ అద్దెకు అనేక లక్షణాలు ఉన్నాయి. సంస్థలు డేటా మరియు అప్లికేషన్‌లకు యాక్సెస్‌ను ఎలా అందిస్తాయో డైమెన్షన్ మాట్లాడుతుండగా, ఇది అప్లికేషన్‌లను మరియు వాటిని ఒకదానికొకటి వేరుచేయడం వెనుక ఉన్న తర్కాన్ని కూడా సూచిస్తుంది.
బహుళ-క్లయింట్‌కు ఆధునిక విధానం యొక్క లక్షణాలు:
- తక్కువ సమయంలో, ఖాతాదారుల సంఖ్య అనేక వందల నుండి అనేక మిలియన్లకు పెరుగుతుంది.
- క్లయింట్లు ఒకరికొకరు పూర్తిగా ఒంటరిగా ఉన్నారు. ఇది ఒకే సాఫ్ట్‌వేర్ యొక్క విభిన్న సంస్కరణలను అమలు చేయడానికి మరియు విభిన్న కాన్ఫిగరేషన్‌లు, అనుమతులు, ఫీచర్‌లు, భద్రత మరియు నిర్వహణ స్థాయిలతో వస్తువులను నిల్వ చేయడానికి వారిని అనుమతిస్తుంది. కొత్త సర్వర్లు, అప్‌డేట్‌లు మరియు భౌగోళిక ప్రాంతాలకు స్కేలింగ్ చేసేటప్పుడు ఇది అవసరం.
- నిల్వ సాగే స్కేలబుల్, డిమాండ్‌పై వనరులు అందించబడతాయి.
- ప్రతి ఆపరేషన్ API ద్వారా నియంత్రించబడుతుంది మరియు మానవ ప్రమేయం లేకుండా ఆటోమేట్ చేయబడుతుంది.
- సాఫ్ట్‌వేర్‌ను కంటైనర్‌లలో హోస్ట్ చేయవచ్చు మరియు కుబెర్నెట్స్ వంటి ప్రామాణిక ఆర్కెస్ట్రేషన్ సిస్టమ్‌లను ఉపయోగించవచ్చు.
S3 అనుకూలమైనది
Amazon S3 API అనేది వస్తువు నిల్వ కోసం వాస్తవ ప్రమాణం. ప్రతి వస్తువు నిల్వ సాఫ్ట్‌వేర్ విక్రేత దానితో అనుకూలతను క్లెయిమ్ చేస్తారు. S3తో అనుకూలత బైనరీ: ఇది పూర్తిగా అమలు చేయబడుతుంది లేదా అది కాదు.
ఆచరణలో, ఆబ్జెక్ట్ స్టోరేజ్‌ని ఉపయోగిస్తున్నప్పుడు ఏదో తప్పు జరిగే వందల లేదా వేల అంచు దృశ్యాలు ఉన్నాయి. ప్రత్యేకించి యాజమాన్య సాఫ్ట్‌వేర్ మరియు సేవల ప్రదాతల నుండి. దీని ప్రధాన వినియోగ సందర్భాలు డైరెక్ట్ ఆర్కైవింగ్ లేదా బ్యాకప్, కాబట్టి APIకి కాల్ చేయడానికి కొన్ని కారణాలు ఉన్నాయి, వినియోగ సందర్భాలు సజాతీయంగా ఉంటాయి.
ఓపెన్ సోర్స్ సాఫ్ట్‌వేర్ గణనీయమైన ప్రయోజనాలను కలిగి ఉంది. ఇది చాలా అంచు దృశ్యాలను కవర్ చేస్తుంది, పరిమాణం మరియు వివిధ రకాల అప్లికేషన్‌లు, ఆపరేటింగ్ సిస్టమ్‌లు మరియు హార్డ్‌వేర్ ఆర్కిటెక్చర్‌లను అందిస్తుంది.
అప్లికేషన్ డెవలపర్‌లకు ఇవన్నీ ముఖ్యమైనవి, కాబట్టి స్టోరేజ్ ప్రొవైడర్‌లతో అప్లికేషన్‌ను పరీక్షించడం విలువైనదే. ఓపెన్ సోర్స్ ప్రక్రియను సులభతరం చేస్తుంది-మీ అప్లికేషన్ కోసం ఏ ప్లాట్‌ఫారమ్ సరైనదో అర్థం చేసుకోవడం సులభం. ప్రొవైడర్‌ని స్టోరేజ్‌లోకి ప్రవేశించే ఒకే పాయింట్‌గా ఉపయోగించవచ్చు, అంటే ఇది మీ అవసరాలను తీరుస్తుంది.
ఓపెన్ సోర్స్ అంటే: అప్లికేషన్‌లు విక్రేతతో ముడిపడి ఉండవు మరియు మరింత పారదర్శకంగా ఉంటాయి. ఇది సుదీర్ఘ అప్లికేషన్ జీవితచక్రాన్ని నిర్ధారిస్తుంది.
మరియు ఓపెన్ సోర్స్ మరియు S3 గురించి మరికొన్ని గమనికలు.
మీరు పెద్ద డేటా అప్లికేషన్‌ను రన్ చేస్తున్నట్లయితే, S3 SELECT మాగ్నిట్యూడ్ క్రమంలో పనితీరు మరియు సామర్థ్యాన్ని మెరుగుపరుస్తుంది. నిల్వ నుండి మీకు అవసరమైన వస్తువులను మాత్రమే తిరిగి పొందడానికి SQLని ఉపయోగించడం ద్వారా ఇది చేస్తుంది.
ప్రధాన అంశం బకెట్ నోటిఫికేషన్‌లకు మద్దతు. బకెట్ నోటిఫికేషన్‌లు సర్వర్‌లెస్ కంప్యూటింగ్‌ను సులభతరం చేస్తాయి, ఇది సేవగా డెలివరీ చేయబడిన ఏదైనా మైక్రోసర్వీస్ ఆర్కిటెక్చర్‌లో ముఖ్యమైన భాగం. ఆబ్జెక్ట్ స్టోరేజ్ ప్రభావవంతంగా క్లౌడ్ స్టోరేజ్ అయినందున, క్లౌడ్ ఆధారిత అప్లికేషన్‌ల ద్వారా ఆబ్జెక్ట్ స్టోరేజ్ ఉపయోగించినప్పుడు ఈ సామర్ధ్యం కీలకం అవుతుంది.
చివరగా, S3 అమలు తప్పనిసరిగా Amazon S3 సర్వర్-సైడ్ ఎన్‌క్రిప్షన్ APIలకు మద్దతు ఇవ్వాలి: SSE-C, SSE-S3, SSE-KMS. ఇంకా మంచిది, S3 నిజంగా సురక్షితమైన ట్యాంపర్ రక్షణకు మద్దతు ఇస్తుంది.
వైఫల్యాలకు ప్రతిస్పందన
సిస్టమ్ వైఫల్యాలను ఎలా నిర్వహిస్తుంది అనేది బహుశా తరచుగా పట్టించుకోని మెట్రిక్. వివిధ కారణాల వల్ల వైఫల్యాలు సంభవిస్తాయి మరియు ఆబ్జెక్ట్ స్టోరేజ్ వాటిని అన్నింటినీ నిర్వహించాలి.
ఉదాహరణకు, వైఫల్యం యొక్క ఒకే పాయింట్ ఉంది, దీని మెట్రిక్ సున్నా.
దురదృష్టవశాత్తూ, అనేక ఆబ్జెక్ట్ స్టోరేజ్ సిస్టమ్‌లు ప్రత్యేక నోడ్‌లను ఉపయోగిస్తాయి, అవి క్లస్టర్ సరిగ్గా పనిచేయడానికి తప్పనిసరిగా ఎనేబుల్ చేయబడాలి. వీటిలో నేమ్ నోడ్‌లు లేదా మెటాడేటా సర్వర్లు ఉంటాయి - ఇది ఒక వైఫల్యాన్ని సృష్టిస్తుంది.
వైఫల్యం యొక్క అనేక పాయింట్లు ఉన్న చోట కూడా, విపత్తు వైఫల్యాన్ని తట్టుకునే సామర్థ్యం చాలా ముఖ్యమైనది. డిస్క్‌లు విఫలమవుతాయి, సర్వర్లు విఫలమవుతాయి. వైఫల్యాన్ని సాధారణ స్థితిగా నిర్వహించడానికి రూపొందించిన సాఫ్ట్‌వేర్‌ను రూపొందించడం కీలకం. డిస్క్ లేదా నోడ్ విఫలమైతే, అటువంటి సాఫ్ట్‌వేర్ మార్పులు లేకుండా పని చేస్తూనే ఉంటుంది.
డేటా ఎరేజర్ మరియు డేటా డిగ్రేడేషన్‌కు వ్యతిరేకంగా అంతర్నిర్మిత రక్షణ మీరు ప్యారిటీ బ్లాక్‌లను కలిగి ఉన్నన్ని డిస్క్‌లు లేదా నోడ్‌లను కోల్పోయేలా చేస్తుంది-సాధారణంగా సగం డిస్క్‌లు. అప్పుడు మాత్రమే సాఫ్ట్‌వేర్ డేటాను తిరిగి ఇవ్వదు.
వైఫల్యం చాలా అరుదుగా లోడ్ కింద పరీక్షించబడుతుంది, కానీ అలాంటి పరీక్ష అవసరం. లోడ్ వైఫల్యాన్ని అనుకరించడం వైఫల్యం తర్వాత జరిగిన మొత్తం ఖర్చులను చూపుతుంది.
స్థిరత్వం
100% స్థిరత్వ స్కోర్‌ను కఠినమైన అనుగుణ్యత అని కూడా అంటారు. ఏదైనా నిల్వ వ్యవస్థలో స్థిరత్వం అనేది కీలకమైన అంశం, కానీ బలమైన అనుగుణ్యత చాలా అరుదు. ఉదాహరణకు, Amazon S3 ListObject ఖచ్చితంగా స్థిరంగా ఉండదు, ఇది చివరిలో మాత్రమే స్థిరంగా ఉంటుంది.
కఠినమైన అనుగుణ్యత అంటే ఏమిటి? ధృవీకరించబడిన PUT ఆపరేషన్‌ను అనుసరించి అన్ని కార్యకలాపాలకు, కిందివి తప్పనిసరిగా జరగాలి:
- ఏదైనా నోడ్ నుండి చదివేటప్పుడు నవీకరించబడిన విలువ కనిపిస్తుంది.
- నవీకరణ నోడ్ వైఫల్యం రిడెండెన్సీ నుండి రక్షించబడింది.
అంటే మీరు రికార్డింగ్ మధ్యలో ప్లగ్‌ని లాగితే, ఏమీ కోల్పోదు. సిస్టమ్ ఎప్పుడూ పాడైపోయిన లేదా పాత డేటాను తిరిగి ఇవ్వదు. ఇది లావాదేవీల అనువర్తనాల నుండి బ్యాకప్ మరియు పునరుద్ధరణ వరకు అనేక సందర్భాల్లో ముఖ్యమైన అధిక బార్.
తీర్మానం
ఇవి నేటి సంస్థలలో వినియోగ నమూనాలను ప్రతిబింబించే కొత్త ఆబ్జెక్ట్ స్టోరేజ్ మెట్రిక్‌లు, ఇక్కడ పనితీరు, స్థిరత్వం, స్కేలబిలిటీ, ఫాల్ట్ డొమైన్‌లు మరియు S3 అనుకూలత క్లౌడ్ అప్లికేషన్‌లు మరియు పెద్ద డేటా విశ్లేషణలకు బిల్డింగ్ బ్లాక్‌లు. ఆధునిక డేటా స్టాక్‌లను నిర్మించేటప్పుడు ధరతో పాటు ఈ జాబితాను ఉపయోగించమని నేను సిఫార్సు చేస్తున్నాను.
Mail.ru క్లౌడ్ సొల్యూషన్స్ ఆబ్జెక్ట్ స్టోరేజ్ గురించి: .
ఇంకా ఏమి చదవాలి:
- .
- .
- .
మూలం: www.habr.com