మేఘాలు మేజిక్ బాక్స్ లాంటివి - మీకు ఏమి కావాలో మీరు అడుగుతారు మరియు వనరులు ఎక్కడా కనిపించవు. వర్చువల్ మిషన్లు, డేటాబేస్లు, నెట్వర్క్ - ఇవన్నీ మీకు మాత్రమే చెందినవి. ఇతర క్లౌడ్ అద్దెదారులు ఉన్నారు, కానీ మీ విశ్వంలో మీరు ఏకైక పాలకుడు. మీరు ఎల్లప్పుడూ అవసరమైన వనరులను స్వీకరిస్తారని మీకు ఖచ్చితంగా తెలుసు, మీరు ఎవరినీ పరిగణనలోకి తీసుకోరు మరియు నెట్వర్క్ ఎలా ఉంటుందో మీరు స్వతంత్రంగా నిర్ణయిస్తారు. క్లౌడ్ సాగే విధంగా వనరులను కేటాయించేలా మరియు అద్దెదారులను ఒకరినొకరు పూర్తిగా వేరుచేసేలా చేసే ఈ మ్యాజిక్ ఎలా పని చేస్తుంది?
AWS క్లౌడ్ అనేది మెగా-సూపర్ కాంప్లెక్స్ సిస్టమ్, ఇది 2006 నుండి పరిణామాత్మకంగా అభివృద్ధి చెందుతోంది. ఇందులో భాగంగానే అభివృద్ధి జరిగింది వాసిలీ పాంత్యుఖిన్ - అమెజాన్ వెబ్ సర్వీసెస్ ఆర్కిటెక్ట్. వాస్తుశిల్పిగా, అతను తుది ఫలితంలో మాత్రమే కాకుండా, AWS అధిగమించే సవాళ్లను కూడా చూస్తాడు. సిస్టమ్ ఎలా పనిచేస్తుందనే దానిపై ఎక్కువ అవగాహన ఉంటే, నమ్మకం పెరుగుతుంది. అందువల్ల, వాసిలీ AWS క్లౌడ్ సేవల రహస్యాలను పంచుకుంటాడు. భౌతిక AWS సర్వర్‌ల రూపకల్పన, సాగే డేటాబేస్ స్కేలబిలిటీ, కస్టమ్ అమెజాన్ డేటాబేస్ మరియు వర్చువల్ మెషీన్‌ల పనితీరును పెంచే పద్ధతులు మరియు వాటి ధరను ఏకకాలంలో తగ్గించడం వంటివి క్రింద ఉన్నాయి. Amazon ఆర్కిటెక్చరల్ విధానాల పరిజ్ఞానం AWS సేవలను మరింత సమర్థవంతంగా ఉపయోగించడంలో మీకు సహాయం చేస్తుంది మరియు మీ స్వంత పరిష్కారాలను రూపొందించడానికి మీకు కొత్త ఆలోచనలను అందించవచ్చు.
స్పీకర్ గురించి: వాసిలీ పాంత్యుఖిన్ () .ru కంపెనీలలో Unix అడ్మిన్‌గా ప్రారంభించబడింది, పెద్ద సన్ మైక్రోసిస్టమ్ హార్డ్‌వేర్‌పై 6 సంవత్సరాలు పనిచేశారు మరియు 11 సంవత్సరాల పాటు EMCలో డేటా-సెంట్రిక్ ప్రపంచాన్ని బోధించారు. ఇది సహజంగా ప్రైవేట్ మేఘాలుగా పరిణామం చెందింది మరియు 2017లో పబ్లిక్‌గా మారింది. ఇప్పుడు అతను AWS క్లౌడ్‌లో జీవించడానికి మరియు అభివృద్ధి చేయడానికి సాంకేతిక సలహాలను అందిస్తాడు.
నిరాకరణ: దిగువన ఉన్నవన్నీ వాసిలీ యొక్క వ్యక్తిగత అభిప్రాయం మరియు Amazon వెబ్ సేవల స్థానంతో ఏకీభవించకపోవచ్చు. కథనం ఆధారంగా రూపొందించబడిన నివేదిక మా YouTube ఛానెల్‌లో అందుబాటులో ఉంది.
నేను అమెజాన్ పరికరం గురించి ఎందుకు మాట్లాడుతున్నాను?
నా మొదటి కారులో మాన్యువల్ ట్రాన్స్‌మిషన్ ఉంది. నేను కారును నడపగలనని మరియు దానిపై పూర్తి నియంత్రణను కలిగి ఉండగలననే భావన కారణంగా ఇది చాలా బాగుంది. దాని ఆపరేషన్ సూత్రాన్ని నేను కనీసం దాదాపుగా అర్థం చేసుకున్నాను అని కూడా నేను ఇష్టపడ్డాను. సహజంగానే, నేను బాక్స్ యొక్క నిర్మాణం చాలా ప్రాచీనమైనదిగా ఊహించాను - సైకిల్‌పై గేర్‌బాక్స్ లాంటిది.
ట్రాఫిక్ జామ్‌లలో చిక్కుకుపోవడం - ఒక్కటి తప్ప అన్నీ అద్భుతంగా ఉన్నాయి. మీరు కూర్చొని ఏమీ చేయకుండా ఉన్నట్లు అనిపిస్తుంది, కానీ మీరు నిరంతరం గేర్‌లను మారుస్తూ, క్లచ్, గ్యాస్, బ్రేక్‌లను నొక్కడం - ఇది మిమ్మల్ని నిజంగా అలసిపోయేలా చేస్తుంది. కుటుంబానికి ఆటోమేటిక్ కారు రావడంతో ట్రాఫిక్ జామ్ సమస్య పాక్షికంగా పరిష్కారమైంది. డ్రైవింగ్ చేస్తున్నప్పుడు, నేను ఏదో ఆలోచించడానికి మరియు ఆడియోబుక్ వినడానికి సమయం దొరికింది.
నా జీవితంలో మరొక రహస్యం కనిపించింది, ఎందుకంటే నా కారు ఎలా పనిచేస్తుందో అర్థం చేసుకోవడం పూర్తిగా ఆగిపోయింది. ఆధునిక కారు ఒక క్లిష్టమైన పరికరం. కారు డజన్ల కొద్దీ వేర్వేరు పారామితులకు ఏకకాలంలో వర్తిస్తుంది: గ్యాస్, బ్రేక్, డ్రైవింగ్ శైలి, రహదారి నాణ్యతను నొక్కడం. ఇది ఇకపై ఎలా పని చేస్తుందో నాకు అర్థం కాలేదు.
నేను అమెజాన్ క్లౌడ్‌లో పని చేయడం ప్రారంభించినప్పుడు, అది కూడా నాకు ఒక రహస్యం. ఈ రహస్యం మాత్రమే ఎక్కువ పరిమాణంలో ఉంటుంది, ఎందుకంటే కారులో ఒక డ్రైవర్ ఉన్నాడు మరియు AWSలో లక్షలాది మంది ఉన్నారు. వినియోగదారులందరూ ఏకకాలంలో స్టీర్, గ్యాస్ మరియు బ్రేక్ నొక్కండి. వారు కోరుకున్న చోటికి వెళ్లడం ఆశ్చర్యంగా ఉంది - ఇది నాకు ఒక అద్భుతం! సిస్టమ్ స్వయంచాలకంగా ప్రతి వినియోగదారుకు అనుగుణంగా, స్కేల్స్ మరియు సాగేలా సర్దుబాటు చేస్తుంది, తద్వారా అతను ఈ విశ్వంలో ఒంటరిగా ఉన్నట్లు అతనికి అనిపిస్తుంది.
నేను అమెజాన్‌లో ఆర్కిటెక్ట్‌గా పని చేయడానికి వచ్చినప్పుడు మాయాజాలం కొంచెం అరిగిపోయింది. మేము ఎలాంటి సమస్యలను ఎదుర్కొంటున్నాము, వాటిని ఎలా పరిష్కరిస్తాము మరియు మేము సేవలను ఎలా అభివృద్ధి చేస్తాము. సిస్టమ్ ఎలా పనిచేస్తుందనే దానిపై అవగాహన పెరగడంతో, సేవలో మరింత విశ్వాసం కనిపిస్తుంది. కాబట్టి నేను AWS క్లౌడ్ హుడ్ కింద ఉన్న దాని చిత్రాన్ని భాగస్వామ్యం చేయాలనుకుంటున్నాను.
ఏం మాట్లాడుకుందాం
నేను వైవిధ్యమైన విధానాన్ని ఎంచుకున్నాను - నేను మాట్లాడటానికి విలువైన 4 ఆసక్తికరమైన సేవలను ఎంచుకున్నాను.
సర్వర్ ఆప్టిమైజేషన్. భౌతిక స్వరూపం కలిగిన అశాశ్వత మేఘాలు: హమ్, వేడెక్కడం మరియు లైట్లతో రెప్పపాటు చేసే భౌతిక సర్వర్లు ఉన్న భౌతిక డేటా కేంద్రాలు.
సర్వర్‌లెస్ ఫంక్షన్‌లు (లాంబ్డా) బహుశా క్లౌడ్‌లో అత్యంత కొలవగల సేవ.
డేటాబేస్ స్కేలింగ్. మేము మా స్వంత స్కేలబుల్ డేటాబేస్‌లను ఎలా నిర్మిస్తాము అనే దాని గురించి నేను మీకు చెప్తాను.
నెట్వర్క్ స్కేలింగ్. నేను మా నెట్వర్క్ యొక్క పరికరాన్ని తెరుస్తాను దీనిలో చివరి భాగం. ఇది అద్భుతమైన విషయం - ప్రతి క్లౌడ్ వినియోగదారు క్లౌడ్‌లో ఒంటరిగా ఉన్నారని మరియు ఇతర అద్దెదారులను అస్సలు చూడరని నమ్ముతారు.
గమనిక. ఈ వ్యాసం సర్వర్ ఆప్టిమైజేషన్ మరియు డేటాబేస్ స్కేలింగ్ గురించి చర్చిస్తుంది. మేము తదుపరి కథనంలో నెట్వర్క్ స్కేలింగ్‌ను పరిశీలిస్తాము. సర్వర్‌లెస్ ఫంక్షన్‌లు ఎక్కడ ఉన్నాయి? వారి గురించి ప్రత్యేక ట్రాన్స్క్రిప్ట్ ప్రచురించబడింది "" ఇది అనేక విభిన్న స్కేలింగ్ పద్ధతుల గురించి మాట్లాడుతుంది మరియు ఫైర్‌క్రాకర్ పరిష్కారాన్ని వివరంగా చర్చిస్తుంది - వర్చువల్ మెషీన్ మరియు కంటైనర్‌ల యొక్క ఉత్తమ లక్షణాల సహజీవనం.
సర్వర్లు
మేఘం అశాశ్వతమైనది. కానీ ఈ అశాశ్వతత ఇప్పటికీ భౌతిక స్వరూపాన్ని కలిగి ఉంది - సర్వర్లు. ప్రారంభంలో, వారి వాస్తుశిల్పం శాస్త్రీయమైనది. ప్రామాణిక x86 చిప్‌సెట్, నెట్వర్క్ కార్డ్‌లు, Linux, Xen హైపర్‌వైజర్‌పై వర్చువల్ మిషన్లు అమలు చేయబడ్డాయి.
2012 లో, ఈ ఆర్కిటెక్చర్ దాని పనులను బాగా ఎదుర్కొంది. Xen ఒక గొప్ప హైపర్‌వైజర్, కానీ దీనికి ఒక ప్రధాన లోపం ఉంది. అతనికి సరిపోయింది పరికర ఎమ్యులేషన్ కోసం అధిక ఓవర్ హెడ్. కొత్త, వేగవంతమైన నెట్వర్క్ కార్డ్‌లు లేదా SSD డ్రైవ్‌లు అందుబాటులోకి వచ్చినప్పుడు, ఈ ఓవర్‌హెడ్ చాలా ఎక్కువగా ఉంటుంది. ఈ సమస్యను ఎలా ఎదుర్కోవాలి? మేము ఒకేసారి రెండు రంగాల్లో పని చేయాలని నిర్ణయించుకున్నాము - హార్డ్‌వేర్ మరియు హైపర్‌వైజర్ రెండింటినీ ఆప్టిమైజ్ చేయండి. పని చాలా తీవ్రమైనది.
హార్డ్‌వేర్ మరియు హైపర్‌వైజర్‌ని ఆప్టిమైజ్ చేయడం
ప్రతిదీ ఒకేసారి చేయడం మరియు బాగా చేయడం పనిచేయదు. ఏది "మంచిది" అనేది కూడా మొదట్లో అస్పష్టంగా ఉంది.
మేము ఒక పరిణామ విధానాన్ని తీసుకోవాలని నిర్ణయించుకున్నాము - మేము ఆర్కిటెక్చర్ యొక్క ఒక ముఖ్యమైన అంశాన్ని మార్చాము మరియు దానిని ఉత్పత్తిలోకి విసిరాము.
మేము ప్రతి రేక్‌లో అడుగుపెడతాము, ఫిర్యాదులు మరియు సూచనలను వింటాము. అప్పుడు మేము మరొక భాగాన్ని మారుస్తాము. కాబట్టి, చిన్న ఇంక్రిమెంట్‌లలో, వినియోగదారులు మరియు మద్దతు నుండి వచ్చిన ఫీడ్‌బ్యాక్ ఆధారంగా మేము మొత్తం నిర్మాణాన్ని సమూలంగా మారుస్తాము.
పరివర్తన 2013 లో అత్యంత క్లిష్టమైన విషయంతో ప్రారంభమైంది - నెట్వర్క్. IN S3 ఉదాహరణకు, ప్రామాణిక నెట్వర్క్ కార్డ్‌కి ప్రత్యేక నెట్వర్క్ యాక్సిలరేటర్ కార్డ్ జోడించబడింది. ఇది ముందు ప్యానెల్‌లోని చిన్న లూప్‌బ్యాక్ కేబుల్‌తో అక్షరాలా కనెక్ట్ చేయబడింది. ఇది అందంగా లేదు, కానీ అది క్లౌడ్‌లో కనిపించదు. కానీ హార్డ్‌వేర్‌తో ప్రత్యక్ష పరస్పర చర్య ప్రాథమికంగా జిట్టర్ మరియు నెట్వర్క్ నిర్గమాంశను మెరుగుపరిచింది.
తర్వాత మేము బ్లాక్ డేటా నిల్వ EBS - సాగే బ్లాక్ స్టోరేజ్ యాక్సెస్‌ను మెరుగుపరచాలని నిర్ణయించుకున్నాము. ఇది నెట్వర్క్ మరియు స్టోరేజ్ కలయిక. ఇబ్బంది ఏమిటంటే, నెట్వర్క్ యాక్సిలరేటర్ కార్డ్‌లు మార్కెట్‌లో ఉన్నప్పటికీ, స్టోరేజ్ యాక్సిలరేటర్ హార్డ్‌వేర్‌ను కొనుగోలు చేసే అవకాశం లేదు. అందుకే స్టార్టప్ వైపు మొగ్గు చూపాం అన్నపూర్ణ ల్యాబ్స్, మా కోసం ప్రత్యేక ASIC చిప్‌లను అభివృద్ధి చేసిన వారు. వారు రిమోట్ EBS వాల్యూమ్‌లను NVMe పరికరాలుగా మౌంట్ చేయడానికి అనుమతించారు.
సందర్భాలలో C4 మేము రెండు సమస్యలను పరిష్కరించాము. మొదటిది, మేము ఆశాజనకంగా ఉన్న భవిష్యత్తు కోసం పునాదిని అమలు చేసాము, కానీ ఆ సమయంలో కొత్తది, NVMe సాంకేతికత. రెండవది, మేము EBSకి అభ్యర్థనల ప్రాసెసింగ్‌ను కొత్త కార్డ్‌కి బదిలీ చేయడం ద్వారా సెంట్రల్ ప్రాసెసర్‌ను గణనీయంగా అన్‌లోడ్ చేసాము. ఇది బాగా జరిగింది, కాబట్టి ఇప్పుడు అన్నపూర్ణ ల్యాబ్స్ అమెజాన్‌లో భాగం.
నవంబర్ 2017 నాటికి, హైపర్‌వైజర్‌ను మార్చడానికి ఇది సమయం అని మేము గ్రహించాము.
కొత్త హైపర్‌వైజర్ సవరించబడిన KVM కెర్నల్ మాడ్యూల్స్ ఆధారంగా అభివృద్ధి చేయబడింది.
ఇది పరికర ఎమ్యులేషన్ యొక్క ఓవర్ హెడ్‌ని ప్రాథమికంగా తగ్గించడం మరియు కొత్త ASICలతో నేరుగా పని చేయడం సాధ్యపడింది. సందర్భాలలో S5 హుడ్ కింద నడుస్తున్న కొత్త హైపర్‌వైజర్‌తో మొదటి వర్చువల్ మిషన్లు. మేము అతనికి పేరు పెట్టాము నైట్రో.
టైమ్‌లైన్‌లో ఉదాహరణల పరిణామం.
నవంబర్ 2017 నుండి కనిపించిన అన్ని కొత్త రకాల వర్చువల్ మెషీన్‌లు ఈ హైపర్‌వైజర్‌పై నడుస్తాయి. బేర్ మెటల్ ఉదంతాలకు హైపర్‌వైజర్ లేదు, కానీ వారు ప్రత్యేక నైట్రో కార్డులను ఉపయోగిస్తున్నందున వాటిని నైట్రో అని కూడా పిలుస్తారు.
తర్వాతి రెండు సంవత్సరాల్లో, నైట్రో ఇన్‌స్టాన్స్‌ల రకాల సంఖ్య రెండు డజన్లను మించిపోయింది: A1, C5, M5, T3 మరియు ఇతరాలు.
ఉదాహరణ రకాలు.
ఆధునిక నైట్రో యంత్రాలు ఎలా పని చేస్తాయి
అవి మూడు ప్రధాన భాగాలను కలిగి ఉన్నాయి: నైట్రో హైపర్‌వైజర్ (పైన చర్చించబడింది), సెక్యూరిటీ చిప్ మరియు నైట్రో కార్డ్‌లు.
భద్రతా చిప్ నేరుగా మదర్‌బోర్డులో విలీనం చేయబడింది. ఇది హోస్ట్ OS యొక్క లోడింగ్‌ను నియంత్రించడం వంటి అనేక ముఖ్యమైన విధులను నియంత్రిస్తుంది.
నైట్రో కార్డులు - వాటిలో నాలుగు రకాలు ఉన్నాయి. అవన్నీ అన్నపూర్ణ ల్యాబ్స్ ద్వారా అభివృద్ధి చేయబడ్డాయి మరియు సాధారణ ASIC లపై ఆధారపడి ఉంటాయి. వారి ఫర్మ్‌వేర్‌లో కొన్ని కూడా సాధారణం.
నాలుగు రకాల నైట్రో కార్డులు.
కార్డ్‌లలో ఒకటి పని చేయడానికి రూపొందించబడింది నెట్వర్క్వీపీసీ. ఇది వర్చువల్ మెషీన్‌లలో నెట్వర్క్ కార్డ్‌గా కనిపిస్తుంది ENA - సాగే నెట్వర్క్ అడాప్టర్. ఇది ఫిజికల్ నెట్వర్క్ ద్వారా ప్రసారం చేసేటప్పుడు ట్రాఫిక్‌ను కూడా కలుపుతుంది (మేము దీని గురించి వ్యాసం యొక్క రెండవ భాగంలో మాట్లాడుతాము), భద్రతా సమూహాల ఫైర్‌వాల్‌ను నియంత్రిస్తుంది మరియు రూటింగ్ మరియు ఇతర నెట్వర్క్ విషయాలకు బాధ్యత వహిస్తుంది.
బ్లాక్ స్టోరేజ్‌తో పని చేసే కార్డ్‌లను ఎంచుకోండి EBS మరియు సర్వర్‌లో నిర్మించబడిన డిస్క్‌లు. అవి అతిథి వర్చువల్ మెషీన్‌కి ఇలా కనిపిస్తాయి NVMe ఎడాప్టర్లు. వారు డేటా ఎన్క్రిప్షన్ మరియు డిస్క్ పర్యవేక్షణకు కూడా బాధ్యత వహిస్తారు.
నైట్రో కార్డ్‌లు, హైపర్‌వైజర్ మరియు సెక్యూరిటీ చిప్‌ల వ్యవస్థ SDN నెట్‌వర్క్‌లో విలీనం చేయబడింది లేదా సాఫ్ట్‌వేర్ నిర్వచించిన నెట్వర్క్. ఈ నెట్వర్క్ నిర్వహణ బాధ్యత (కంట్రోల్ ప్లేన్) కంట్రోలర్ కార్డ్.
వాస్తవానికి, మేము కొత్త ASICలను అభివృద్ధి చేయడం కొనసాగిస్తున్నాము. ఉదాహరణకు, 2018 చివరిలో వారు ఇన్ఫెరెన్షియా చిప్‌ను విడుదల చేశారు, ఇది మెషిన్ లెర్నింగ్ టాస్క్‌లతో మరింత సమర్థవంతంగా పని చేయడానికి మిమ్మల్ని అనుమతిస్తుంది.
ఇన్ఫెరెన్షియా మెషిన్ లెర్నింగ్ ప్రాసెసర్ చిప్.
స్కేలబుల్ డేటాబేస్
సాంప్రదాయ డేటాబేస్ లేయర్డ్ నిర్మాణాన్ని కలిగి ఉంటుంది. చాలా సరళీకృతం చేయడానికి, క్రింది స్థాయిలు ప్రత్యేకించబడ్డాయి.
- SQL — క్లయింట్ మరియు అభ్యర్థన పంపినవారు దానిపై పని చేస్తారు.
- నిబంధనలు లావాదేవీలు - ఇక్కడ ప్రతిదీ స్పష్టంగా ఉంది, ACID మరియు అన్నీ.
- కాషింగ్, ఇది బఫర్ పూల్స్ ద్వారా అందించబడుతుంది.
- లాగింగ్ - పునరావృత లాగ్‌లతో పనిని అందిస్తుంది. MySQLలో వాటిని బిన్ లాగ్‌లు అంటారు, PosgreSQLలో - రైట్ ఎహెడ్ లాగ్‌లు (WAL).
- నిల్వ - డిస్క్‌కి డైరెక్ట్ రికార్డింగ్.
లేయర్డ్ డేటాబేస్ నిర్మాణం.
డేటాబేస్‌లను స్కేల్ చేయడానికి వివిధ మార్గాలు ఉన్నాయి: షార్డింగ్, షేర్డ్ నథింగ్ ఆర్కిటెక్చర్, షేర్డ్ డిస్క్‌లు.
అయితే, ఈ పద్ధతులన్నీ ఒకే మోనోలిథిక్ డేటాబేస్ నిర్మాణాన్ని నిర్వహిస్తాయి. ఇది స్కేలింగ్‌ను గణనీయంగా పరిమితం చేస్తుంది. ఈ సమస్యను పరిష్కరించడానికి, మేము మా స్వంత డేటాబేస్ను అభివృద్ధి చేసాము - అమెజాన్ అరోరా. ఇది MySQL మరియు PostgreSQLతో అనుకూలంగా ఉంటుంది.
అమెజాన్ అరోరా
ప్రధాన డేటాబేస్ నుండి నిల్వ మరియు లాగింగ్ స్థాయిలను వేరు చేయడం ప్రధాన నిర్మాణ ఆలోచన.
ముందుకు చూస్తే, మేము కాషింగ్ స్థాయిని కూడా స్వతంత్రంగా చేసాము అని నేను చెప్తాను. ఆర్కిటెక్చర్ ఏకశిలాగా నిలిచిపోతుంది మరియు మేము వ్యక్తిగత బ్లాక్‌లను స్కేలింగ్ చేయడంలో అదనపు స్వేచ్ఛను పొందుతాము.
లాగింగ్ మరియు నిల్వ స్థాయిలు డేటాబేస్ నుండి వేరుగా ఉంటాయి.
సాంప్రదాయ DBMS బ్లాక్‌ల రూపంలో నిల్వ సిస్టమ్‌కు డేటాను వ్రాస్తుంది. Amazon Auroraలో, మేము భాష మాట్లాడగలిగే స్మార్ట్ స్టోరేజ్‌ని సృష్టించాము పునరావృతం-లాగ్‌లు. లోపల, నిల్వ లాగ్‌లను డేటా బ్లాక్‌లుగా మారుస్తుంది, వాటి సమగ్రతను పర్యవేక్షిస్తుంది మరియు స్వయంచాలకంగా బ్యాకప్ చేస్తుంది.
ఈ విధానం వంటి ఆసక్తికరమైన విషయాలను అమలు చేయడానికి మిమ్మల్ని అనుమతిస్తుంది క్లోనింగ్. ఇది మొత్తం డేటా యొక్క పూర్తి కాపీని సృష్టించాల్సిన అవసరం లేనందున ఇది ప్రాథమికంగా వేగంగా మరియు మరింత ఆర్థికంగా పని చేస్తుంది.
నిల్వ పొర పంపిణీ వ్యవస్థగా అమలు చేయబడుతుంది. ఇది చాలా పెద్ద సంఖ్యలో భౌతిక సర్వర్‌లను కలిగి ఉంటుంది. ప్రతి పునరావృత లాగ్ ప్రాసెస్ చేయబడుతుంది మరియు ఏకకాలంలో సేవ్ చేయబడుతుంది ఆరు నాట్లు. ఇది డేటా రక్షణ మరియు లోడ్ బ్యాలెన్సింగ్‌ను నిర్ధారిస్తుంది.
తగిన ప్రతిరూపాలను ఉపయోగించి రీడ్ స్కేలింగ్ సాధించవచ్చు. పంపిణీ చేయబడిన నిల్వ ప్రధాన డేటాబేస్ ఉదాహరణకి మధ్య సమకాలీకరణ అవసరాన్ని తొలగిస్తుంది, దీని ద్వారా మేము డేటాను వ్రాస్తాము మరియు మిగిలిన ప్రతిరూపాలు. తాజా డేటా అన్ని ప్రతిరూపాలకు అందుబాటులో ఉంటుందని హామీ ఇవ్వబడింది.
రీడ్ రెప్లికాస్‌లో పాత డేటాను కాష్ చేయడం మాత్రమే సమస్య. అయితే ఈ సమస్య పరిష్కారమవుతోంది అన్ని పునరావృత లాగ్‌ల బదిలీ అంతర్గత నెట్వర్క్ ద్వారా ప్రతిరూపాలకు. లాగ్ కాష్‌లో ఉన్నట్లయితే, అది తప్పుగా మరియు భర్తీ చేయబడినదిగా గుర్తించబడుతుంది. అది కాష్‌లో లేకుంటే, అది కేవలం విస్మరించబడుతుంది.
మేము నిల్వను క్రమబద్ధీకరించాము.
DBMS స్థాయిలను ఎలా స్కేల్ చేయాలి
ఇక్కడ, క్షితిజ సమాంతర స్కేలింగ్ చాలా కష్టం. కాబట్టి కొట్టిన మార్గంలో వెళ్దాం క్లాసిక్ నిలువు స్కేలింగ్.
మాస్టర్ నోడ్ ద్వారా DBMSతో కమ్యూనికేట్ చేసే అప్లికేషన్ మా వద్ద ఉందని అనుకుందాం.
నిలువుగా స్కేలింగ్ చేస్తున్నప్పుడు, మేము మరిన్ని ప్రాసెసర్‌లు మరియు మెమరీని కలిగి ఉండే కొత్త నోడ్ను కేటాయిస్తాము.
తరువాత, మేము అప్లికేషన్‌ను పాత మాస్టర్ నోడ్ నుండి కొత్తదానికి మారుస్తాము. సమస్యలు తలెత్తుతాయి.
- దీనికి గణనీయమైన అప్లికేషన్ డౌన్‌టైమ్ అవసరం.
- కొత్త మాస్టర్ నోడ్‌లో కోల్డ్ కాష్ ఉంటుంది. కాష్ వేడెక్కిన తర్వాత మాత్రమే డేటాబేస్ పనితీరు గరిష్టంగా ఉంటుంది.
పరిస్థితిని ఎలా మెరుగుపరచాలి? అప్లికేషన్ మరియు మాస్టర్ నోడ్ మధ్య ప్రాక్సీని సెటప్ చేయండి.
ఇది మనకు ఏమి ఇస్తుంది? ఇప్పుడు అన్ని అప్లికేషన్‌లను మాన్యువల్‌గా కొత్త నోడ్‌కి మళ్లించాల్సిన అవసరం లేదు. స్విచ్ ప్రాక్సీ కింద చేయవచ్చు మరియు ప్రాథమికంగా వేగంగా ఉంటుంది.
దీంతో సమస్య పరిష్కారమైనట్లు తెలుస్తోంది. కానీ కాదు, మేము ఇప్పటికీ కాష్‌ను వేడెక్కాల్సిన అవసరంతో బాధపడుతున్నాము. అదనంగా, ఒక కొత్త సమస్య కనిపించింది - ఇప్పుడు ప్రాక్సీ వైఫల్యానికి సంభావ్య స్థానం.
Amazon Aurora సర్వర్‌లెస్‌తో తుది పరిష్కారం
మేము ఈ సమస్యలను ఎలా పరిష్కరించాము?
ప్రాక్సీని విడిచిపెట్టారు. ఇది ప్రత్యేక ఉదాహరణ కాదు, డేటాబేస్‌కు అప్లికేషన్‌లు కనెక్ట్ అయ్యే ప్రాక్సీల మొత్తం పంపిణీ. వైఫల్యం విషయంలో, ఏదైనా నోడ్‌లను దాదాపు తక్షణమే భర్తీ చేయవచ్చు.
వివిధ పరిమాణాల వెచ్చని నోడ్‌ల కొలను జోడించబడింది. అందువల్ల, పెద్ద లేదా చిన్న పరిమాణం యొక్క కొత్త నోడ్ను కేటాయించాల్సిన అవసరం ఉంటే, అది వెంటనే అందుబాటులో ఉంటుంది. ఇది లోడ్ అయ్యే వరకు వేచి ఉండాల్సిన అవసరం లేదు.
మొత్తం స్కేలింగ్ ప్రక్రియ ప్రత్యేక పర్యవేక్షణ వ్యవస్థ ద్వారా నియంత్రించబడుతుంది. మానిటరింగ్ ప్రస్తుత మాస్టర్ నోడ్ యొక్క స్థితిని నిరంతరం పర్యవేక్షిస్తుంది. ఇది గుర్తించినట్లయితే, ఉదాహరణకు, ప్రాసెసర్ లోడ్ క్లిష్టమైన విలువకు చేరుకుంది, ఇది కొత్త నోడ్ను కేటాయించాల్సిన అవసరం గురించి వెచ్చని సందర్భాల పూల్‌కు తెలియజేస్తుంది.
పంపిణీ చేయబడిన ప్రాక్సీలు, వెచ్చని సందర్భాలు మరియు పర్యవేక్షణ.
అవసరమైన శక్తితో నోడ్ అందుబాటులో ఉంది. బఫర్ పూల్స్ దీనికి కాపీ చేయబడతాయి మరియు సిస్టమ్ మారడానికి సురక్షితమైన క్షణం కోసం వేచి ఉండటం ప్రారంభిస్తుంది.
సాధారణంగా మారే క్షణం చాలా త్వరగా వస్తుంది. అప్పుడు ప్రాక్సీ మరియు పాత మాస్టర్ నోడ్ మధ్య కమ్యూనికేషన్ నిలిపివేయబడుతుంది, అన్ని సెషన్‌లు కొత్త నోడ్‌కి మారతాయి.
డేటాబేస్ రెజ్యూమెలతో పని చేయండి.
సస్పెన్షన్ నిజానికి చాలా తక్కువ అని గ్రాఫ్ చూపిస్తుంది. నీలి గ్రాఫ్ లోడ్‌ను చూపుతుంది మరియు ఎరుపు దశలు స్కేలింగ్ క్షణాలను చూపుతాయి. బ్లూ గ్రాఫ్‌లో స్వల్పకాలిక డిప్‌లు ఖచ్చితంగా చిన్న ఆలస్యం.
మార్గం ద్వారా, అమెజాన్ అరోరా మీరు పూర్తిగా డబ్బు ఆదా చేయడానికి మరియు డేటాబేస్ ఉపయోగంలో లేనప్పుడు దాన్ని ఆపివేయడానికి అనుమతిస్తుంది, ఉదాహరణకు, వారాంతాల్లో. లోడ్ని ఆపిన తర్వాత, DB క్రమంగా దాని శక్తిని తగ్గిస్తుంది మరియు కొంత సమయం వరకు ఆపివేయబడుతుంది. లోడ్ తిరిగి వచ్చినప్పుడు, అది మళ్లీ సజావుగా పెరుగుతుంది.
అమెజాన్ పరికరం గురించి కథనం యొక్క తదుపరి భాగంలో, మేము నెట్వర్క్ స్కేలింగ్ గురించి మాట్లాడుతాము. సభ్యత్వం పొందండి మరియు మీరు కథనాన్ని కోల్పోకుండా వేచి ఉండండి.
ఆఫ్ వాసిలీ పాంత్యుఖిన్ ఒక నివేదిక ఇస్తారు "" పంపిణీ చేయబడిన సిస్టమ్‌ల కోసం ఏ డిజైన్ నమూనాలను అమెజాన్ డెవలపర్‌లు ఉపయోగిస్తున్నారు, సేవా వైఫల్యాలకు కారణాలు ఏమిటి, సెల్-ఆధారిత నిర్మాణం, స్థిరమైన పని, షఫుల్ షార్డింగ్ అంటే ఏమిటి - ఇది ఆసక్తికరంగా ఉంటుంది. సమావేశానికి ఒక నెల కంటే తక్కువ సమయం ఉంది - . అక్టోబర్ 24 చివరి ధర పెరుగుదల.
మూలం: www.habr.com