అమెజాన్ వెబ్ సర్వీసెస్ నెట్‌వర్క్ స్కేల్ ప్రపంచవ్యాప్తంగా 69 ప్రాంతాలలో 22 జోన్‌లుగా ఉంది: USA, యూరప్, ఆసియా, ఆఫ్రికా మరియు ఆస్ట్రేలియా. ప్రతి జోన్‌లో గరిష్టంగా 8 డేటా సెంటర్‌లు ఉన్నాయి - డేటా ప్రాసెసింగ్ సెంటర్‌లు. ప్రతి డేటా సెంటర్‌లో వేల లేదా వందల వేల సర్వర్లు ఉంటాయి. నెట్‌వర్క్ అన్ని అసంభవమైన అంతరాయం దృశ్యాలను పరిగణనలోకి తీసుకునే విధంగా రూపొందించబడింది. ఉదాహరణకు, అన్ని ప్రాంతాలు ఒకదానికొకటి వేరుచేయబడి ఉంటాయి మరియు అనేక కిలోమీటర్ల దూరం వరకు యాక్సెసిబిలిటీ జోన్‌లు వేరు చేయబడతాయి. మీరు కేబుల్‌ను కట్ చేసినప్పటికీ, సిస్టమ్ బ్యాకప్ ఛానెల్‌లకు మారుతుంది మరియు సమాచారం కోల్పోవడం వల్ల కొన్ని డేటా ప్యాకెట్లు ఉంటాయి. వాసిలీ పాంత్యుఖిన్ నెట్‌వర్క్ ఏ ఇతర సూత్రాలపై నిర్మించబడిందో మరియు అది ఎలా నిర్మించబడిందో గురించి మాట్లాడుతుంది.
వాసిలీ పాంత్యుఖిన్ .ru కంపెనీలలో Unix అడ్మినిస్ట్రేటర్‌గా ప్రారంభించారు, పెద్ద సన్ మైక్రోసిస్టమ్ హార్డ్‌వేర్‌పై 6 సంవత్సరాలు పనిచేశారు మరియు EMCలో 11 సంవత్సరాల పాటు డేటా-సెంట్రిక్ ప్రపంచాన్ని బోధించారు. ఇది సహజంగా ప్రైవేట్ మేఘాలుగా పరిణామం చెందింది, తరువాత పబ్లిక్ వాటికి తరలించబడింది. ఇప్పుడు, అమెజాన్ వెబ్ సర్వీసెస్ ఆర్కిటెక్ట్‌గా, అతను AWS క్లౌడ్‌లో జీవించడానికి మరియు అభివృద్ధి చేయడానికి సాంకేతిక సలహాలను అందిస్తాడు.
AWS త్రయం యొక్క మునుపటి భాగంలో, వాసిలీ భౌతిక సర్వర్‌ల రూపకల్పన మరియు డేటాబేస్ స్కేలింగ్‌ను పరిశోధించారు. నైట్రో కార్డ్‌లు, కస్టమ్ KVM-ఆధారిత హైపర్‌వైజర్, అమెజాన్ అరోరా డేటాబేస్ - మెటీరియల్‌లో వీటన్నింటి గురించి "" సందర్భం కోసం చదవండి లేదా చూడండి ప్రసంగాలు.
ఈ భాగం AWSలో అత్యంత క్లిష్టమైన సిస్టమ్‌లలో ఒకటైన నెట్‌వర్క్ స్కేలింగ్‌పై దృష్టి పెడుతుంది. ఫ్లాట్ నెట్‌వర్క్ నుండి వర్చువల్ ప్రైవేట్ క్లౌడ్‌కు పరిణామం మరియు దాని రూపకల్పన, బ్లాక్ఫుట్ మరియు హైపర్‌ప్లేన్ యొక్క అంతర్గత సేవలు, ధ్వనించే పొరుగువారి సమస్య మరియు చివరిలో - నెట్‌వర్క్, వెన్నెముక మరియు భౌతిక కేబుల్‌ల స్థాయి. కట్ కింద అన్ని ఈ గురించి.
నిరాకరణ: దిగువన ఉన్నవన్నీ వాసిలీ యొక్క వ్యక్తిగత అభిప్రాయం మరియు Amazon వెబ్ సేవల స్థానంతో ఏకీభవించకపోవచ్చు.
నెట్‌వర్క్ స్కేలింగ్
AWS క్లౌడ్ 2006లో ప్రారంభించబడింది. అతని నెట్‌వర్క్ చాలా ప్రాచీనమైనది - ఫ్లాట్ స్ట్రక్చర్‌తో. ప్రైవేట్ చిరునామాల పరిధి క్లౌడ్ అద్దెదారులందరికీ సాధారణం. కొత్త వర్చువల్ మెషీన్‌ను ప్రారంభించినప్పుడు, మీరు అనుకోకుండా ఈ పరిధి నుండి అందుబాటులో ఉన్న IP చిరునామాను అందుకున్నారు.
ఈ విధానం అమలు చేయడం సులభం, కానీ క్లౌడ్ వినియోగాన్ని ప్రాథమికంగా పరిమితం చేసింది. ప్రత్యేకించి, భూమిపై మరియు AWSలో ప్రైవేట్ నెట్‌వర్క్‌లను కలిపి హైబ్రిడ్ పరిష్కారాలను అభివృద్ధి చేయడం చాలా కష్టం. అత్యంత సాధారణ సమస్య IP చిరునామా పరిధులను అతివ్యాప్తి చేయడం.
వర్చువల్ ప్రైవేట్ క్లౌడ్
క్లౌడ్ డిమాండ్‌లో ఉన్నట్లు తేలింది. స్కేలబిలిటీ మరియు పదిలక్షల మంది అద్దెదారులు దాని ఉపయోగం గురించి ఆలోచించాల్సిన సమయం ఆసన్నమైంది. ఫ్లాట్ నెట్‌వర్క్ ప్రధాన అడ్డంకిగా మారింది. అందువల్ల, నెట్‌వర్క్ స్థాయిలో వినియోగదారులను ఒకరినొకరు ఎలా వేరుచేయాలో మేము ఆలోచించాము, తద్వారా వారు స్వతంత్రంగా IP పరిధులను ఎంచుకోవచ్చు.
మీరు నెట్‌వర్క్ ఐసోలేషన్ గురించి ఆలోచించినప్పుడు ముందుగా గుర్తుకు వచ్చే విషయం ఏమిటి? ఖచ్చితంగా VLANలు и VRF - వర్చువల్ రూటింగ్ మరియు ఫార్వార్డింగ్.
దురదృష్టవశాత్తు, అది పని చేయలేదు. VLAN ID కేవలం 12 బిట్‌లు మాత్రమే, ఇది మాకు 4096 వివిక్త విభాగాలను మాత్రమే ఇస్తుంది. అతిపెద్ద స్విచ్‌లు కూడా గరిష్టంగా 1-2 వేల VRFలను ఉపయోగించవచ్చు. VRF మరియు VLAN కలిపి ఉపయోగించడం వల్ల మనకు కొన్ని మిలియన్ సబ్‌నెట్‌లు మాత్రమే లభిస్తాయి. పది మిలియన్ల మంది అద్దెదారులకు ఇది ఖచ్చితంగా సరిపోదు, ప్రతి ఒక్కరు తప్పనిసరిగా బహుళ సబ్‌నెట్‌లను ఉపయోగించగలగాలి.
మేము అవసరమైన సంఖ్యలో పెద్ద పెట్టెలను కొనుగోలు చేయలేము, ఉదాహరణకు, సిస్కో లేదా జునిపెర్ నుండి. రెండు కారణాలు ఉన్నాయి: ఇది చాలా ఖరీదైనది, మరియు మేము వారి అభివృద్ధి మరియు ప్యాచింగ్ విధానాల పట్ల దయతో ఉండకూడదనుకుంటున్నాము.
ఒకే ఒక తీర్మానం ఉంది - మీ స్వంత పరిష్కారం చేయండి.
2009లో మేము ప్రకటించాము వీపీసీ - వర్చువల్ ప్రైవేట్ క్లౌడ్. పేరు నిలిచిపోయింది మరియు ఇప్పుడు చాలా మంది క్లౌడ్ ప్రొవైడర్లు కూడా దీనిని ఉపయోగిస్తున్నారు.
VPC అనేది వర్చువల్ నెట్‌వర్క్ Sdn (సాఫ్ట్‌వేర్ డిఫైన్డ్ నెట్‌వర్క్). మేము L2 మరియు L3 స్థాయిలలో ప్రత్యేక ప్రోటోకాల్‌లను కనుగొనకూడదని నిర్ణయించుకున్నాము. నెట్‌వర్క్ ప్రామాణిక ఈథర్‌నెట్ మరియు IPలో నడుస్తుంది. నెట్‌వర్క్ ద్వారా ప్రసారం కోసం, వర్చువల్ మెషీన్ ట్రాఫిక్ మా స్వంత ప్రోటోకాల్ రేపర్‌లో కప్పబడి ఉంటుంది. ఇది అద్దెదారు VPCకి చెందిన IDని సూచిస్తుంది.
సింపుల్ గా అనిపిస్తుంది. అయితే, అధిగమించాల్సిన అనేక తీవ్రమైన సాంకేతిక సవాళ్లు ఉన్నాయి. ఉదాహరణకు, వర్చువల్ MAC/IP చిరునామాలు, VPC ID మరియు సంబంధిత భౌతిక MAC/IP మ్యాపింగ్‌లో డేటాను ఎక్కడ మరియు ఎలా నిల్వ చేయాలి. AWS స్కేల్‌లో, ఇది కనిష్ట యాక్సెస్ ఆలస్యంతో పని చేసే భారీ పట్టిక. దీనికి బాధ్యులు మ్యాపింగ్ సేవ, ఇది నెట్‌వర్క్ అంతటా పలుచని పొరలో వ్యాపించి ఉంటుంది.
కొత్త తరం యంత్రాలలో, హార్డ్‌వేర్ స్థాయిలో నైట్రో కార్డ్‌ల ద్వారా ఎన్‌క్యాప్సులేషన్ నిర్వహించబడుతుంది. పాత సందర్భాల్లో, ఎన్‌క్యాప్సులేషన్ మరియు డీకాప్సులేషన్ సాఫ్ట్‌వేర్ ఆధారితమైనవి.
సాధారణ పరంగా ఇది ఎలా పనిచేస్తుందో తెలుసుకుందాం. L2 స్థాయితో ప్రారంభిద్దాం. భౌతిక సర్వర్ 10.0.0.2లో IP 192.168.0.3తో కూడిన వర్చువల్ మెషీన్‌ని కలిగి ఉన్నామని అనుకుందాం. ఇది 10.0.0.3లో నివసించే వర్చువల్ మెషీన్ 192.168.1.4కి డేటాను పంపుతుంది. ARP అభ్యర్థన రూపొందించబడింది మరియు నెట్‌వర్క్ నైట్రో కార్డ్‌కు పంపబడుతుంది. సరళత కోసం, రెండు వర్చువల్ మిషన్లు ఒకే "నీలం" VPCలో నివసిస్తాయని మేము ఊహిస్తాము.
మ్యాప్ దాని స్వంత చిరునామాతో సోర్స్ చిరునామాను భర్తీ చేస్తుంది మరియు ARP ఫ్రేమ్‌ను మ్యాపింగ్ సేవకు ఫార్వార్డ్ చేస్తుంది.
మ్యాపింగ్ సేవ L2 భౌతిక నెట్‌వర్క్ ద్వారా ప్రసారం చేయడానికి అవసరమైన సమాచారాన్ని అందిస్తుంది.
ARP ప్రతిస్పందనలోని Nitro కార్డ్ భౌతిక నెట్‌వర్క్‌లోని MACని VPCలోని చిరునామాతో భర్తీ చేస్తుంది.
డేటాను బదిలీ చేసేటప్పుడు, మేము లాజికల్ MAC మరియు IPని VPC రేపర్‌లో చుట్టాము. మేము తగిన మూలాధారం మరియు గమ్యం IP నైట్రో కార్డ్‌లను ఉపయోగించి భౌతిక నెట్‌వర్క్ ద్వారా వీటన్నింటినీ ప్రసారం చేస్తాము.
ప్యాకేజీ నిర్దేశించబడిన భౌతిక యంత్రం తనిఖీని నిర్వహిస్తుంది. చిరునామా స్పూఫింగ్ యొక్క అవకాశాన్ని నిరోధించడానికి ఇది అవసరం. మెషీన్ మ్యాపింగ్ సేవకు ప్రత్యేక అభ్యర్థనను పంపుతుంది మరియు ఇలా అడుగుతుంది: “భౌతిక యంత్రం 192.168.0.3 నుండి నేను నీలం రంగు VPCలో 10.0.0.3 కోసం ఉద్దేశించిన ప్యాకెట్‌ని అందుకున్నాను. అతను చట్టబద్ధమైనవాడా?
మ్యాపింగ్ సేవ దాని వనరుల కేటాయింపు పట్టికను తనిఖీ చేస్తుంది మరియు ప్యాకెట్‌ను పాస్ చేయడానికి అనుమతిస్తుంది లేదా తిరస్కరించింది. అన్ని కొత్త సందర్భాల్లో, అదనపు ధ్రువీకరణ నైట్రో కార్డ్‌లలో పొందుపరచబడింది. సిద్ధాంతపరంగా కూడా దానిని దాటవేయడం అసాధ్యం. అందువల్ల, మరొక VPCలో వనరులను మోసగించడం పని చేయదు.
తరువాత, డేటా ఉద్దేశించిన వర్చువల్ మెషీన్‌కు పంపబడుతుంది.
మ్యాపింగ్ సేవ వివిధ సబ్‌నెట్‌లలోని వర్చువల్ మిషన్‌ల మధ్య డేటాను బదిలీ చేయడానికి లాజికల్ రూటర్‌గా కూడా పనిచేస్తుంది. ప్రతిదీ సంభావితంగా సులభం, నేను వివరంగా చెప్పను.
ప్రతి ప్యాకెట్‌ను ప్రసారం చేసేటప్పుడు, సర్వర్లు మ్యాపింగ్ సేవకు మారుతాయని ఇది మారుతుంది. అనివార్యమైన ఆలస్యాలను ఎలా ఎదుర్కోవాలి? కాషింగ్, కోర్సు యొక్క.
అందం ఏమిటంటే మీరు మొత్తం భారీ పట్టికను కాష్ చేయవలసిన అవసరం లేదు. భౌతిక సర్వర్ సాపేక్షంగా తక్కువ సంఖ్యలో VPCల నుండి వర్చువల్ మిషన్‌లను హోస్ట్ చేస్తుంది. మీరు ఈ VPCల గురించి సమాచారాన్ని మాత్రమే కాష్ చేయాలి. "డిఫాల్ట్" కాన్ఫిగరేషన్‌లోని ఇతర VPCలకు డేటాను బదిలీ చేయడం ఇప్పటికీ చట్టబద్ధం కాదు. VPC-పీరింగ్ వంటి కార్యాచరణను ఉపయోగించినట్లయితే, సంబంధిత VPCల గురించిన సమాచారం అదనంగా కాష్‌లోకి లోడ్ చేయబడుతుంది.
మేము VPCకి డేటా బదిలీని క్రమబద్ధీకరించాము.
బ్లాక్ఫుట్
ట్రాఫిక్‌ను వెలుపల ప్రసారం చేయాల్సిన సందర్భాల్లో ఏమి చేయాలి, ఉదాహరణకు ఇంటర్నెట్‌కు లేదా VPN ద్వారా భూమికి? ఇక్కడ మాకు సహాయం చేస్తుంది బ్లాక్ఫుట్ - అంతర్గత AWS సేవ. దీనిని మన దక్షిణాఫ్రికా జట్టు అభివృద్ధి చేసింది. అందుకే ఈ సర్వీస్‌కు దక్షిణాఫ్రికాలో నివసించే పెంగ్విన్ పేరు పెట్టారు.
బ్లాక్ఫుట్ ట్రాఫిక్‌ను డీకాప్సులేట్ చేస్తుంది మరియు దానితో అవసరమైనది చేస్తుంది. డేటా యధాతధంగా ఇంటర్నెట్‌కు పంపబడుతుంది.
VPNని ఉపయోగిస్తున్నప్పుడు డేటా డీక్యాప్సులేట్ చేయబడుతుంది మరియు IPsecలో తిరిగి చుట్టబడుతుంది.
డైరెక్ట్ కనెక్ట్‌ని ఉపయోగిస్తున్నప్పుడు, ట్రాఫిక్ ట్యాగ్ చేయబడుతుంది మరియు తగిన VLANకి పంపబడుతుంది.
హైపర్‌ప్లేన్
ఇది అంతర్గత ప్రవాహ నియంత్రణ సేవ. అనేక నెట్‌వర్క్ సేవలకు పర్యవేక్షణ అవసరం డేటా ఫ్లో స్టేట్స్. ఉదాహరణకు, NATని ఉపయోగిస్తున్నప్పుడు, ఫ్లో నియంత్రణ తప్పనిసరిగా ప్రతి IP:డెస్టినేషన్ పోర్ట్ జతకు ప్రత్యేకమైన అవుట్‌గోయింగ్ పోర్ట్‌ని కలిగి ఉండేలా చూసుకోవాలి. బాలన్సర్ విషయంలో NLB - నెట్‌వర్క్ లోడ్ బ్యాలెన్సర్, డేటా ఫ్లో ఎల్లప్పుడూ ఒకే లక్ష్య వర్చువల్ మెషీన్‌కు మళ్లించబడాలి. సెక్యూరిటీ గ్రూప్‌లు స్టేట్‌ఫుల్ ఫైర్‌వాల్. ఇది ఇన్‌కమింగ్ ట్రాఫిక్‌ను పర్యవేక్షిస్తుంది మరియు అవుట్‌గోయింగ్ ప్యాకెట్ ఫ్లో కోసం పోర్ట్‌లను పరోక్షంగా తెరుస్తుంది.
AWS క్లౌడ్‌లో, ప్రసార జాప్యం అవసరాలు చాలా ఎక్కువగా ఉంటాయి. అందుకే హైపర్‌ప్లేన్ మొత్తం నెట్‌వర్క్ పనితీరుకు కీలకం.
హైపర్‌ప్లేన్ EC2 వర్చువల్ మెషీన్‌లపై నిర్మించబడింది. ఇక్కడ మాయాజాలం లేదు, కేవలం మోసపూరితమైనది. ఉపాయం ఏమిటంటే ఇవి పెద్ద RAMతో కూడిన వర్చువల్ మిషన్లు. కార్యకలాపాలు లావాదేవీలు మరియు మెమరీలో ప్రత్యేకంగా నిర్వహించబడతాయి. ఇది పదుల మైక్రోసెకన్ల ఆలస్యాన్ని సాధించడానికి మిమ్మల్ని అనుమతిస్తుంది. డిస్క్‌తో పని చేయడం వల్ల ఉత్పాదకత మొత్తం నాశనం అవుతుంది.
హైపర్‌ప్లేన్ అటువంటి భారీ సంఖ్యలో EC2 యంత్రాల పంపిణీ వ్యవస్థ. ప్రతి వర్చువల్ మెషీన్‌కు 5 GB/s బ్యాండ్‌విడ్త్ ఉంటుంది. మొత్తం ప్రాంతీయ నెట్‌వర్క్‌లో, ఇది బ్యాండ్‌విడ్త్ యొక్క అద్భుతమైన టెరాబిట్‌లను అందిస్తుంది మరియు ప్రాసెసింగ్‌ను అనుమతిస్తుంది సెకనుకు మిలియన్ల కనెక్షన్లు.
హైపర్‌ప్లేన్ స్ట్రీమ్‌లతో మాత్రమే పని చేస్తుంది. VPC ప్యాకెట్ ఎన్‌క్యాప్సులేషన్ దీనికి పూర్తిగా పారదర్శకంగా ఉంటుంది. ఈ అంతర్గత సేవలో సంభావ్య దుర్బలత్వం ఇప్పటికీ VPC ఐసోలేషన్ విచ్ఛిన్నం కాకుండా నిరోధిస్తుంది. దిగువ స్థాయిలు భద్రతకు బాధ్యత వహిస్తాయి.
ధ్వనించే పొరుగు
ఇంకా సమస్య ఉంది ధ్వనించే పొరుగు - ధ్వనించే పొరుగు. మనకు 8 నోడ్‌లు ఉన్నాయని అనుకుందాం. ఈ నోడ్‌లు అన్ని క్లౌడ్ వినియోగదారుల ప్రవాహాలను ప్రాసెస్ చేస్తాయి. అంతా బాగానే ఉంది మరియు లోడ్ అన్ని నోడ్‌లలో సమానంగా పంపిణీ చేయబడాలి. నోడ్స్ చాలా శక్తివంతమైనవి మరియు వాటిని ఓవర్‌లోడ్ చేయడం కష్టం.
కానీ మేము మా నిర్మాణాన్ని అసంభవమైన దృశ్యాల ఆధారంగా నిర్మిస్తాము.
తక్కువ సంభావ్యత అంటే అసాధ్యం కాదు.
ఒకటి లేదా అంతకంటే ఎక్కువ మంది వినియోగదారులు చాలా ఎక్కువ లోడ్‌ను ఉత్పత్తి చేసే పరిస్థితిని మనం ఊహించవచ్చు. అన్ని హైపర్‌ప్లేన్ నోడ్‌లు ఈ లోడ్‌ను ప్రాసెస్ చేయడంలో పాల్గొంటాయి మరియు ఇతర వినియోగదారులు ఒక రకమైన పనితీరు హిట్‌ను అనుభవించవచ్చు. ఇది క్లౌడ్ యొక్క భావనను విచ్ఛిన్నం చేస్తుంది, దీనిలో అద్దెదారులు ఒకరినొకరు ప్రభావితం చేసే సామర్థ్యాన్ని కలిగి ఉండరు.
ధ్వనించే పొరుగువారి సమస్యను ఎలా పరిష్కరించాలి? గుర్తుకు వచ్చే మొదటి విషయం షార్డింగ్. మా 8 నోడ్‌లు తార్కికంగా 4 నోడ్‌ల 2 ముక్కలుగా విభజించబడ్డాయి. ఇప్పుడు ధ్వనించే ఇరుగుపొరుగు మొత్తం వినియోగదారులలో నాలుగింట ఒక వంతు మాత్రమే భంగం కలిగిస్తుంది, కానీ అది వారిని బాగా ఇబ్బంది పెడుతుంది.
పనులు భిన్నంగా చేద్దాం. మేము ప్రతి వినియోగదారుకు 3 నోడ్‌లను మాత్రమే కేటాయిస్తాము.
వివిధ వినియోగదారులకు యాదృచ్ఛికంగా నోడ్‌లను కేటాయించడం ట్రిక్. దిగువ చిత్రంలో, నీలం వినియోగదారుడు నోడ్‌లను ఇతర ఇద్దరు వినియోగదారులలో ఒకరితో కలుస్తారు - ఆకుపచ్చ మరియు నారింజ.
8 నోడ్‌లు మరియు 3 వినియోగదారులతో, ధ్వనించే పొరుగువారు వినియోగదారులలో ఒకరితో కలుస్తున్న సంభావ్యత 54%. ఈ సంభావ్యతతో నీలం రంగు వినియోగదారు ఇతర అద్దెదారులను ప్రభావితం చేస్తారు. అదే సమయంలో, దాని లోడ్లో కొంత భాగం మాత్రమే. మా ఉదాహరణలో, ఈ ప్రభావం కనీసం ఏదో ఒకవిధంగా అందరికీ గుర్తించబడదు, కానీ మొత్తం వినియోగదారులలో మూడవ వంతు మాత్రమే. ఇది ఇప్పటికే మంచి ఫలితం.
కలుస్తున్న వినియోగదారుల సంఖ్య
శాతంలో సంభావ్యత
0
18%
1
54%
2
26%
3
2%
పరిస్థితిని వాస్తవికతకు దగ్గరగా తీసుకువద్దాం - 100 నోడ్‌లలో 5 నోడ్‌లు మరియు 5 వినియోగదారులను తీసుకుందాం. ఈ సందర్భంలో, నోడ్‌లు ఏవీ 77% సంభావ్యతతో కలుస్తాయి.
కలుస్తున్న వినియోగదారుల సంఖ్య
శాతంలో సంభావ్యత
0
77%
1
21%
2
1,8%
3
0,06%
4
0,0006%
5
0,00000013%
నిజమైన పరిస్థితిలో, భారీ సంఖ్యలో హైపర్‌ప్లేన్ నోడ్‌లు మరియు వినియోగదారులతో, ఇతర వినియోగదారులపై ధ్వనించే పొరుగువారి సంభావ్య ప్రభావం తక్కువగా ఉంటుంది. ఈ పద్ధతి అంటారు మిక్సింగ్ షార్డింగ్ - షఫుల్ షార్డింగ్. ఇది నోడ్ వైఫల్యం యొక్క ప్రతికూల ప్రభావాన్ని తగ్గిస్తుంది.
అనేక సేవలు హైపర్‌ప్లేన్ ఆధారంగా నిర్మించబడ్డాయి: నెట్‌వర్క్ లోడ్ బ్యాలెన్సర్, NAT గేట్‌వే, అమెజాన్ EFS, AWS ప్రైవేట్‌లింక్, AWS ట్రాన్సిట్ గేట్‌వే.
నెట్‌వర్క్ స్కేల్
ఇప్పుడు నెట్‌వర్క్ స్కేల్ గురించి మాట్లాడుకుందాం. అక్టోబర్ 2019 కోసం AWS దాని సేవలను అందిస్తుంది 22 ప్రాంతాలు, ఇంకా 9 ప్లాన్ చేయబడ్డాయి.
- ప్రతి ప్రాంతం అనేక లభ్యత మండలాలను కలిగి ఉంటుంది. ప్రపంచవ్యాప్తంగా వాటిలో 69 ఉన్నాయి.
- ప్రతి AZ డేటా ప్రాసెసింగ్ కేంద్రాలను కలిగి ఉంటుంది. వాటిలో మొత్తం 8 కంటే ఎక్కువ లేవు.
- డేటా సెంటర్‌లో భారీ సంఖ్యలో సర్వర్లు ఉన్నాయి, కొన్ని 300 వరకు ఉన్నాయి.
ఇప్పుడు వీటన్నింటిని సగటున చేద్దాం, గుణించండి మరియు ప్రతిబింబించే ఆకట్టుకునే బొమ్మను పొందండి అమెజాన్ క్లౌడ్ స్కేల్.
లభ్యత మండలాలు మరియు డేటా సెంటర్ మధ్య అనేక ఆప్టికల్ లింక్‌లు ఉన్నాయి. మా అతిపెద్ద ప్రాంతాలలో ఒకదానిలో, ఒకదానికొకటి మరియు ఇతర ప్రాంతాలతో (ట్రాన్సిట్ సెంటర్‌లు) కమ్యూనికేషన్ కేంద్రాల మధ్య AZ కమ్యూనికేషన్ కోసం 388 ఛానెల్‌లు ఏర్పాటు చేయబడ్డాయి. మొత్తానికి ఇది క్రేజీని ఇస్తుంది 5000 Tbit.
బ్యాక్‌బోన్ AWS క్లౌడ్ కోసం ప్రత్యేకంగా నిర్మించబడింది మరియు ఆప్టిమైజ్ చేయబడింది. మేము దానిని ఛానెల్‌లలో నిర్మిస్తాము 100 GB / s. చైనాలోని ప్రాంతాలను మినహాయించి మేము వాటిని పూర్తిగా నియంత్రిస్తాము. ఇతర కంపెనీల లోడ్‌లతో ట్రాఫిక్ భాగస్వామ్యం చేయబడదు.
వాస్తవానికి, మేము ప్రైవేట్ బ్యాక్‌బోన్ నెట్‌వర్క్‌తో క్లౌడ్ ప్రొవైడర్ మాత్రమే కాదు. మరిన్ని పెద్ద కంపెనీలు ఈ మార్గాన్ని అనుసరిస్తున్నాయి. ఇది స్వతంత్ర పరిశోధకులచే ధృవీకరించబడింది, ఉదాహరణకు .
కంటెంట్ ప్రొవైడర్లు మరియు క్లౌడ్ ప్రొవైడర్ల వాటా పెరుగుతోందని గ్రాఫ్ చూపిస్తుంది. దీని కారణంగా, వెన్నెముక ప్రొవైడర్ల ఇంటర్నెట్ ట్రాఫిక్ వాటా నిరంతరం తగ్గుతోంది.
ఇది ఎందుకు జరుగుతుందో నేను వివరిస్తాను. ఇంతకుముందు, చాలా వెబ్ సేవలు ఇంటర్నెట్ నుండి నేరుగా అందుబాటులో ఉండేవి మరియు వినియోగించబడేవి. ఈ రోజుల్లో, మరిన్ని సర్వర్లు క్లౌడ్‌లో ఉన్నాయి మరియు వాటి ద్వారా యాక్సెస్ చేయబడతాయి CDN - కంటెంట్ పంపిణీ నెట్‌వర్క్. వనరును యాక్సెస్ చేయడానికి, వినియోగదారు ఇంటర్నెట్ ద్వారా సమీప CDN PoPకి మాత్రమే వెళతారు - ప్రెజెన్స్ పాయింట్. చాలా తరచుగా ఇది ఎక్కడో సమీపంలో ఉంటుంది. అప్పుడు అది పబ్లిక్ ఇంటర్నెట్‌ను విడిచిపెట్టి, అట్లాంటిక్ అంతటా ప్రైవేట్ వెన్నెముక ద్వారా ఎగురుతుంది, ఉదాహరణకు, మరియు నేరుగా వనరుకు చేరుకుంటుంది.
ఇదే ట్రెండ్ కొనసాగితే 10 ఏళ్లలో ఇంటర్నెట్ ఎలా మారుతుందని నేను ఆశ్చర్యపోతున్నాను?
భౌతిక చానెల్స్
విశ్వంలో కాంతి వేగాన్ని ఎలా పెంచాలో శాస్త్రవేత్తలు ఇంకా గుర్తించలేదు, కానీ ఆప్టికల్ ఫైబర్ ద్వారా దానిని ప్రసారం చేసే పద్ధతుల్లో వారు గొప్ప పురోగతిని సాధించారు. ప్రస్తుతం 6912 ఫైబర్ కేబుల్స్ ఉపయోగిస్తున్నాం. ఇది వారి సంస్థాపన ఖర్చును గణనీయంగా ఆప్టిమైజ్ చేయడానికి సహాయపడుతుంది.
కొన్ని ప్రాంతాలలో మనం ప్రత్యేక కేబుల్స్ ఉపయోగించాలి. ఉదాహరణకు, సిడ్నీ ప్రాంతంలో మేము చెదపురుగులకు వ్యతిరేకంగా ప్రత్యేక పూతతో కేబుల్‌లను ఉపయోగిస్తాము.
కష్టాల నుండి ఎవరూ తప్పించుకోలేరు మరియు కొన్నిసార్లు మన ఛానెల్‌లు దెబ్బతింటాయి. కుడి వైపున ఉన్న ఫోటో నిర్మాణ కార్మికులు నలిగిపోయే అమెరికన్ ప్రాంతాలలో ఒకదానిలో ఆప్టికల్ కేబుల్‌లను చూపుతుంది. ఈ ప్రమాదంలో కేవలం 13 డేటా ప్యాకెట్లు పోవడం ఆశ్చర్యం కలిగిస్తోంది. మరోసారి - 13 మాత్రమే! సిస్టమ్ వాచ్యంగా బ్యాకప్ ఛానెల్‌లకు మార్చబడింది - స్కేల్ పని చేస్తోంది.
మేము అమెజాన్ యొక్క కొన్ని క్లౌడ్ సేవలు మరియు సాంకేతికతలను పరిశీలించాము. మా ఇంజనీర్లు పరిష్కరించాల్సిన పనుల స్థాయి గురించి మీకు కనీసం కొంత ఆలోచన ఉందని నేను ఆశిస్తున్నాను. వ్యక్తిగతంగా, నేను ఇది చాలా ఉత్తేజకరమైనదిగా భావిస్తున్నాను.
AWS పరికరం గురించి వాసిలీ పాంత్యుఖిన్ నుండి త్రయం యొక్క చివరి భాగం ఇది. IN భాగాలు సర్వర్ ఆప్టిమైజేషన్ మరియు డేటాబేస్ స్కేలింగ్‌ను వివరిస్తాయి మరియు ఇన్ - సర్వర్‌లెస్ ఫంక్షన్‌లు మరియు ఫైర్‌క్రాకర్.
ఆఫ్ నవంబర్‌లో వాసిలీ పాంట్యుఖిన్ అమెజాన్ పరికరం యొక్క కొత్త వివరాలను పంచుకుంటారు. అతను వైఫల్యాల కారణాలు మరియు Amazonలో పంపిణీ చేయబడిన సిస్టమ్‌ల రూపకల్పన గురించి. అక్టోబర్ 24 ఇప్పటికీ సాధ్యమే మంచి ధర వద్ద టికెట్, ఆపై చెల్లించండి. మేము మీ కోసం HighLoad++ వద్ద వేచి ఉన్నాము, రండి మరియు చాట్ చేద్దాం!
మూలం: www.habr.com