హే హబ్ర్!
2017లో, బ్లాక్ ఫ్రైడే సమయంలో, లోడ్ దాదాపు ఒకటిన్నర రెట్లు పెరిగింది మరియు మా సర్వర్లు వాటి పరిమితిలో ఉన్నాయి. సంవత్సరంలో, క్లయింట్ల సంఖ్య గణనీయంగా పెరిగింది మరియు జాగ్రత్తగా ప్రిలిమినరీ ప్రిపరేషన్ లేకుండా, ప్లాట్‌ఫారమ్ 2018 లోడ్‌లను తట్టుకోలేదని స్పష్టమైంది.
మేము సాధ్యమయ్యే అత్యంత ప్రతిష్టాత్మకమైన లక్ష్యాన్ని నిర్దేశించాము: మేము ఏదైనా, అత్యంత శక్తివంతమైన, కార్యకలాపాల పెరుగుదలకు పూర్తిగా సిద్ధంగా ఉండాలని కోరుకున్నాము మరియు ఏడాది పొడవునా ముందుగానే కొత్త సామర్థ్యాలను ప్రారంభించడం ప్రారంభించాము.
మా CTO ఆండ్రీ చిజ్ () బ్లాక్ ఫ్రైడే 2018 కోసం మేము ఎలా సిద్ధమయ్యాము, పడిపోకుండా ఉండటానికి మేము ఎలాంటి చర్యలు తీసుకున్నాము మరియు అటువంటి జాగ్రత్తగా తయారు చేయడం యొక్క ఫలితాలను తెలియజేస్తుంది.
ఈ రోజు నేను బ్లాక్ ఫ్రైడే 2018 కోసం సన్నాహాల గురించి మాట్లాడాలనుకుంటున్నాను. ఇప్పుడు ఎందుకు, చాలా పెద్ద విక్రయాలు మన వెనుక ఉన్నాయి? మేము పెద్ద-స్థాయి ఈవెంట్‌లకు ఒక సంవత్సరం ముందు సిద్ధం చేయడం ప్రారంభించాము మరియు ట్రయల్ మరియు ఎర్రర్ ద్వారా మేము సరైన పరిష్కారాన్ని కనుగొన్నాము. మీరు వేడి సీజన్‌ల గురించి ముందుగానే జాగ్రత్త వహించాలని మరియు అత్యంత అనాలోచిత సమయంలో పాపప్ అయ్యే స్కామ్‌లను నిరోధించాలని మేము సిఫార్సు చేస్తున్నాము.
అటువంటి స్టాక్‌ల నుండి గరిష్ట లాభం పొందాలనుకునే ప్రతి ఒక్కరికీ పదార్థం ఉపయోగకరంగా ఉంటుంది, ఎందుకంటే సమస్య యొక్క సాంకేతిక వైపు ఇక్కడ మార్కెటింగ్ వైపు కంటే తక్కువ కాదు.
పెద్ద విక్రయాలలో ట్రాఫిక్ యొక్క లక్షణాలు
ప్రజాదరణ పొందిన నమ్మకానికి విరుద్ధంగా, బ్లాక్ ఫ్రైడే అనేది సంవత్సరానికి ఒక రోజు మాత్రమే కాదు, దాదాపు వారం మొత్తం: మొదటి తగ్గింపు ఆఫర్‌లు విక్రయానికి 7-8 రోజుల ముందు వస్తాయి. వెబ్‌సైట్ ట్రాఫిక్ వారం పొడవునా సజావుగా పెరగడం ప్రారంభమవుతుంది, శుక్రవారం గరిష్ట స్థాయికి చేరుకుంటుంది మరియు స్టోర్ యొక్క సాధారణ స్థాయికి శనివారం బాగా పడిపోతుంది.
ఇది పరిగణనలోకి తీసుకోవడం చాలా ముఖ్యం: ఆన్‌లైన్ స్టోర్‌లు సిస్టమ్‌లోని ఏదైనా "స్లోడౌన్‌లకు" ప్రత్యేకించి సున్నితంగా మారతాయి. అదనంగా, మా ఇమెయిల్ వార్తాలేఖ లైన్ కూడా సమర్పణల సంఖ్యలో గణనీయమైన పెరుగుదలను ఎదుర్కొంది.
క్రాష్‌లు లేకుండా బ్లాక్ ఫ్రైడే ద్వారా వెళ్లడం మాకు వ్యూహాత్మకంగా ముఖ్యమైనది, ఎందుకంటే... వెబ్‌సైట్‌లు మరియు స్టోర్ వార్తాలేఖల యొక్క అత్యంత ముఖ్యమైన కార్యాచరణ ప్లాట్‌ఫారమ్ యొక్క ఆపరేషన్‌పై ఆధారపడి ఉంటుంది, అవి:
- ఉత్పత్తి సిఫార్సులను ట్రాక్ చేయడం మరియు జారీ చేయడం,
- సంబంధిత మెటీరియల్‌ల జారీ (ఉదాహరణకు, బాణాలు, లోగోలు, చిహ్నాలు మరియు ఇతర విజువల్ ఎలిమెంట్‌ల వంటి సిఫార్సు బ్లాక్‌ల రూపకల్పన యొక్క చిత్రాలు),
- అవసరమైన పరిమాణంలో ఉత్పత్తి చిత్రాలను అందించడం (ఈ ప్రయోజనాల కోసం మనకు “ImageResizer” ఉంది - స్టోర్ సర్వర్ నుండి చిత్రాన్ని డౌన్‌లోడ్ చేసి, అవసరమైన పరిమాణానికి కుదించే ఉపవ్యవస్థ మరియు కాషింగ్ సర్వర్‌ల ద్వారా, ప్రతి ఉత్పత్తికి అవసరమైన పరిమాణంలోని చిత్రాలను ఉత్పత్తి చేస్తుంది ప్రతి సిఫార్సు బ్లాక్).
నిజానికి, బ్లాక్ ఫ్రైడే 2019 సమయంలో, సేవపై లోడ్ 40% పెరిగింది, అనగా. ఆన్‌లైన్ స్టోర్ సైట్‌లలో రిటైల్ రాకెట్ సిస్టమ్ ట్రాక్ చేసే మరియు ప్రాసెస్ చేసే ఈవెంట్‌ల సంఖ్య సెకనుకు 5 నుండి 8 వేలకు పెరిగింది. మేము మరింత తీవ్రమైన భారాలకు సిద్ధమవుతున్నందున, మేము అటువంటి ఉప్పెన నుండి సులభంగా బయటపడాము.
సాధారణ శిక్షణ
బ్లాక్ ఫ్రైడే అనేది ముఖ్యంగా అన్ని రిటైల్ మరియు ఇ-కామర్స్‌కు బిజీగా ఉండే సమయం. ఈ సమయంలో వినియోగదారుల సంఖ్య మరియు వారి కార్యాచరణ గణనీయంగా పెరుగుతోంది, కాబట్టి మేము, ఎప్పటిలాగే, ఈ బిజీ సమయానికి పూర్తిగా సిద్ధమయ్యాము. మేము రష్యాలో మాత్రమే కాకుండా, ఐరోపాలో కూడా అనేక ఆన్‌లైన్ స్టోర్‌లను కనెక్ట్ చేసాము, ఇక్కడ ఉత్సాహం చాలా ఎక్కువగా ఉంటుంది మరియు బ్రెజిలియన్ సిరీస్ కంటే అధ్వాన్నమైన అభిరుచిని మేము పొందుతాము. పెరిగిన లోడ్ల కోసం పూర్తిగా సిద్ధం కావడానికి ఏమి చేయాలి?
సర్వర్‌లతో పని చేస్తోంది
మొదట, సర్వర్ శక్తిని పెంచడానికి మనకు సరిగ్గా ఏమి అవసరమో తెలుసుకోవడం అవసరం. ఇప్పటికే ఆగస్టులో, మేము బ్లాక్ ఫ్రైడే కోసం ప్రత్యేకంగా కొత్త సర్వర్‌లను ఆర్డర్ చేయడం ప్రారంభించాము - మొత్తంగా మేము 10 అదనపు యంత్రాలను జోడించాము. నవంబర్ నాటికి వారు పూర్తిగా పోరాటంలో ఉన్నారు.
అదే సమయంలో, అప్లికేషన్ సర్వర్‌లుగా ఉపయోగించడానికి కొన్ని బిల్డ్ మెషీన్‌లు మళ్లీ ఇన్‌స్టాల్ చేయబడ్డాయి. మేము వాటిని వేర్వేరు ఫంక్షన్‌లను ఉపయోగించడానికి వెంటనే సిద్ధం చేసాము: సిఫార్సులను జారీ చేయడానికి మరియు ఇమేజ్‌రైజర్ సేవ కోసం, తద్వారా లోడ్ రకాన్ని బట్టి, వాటిలో ప్రతి ఒక్కటి ఈ పాత్రలలో ఒకదానికి ఉపయోగించబడతాయి. సాధారణ మోడ్‌లో, అప్లికేషన్ మరియు ImageResizer సర్వర్లు ఫంక్షన్‌లను స్పష్టంగా నిర్వచించాయి: మునుపటి సంచిక సిఫార్సులు, ఆన్‌లైన్ షాపింగ్ వెబ్‌సైట్‌లలో ఉత్తరాలు మరియు సిఫార్సు బ్లాక్‌ల కోసం రెండో సరఫరా చిత్రాలు. బ్లాక్ ఫ్రైడే కోసం సన్నాహకంగా, డౌన్‌లోడ్ రకాన్ని బట్టి వాటి మధ్య ట్రాఫిక్‌ను బ్యాలెన్స్ చేయడానికి అన్ని ద్వంద్వ ప్రయోజన సర్వర్‌లను తయారు చేయాలని నిర్ణయించారు.
అప్పుడు మేము కాఫ్కా (అపాచీ కాఫ్కా) కోసం రెండు పెద్ద సర్వర్‌లను జోడించాము మరియు 5 శక్తివంతమైన యంత్రాల క్లస్టర్‌ను పొందాము. దురదృష్టవశాత్తూ, ప్రతిదీ మనం కోరుకున్నంత సజావుగా సాగలేదు: డేటా సమకాలీకరణ ప్రక్రియలో, రెండు కొత్త యంత్రాలు నెట్‌వర్క్ ఛానెల్ యొక్క మొత్తం వెడల్పును ఆక్రమించాయి మరియు దీని కోసం జోడించే ప్రక్రియను త్వరగా మరియు సురక్షితంగా ఎలా నిర్వహించాలో మేము అత్యవసరంగా గుర్తించాల్సి వచ్చింది. మొత్తం మౌలిక సదుపాయాలు. ఈ సమస్యను పరిష్కరించడానికి, మా నిర్వాహకులు తమ వారాంతాలను ధైర్యంగా త్యాగం చేయాల్సి వచ్చింది.
డేటాతో పని చేస్తోంది
సర్వర్‌లతో పాటు, లోడ్‌ను తగ్గించడానికి ఫైల్‌లను ఆప్టిమైజ్ చేయాలని మేము నిర్ణయించుకున్నాము మరియు స్టాటిక్ ఫైల్‌ల అనువాదం మాకు పెద్ద దశ. సర్వర్‌లలో గతంలో హోస్ట్ చేయబడిన అన్ని స్టాటిక్ ఫైల్‌లు S3 + క్లౌడ్‌ఫ్రంట్‌కి తరలించబడ్డాయి. సర్వర్‌లో లోడ్ పరిమిత విలువలకు దగ్గరగా ఉన్నందున మేము దీన్ని చాలా కాలంగా చేయాలనుకుంటున్నాము మరియు ఇప్పుడు గొప్ప అవకాశం ఏర్పడింది.
బ్లాక్ ఫ్రైడేకి ఒక వారం ముందు, మేము ఇమేజ్ కాషింగ్ సమయాన్ని 3 రోజులకు పెంచాము, తద్వారా ImageResizer క్రాష్ అయినట్లయితే, గతంలో కాష్ చేసిన చిత్రాలు cdn నుండి తిరిగి పొందబడతాయి. ఇది మా సర్వర్‌లపై లోడ్‌ను కూడా తగ్గించింది, ఎందుకంటే చిత్రం ఎక్కువసేపు నిల్వ చేయబడి ఉంటుంది, తక్కువ తరచుగా మేము పరిమాణాన్ని మార్చడానికి వనరులను ఖర్చు చేయవలసి ఉంటుంది.
మరియు చివరిది కానిది కాదు: బ్లాక్ ఫ్రైడేకి 5 రోజుల ముందు, ఏదైనా కొత్త కార్యాచరణ యొక్క విస్తరణపై, అలాగే మౌలిక సదుపాయాలతో ఏదైనా పనిపై తాత్కాలిక నిషేధం ప్రకటించబడింది - అన్ని శ్రద్ధ పెరిగిన లోడ్‌లను ఎదుర్కోవడమే లక్ష్యంగా పెట్టుకుంది.
క్లిష్ట పరిస్థితులకు ప్రతిస్పందించడానికి ప్రణాళికలు
తయారీ ఎంత అధిక-నాణ్యతతో ఉన్నా, fakaps ఎల్లప్పుడూ సాధ్యమే. మరియు సాధ్యమయ్యే క్లిష్ట పరిస్థితుల కోసం మేము 3 ప్రతిస్పందన ప్రణాళికలను అభివృద్ధి చేసాము:
- భారం తగ్గింపు,
- కొన్ని సేవలను నిలిపివేయడం,
- సేవ యొక్క పూర్తి షట్డౌన్.
ప్లాన్ A: లోడ్ తగ్గించండి. లోడ్ పెరుగుదల కారణంగా, మా సర్వర్లు ఆమోదయోగ్యమైన ప్రతిస్పందన సమయాలను మించి ఉంటే సక్రియం చేయబడి ఉండాలి. ఈ సందర్భంలో, అమెజాన్ సర్వర్‌లకు ట్రాఫిక్‌లో కొంత భాగాన్ని మార్చడం ద్వారా లోడ్‌ను క్రమంగా తగ్గించడానికి మేము మెకానిజమ్‌లను సిద్ధం చేసాము, ఇది అన్ని అభ్యర్థనలకు “200 సరే”తో ప్రతిస్పందిస్తుంది మరియు ఖాళీ ప్రతిస్పందనను ఇస్తుంది. ఇది సేవ యొక్క నాణ్యత క్షీణత అని మేము అర్థం చేసుకున్నాము, అయితే సేవ అస్సలు పని చేయదు లేదా దాదాపు 10% ట్రాఫిక్ కోసం సిఫార్సులను చూపదు అనే వాస్తవం మధ్య ఎంపిక స్పష్టంగా ఉంది.
ప్లాన్ B: సేవలను నిలిపివేయండి. సేవ యొక్క పాక్షిక క్షీణత సూచించబడింది. ఉదాహరణకు, కొన్ని డేటాబేస్‌లు మరియు కమ్యూనికేషన్ ఛానెల్‌లను అన్‌లోడ్ చేయడానికి వ్యక్తిగత సిఫార్సులను లెక్కించే వేగాన్ని తగ్గించడం. సాధారణ మోడ్‌లో, సిఫార్సులు నిజ-సమయంలో లెక్కించబడతాయి, ప్రతి సందర్శకుడి కోసం ఆన్‌లైన్ స్టోర్ యొక్క విభిన్న సంస్కరణను సృష్టిస్తుంది, అయితే పెరిగిన లోడ్ పరిస్థితులలో, వేగాన్ని తగ్గించడం ఇతర ప్రధాన సేవలను పని చేయడానికి అనుమతిస్తుంది.
ప్లాన్ సి: ఆర్మగెడాన్ విషయంలో. పూర్తి సిస్టమ్ వైఫల్యం సంభవించినట్లయితే, మేము మా కస్టమర్‌ల నుండి సురక్షితంగా డిస్‌కనెక్ట్ కావడానికి అనుమతించే ప్రణాళికను సిద్ధం చేసాము. స్టోర్ కొనుగోలుదారులు సిఫార్సులను చూడటం మానేస్తారు; ఆన్‌లైన్ స్టోర్ పనితీరు ఏ విధంగానూ బాధపడదు. దీన్ని చేయడానికి, మేము మా ఇంటిగ్రేషన్ ఫైల్‌ని రీసెట్ చేయాలి, తద్వారా కొత్త వినియోగదారులు సేవతో పరస్పర చర్య చేయడం ఆపివేస్తారు. అంటే, మేము మా ప్రధాన ట్రాకింగ్ కోడ్‌ను నిలిపివేస్తాము, సేవ డేటాను సేకరించడం మరియు సిఫార్సులను లెక్కించడం ఆపివేస్తుంది మరియు వినియోగదారు సిఫార్సు బ్లాక్‌లు లేకుండా పేజీని చూస్తారు. ఇంతకుముందు ఇంటిగ్రేషన్ ఫైల్‌ని పొందిన వారందరికీ, మేము DNS రికార్డ్‌ను Amazon మరియు 200 OK స్టబ్‌కి మార్చుకునే ఎంపికను అందించాము.
ఫలితాలు
అదనపు బిల్డ్ మెషీన్లను ఉపయోగించాల్సిన అవసరం లేకుండా కూడా మేము మొత్తం లోడ్‌ను నిర్వహించాము. మరియు ముందస్తు తయారీకి ధన్యవాదాలు, మాకు అభివృద్ధి చెందిన ప్రతిస్పందన ప్రణాళికలు ఏవీ అవసరం లేదు. కానీ చేసిన పని అంతా అమూల్యమైన అనుభవం, ఇది ట్రాఫిక్ యొక్క అత్యంత ఊహించని మరియు భారీ ప్రవాహాలను ఎదుర్కోవడంలో మాకు సహాయపడుతుంది.
2017 నాటికి, సేవపై లోడ్ 40% పెరిగింది మరియు బ్లాక్ ఫ్రైడే రోజున ఆన్‌లైన్ స్టోర్‌లలో వినియోగదారుల సంఖ్య 60% పెరిగింది. సన్నాహక కాలంలో అన్ని ఇబ్బందులు మరియు తప్పులు సంభవించాయి, ఇది ఊహించలేని పరిస్థితుల నుండి మమ్మల్ని మరియు మా ఖాతాదారులను రక్షించింది.
మీరు బ్లాక్ ఫ్రైడేను ఎలా ఎదుర్కొంటారు? క్లిష్టమైన లోడ్ల కోసం మీరు ఎలా సిద్ధం చేస్తారు?
మూలం: www.habr.com