सिस्टमवरील वाढीव भार कसे सहन करावे: आम्ही ब्लॅक फ्रायडेसाठी मोठ्या प्रमाणात तयारीबद्दल बोलतो

अहो हाब्र!

2017 मध्ये, ब्लॅक फ्रायडे दरम्यान, लोड जवळजवळ दीड पटीने वाढले आणि आमचे सर्व्हर त्यांच्या मर्यादेत होते. वर्षभरात, ग्राहकांच्या संख्येत लक्षणीय वाढ झाली आहे आणि हे स्पष्ट झाले आहे की काळजीपूर्वक प्राथमिक तयारी न करता, प्लॅटफॉर्म 2018 च्या भारांना तोंड देऊ शकत नाही.

आम्ही शक्य तितके महत्त्वाकांक्षी ध्येय सेट केले: आम्हाला कोणत्याही, अगदी सर्वात शक्तिशाली, क्रियाकलापांच्या वाढीसाठी पूर्णपणे तयार व्हायचे होते आणि वर्षभर नवीन क्षमता आगाऊ सुरू करण्यास सुरुवात केली.

आमचे सीटीओ आंद्रे चिझ (chizh_andrey) आम्ही ब्लॅक फ्रायडे 2018 साठी कशी तयारी केली, फॉल्स टाळण्यासाठी आम्ही कोणते उपाय केले आणि अर्थातच, अशा काळजीपूर्वक तयारीचे परिणाम सांगितले.

आज मला ब्लॅक फ्रायडे 2018 च्या तयारीबद्दल बोलायचे आहे. आताच का, जेव्हा बहुतेक मोठ्या विक्री आमच्या मागे आहेत? आम्ही मोठ्या प्रमाणातील कार्यक्रमांच्या सुमारे एक वर्ष आधी तयारी करण्यास सुरुवात केली आणि चाचणी आणि त्रुटीद्वारे आम्हाला इष्टतम उपाय सापडला. आम्ही शिफारस करतो की तुम्ही गरम हंगामाची आगाऊ काळजी घ्या आणि सर्वात अयोग्य क्षणी पॉप अप होऊ शकणारे घोटाळे टाळा.
ज्यांना अशा स्टॉकमधून जास्तीत जास्त नफा मिळवायचा आहे अशा प्रत्येकासाठी हे साहित्य उपयुक्त ठरेल, कारण समस्येची तांत्रिक बाजू येथील विपणन बाजूपेक्षा कमी दर्जाची नाही.

मोठ्या विक्रीवर रहदारीची वैशिष्ट्ये

लोकप्रिय समजुतीच्या विरुद्ध, ब्लॅक फ्रायडे वर्षातून फक्त एक दिवस नाही तर जवळजवळ संपूर्ण आठवडा असतो: पहिल्या सवलतीच्या ऑफर विक्रीच्या 7-8 दिवस आधी येतात. वेबसाइट ट्रॅफिक संपूर्ण आठवड्यात सुरळीतपणे वाढू लागते, शुक्रवारी त्याच्या शिखरावर पोहोचते आणि शनिवारी स्टोअरच्या नियमित पातळीपर्यंत झपाट्याने घसरते.

हे विचारात घेणे महत्वाचे आहे: ऑनलाइन स्टोअर सिस्टममधील कोणत्याही "मंदी" साठी विशेषतः संवेदनशील बनतात. याव्यतिरिक्त, आमच्या ईमेल वृत्तपत्र लाइनने सबमिशनच्या संख्येत लक्षणीय वाढ अनुभवली आहे.

क्रॅश न होता ब्लॅक फ्रायडे पार करणे आमच्यासाठी धोरणात्मकदृष्ट्या महत्त्वाचे आहे, कारण... वेबसाइट्स आणि स्टोअर वृत्तपत्रांची सर्वात महत्वाची कार्यक्षमता प्लॅटफॉर्मच्या ऑपरेशनवर अवलंबून असते, म्हणजे:

• उत्पादन शिफारसींचा मागोवा घेणे आणि जारी करणे,
• संबंधित सामग्री जारी करणे (उदाहरणार्थ, बाण, लोगो, चिन्ह आणि इतर व्हिज्युअल घटकांसारख्या शिफारस ब्लॉकच्या डिझाइनच्या प्रतिमा),
• आवश्यक आकाराच्या उत्पादनाच्या प्रतिमा प्रदान करणे (या हेतूंसाठी आमच्याकडे "इमेज रिझाइझर" आहे - एक उपप्रणाली जी स्टोअर सर्व्हरवरून प्रतिमा डाउनलोड करते, त्यास आवश्यक आकारात संकुचित करते आणि कॅशिंग सर्व्हरद्वारे, प्रत्येक उत्पादनासाठी आवश्यक आकाराच्या प्रतिमा तयार करते. प्रत्येक शिफारस ब्लॉक).

खरं तर, ब्लॅक फ्रायडे 2019 दरम्यान, सेवेवरील भार 40% ने वाढला, म्हणजे. रिटेल रॉकेट सिस्टम ऑनलाइन स्टोअर साइटवर ट्रॅक करते आणि प्रक्रिया करते अशा इव्हेंटची संख्या प्रति सेकंद 5 ते 8 हजार विनंत्यांवरून वाढली आहे. आम्ही अधिक गंभीर भारांची तयारी करत होतो या वस्तुस्थितीमुळे, आम्ही अशा वाढीपासून सहज वाचलो.

सामान्य प्रशिक्षण

सर्व रिटेल आणि विशेषतः ई-कॉमर्ससाठी ब्लॅक फ्रायडे हा व्यस्त काळ आहे. यावेळी वापरकर्त्यांची संख्या आणि त्यांची क्रियाकलाप लक्षणीयरित्या वाढत आहे, म्हणून आम्ही नेहमीप्रमाणे या व्यस्त वेळेसाठी पूर्णपणे तयार आहोत. चला येथे हे तथ्य जोडूया की आमच्याकडे केवळ रशियामध्येच नाही तर युरोपमध्ये देखील अनेक ऑनलाइन स्टोअर कनेक्ट आहेत, जिथे उत्साह खूप जास्त आहे आणि आम्हाला ब्राझिलियन मालिकांपेक्षा उत्कटतेची पातळी मिळते. वाढलेल्या भारांसाठी पूर्णपणे तयार होण्यासाठी काय करावे लागेल?

सर्व्हरसह कार्य करणे

प्रथम, सर्व्हरची शक्ती वाढवण्यासाठी आपल्याला नेमके काय हवे आहे हे शोधणे आवश्यक होते. आधीच ऑगस्टमध्ये, आम्ही विशेषतः ब्लॅक फ्रायडेसाठी नवीन सर्व्हर ऑर्डर करण्यास सुरुवात केली - एकूण आम्ही 10 अतिरिक्त मशीन जोडल्या. नोव्हेंबरपर्यंत ते पूर्णपणे लढाईत होते.

त्याच वेळी, काही बिल्ड मशीन्स ऍप्लिकेशन सर्व्हर म्हणून वापरण्यासाठी पुन्हा स्थापित केल्या गेल्या. आम्ही त्यांना ताबडतोब भिन्न कार्ये वापरण्यासाठी तयार केले: शिफारसी जारी करण्यासाठी आणि इमेजराइजर सेवेसाठी, जेणेकरून लोडच्या प्रकारानुसार, त्यापैकी प्रत्येकाचा वापर यापैकी एका भूमिकेसाठी केला जाऊ शकतो. सामान्य मोडमध्ये, ऍप्लिकेशन आणि इमेजराइजर सर्व्हरमध्ये स्पष्टपणे परिभाषित कार्ये आहेत: पूर्वीच्या समस्या शिफारसी, पत्रांसाठी नंतरच्या पुरवठा प्रतिमा आणि ऑनलाइन शॉपिंग वेबसाइटवर शिफारस ब्लॉक. ब्लॅक फ्रायडेच्या तयारीसाठी, डाउनलोडच्या प्रकारावर अवलंबून रहदारी संतुलित करण्यासाठी सर्व दुहेरी-उद्देशीय सर्व्हर बनवण्याचा निर्णय घेण्यात आला.

मग आम्ही काफ्का (अपाचे काफ्का) साठी दोन मोठे सर्व्हर जोडले आणि 5 शक्तिशाली मशीनचे क्लस्टर मिळाले. दुर्दैवाने, सर्वकाही आम्हाला पाहिजे तितके सहजतेने झाले नाही: डेटा सिंक्रोनाइझेशन प्रक्रियेदरम्यान, दोन नवीन मशीन्सने नेटवर्क चॅनेलची संपूर्ण रुंदी व्यापली आणि आम्हाला त्वरित आणि सुरक्षितपणे जोडण्याची प्रक्रिया कशी पार पाडायची हे शोधून काढावे लागले. संपूर्ण पायाभूत सुविधा. या समस्येचे निराकरण करण्यासाठी, आमच्या प्रशासकांना त्यांचे शनिवार व रविवार शौर्याने बलिदान द्यावे लागले.

डेटासह कार्य करणे

सर्व्हर व्यतिरिक्त, आम्ही लोड कमी करण्यासाठी फाइल्स ऑप्टिमाइझ करण्याचा निर्णय घेतला आणि आमच्यासाठी एक मोठे पाऊल म्हणजे स्थिर फाइल्सचे भाषांतर. पूर्वी सर्व्हरवर होस्ट केलेल्या सर्व स्थिर फायली S3 + Cloudfront वर हलवल्या गेल्या. सर्व्हरवरील लोड मर्यादेच्या मूल्यांच्या जवळ असल्याने आम्हाला हे बर्याच काळापासून करायचे आहे, आणि आता एक मोठी संधी निर्माण झाली आहे.

ब्लॅक फ्रायडेच्या एक आठवडा आधी, आम्ही इमेज कॅशिंगची वेळ 3 दिवसांपर्यंत वाढवली, जेणेकरून इमेजरेसाइजर क्रॅश झाल्यास, पूर्वी कॅशे केलेल्या प्रतिमा cdn वरून पुनर्प्राप्त केल्या जातील. यामुळे आमच्या सर्व्हरवरील भारही कमी झाला, कारण प्रतिमा जितकी जास्त वेळ संग्रहित केली जाते, तितकी कमी वेळा आम्हाला आकार बदलण्यासाठी संसाधने खर्च करावी लागतात.

आणि शेवटचे परंतु किमान नाही: ब्लॅक फ्रायडेच्या 5 दिवस आधी, कोणत्याही नवीन कार्यक्षमतेच्या तैनातीवर तसेच पायाभूत सुविधांसह कोणत्याही कामावर स्थगिती जाहीर केली गेली - सर्व लक्ष वाढलेल्या भारांचा सामना करण्याच्या उद्देशाने आहे.

कठीण परिस्थितींना प्रतिसाद देण्यासाठी योजना

तयारी कितीही उच्च-गुणवत्तेची असली तरीही, फॅकॅप्स नेहमीच शक्य असतात. आणि आम्ही संभाव्य गंभीर परिस्थितींसाठी 3 प्रतिसाद योजना विकसित केल्या आहेत:

• भार कमी करणे,
• काही सेवा अक्षम करणे,
• सेवा पूर्ण बंद.

योजना A: भार कमी करा. लोडमध्ये वाढ झाल्यामुळे, आमचे सर्व्हर स्वीकार्य प्रतिसाद वेळेच्या पलीकडे गेले असल्यास ते सक्रिय केले गेले असावे. या प्रकरणात, आम्ही ट्रॅफिकचा काही भाग Amazon सर्व्हरवर स्विच करून हळूहळू लोड कमी करण्यासाठी यंत्रणा तयार केली आहे, जी "200 OK" सह सर्व विनंत्यांना प्रतिसाद देईल आणि रिक्त प्रतिसाद देईल. आम्हाला समजले की ही सेवेच्या गुणवत्तेची अधोगती आहे, परंतु सेवा अजिबात कार्य करत नाही किंवा अंदाजे 10% रहदारीसाठी शिफारसी दर्शवत नाही यामधील निवड स्पष्ट आहे.

योजना बी: सेवा अक्षम करा. सेवेचे निहित अंशतः ऱ्हास. उदाहरणार्थ, काही डेटाबेस आणि संप्रेषण चॅनेल अनलोड करण्यासाठी वैयक्तिक शिफारसींची गणना करण्याची गती कमी करणे. सामान्य मोडमध्ये, शिफारशींची गणना रिअल-टाइममध्ये केली जाते, प्रत्येक अभ्यागतासाठी ऑनलाइन स्टोअरची भिन्न आवृत्ती तयार केली जाते, परंतु वाढीव लोडच्या परिस्थितीत, वेग कमी केल्याने इतर मुख्य सेवा कार्य करणे सुरू ठेवू शकतात.

योजना C: हर्मगेडोनच्या बाबतीत. सिस्टममध्ये संपूर्ण बिघाड झाल्यास, आम्ही एक योजना तयार केली आहे जी आम्हाला आमच्या ग्राहकांपासून सुरक्षितपणे डिस्कनेक्ट करण्यास अनुमती देईल. स्टोअर खरेदीदार फक्त शिफारसी पाहणे थांबवतील; ऑनलाइन स्टोअरच्या कार्यप्रदर्शनास कोणत्याही प्रकारे त्रास होणार नाही. हे करण्यासाठी, आम्हाला आमची एकत्रीकरण फाइल रीसेट करावी लागेल जेणेकरून नवीन वापरकर्ते सेवेशी संवाद साधणे थांबवतील. म्हणजेच, आम्ही आमचा मुख्य ट्रॅकिंग कोड अक्षम करू, सेवा डेटा गोळा करणे आणि शिफारसींची गणना करणे थांबवेल आणि वापरकर्त्याला शिफारस ब्लॉक नसलेले पृष्ठ दिसेल. ज्यांना पूर्वी एकीकरण फाइल प्राप्त झाली आहे त्यांच्यासाठी आम्ही DNS रेकॉर्ड Amazon आणि 200 OK स्टबवर स्विच करण्याचा पर्याय प्रदान केला आहे.

परिणाम

अतिरिक्त बिल्ड मशीन वापरण्याची गरज नसतानाही आम्ही संपूर्ण भार हाताळला. आणि आगाऊ तयारी केल्याबद्दल धन्यवाद, आम्हाला कोणत्याही विकसित प्रतिसाद योजनांची आवश्यकता नव्हती. परंतु केलेले सर्व कार्य अमूल्य अनुभव आहे जे आम्हाला सर्वात अनपेक्षित आणि प्रचंड वाहतुकीचा सामना करण्यास मदत करेल.
2017 प्रमाणे, सेवेवरील भार 40% वाढला आणि ब्लॅक फ्रायडेला ऑनलाइन स्टोअरमधील वापरकर्त्यांची संख्या 60% वाढली. तयारीच्या कालावधीत सर्व अडचणी आणि चुका झाल्या, ज्यामुळे आम्हाला आणि आमच्या ग्राहकांना अनपेक्षित परिस्थितीतून वाचवले.

तुम्ही ब्लॅक फ्रायडेचा सामना कसा करत आहात? गंभीर भारांसाठी तुम्ही कशी तयारी करता?

स्त्रोत: www.habr.com