સિસ્ટમ પર વધેલા ભારને કેવી રીતે ટકી શકાય: અમે બ્લેક ફ્રાઇડે માટે મોટા પાયે તૈયારીઓ વિશે વાત કરીએ છીએ

હે હબર!

2017 માં, બ્લેક ફ્રાઈડે દરમિયાન, લોડ લગભગ દોઢ ગણો વધ્યો, અને અમારા સર્વર્સ તેમની મર્યાદા પર હતા. વર્ષ દરમિયાન, ગ્રાહકોની સંખ્યામાં નોંધપાત્ર વધારો થયો છે, અને તે સ્પષ્ટ થઈ ગયું છે કે સાવચેતીપૂર્વકની પ્રારંભિક તૈયારી વિના, પ્લેટફોર્મ 2018 ના ભારને સહન કરી શકશે નહીં.

અમે સૌથી મહત્વાકાંક્ષી લક્ષ્ય નક્કી કર્યું છે: અમે કોઈપણ, સૌથી શક્તિશાળી, પ્રવૃત્તિના ઉછાળા માટે પણ સંપૂર્ણપણે તૈયાર રહેવા માગીએ છીએ અને આખા વર્ષ દરમિયાન અગાઉથી નવી ક્ષમતાઓ શરૂ કરવાનું શરૂ કર્યું.

અમારા સીટીઓ આન્દ્રે ચિઝ (chizh_andrey) જણાવે છે કે અમે બ્લેક ફ્રાઈડે 2018 માટે કેવી રીતે તૈયારી કરી, અમે ધોધને ટાળવા માટે કયા પગલાં લીધાં, અને, અલબત્ત, આવી સાવચેતીપૂર્વકની તૈયારીના પરિણામો.

આજે મારે બ્લેક ફ્રાઈડે 2018 ની તૈયારીઓ વિશે વાત કરવી છે. હવે શા માટે, જ્યારે મોટા ભાગના મોટા વેચાણ આપણી પાછળ છે? અમે મોટા પાયે ઇવેન્ટના લગભગ એક વર્ષ પહેલા તૈયારી કરવાનું શરૂ કર્યું, અને અજમાયશ અને ભૂલ દ્વારા અમને શ્રેષ્ઠ ઉકેલ મળ્યો. અમે ભલામણ કરીએ છીએ કે તમે ગરમ ઋતુઓની અગાઉથી કાળજી લો અને સૌથી અયોગ્ય ક્ષણે પોપ અપ થઈ શકે તેવા કૌભાંડોને અટકાવો.
સામગ્રી દરેક માટે ઉપયોગી થશે જે આવા શેરોમાંથી મહત્તમ નફો મેળવવા માંગે છે, કારણ કે મુદ્દાની તકનીકી બાજુ અહીં માર્કેટિંગ બાજુથી હલકી ગુણવત્તાવાળા નથી.

મોટા વેચાણ પર ટ્રાફિકની સુવિધાઓ

લોકપ્રિય માન્યતાથી વિપરીત, બ્લેક ફ્રાઈડે વર્ષમાં માત્ર એક દિવસ નથી, પરંતુ લગભગ આખું અઠવાડિયું છે: પ્રથમ ડિસ્કાઉન્ટ ઑફર્સ વેચાણના 7-8 દિવસ પહેલાં આવે છે. વેબસાઈટનો ટ્રાફિક આખા સપ્તાહ દરમિયાન સરળતાથી વધવા માંડે છે, શુક્રવારે તેની ટોચે પહોંચે છે અને શનિવારે સ્ટોરના નિયમિત સ્તરે ખૂબ જ ઝડપથી ઘટી જાય છે.

આ ધ્યાનમાં લેવું મહત્વપૂર્ણ છે: ઑનલાઇન સ્ટોર્સ સિસ્ટમમાં કોઈપણ "મંદી" માટે ખાસ કરીને સંવેદનશીલ બને છે. વધુમાં, અમારી ઈમેલ ન્યૂઝલેટર લાઈનમાં પણ સબમિશનની સંખ્યામાં નોંધપાત્ર વધારો થયો છે.

ક્રેશ વિના બ્લેક ફ્રાઇડેમાંથી પસાર થવું આપણા માટે વ્યૂહાત્મક રીતે મહત્વપૂર્ણ છે, કારણ કે... વેબસાઇટ્સ અને સ્ટોર ન્યૂઝલેટર્સની સૌથી મહત્વપૂર્ણ કાર્યક્ષમતા પ્લેટફોર્મના સંચાલન પર આધારિત છે, એટલે કે:

• ટ્રેકિંગ અને ઉત્પાદન ભલામણો જારી કરવી,
• સંબંધિત સામગ્રી જારી કરવી (ઉદાહરણ તરીકે, ભલામણ બ્લોક્સની ડિઝાઇનની છબીઓ, જેમ કે તીર, લોગો, ચિહ્નો અને અન્ય દ્રશ્ય તત્વો),
• આવશ્યક કદની ઉત્પાદન છબીઓ પ્રદાન કરવી (આ હેતુઓ માટે અમારી પાસે "ઇમેજરેઝાઇઝર" છે - એક સબસિસ્ટમ જે સ્ટોર સર્વરમાંથી છબી ડાઉનલોડ કરે છે, તેને જરૂરી કદમાં સંકુચિત કરે છે અને, કેશીંગ સર્વર્સ દ્વારા, દરેક ઉત્પાદન માટે જરૂરી કદની છબીઓ બનાવે છે. દરેક ભલામણ બ્લોક).

હકીકતમાં, બ્લેક ફ્રાઈડે 2019 દરમિયાન, સેવા પરનો ભાર 40% વધ્યો, એટલે કે. રિટેલ રોકેટ સિસ્ટમ દ્વારા ઓનલાઈન સ્ટોર સાઇટ્સ પર જે ઇવેન્ટ્સ ટ્રેક અને પ્રોસેસ કરે છે તેની સંખ્યા પ્રતિ સેકન્ડ 5 થી 8 હજાર વિનંતીઓથી વધી છે. અમે વધુ ગંભીર લોડ માટે તૈયારી કરી રહ્યા હતા તે હકીકતને કારણે, અમે આવા ઉછાળાથી સરળતાથી બચી ગયા.

સામાન્ય તાલીમ

ખાસ કરીને તમામ રિટેલ અને ઈ-કોમર્સ માટે બ્લેક ફ્રાઈડે એ વ્યસ્ત સમય છે. આ સમયે વપરાશકર્તાઓની સંખ્યા અને તેમની પ્રવૃત્તિ નોંધપાત્ર રીતે વધી રહી છે, તેથી અમે, હંમેશની જેમ, આ વ્યસ્ત સમય માટે સંપૂર્ણ રીતે તૈયાર છીએ. ચાલો અહીં એ હકીકત ઉમેરીએ કે અમારી પાસે ફક્ત રશિયામાં જ નહીં, પણ યુરોપમાં પણ ઘણા ઑનલાઇન સ્ટોર્સ જોડાયેલા છે, જ્યાં ઉત્તેજના ખૂબ વધારે છે, અને અમને બ્રાઝિલિયન શ્રેણી કરતાં વધુ ખરાબ જુસ્સાનું સ્તર મળે છે. વધેલા લોડ માટે સંપૂર્ણપણે તૈયાર રહેવા માટે શું કરવાની જરૂર છે?

સર્વરો સાથે કામ

પ્રથમ, સર્વર પાવર વધારવા માટે આપણને બરાબર શું જોઈએ છે તે શોધવાનું જરૂરી હતું. ઑગસ્ટમાં પહેલેથી જ, અમે ખાસ કરીને બ્લેક ફ્રાઇડે માટે નવા સર્વર ઓર્ડર કરવાનું શરૂ કર્યું - કુલ મળીને અમે 10 વધારાના મશીનો ઉમેર્યા. નવેમ્બર સુધીમાં તેઓ સંપૂર્ણપણે લડાઈમાં હતા.

તે જ સમયે, એપ્લિકેશન સર્વર તરીકે ઉપયોગ કરવા માટે કેટલાક બિલ્ડ મશીનો પુનઃસ્થાપિત કરવામાં આવ્યા હતા. અમે તરત જ તેમને વિવિધ કાર્યોનો ઉપયોગ કરવા માટે તૈયાર કર્યા: ભલામણો જારી કરવા માટે અને ImageResizer સેવા બંને માટે, જેથી કરીને, લોડના પ્રકાર પર આધાર રાખીને, તેમાંથી દરેકનો ઉપયોગ આમાંની એક ભૂમિકા માટે થઈ શકે. સામાન્ય સ્થિતિમાં, એપ્લીકેશન અને ઈમેજ રીસાઈઝર સર્વર્સ સ્પષ્ટ રીતે વ્યાખ્યાયિત કાર્યો ધરાવે છે: અગાઉના મુદ્દાની ભલામણો, પત્રો માટે બાદમાંની સપ્લાય ઈમેજીસ અને ઓનલાઈન શોપિંગ વેબસાઈટ પર ભલામણ બ્લોક્સ. બ્લેક ફ્રાઈડેની તૈયારીમાં, ડાઉનલોડના પ્રકાર પર આધાર રાખીને તેમની વચ્ચે ટ્રાફિકને સંતુલિત કરવા માટે તમામ દ્વિ-હેતુ સર્વર બનાવવાનો નિર્ણય લેવામાં આવ્યો હતો.

પછી અમે કાફકા (Apache Kafka) માટે બે મોટા સર્વર ઉમેર્યા અને 5 શક્તિશાળી મશીનોનું ક્લસ્ટર મેળવ્યું. કમનસીબે, બધું અમે ઈચ્છીએ તેટલું સરળ રીતે ચાલ્યું ન હતું: ડેટા સિંક્રનાઇઝેશન પ્રક્રિયા દરમિયાન, બે નવા મશીનોએ નેટવર્ક ચેનલની સમગ્ર પહોળાઈ પર કબજો કર્યો હતો, અને અમારે તાકીદે એ શોધવાનું હતું કે કેવી રીતે ઉમેરવાની પ્રક્રિયા ઝડપથી અને સલામત રીતે હાથ ધરવી. સમગ્ર ઈન્ફ્રાસ્ટ્રક્ચર. આ મુદ્દાને ઉકેલવા માટે, અમારા પ્રબંધકોએ તેમના સપ્તાહના અંતે બહાદુરીપૂર્વક બલિદાન આપવું પડ્યું.

ડેટા સાથે કામ

સર્વર્સ ઉપરાંત, અમે લોડને હળવો કરવા માટે ફાઇલોને ઑપ્ટિમાઇઝ કરવાનું નક્કી કર્યું અને અમારા માટે એક મોટું પગલું સ્થિર ફાઇલોનું ભાષાંતર હતું. સર્વર પર અગાઉ હોસ્ટ કરેલી બધી સ્થિર ફાઇલોને S3 + Cloudfront પર ખસેડવામાં આવી હતી. અમે લાંબા સમયથી આ કરવા માંગીએ છીએ, કારણ કે સર્વર પરનો ભાર મર્યાદા મૂલ્યોની નજીક હતો, અને હવે એક મોટી તક ઊભી થઈ છે.

બ્લેક ફ્રાઈડેના એક અઠવાડિયા પહેલા, અમે ઈમેજ કેશીંગનો સમય વધારીને 3 દિવસ કર્યો હતો, જેથી જો ઈમેજ રીસાઈઝર ક્રેશ થઈ જાય, તો અગાઉ કેશ્ડ ઈમેજો સીડીએનમાંથી પુનઃપ્રાપ્ત કરવામાં આવશે. તેણે અમારા સર્વર પરનો ભાર પણ ઘટાડ્યો, કારણ કે છબી જેટલી લાંબી સંગ્રહિત થાય છે, તેટલી ઓછી વાર આપણે માપ બદલવા માટે સંસાધનો ખર્ચવાની જરૂર પડે છે.

અને છેલ્લું પરંતુ ઓછામાં ઓછું નહીં: બ્લેક ફ્રાઇડેના 5 દિવસ પહેલા, કોઈપણ નવી કાર્યક્ષમતા, તેમજ ઈન્ફ્રાસ્ટ્રક્ચર સાથેના કોઈપણ કાર્ય પર સ્થગિત થવાની જાહેરાત કરવામાં આવી હતી - બધા ધ્યાન વધેલા ભારનો સામનો કરવા પર કેન્દ્રિત છે.

મુશ્કેલ પરિસ્થિતિઓનો જવાબ આપવા માટેની યોજનાઓ

તૈયારી ગમે તેટલી ઉચ્ચ-ગુણવત્તાવાળી હોય, ફેકેપ્સ હંમેશા શક્ય છે. અને અમે સંભવિત જટિલ પરિસ્થિતિઓ માટે 3 પ્રતિભાવ યોજનાઓ વિકસાવી છે:

• લોડ ઘટાડો,
• કેટલીક સેવાઓને અક્ષમ કરવી,
• સેવા સંપૂર્ણ બંધ.

પ્લાન A: લોડ ઓછો કરો. જો, લોડમાં વધારાને કારણે, અમારા સર્વર્સ સ્વીકાર્ય પ્રતિસાદ સમયની બહાર ગયા હોય, તો સક્રિય થવું જોઈએ. આ કિસ્સામાં, અમે ટ્રાફિકના ભાગને એમેઝોન સર્વર્સ પર સ્વિચ કરીને ધીમે ધીમે લોડ ઘટાડવા માટેની પદ્ધતિઓ તૈયાર કરી છે, જે ફક્ત "200 ઓકે" સાથે તમામ વિનંતીઓનો જવાબ આપશે અને ખાલી પ્રતિસાદ આપશે. અમે સમજીએ છીએ કે આ સેવાની ગુણવત્તામાં ઘટાડો છે, પરંતુ હકીકત એ છે કે સેવા બિલકુલ કામ કરતી નથી અથવા લગભગ 10% ટ્રાફિક માટે ભલામણો બતાવતી નથી તે વચ્ચેની પસંદગી સ્પષ્ટ છે.

પ્લાન B: સેવાઓને અક્ષમ કરો. સેવાનું ગર્ભિત આંશિક અધોગતિ. ઉદાહરણ તરીકે, કેટલાક ડેટાબેસેસ અને સંચાર ચેનલોને અનલોડ કરવા માટે વ્યક્તિગત ભલામણોની ગણતરી કરવાની ઝડપ ઘટાડવી. સામાન્ય સ્થિતિમાં, ભલામણોની ગણતરી રીઅલ-ટાઇમમાં કરવામાં આવે છે, દરેક મુલાકાતી માટે ઑનલાઇન સ્ટોરનું એક અલગ સંસ્કરણ બનાવે છે, પરંતુ વધેલા લોડની સ્થિતિમાં, ઝડપ ઘટાડવાથી અન્ય મુખ્ય સેવાઓ કામ કરવાનું ચાલુ રાખી શકે છે.

પ્લાન C: આર્માગેડનના કિસ્સામાં. જો સિસ્ટમમાં સંપૂર્ણ નિષ્ફળતા થાય, તો અમે એક પ્લાન તૈયાર કર્યો છે જે અમને અમારા ગ્રાહકોથી સુરક્ષિત રીતે ડિસ્કનેક્ટ થવા દેશે. સ્ટોર ખરીદદારો ફક્ત ભલામણો જોવાનું બંધ કરશે; ઑનલાઇન સ્ટોરની કામગીરીને કોઈપણ રીતે નુકસાન થશે નહીં. આ કરવા માટે, અમારે અમારી એકીકરણ ફાઇલ રીસેટ કરવી પડશે જેથી નવા વપરાશકર્તાઓ સેવા સાથે ક્રિયાપ્રતિક્રિયા કરવાનું બંધ કરે. એટલે કે, અમે અમારા મુખ્ય ટ્રેકિંગ કોડને અક્ષમ કરીશું, સેવા ડેટા એકત્રિત કરવાનું અને ભલામણોની ગણતરી કરવાનું બંધ કરશે, અને વપરાશકર્તા ફક્ત ભલામણ બ્લોક વિનાનું પૃષ્ઠ જોશે. જે લોકોએ અગાઉ એકીકરણ ફાઇલ પ્રાપ્ત કરી છે, અમે DNS રેકોર્ડને Amazon અને 200 OK સ્ટબ પર સ્વિચ કરવાનો વિકલ્પ પ્રદાન કર્યો છે.

પરિણામો

વધારાના બિલ્ડ મશીનનો ઉપયોગ કર્યા વિના પણ અમે સમગ્ર લોડને હેન્ડલ કર્યું. અને આગોતરી તૈયારી માટે આભાર, અમને વિકસિત પ્રતિભાવ યોજનાઓમાંથી કોઈની જરૂર નહોતી. પરંતુ કરવામાં આવેલ તમામ કાર્ય અમૂલ્ય અનુભવ છે જે અમને ટ્રાફિકના સૌથી અણધાર્યા અને વિશાળ પ્રવાહનો સામનો કરવામાં મદદ કરશે.
2017 ની જેમ, સેવા પરનો ભાર 40% વધ્યો, અને બ્લેક ફ્રાઈડે પર ઑનલાઇન સ્ટોર્સમાં વપરાશકર્તાઓની સંખ્યામાં 60% વધારો થયો. તૈયારીના સમયગાળા દરમિયાન બધી મુશ્કેલીઓ અને ભૂલો આવી, જેણે અમને અને અમારા ગ્રાહકોને અણધાર્યા પરિસ્થિતિઓથી બચાવ્યા.

તમે બ્લેક ફ્રાઇડે સાથે કેવી રીતે સામનો કરી રહ્યાં છો? તમે ગંભીર ભાર માટે કેવી રીતે તૈયારી કરશો?

સોર્સ: www.habr.com