কীভাবে সিস্টেমে বর্ধিত লোড সহ্য করা যায়: আমরা ব্ল্যাক ফ্রাইডের জন্য বড় আকারের প্রস্তুতি সম্পর্কে কথা বলি

হে হাবর!

2017 সালে, ব্ল্যাক ফ্রাইডে চলাকালীন, লোড প্রায় দেড় গুণ বেড়ে গিয়েছিল এবং আমাদের সার্ভারগুলি তাদের সীমাতে ছিল। বছরের পর বছর ধরে, ক্লায়েন্টের সংখ্যা উল্লেখযোগ্যভাবে বৃদ্ধি পেয়েছে, এবং এটি স্পষ্ট হয়ে উঠেছে যে সতর্কতামূলক প্রাথমিক প্রস্তুতি ছাড়া, প্ল্যাটফর্মটি 2018 এর লোড সহ্য করতে পারে না।

আমরা সম্ভাব্য সর্বাধিক উচ্চাভিলাষী লক্ষ্য নির্ধারণ করেছি: আমরা যে কোনও, এমনকি সবচেয়ে শক্তিশালী, কার্যকলাপের ঊর্ধ্বগতির জন্য সম্পূর্ণরূপে প্রস্তুত থাকতে চেয়েছিলাম এবং সারা বছর আগে থেকেই নতুন ক্ষমতা চালু করতে শুরু করেছি।

আমাদের সিটিও আন্দ্রে চিজ (chizh_andrey) ব্ল্যাক ফ্রাইডে 2018-এর জন্য আমরা কীভাবে প্রস্তুতি নিয়েছিলাম, পতন এড়াতে আমরা কী ব্যবস্থা নিয়েছিলাম, এবং অবশ্যই, এই ধরনের সতর্ক প্রস্তুতির ফলাফল বলে।

আজ আমি ব্ল্যাক ফ্রাইডে 2018 এর প্রস্তুতি সম্পর্কে কথা বলতে চাই। এখন কেন, যখন বেশিরভাগ বড় বিক্রয় আমাদের পিছনে রয়েছে? আমরা বড় আকারের ইভেন্টের প্রায় এক বছর আগে প্রস্তুতি শুরু করেছি এবং ট্রায়াল এবং ত্রুটির মাধ্যমে আমরা সর্বোত্তম সমাধান খুঁজে পেয়েছি। আমরা সুপারিশ করি যে আপনি আগে থেকেই গরম ঋতুর যত্ন নিন এবং এমন স্ক্যামগুলি প্রতিরোধ করুন যা সবচেয়ে অপ্রয়োজনীয় মুহুর্তে পপ আপ হতে পারে।
উপাদান যারা এই ধরনের স্টক থেকে সর্বোচ্চ মুনাফা চেপে চান প্রত্যেকের জন্য দরকারী হবে, কারণ ইস্যুটির প্রযুক্তিগত দিকটি এখানে বিপণনের দিক থেকে নিকৃষ্ট নয়।

বড় বিক্রয় এ ট্রাফিক বৈশিষ্ট্য

জনপ্রিয় বিশ্বাসের বিপরীতে, ব্ল্যাক ফ্রাইডে বছরে শুধু একদিন নয়, প্রায় পুরো সপ্তাহ: প্রথম ডিসকাউন্ট অফারগুলি বিক্রির 7-8 দিন আগে আসে৷ ওয়েবসাইটের ট্র্যাফিক সারা সপ্তাহ জুড়ে মসৃণভাবে বাড়তে শুরু করে, শুক্রবার তার শীর্ষে পৌঁছায় এবং শনিবার দোকানের নিয়মিত স্তরে বেশ দ্রুত নেমে যায়।

এটি বিবেচনা করা গুরুত্বপূর্ণ: অনলাইন স্টোরগুলি সিস্টেমের যেকোনো "মন্থরতা" এর জন্য বিশেষভাবে সংবেদনশীল হয়ে ওঠে। এছাড়াও, আমাদের ইমেল নিউজলেটার লাইনটিও জমা দেওয়ার সংখ্যায় উল্লেখযোগ্য বৃদ্ধি পেয়েছে।

ক্র্যাশ ছাড়াই ব্ল্যাক ফ্রাইডে পার হওয়া আমাদের জন্য কৌশলগতভাবে গুরুত্বপূর্ণ, কারণ... ওয়েবসাইট এবং স্টোর নিউজলেটারগুলির সবচেয়ে গুরুত্বপূর্ণ কার্যকারিতা প্ল্যাটফর্মের অপারেশনের উপর নির্ভর করে, যথা:

• পণ্যের সুপারিশ ট্র্যাকিং এবং জারি করা,
• সম্পর্কিত উপকরণ জারি করা (উদাহরণস্বরূপ, সুপারিশ ব্লকের নকশার ছবি, যেমন তীর, লোগো, আইকন এবং অন্যান্য ভিজ্যুয়াল উপাদান),
• প্রয়োজনীয় আকারের পণ্যের ছবি সরবরাহ করা (এই উদ্দেশ্যে আমাদের কাছে রয়েছে "ImageResizer" - একটি সাবসিস্টেম যা স্টোর সার্ভার থেকে একটি চিত্র ডাউনলোড করে, এটি প্রয়োজনীয় আকারে সংকুচিত করে এবং ক্যাশিং সার্ভারের মাধ্যমে, প্রতিটি পণ্যের জন্য প্রয়োজনীয় আকারের ছবি তৈরি করে প্রতিটি সুপারিশ ব্লক)।

প্রকৃতপক্ষে, ব্ল্যাক ফ্রাইডে 2019 এর সময়, পরিষেবার লোড 40% বৃদ্ধি পেয়েছে, অর্থাৎ অনলাইন স্টোর সাইটগুলিতে খুচরা রকেট সিস্টেম ট্র্যাক করে এবং প্রক্রিয়া করে এমন ইভেন্টের সংখ্যা প্রতি সেকেন্ডে 5 থেকে 8 হাজার অনুরোধ বেড়েছে। আমরা আরও গুরুতর লোডের জন্য প্রস্তুতি নিচ্ছিলাম এই কারণে, আমরা সহজেই এই ধরনের ঢেউ থেকে বেঁচে গেছি।

সাধারণ প্রস্তুতি

ব্ল্যাক ফ্রাইডে বিশেষ করে সমস্ত খুচরা এবং ই-কমার্সের জন্য একটি ব্যস্ত সময়। এই সময়ে ব্যবহারকারীর সংখ্যা এবং তাদের কার্যকলাপ উল্লেখযোগ্যভাবে বৃদ্ধি পাচ্ছে, তাই আমরা, বরাবরের মতো, এই ব্যস্ত সময়ের জন্য পুরোপুরি প্রস্তুত। আসুন এখানে এই সত্যটি যোগ করি যে আমাদের কেবল রাশিয়ায় নয়, ইউরোপেও অনেকগুলি অনলাইন স্টোর সংযুক্ত রয়েছে, যেখানে উত্তেজনা অনেক বেশি এবং আমরা ব্রাজিলিয়ান সিরিজের চেয়ে আরও খারাপ আবেগের মাত্রা পেয়েছি। বর্ধিত লোডের জন্য সম্পূর্ণরূপে প্রস্তুত হওয়ার জন্য কী করা দরকার?

সার্ভারের সাথে কাজ করা

প্রথমত, সার্ভার পাওয়ার বাড়ানোর জন্য আমাদের ঠিক কী প্রয়োজন তা খুঁজে বের করা দরকার। ইতিমধ্যেই আগস্টে, আমরা ব্ল্যাক ফ্রাইডে-এর জন্য বিশেষভাবে নতুন সার্ভার অর্ডার করতে শুরু করেছি - মোট আমরা 10টি অতিরিক্ত মেশিন যোগ করেছি। নভেম্বরের মধ্যে তারা পুরোপুরি যুদ্ধে ছিল।

একই সময়ে, কিছু বিল্ড মেশিন অ্যাপ্লিকেশন সার্ভার হিসাবে ব্যবহারের জন্য পুনরায় ইনস্টল করা হয়েছিল। আমরা অবিলম্বে তাদের বিভিন্ন ফাংশন ব্যবহার করার জন্য প্রস্তুত করেছিলাম: সুপারিশ জারি করার জন্য এবং ImageResizer পরিষেবার জন্য, যাতে, লোডের ধরনের উপর নির্ভর করে, তাদের প্রতিটি এই ভূমিকাগুলির একটির জন্য ব্যবহার করা যেতে পারে। সাধারণ মোডে, অ্যাপ্লিকেশন এবং ImageResizer সার্ভারের ফাংশনগুলি স্পষ্টভাবে সংজ্ঞায়িত করা হয়েছে: পূর্ববর্তী ইস্যু সুপারিশ, চিঠিগুলির জন্য পরবর্তী সরবরাহের ছবি এবং অনলাইন শপিং ওয়েবসাইটে সুপারিশ ব্লক। ব্ল্যাক ফ্রাইডে-এর প্রস্তুতির জন্য, ডাউনলোডের ধরণের উপর নির্ভর করে তাদের মধ্যে ট্র্যাফিকের ভারসাম্য বজায় রাখার জন্য সমস্ত দ্বৈত-উদ্দেশ্য সার্ভার তৈরি করার সিদ্ধান্ত নেওয়া হয়েছিল।

তারপর আমরা কাফকার (Apache Kafka) জন্য দুটি বড় সার্ভার যোগ করেছি এবং 5টি শক্তিশালী মেশিনের একটি ক্লাস্টার পেয়েছি। দুর্ভাগ্যবশত, সবকিছু আমাদের পছন্দ মতো মসৃণভাবে যায় নি: ডেটা সিঙ্ক্রোনাইজেশন প্রক্রিয়া চলাকালীন, দুটি নতুন মেশিন নেটওয়ার্ক চ্যানেলের পুরো প্রস্থ দখল করেছিল এবং আমাদের জরুরীভাবে খুঁজে বের করতে হয়েছিল যে কীভাবে যুক্ত করার প্রক্রিয়াটি দ্রুত এবং নিরাপদে চালানো যায়। সম্পূর্ণ অবকাঠামো। এই সমস্যাটি সমাধান করার জন্য, আমাদের প্রশাসকদের বীরত্বের সাথে তাদের সপ্তাহান্তে আত্মত্যাগ করতে হয়েছিল।

ডেটা নিয়ে কাজ করা

সার্ভার ছাড়াও, আমরা লোড হালকা করার জন্য ফাইলগুলিকে অপ্টিমাইজ করার সিদ্ধান্ত নিয়েছি এবং আমাদের জন্য একটি বড় পদক্ষেপ ছিল স্ট্যাটিক ফাইলগুলির অনুবাদ। পূর্বে সার্ভারে হোস্ট করা সমস্ত স্ট্যাটিক ফাইল S3 + ক্লাউডফ্রন্টে সরানো হয়েছে। আমরা দীর্ঘদিন ধরে এটি করতে চাইছি, যেহেতু সার্ভারে লোড সীমা মানগুলির কাছাকাছি ছিল, এবং এখন একটি দুর্দান্ত সুযোগ তৈরি হয়েছে।

ব্ল্যাক ফ্রাইডে-এর এক সপ্তাহ আগে, আমরা ইমেজ ক্যাশে করার সময় বাড়িয়ে 3 দিন করেছিলাম, যাতে ইমেজরেসাইজার ক্র্যাশ হয়ে গেলে, আগে ক্যাশে করা ছবিগুলি সিডিএন থেকে পুনরুদ্ধার করা হবে। এটি আমাদের সার্ভারে লোডও কমিয়েছে, যেহেতু ছবিটি যত বেশি সময় ধরে সংরক্ষণ করা হয়, তত কম সময়ে আমাদের রিসাইজ করার জন্য সংস্থান ব্যয় করতে হবে।

এবং শেষ কিন্তু অন্তত: ব্ল্যাক ফ্রাইডে-র 5 দিন আগে, কোনও নতুন কার্যকারিতা স্থাপনের পাশাপাশি পরিকাঠামোর সাথে যে কোনও কাজের উপর একটি স্থগিতাদেশ ঘোষণা করা হয়েছিল - সমস্ত মনোযোগ বর্ধিত লোডের সাথে মোকাবিলা করার লক্ষ্যে।

কঠিন পরিস্থিতিতে সাড়া দেওয়ার পরিকল্পনা

প্রস্তুতি যতই উচ্চমানের হোক না কেন, ফ্যাক্যাপ সবসময়ই সম্ভব। এবং আমরা সম্ভাব্য জটিল পরিস্থিতির জন্য 3টি প্রতিক্রিয়া পরিকল্পনা তৈরি করেছি:

• লোড হ্রাস,
• কিছু পরিষেবা অক্ষম করা,
• পরিষেবা সম্পূর্ণ বন্ধ।

পরিকল্পনা A: লোড হ্রাস করুন। লোড বৃদ্ধির কারণে, আমাদের সার্ভারগুলি গ্রহণযোগ্য প্রতিক্রিয়ার সময় অতিক্রম করে গেলে সক্রিয় করা উচিত ছিল৷ এই ক্ষেত্রে, আমরা ধীরে ধীরে ট্রাফিকের কিছু অংশ আমাজন সার্ভারে স্যুইচ করার মাধ্যমে লোড কমানোর জন্য ব্যবস্থা তৈরি করেছি, যা কেবলমাত্র "200 ওকে" দিয়ে সমস্ত অনুরোধের উত্তর দেবে এবং একটি খালি প্রতিক্রিয়া দেবে৷ আমরা বুঝতে পেরেছি যে এটি পরিষেবার মানের অবনতি ছিল, তবে পরিষেবাটি মোটেও কাজ করে না বা প্রায় 10% ট্র্যাফিকের জন্য সুপারিশ দেখায় না এই সত্যের মধ্যে পছন্দটি সুস্পষ্ট।

পরিকল্পনা বি: পরিষেবাগুলি অক্ষম করুন। পরিষেবার উহ্য আংশিক অবনতি। উদাহরণস্বরূপ, কিছু ডাটাবেস এবং যোগাযোগ চ্যানেল আনলোড করার জন্য ব্যক্তিগত সুপারিশ গণনার গতি হ্রাস করা। সাধারণ মোডে, সুপারিশগুলি রিয়েল-টাইমে গণনা করা হয়, প্রতিটি দর্শকের জন্য অনলাইন স্টোরের একটি ভিন্ন সংস্করণ তৈরি করে, কিন্তু বর্ধিত লোডের শর্তে, গতি হ্রাস করা অন্যান্য মূল পরিষেবাগুলিকে কাজ চালিয়ে যেতে দেয়৷

পরিকল্পনা সি: আর্মাগেডনের ক্ষেত্রে। যদি একটি সম্পূর্ণ সিস্টেম ব্যর্থতা ঘটে, আমরা একটি পরিকল্পনা প্রস্তুত করেছি যা আমাদের গ্রাহকদের থেকে নিরাপদে সংযোগ বিচ্ছিন্ন করার অনুমতি দেবে। দোকানের ক্রেতারা কেবল সুপারিশগুলি দেখা বন্ধ করবে; অনলাইন স্টোরের কার্যকারিতা কোনওভাবেই ক্ষতিগ্রস্ত হবে না। এটি করার জন্য, আমাদের ইন্টিগ্রেশন ফাইল রিসেট করতে হবে যাতে নতুন ব্যবহারকারীরা পরিষেবার সাথে ইন্টারঅ্যাক্ট করা বন্ধ করে দেয়। অর্থাৎ, আমরা আমাদের প্রধান ট্র্যাকিং কোড নিষ্ক্রিয় করব, পরিষেবাটি ডেটা সংগ্রহ করা এবং সুপারিশগুলি গণনা করা বন্ধ করবে এবং ব্যবহারকারী কেবল সুপারিশ ব্লক ছাড়াই একটি পৃষ্ঠা দেখতে পাবে৷ যারা আগে একটি ইন্টিগ্রেশন ফাইল পেয়েছেন, তাদের জন্য আমরা DNS রেকর্ডটিকে Amazon এবং 200 OK stub-এ স্যুইচ করার বিকল্প দিয়েছি।

ফলাফল

আমরা অতিরিক্ত বিল্ড মেশিন ব্যবহার করার প্রয়োজন ছাড়াই সম্পূর্ণ লোড পরিচালনা করেছি। এবং আগাম প্রস্তুতির জন্য ধন্যবাদ, আমাদের কোন উন্নত প্রতিক্রিয়া পরিকল্পনার প্রয়োজন ছিল না। কিন্তু করা সমস্ত কাজ অমূল্য অভিজ্ঞতা যা আমাদের সবচেয়ে অপ্রত্যাশিত এবং বিশাল ট্রাফিকের প্রবাহের সাথে মোকাবিলা করতে সাহায্য করবে।
2017 সালের মতো, পরিষেবার লোড 40% বেড়েছে, এবং ব্ল্যাক ফ্রাইডেতে অনলাইন স্টোরগুলিতে ব্যবহারকারীর সংখ্যা 60% বেড়েছে। প্রস্তুতিমূলক সময়কালে সমস্ত অসুবিধা এবং ভুল ঘটেছে, যা আমাদের এবং আমাদের ক্লায়েন্টদের অপ্রত্যাশিত পরিস্থিতি থেকে বাঁচিয়েছে।

আপনি কিভাবে ব্ল্যাক ফ্রাইডে মোকাবেলা করছেন? আপনি কিভাবে সমালোচনামূলক লোড জন্য প্রস্তুত না?

উত্স: www.habr.com