როგორ გავუძლოთ სისტემაზე გაზრდილ დატვირთვას: ვსაუბრობთ შავი პარასკევის მასშტაბურ სამზადისზე

ჰეი ჰაბრ!

2017 წელს, შავი პარასკევის დროს, დატვირთვა თითქმის ერთნახევარჯერ გაიზარდა და ჩვენი სერვერები ლიმიტზე იყო. წლის განმავლობაში, კლიენტების რაოდენობა მნიშვნელოვნად გაიზარდა და გაირკვა, რომ წინასწარი წინასწარი წინასწარი მომზადების გარეშე, პლატფორმა შეიძლება უბრალოდ არ გაუძლოს 2018 წლის დატვირთვას.

ჩვენ დავსახეთ შესაძლო ყველაზე ამბიციური მიზანი: გვინდოდა სრულად მომზადებული ვყოფილიყავით ნებისმიერი, თუნდაც ყველაზე ძლიერი, აქტივობისთვის და დავიწყეთ ახალი შესაძლებლობების გაშვება წინასწარ მთელი წლის განმავლობაში.

ჩვენი CTO ანდრეი ჩიჟი (ჩიჟ_ანდრეი) მოგვითხრობს, როგორ მოვემზადეთ 2018 წლის შავი პარასკევისთვის, რა ზომები მივიღეთ დაცემის თავიდან ასაცილებლად და, რა თქმა უნდა, ასეთი ფრთხილად მომზადების შედეგებს.

დღეს მსურს ვისაუბრო 2018 წლის შავი პარასკევისთვის მზადებაზე. რატომ ახლა, როცა გაყიდვების უმეტესი ნაწილი უკან გვრჩება? ჩვენ დავიწყეთ მზადება ფართომასშტაბიან ღონისძიებებამდე დაახლოებით ერთი წლით ადრე და საცდელი და შეცდომით ვიპოვეთ ოპტიმალური გამოსავალი. ჩვენ გირჩევთ, წინასწარ იზრუნოთ ცხელ სეზონზე და თავიდან აიცილოთ თაღლითობები, რომლებიც შეიძლება აღმოჩნდეს ყველაზე შეუფერებელ მომენტში.
მასალა სასარგებლო იქნება ყველასთვის, ვისაც სურს მიიღოს მაქსიმალური მოგება ასეთი აქციებიდან, რადგან საკითხის ტექნიკური მხარე აქ არ ჩამოუვარდება მარკეტინგულ მხარეს.

ტრაფიკის მახასიათებლები დიდ გაყიდვებში

პოპულარული რწმენის საწინააღმდეგოდ, შავი პარასკევი არა მხოლოდ ერთი დღეა წელიწადში, არამედ თითქმის მთელი კვირა: პირველი ფასდაკლების შეთავაზებები გაყიდვამდე 7-8 დღით ადრე მოდის. ვებსაიტების ტრაფიკი შეუფერხებლად იწყებს ზრდას მთელი კვირის განმავლობაში, აღწევს პიკს პარასკევს და საკმაოდ მკვეთრად ეცემა შაბათს მაღაზიის რეგულარულ დონემდე.

ეს მნიშვნელოვანია გასათვალისწინებელი: ონლაინ მაღაზიები განსაკუთრებით მგრძნობიარენი ხდებიან სისტემის ნებისმიერი „შენელების“ მიმართ. გარდა ამისა, ჩვენმა ელ.ფოსტის საინფორმაციო ბიულეტენი ასევე განიცადა მნიშვნელოვანი ზრდა წარდგენის რაოდენობაში.

ჩვენთვის სტრატეგიულად მნიშვნელოვანია შავი პარასკევის გავლა ავარიების გარეშე, რადგან... ვებსაიტების და მაღაზიის საინფორმაციო ბიულეტენების ყველაზე მნიშვნელოვანი ფუნქციონირება დამოკიდებულია პლატფორმის მუშაობაზე, კერძოდ:

• თვალყურის დევნება და პროდუქტის რეკომენდაციების გაცემა,
• დაკავშირებული მასალების გაცემა (მაგალითად, სარეკომენდაციო ბლოკების დიზაინის სურათები, როგორიცაა ისრები, ლოგოები, ხატები და სხვა ვიზუალური ელემენტები),
• პროდუქტის საჭირო ზომის სურათების მიწოდება (ამ მიზნებისთვის ჩვენ გვაქვს "ImageResizer" - ქვესისტემა, რომელიც ჩამოტვირთავს სურათს მაღაზიის სერვერიდან, აკუმშავს მას საჭირო ზომამდე და ქეშირების სერვერების მეშვეობით აწარმოებს თითოეული პროდუქტისთვის საჭირო ზომის სურათებს თითოეული სარეკომენდაციო ბლოკი).

ფაქტობრივად, 2019 წლის შავი პარასკევის დროს სერვისზე დატვირთვა გაიზარდა 40%-ით, ე.ი. ონლაინ მაღაზიების საიტებზე საცალო სარაკეტო სისტემა თვალყურს ადევნებს და ამუშავებს მოვლენების რაოდენობა წამში 5-დან 8 ათას მოთხოვნამდე გაიზარდა. იმის გამო, რომ უფრო სერიოზული დატვირთვებისთვის ვემზადებოდით, ასეთ ტალღას ადვილად გადავურჩით.

ზოგადი ვარჯიში

შავი პარასკევი დატვირთული დროა საცალო ვაჭრობისთვის და განსაკუთრებით ელექტრონული კომერციისთვის. მომხმარებელთა რაოდენობა და მათი აქტივობა ამ დროისთვის საგრძნობლად იზრდება, ამიტომ ჩვენ, როგორც ყოველთვის, საფუძვლიანად მოვემზადეთ ამ დატვირთული დროისთვის. აქვე დავამატოთ ის ფაქტი, რომ ბევრი ონლაინ მაღაზია გვაქვს დაკავშირებული არა მხოლოდ რუსეთში, არამედ ევროპაშიც, სადაც მღელვარება გაცილებით მაღალია და ვნების დონეს ვიღებთ ბრაზილიურ სერიალზე უარესს. რა უნდა გაკეთდეს გაზრდილი დატვირთვისთვის სრულად მომზადებისთვის?

სერვერებთან მუშაობა

პირველ რიგში, საჭირო იყო გაერკვია, რა გვჭირდებოდა სერვერის სიმძლავრის გასაზრდელად. უკვე აგვისტოში დავიწყეთ ახალი სერვერების შეკვეთა სპეციალურად შავი პარასკევისთვის - ჯამში დავამატეთ 10 დამატებითი მანქანა. ნოემბრისთვის ისინი სრულად იყვნენ ბრძოლაში.

ამავდროულად, ზოგიერთი build მანქანა ხელახლა დაინსტალირდა აპლიკაციის სერვერად გამოსაყენებლად. ჩვენ მაშინვე მოვამზადეთ ისინი სხვადასხვა ფუნქციების გამოსაყენებლად: როგორც რეკომენდაციების გაცემისთვის, ასევე ImageResizer სერვისისთვის, რათა, დატვირთვის ტიპის მიხედვით, თითოეული მათგანის გამოყენება შესაძლებელი ყოფილიყო ერთ-ერთი ამ როლისთვის. ნორმალურ რეჟიმში Application და ImageResizer სერვერებს აქვთ მკაფიოდ განსაზღვრული ფუნქციები: პირველი გასცემს რეკომენდაციებს, მეორე აწვდის სურათებს წერილებისთვის და სარეკომენდაციო ბლოკებისთვის ონლაინ სავაჭრო ვებსაიტებზე. შავი პარასკევისთვის მზადებისას, გადაწყდა ყველა ორმაგი დანიშნულების სერვერის შექმნა, რათა დაბალანსებულიყო ტრაფიკი ჩამოტვირთვის ტიპის მიხედვით.

შემდეგ დავამატეთ ორი დიდი სერვერი კაფკასთვის (Apache Kafka) და მივიღეთ 5 ძლიერი აპარატის კლასტერი. სამწუხაროდ, ყველაფერი ისე არ წარიმართა, როგორც ჩვენ გვსურს: მონაცემთა სინქრონიზაციის პროცესის დროს ორმა ახალმა მანქანამ დაიკავა ქსელის არხის მთელი სიგანე და სასწრაფოდ უნდა გაერკვია, როგორ განმეხორციელებინა დამატების პროცესი სწრაფად და უსაფრთხოდ. მთელი ინფრასტრუქტურა. ამ პრობლემის გადასაჭრელად ჩვენს ადმინისტრატორებს ვაჟკაცურად უნდა შეეწირათ შაბათ-კვირა.

მონაცემებთან მუშაობა

სერვერების გარდა, გადავწყვიტეთ ფაილების ოპტიმიზაცია დატვირთვის შესამსუბუქებლად და ჩვენთვის დიდი ნაბიჯი იყო სტატიკური ფაილების თარგმნა. ყველა სტატიკური ფაილი, რომელიც ადრე იყო განთავსებული სერვერებზე, გადავიდა S3 + Cloudfront-ში. ჩვენ დიდი ხანია გვინდოდა ამის გაკეთება, რადგან სერვერზე დატვირთვა ზღვრულ მნიშვნელობებთან ახლოს იყო და ახლა დიდი შესაძლებლობა გაჩნდა.

შავ პარასკევამდე ერთი კვირით ადრე, ჩვენ გავზარდეთ სურათის ქეშირების დრო 3 დღემდე, ასე რომ, თუ ImageResizer ავარიულად დაიშალა, ადრე ქეშირებული სურათები ამოღებული იქნებოდა cdn-დან. მან ასევე შეამცირა დატვირთვა ჩვენს სერვერებზე, რადგან რაც უფრო დიდხანს ინახება სურათი, მით უფრო იშვიათად გვჭირდება რესურსების დახარჯვა ზომის შეცვლაზე.

და ბოლოს, რაც არანაკლებ მნიშვნელოვანია: შავ პარასკევამდე 5 დღით ადრე გამოცხადდა მორატორიუმი ნებისმიერი ახალი ფუნქციონირების განთავსებაზე, ისევე როგორც ინფრასტრუქტურასთან ნებისმიერ სამუშაოზე - მთელი ყურადღება მიმართულია გაზრდილი დატვირთვების გამკლავებაზე.

რთულ სიტუაციებზე რეაგირების გეგმები

რაც არ უნდა ხარისხიანი იყოს მომზადება, ფაკაპები ყოველთვის შესაძლებელია. ჩვენ შევიმუშავეთ 3 საპასუხო გეგმა შესაძლო კრიტიკულ სიტუაციებზე:

• დატვირთვის შემცირება,
• ზოგიერთი სერვისის გამორთვა,
• სერვისის სრული გათიშვა.

გეგმა A: შეამცირეთ დატვირთვა. უნდა გააქტიურებულიყო, თუ დატვირთვის მატების გამო, ჩვენი სერვერები სცდებოდა პასუხის მისაღები ვადებს. ამ შემთხვევაში, ჩვენ მოვამზადეთ დატვირთვის ეტაპობრივი შემცირების მექანიზმები ტრაფიკის ნაწილის Amazon სერვერებზე გადართვით, რომლებიც უბრალოდ უპასუხებენ ყველა მოთხოვნას „200 OK“ და ცარიელ პასუხს გასცემენ. ჩვენ გვესმოდა, რომ ეს იყო მომსახურების ხარისხის დეგრადაცია, მაგრამ არჩევანი იმ ფაქტს შორის, რომ სერვისი საერთოდ არ მუშაობს ან არ აჩვენებს რეკომენდაციებს ტრაფიკის დაახლოებით 10%-ზე, აშკარაა.

გეგმა B: სერვისების გამორთვა. იგულისხმება სერვისის ნაწილობრივი დეგრადაცია. მაგალითად, პერსონალური რეკომენდაციების გამოთვლის სიჩქარის შემცირება ზოგიერთი მონაცემთა ბაზის და საკომუნიკაციო არხის განტვირთვის მიზნით. ნორმალურ რეჟიმში, რეკომენდაციები გამოითვლება რეალურ დროში, ქმნის ონლაინ მაღაზიის განსხვავებულ ვერსიას თითოეული ვიზიტორისთვის, მაგრამ გაზრდილი დატვირთვის პირობებში, სიჩქარის შემცირება საშუალებას აძლევს სხვა ძირითად სერვისებს გააგრძელონ მუშაობა.

გეგმა C: არმაგედონის შემთხვევაში. თუ სისტემის სრული უკმარისობა მოხდება, ჩვენ მოვამზადეთ გეგმა, რომელიც საშუალებას მოგვცემს უსაფრთხოდ გავთიშოთ ჩვენს მომხმარებლებს. მაღაზიის მყიდველები უბრალოდ შეწყვეტენ რეკომენდაციების ნახვას; ონლაინ მაღაზიის ეფექტურობა არანაირად არ დაზარალდება. ამისათვის ჩვენ მოგვიწევს ჩვენი ინტეგრაციის ფაილის გადატვირთვა, რათა ახალმა მომხმარებლებმა შეწყვიტონ სერვისთან ურთიერთობა. ანუ, ჩვენ გავუქმებდით ჩვენს მთავარ თრექინგის კოდს, სერვისი შეწყვეტდა მონაცემთა შეგროვებას და რეკომენდაციების გამოთვლას და მომხმარებელი უბრალოდ დაინახავდა გვერდს სარეკომენდაციო ბლოკების გარეშე. ყველას, ვინც ადრე მიიღო ინტეგრაციის ფაილი, ჩვენ მივაწოდეთ DNS ჩანაწერის Amazon-ზე და 200 OK stub-ზე გადართვის შესაძლებლობა.

შედეგები

ჩვენ გავუმკლავდით მთელ დატვირთვას დამატებითი სამშენებლო მანქანების გამოყენების გარეშეც. და წინასწარი მომზადების წყალობით, ჩვენ არ დაგვჭირდა შემუშავებული რეაგირების გეგმა. მაგრამ ყველა შესრულებული სამუშაო არის ფასდაუდებელი გამოცდილება, რომელიც დაგვეხმარება გავუმკლავდეთ ტრაფიკის ყველაზე მოულოდნელ და უზარმაზარ ნაკადს.
როგორც 2017 წელს, სერვისზე დატვირთვა 40%-ით გაიზარდა, ხოლო ონლაინ მაღაზიებში მომხმარებელთა რაოდენობა შავ პარასკევს 60%-ით გაიზარდა. ყველა სირთულე და შეცდომა მოხდა მოსამზადებელ პერიოდში, რამაც ჩვენ და ჩვენს კლიენტებს გადაარჩინა გაუთვალისწინებელი სიტუაციები.

როგორ უმკლავდებით შავ პარასკევს? როგორ ემზადებით კრიტიკული დატვირთვებისთვის?

წყარო: www.habr.com