სერვერების განაწილების ოპტიმიზაცია თაროებზე

ერთ-ერთ ჩატში დამისვეს კითხვა:

— არის რამე, რისი წაკითხვაც შემიძლია იმის შესახებ, თუ როგორ სწორად შევფუთო სერვერები თაროებში?

მივხვდი, რომ ასეთი ტექსტი არ ვიცოდი, ამიტომ დავწერე ჩემი.

პირველ რიგში, ეს ტექსტი ეხება ფიზიკურ სერვერებს ფიზიკურ მონაცემთა ცენტრებში (DC). მეორეც, ჩვენ გვჯერა, რომ სერვერები საკმაოდ ბევრია: ასობით ათასი; უფრო მცირე რაოდენობისთვის ამ ტექსტს აზრი არ აქვს. მესამე, ჩვენ მივიჩნევთ, რომ გვაქვს სამი შეზღუდვა: ფიზიკური სივრცე თაროებში, ელექტრომომარაგება თითო თაროზე და ნება მიეცით თაროები მწკრივად დადგეს ისე, რომ ჩვენ შეგვიძლია გამოვიყენოთ ერთი ToR შეცვლა სერვერების დასაკავშირებლად მიმდებარე თაროებში.

კითხვაზე პასუხი დიდად არის დამოკიდებული იმაზე, თუ რა პარამეტრს ვახდენთ ოპტიმიზაციას და რისი შეცვლა შეგვიძლია საუკეთესო შედეგის მისაღწევად. მაგალითად, ჩვენ უბრალოდ უნდა დავიკავოთ მინიმალური სივრცე, რათა მეტი დავტოვოთ შემდგომი ზრდისთვის. ან იქნებ გვაქვს თავისუფლება თაროების სიმაღლის, სიმძლავრის თაროზე, PDU-ში სოკეტების, გადამრთველების ჯგუფში თაროების რაოდენობის არჩევაში (ერთი გადამრთველი 1, 2 ან 3 თაროზე), მავთულის სიგრძე და გაყვანის სამუშაოები ( ეს არის კრიტიკული მწკრივების ბოლოებში: 10 თაროებით ზედიზედ და 3 თაროებით თითო გადამრთველზე, თქვენ მოგიწევთ მავთულის სხვა რიგში გადატანა ან გადამრთველში არსებული პორტების არასაკმარისი გამოყენება) და ა.შ. ცალკეული ისტორიები: სერვერების შერჩევა და DC-ების შერჩევა, ჩვენ ვივარაუდებთ, რომ ისინი შერჩეულია.

კარგი იქნება, გავიგოთ ზოგიერთი ნიუანსი და დეტალი, კერძოდ, სერვერების საშუალო/მაქსიმალური მოხმარება და როგორ ხდება ელექტროენერგიის მიწოდება ჩვენთვის. ასე რომ, თუ ჩვენ გვაქვს რუსული ელექტრომომარაგება 230 ვ და თითო თაროზე ერთი ფაზა, მაშინ 32A მანქანას შეუძლია ~ 7 კვტ. ვთქვათ, ჩვენ ნომინალურად ვიხდით 6 კვტ-ს თითო თაროზე. თუ პროვაიდერი ზომავს ჩვენს მოხმარებას მხოლოდ 10 თაროების რიგზე, და არა თითოეულ თაროზე, და თუ მანქანა დაყენებულია პირობითად 7 კვტ გამორთვაზე, მაშინ ტექნიკურად შეგვიძლია მოვიხმაროთ 6.9 კვტ ერთ თაროში, 5.1 კვტ მეორეში და ყველაფერი კარგად იქნება - არა დასჯადი.

როგორც წესი, ჩვენი მთავარი მიზანია ხარჯების მინიმუმამდე შემცირება. გაზომვის საუკეთესო კრიტერიუმი არის TCO-ს (საკუთრების მთლიანი ღირებულება) შემცირება. იგი შედგება შემდეგი ნაწილებისგან:

• CAPEX: DC ინფრასტრუქტურის, სერვერების, ქსელის აპარატურის და კაბელის შეძენა
• OPEX: DC დაქირავება, ელექტროენერგიის მოხმარება, მოვლა. OPEX დამოკიდებულია მომსახურების ხანგრძლივობაზე. გონივრული იქნება ვივარაუდოთ, რომ ეს იქნება 3 წელი.

დამოკიდებულია იმაზე, თუ რამდენად დიდია ცალკეული ნაწილები მთლიან ღვეზელში, ჩვენ უნდა მოვახდინოთ ყველაზე ძვირადღირებული ოპტიმიზაცია, ხოლო დანარჩენს მივცეთ საშუალება, გამოიყენოს ყველა დარჩენილი რესურსი რაც შეიძლება ეფექტურად.

ვთქვათ, გვაქვს არსებული DC, არის H ერთეულების თაროს სიმაღლე (მაგალითად, H=47), ელექტროენერგია თითო თაროზე Prack (Prack=6kW) და გადავწყვიტეთ გამოვიყენოთ h=2U ორი ერთეული სერვერები. ჩვენ ამოვიღებთ 2..4 ერთეულს კონცენტრატორების, პაჩ-პანელებისა და ორგანიზატორების თაროდან. იმათ. ფიზიკურად, ჩვენ გვაქვს Sh=rounddown((H-2..4)/h) სერვერები ჩვენს rack-ში (ანუ Sh = rounddown((47-4)/2)=21 სერვერი თასზე). გავიხსენოთ ეს შ.

მარტივ შემთხვევაში, თაროს ყველა სერვერი იდენტურია. ჯამში, თუ თაროს შევავსებთ სერვერებით, მაშინ თითოეულ სერვერზე შეგვიძლია დავხარჯოთ საშუალოდ სიმძლავრე Pserv=Prack/Sh (Pserv = 6000W/21 = 287W). სიმარტივისთვის, ჩვენ უგულებელყოფთ გადართვის მოხმარებას აქ.

მოდით გადავდგათ გვერდი და განვსაზღვროთ რა არის სერვერის მაქსიმალური მოხმარება Pmax. თუ ეს არის ძალიან მარტივი, ძალიან არაეფექტური და სრულიად უსაფრთხო, მაშინ ჩვენ ვკითხულობთ რა წერია სერვერის კვების წყაროზე - ეს არის ის.

თუ ის უფრო რთული და ეფექტურია, მაშინ ჩვენ ვიღებთ ყველა კომპონენტის TDP (თერმული დიზაინის პაკეტს) და ვაჯამებთ მას (ეს არ არის ძალიან მართალი, მაგრამ შესაძლებელია).

ჩვეულებრივ, ჩვენ არ ვიცით კომპონენტების TDP (გარდა CPU-ისა), ამიტომ ვიღებთ ყველაზე სწორ, მაგრამ ასევე ყველაზე რთულ მიდგომას (გვჭირდება ლაბორატორია) - ვიღებთ საჭირო კონფიგურაციის ექსპერიმენტულ სერვერს და ვტვირთავთ მას. მაგალითად, Linpack-ით (CPU და მეხსიერება) და fio (დისკები) ჩვენ ვზომავთ მოხმარებას. თუ ამას სერიოზულად მივიღებთ, ტესტების დროს ცივ დერეფანშიც უნდა შევქმნათ ყველაზე თბილი გარემო, რადგან ეს გავლენას მოახდენს როგორც ვენტილატორის მოხმარებაზე, ასევე CPU-ს მოხმარებაზე. ჩვენ ვიღებთ კონკრეტული სერვერის მაქსიმალურ მოხმარებას სპეციფიკური კონფიგურაციით ამ კონკრეტულ პირობებში ამ კონკრეტული დატვირთვის ქვეშ. ჩვენ უბრალოდ ვგულისხმობთ, რომ სისტემის ახალმა პროგრამულმა პროგრამამ, პროგრამული უზრუნველყოფის სხვა ვერსიამ და სხვა პირობებმა შეიძლება გავლენა მოახდინოს შედეგზე.

ასე რომ, დავუბრუნდეთ Pserv-ს და როგორ ვადარებთ მას Pmax-ს. ეს არის იმის გაგება, თუ როგორ მუშაობს სერვისები და რამდენად ძლიერია თქვენი ტექნიკური დირექტორის ნერვები.

თუ ჩვენ საერთოდ არ ვიღებთ რისკს, ჩვენ გვჯერა, რომ ყველა სერვერს შეუძლია ერთდროულად დაიწყოს მათი მაქსიმალური მოხმარება. ამავე მომენტში, შეიძლება მოხდეს ერთი შეყვანა DC-ში. ამ პირობებშიც კი, ინფრა უნდა უზრუნველყოს სერვისი, ამიტომ Pserv ≡ Pmax. ეს არის მიდგომა, სადაც საიმედოობა აბსოლუტურად მნიშვნელოვანია.

თუ ტექნიკური დირექტორი ფიქრობს არა მხოლოდ იდეალურ უსაფრთხოებაზე, არამედ კომპანიის ფულზეც და საკმარისად გაბედულია, მაშინ შეგიძლიათ გადაწყვიტოთ, რომ

• ჩვენ ვიწყებთ ჩვენი მოვაჭრეების მართვას, კერძოდ, ვკრძალავთ დაგეგმილ ტექნიკურ მოვლას დაგეგმილი პიკური დატვირთვის დროს, რათა მინიმუმამდე დავიყვანოთ ერთი შეყვანის ვარდნა;
• და/ან ჩვენი არქიტექტურა საშუალებას გაძლევთ დაკარგოთ თარო/სტრიქონი/DC, მაგრამ სერვისები აგრძელებენ მუშაობას;
• და/ან ჩვენ კარგად ვანაწილებთ დატვირთვას ჰორიზონტალურად თაროებზე, ასე რომ, ჩვენი სერვისები არასოდეს გადახვალთ მაქსიმალურ მოხმარებამდე ერთ თაროზე ერთად.

აქ ძალიან სასარგებლოა არა მხოლოდ გამოცნობა, არამედ მოხმარების მონიტორინგი და იმის ცოდნა, თუ როგორ მოიხმარენ სერვერები რეალურად ელექტროენერგიას ნორმალურ და პიკ პირობებში. ამიტომ, გარკვეული ანალიზის შემდეგ, ტექნიკური დირექტორი იკავებს ყველაფერს, რაც აქვს და ამბობს: ”ჩვენ ვიღებთ ნებაყოფლობით გადაწყვეტილებას, რომ სერვერის მაქსიმალური მოხმარების საშუალო მისაღწევი მაქსიმალური საშუალო მოხმარება იქნება **ასე** მაქსიმალურ მოხმარებაზე”, პირობითად Pserv = 0.8* Pmax.

შემდეგ კი 6 კვტ თაროზე ვეღარ იტევს 16 სერვერი Pmax = 375W, მაგრამ 20 სერვერი Pserv = 375W * 0.8 = 300W. იმათ. 25% მეტი სერვერი. ეს არის ძალიან დიდი დანაზოგი - ბოლოს და ბოლოს, ჩვენ დაუყოვნებლივ გვჭირდება 25% ნაკლები თაროები (და ასევე დავზოგავთ PDU-ებზე, კონცენტრატორებისა და კაბელების შესახებ). ასეთი გადაწყვეტის სერიოზული მინუსი არის ის, რომ ჩვენ მუდმივად უნდა ვაკონტროლოთ, რომ ჩვენი ვარაუდები კვლავ სწორია. რომ ახალი firmware ვერსია მნიშვნელოვნად არ ცვლის გულშემატკივრების მუშაობას და მოხმარებას, რომ განვითარებამ მოულოდნელად ახალი გამოშვებით არ დაიწყო სერვერების ბევრად უფრო ეფექტურად გამოყენება (წაიკითხეთ: მათ მიაღწიეს უფრო დიდ დატვირთვას და უფრო დიდ მოხმარებას სერვერზე). ყოველივე ამის შემდეგ, მაშინ ჩვენი თავდაპირველი ვარაუდებიც და დასკვნებიც მაშინვე არასწორი ხდება. ეს არის რისკი, რომელიც პასუხისმგებლობით უნდა იქნას მიღებული (ან თავიდან აიცილოთ და შემდეგ გადაიხადოთ აშკარად არასაკმარისად გამოყენებული თაროებისთვის).

მნიშვნელოვანი შენიშვნა - თქვენ უნდა სცადოთ სერვერების განაწილება სხვადასხვა სერვისებიდან ჰორიზონტალურად თაროებზე, თუ ეს შესაძლებელია. ეს აუცილებელია იმისათვის, რომ არ მოხდეს სიტუაციები, როდესაც სერვერების ერთი პარტია ჩამოდის ერთ სერვისზე, თაროები ვერტიკალურად იკვრება მასში, რათა გაიზარდოს „სიმკვრივე“ (რადგან ასე უფრო ადვილია). სინამდვილეში, ირკვევა, რომ ერთი თაკი ივსება იმავე სერვისის იდენტური დაბალი დატვირთვის სერვერებით, ხოლო მეორე ივსება თანაბრად მაღალი დატვირთვის სერვერებით. მეორე დაცემის ალბათობა საგრძნობლად მაღალია, რადგან დატვირთვის პროფილი იგივეა და ყველა სერვერი ერთად ამ თაროში იწყებს იგივე რაოდენობის მოხმარებას გაზრდილი დატვირთვის შედეგად.

დავუბრუნდეთ სერვერების განაწილებას თაროებში. ჩვენ გადავხედეთ ფიზიკურ თაროს სივრცეს და სიმძლავრის შეზღუდვებს, ახლა მოდით გადავხედოთ ქსელს. შეგიძლიათ გამოიყენოთ გადამრთველები 24/32/48 N პორტებით (მაგალითად, გვაქვს 48-პორტიანი ToR კონცენტრატორები). საბედნიეროდ, ბევრი ვარიანტი არ არის, თუ არ ფიქრობთ გაწყვეტილ კაბელებზე. ჩვენ განვიხილავთ სცენარებს, როდესაც გვაქვს ერთი გადამრთველი თითო თაროზე, ერთი გადამრთველი ორი ან სამი თაროსთვის Rnet ჯგუფში. მეჩვენება, რომ ჯგუფში სამზე მეტი თარო უკვე ზედმეტია, რადგან... თაროებს შორის კაბელის პრობლემა გაცილებით დიდი ხდება.

ასე რომ, თითოეული ქსელის სცენარისთვის (1, 2 ან 3 თაროები ჯგუფში), ჩვენ ვანაწილებთ სერვერებს თაროებს შორის:

Srack = min (Sh, დამრგვალება (Prack/Pserv), დამრგვალება (N/Rnet))

ამრიგად, ჯგუფში 2 თაროების მქონე ვარიანტისთვის:

Srack2 = min(21, rounddown(6000/300), rounddown(48/2)) = min(21, 20, 24) = 20 სერვერი თაროზე.

ჩვენ განვიხილავთ დარჩენილ ვარიანტებს იმავე გზით:

Srack1 = 20
Srack3 = 16

და ჩვენ თითქმის იქ ვართ. ჩვენ ვითვლით თაროების რაოდენობას ჩვენი ყველა სერვერის S გასავრცელებლად (დაე, იყოს 1000):

R = მიმოხილვა (S / (Srack * Rnet)) * Rnet

R1 = შეკრება (1000 / (20 * 1)) * 1 = 50 * 1 = 50 თაროები

R2 = შეკრება (1000 / (20 * 2)) * 2 = 25 * 2 = 50 თაროები

R3 = შეკრება (1000 / (16 * 3)) * 3 = 25 * 2 = 63 თაროები

შემდეგი, ჩვენ ვიანგარიშებთ TCO-ს თითოეული ვარიანტისთვის თაროების რაოდენობის, გადამრთველების საჭირო რაოდენობის, კაბელის და ა.შ. ჩვენ ვირჩევთ ვარიანტს, სადაც TCO უფრო დაბალია. მოგება!

გაითვალისწინეთ, რომ მიუხედავად იმისა, რომ 1 და 2 ვარიანტებისთვის თაროების საჭირო რაოდენობა იგივეა, მათი ფასი განსხვავებული იქნება, რადგან მეორე ვარიანტისთვის გადამრთველების რაოდენობა ნახევარია, ხოლო საჭირო კაბელების სიგრძე უფრო გრძელია.

P.S. თუ თქვენ შეგიძლიათ ითამაშოთ თაროზე სიმძლავრით და თაროს სიმაღლეზე, ცვალებადობა იზრდება. მაგრამ პროცესი შეიძლება შემცირდეს ზემოთ აღწერილზე, უბრალოდ ვარიანტების გავლის გზით. დიახ, იქნება მეტი კომბინაციები, მაგრამ მაინც ძალიან შეზღუდული რაოდენობა - გამოთვლისთვის თაროს ელექტროენერგიის მიწოდება შეიძლება გაიზარდოს 1 კვტ ნაბიჯებით, ტიპიური თაროები გამოდის სტანდარტული ზომების შეზღუდული რაოდენობით: 42U, 45U, 47U, 48U , 52 U. და აქ Excel-ის What-If ანალიზი მონაცემთა ცხრილის რეჟიმში დაგეხმარებათ გამოთვლებში. ჩვენ ვათვალიერებთ მიღებულ ფირფიტებს და ვირჩევთ მინიმუმს.

წყარო: www.habr.com