როგორ განავითარა Uma.Tech ინფრასტრუქტურა

ჩვენ გავუშვით ახალი სერვისები, გაიზარდა ტრაფიკი, შევცვალეთ სერვერები, დავაკავშირეთ ახალი საიტები და განვაახლეთ მონაცემთა ცენტრები - ახლა კი მოგიყვებით ამ ამბავს, რომლის დასაწყისიც ხუთი წლის წინ გაგაცნოთ..

ხუთი წელი არის ტიპიური დრო შუალედური შედეგების შეჯამებისთვის. ამიტომ გადავწყვიტეთ გვესაუბრა ჩვენი ინფრასტრუქტურის განვითარებაზე, რომელმაც ბოლო ხუთი წლის მანძილზე საოცრად საინტერესო განვითარების გზა გაიარა, რომლითაც ვამაყობთ. ჩვენ მიერ განხორციელებული რაოდენობრივი ცვლილებები გადაიქცა ხარისხობრივად, ახლა ინფრასტრუქტურას შეუძლია იმ რეჟიმებში ფუნქციონირება, რაც ფანტასტიკური ჩანდა გასული ათწლეულის შუა პერიოდში.

ჩვენ უზრუნველვყოფთ ყველაზე რთული პროექტების მუშაობას საიმედოობისა და დატვირთვის ყველაზე მკაცრი მოთხოვნებით, მათ შორის PREMIER და Match TV. სპორტული მაუწყებლობა და პოპულარული სერიალების პრემიერა ტერაბიტ/წმ ტრაფიკს მოითხოვს, ამას ჩვენ მარტივად ვახორციელებთ და იმდენად ხშირად, რომ ასეთი სიჩქარით მუშაობა ჩვენთვის დიდი ხანია ჩვეულებრივი გახდა. და ხუთი წლის წინ, ჩვენს სისტემებზე გაშვებული ყველაზე მძიმე პროექტი იყო Rutube, რომელიც მას შემდეგ განვითარდა, გაზარდა მოცულობა და ტრაფიკი, რაც მხედველობაში უნდა იქნას მიღებული დატვირთვების დაგეგმვისას.

ვისაუბრეთ იმაზე, თუ როგორ განვავითარეთ ჩვენი ინფრასტრუქტურის აპარატურა ("Rutube 2009-2015: ჩვენი ტექნიკის ისტორია") და შეიმუშავა სისტემა, რომელიც პასუხისმგებელია ვიდეოების ატვირთვაზე ("ნულიდან 700 გიგაბიტამდე წამში - როგორ ატვირთავს ვიდეოს რუსეთში ვიდეო ჰოსტინგის ერთ-ერთი უდიდესი საიტი"), მაგრამ ამ ტექსტების დაწერიდან დიდი დრო გავიდა, შეიქმნა და განხორციელდა მრავალი სხვა გადაწყვეტა, რომლის შედეგები საშუალებას გვაძლევს დავაკმაყოფილოთ თანამედროვე მოთხოვნები და ვიყოთ საკმარისად მოქნილი ახალ ამოცანებთან ადაპტირებისთვის.

ქსელის ბირთვი ჩვენ მუდმივად ვვითარდებით. Cisco-ს აღჭურვილობაზე გადავედით 2015 წელს, რაც წინა სტატიაში აღვნიშნეთ. მაშინ ჯერ კიდევ იგივე 10/40G იყო, მაგრამ გასაგები მიზეზების გამო რამდენიმე წლის შემდეგ განაახლეს არსებული შასი და ახლა აქტიურად ვიყენებთ 25/100G.

100G ბმულები დიდი ხანია არც ფუფუნებაა (უფრო მეტიც, ეს ჩვენი სეგმენტის დროის გადაუდებელი მოთხოვნაა), და არც იშვიათობა (უფრო და მეტი ოპერატორი უზრუნველყოფს კავშირებს ასეთი სიჩქარით). თუმცა, 10/40G რჩება აქტუალური: ამ ბმულების მეშვეობით ჩვენ ვაგრძელებთ მცირე ტრაფიკის მქონე ოპერატორების დაკავშირებას, რისთვისაც ამჟამად შეუსაბამოა უფრო ტევადი პორტის გამოყენება.

ჩვენ მიერ შექმნილი ქსელის ბირთვი ცალკე განხილვას იმსახურებს და ცოტა მოგვიანებით გახდება ცალკე სტატიის თემა. იქ ჩვენ ჩავუღრმავდებით ტექნიკურ დეტალებს და გავითვალისწინებთ ჩვენი ქმედებების ლოგიკას მისი შექმნისას. მაგრამ ახლა ჩვენ გავაგრძელებთ ინფრასტრუქტურის უფრო სქემატურად დახატვას, რადგან თქვენი ყურადღება, ძვირფასო მკითხველებო, არ არის შეუზღუდავი.

ვიდეო გამომავალი სერვერები სწრაფად განვითარდება, რისთვისაც ჩვენ დიდ ძალისხმევას ვთავაზობთ. თუ ადრე ვიყენებდით ძირითადად 2U სერვერებს 4-5 ქსელის ბარათით თითო 10G პორტით, ახლა ტრაფიკის უმეტესი ნაწილი იგზავნება 1U სერვერებიდან, რომლებსაც აქვთ 2-3 ბარათი თითო 25G პორტით. 10G და 25G ბარათები თითქმის თანაბარი ღირებულებით არის და უფრო სწრაფი გადაწყვეტილებები საშუალებას გაძლევთ გადაიტანოთ როგორც 10G, ასევე 25G. შედეგი იყო აშკარა დანაზოგი: ნაკლები სერვერის კომპონენტები და კაბელები კავშირისთვის - დაბალი ღირებულება (და უფრო მაღალი საიმედოობა), კომპონენტები იკავებს ნაკლებ ადგილს თაროში - შესაძლებელი გახდა მეტი სერვერის განთავსება ერთეულზე და, შესაბამისად, დაბალი გაქირავების ხარჯები.

მაგრამ უფრო მნიშვნელოვანია სიჩქარის მომატება! ახლა ჩვენ შეგვიძლია გავაგზავნოთ 1 გ-ზე მეტი 100U-ით! და ეს არის იმ სიტუაციის ფონზე, როდესაც ზოგიერთი მსხვილი რუსული პროექტი 40G გამომუშავებას 2U-დან „მიღწევად“ უწოდებს. ჩვენ გვინდა მათი პრობლემები!

გაითვალისწინეთ, რომ ჩვენ კვლავ ვიყენებთ ქსელური ბარათების თაობას, რომელიც მუშაობს მხოლოდ 10 გ-ზე. ეს მოწყობილობა მუშაობს სტაბილურად და ჩვენთვის ძალიან ნაცნობია, ამიტომ არ გადავაგდეთ, არამედ ვიპოვეთ ახალი გამოყენება. ჩვენ დავაინსტალირეთ ეს კომპონენტები ვიდეო შენახვის სერვერებში, რისთვისაც ერთი ან ორი 1G ინტერფეისი აშკარად არ არის საკმარისი ეფექტური მუშაობისთვის; აქ 10G ბარათები აღმოჩნდა აქტუალური.

შენახვის სისტემები ასევე იზრდებიან. ბოლო ხუთი წლის განმავლობაში, ისინი შეიცვალა თორმეტი დისკიდან (12x HDD 2U) ოცდათექვსმეტი დისკზე (36x HDD 4U). ზოგს ეშინია ასეთი ტევადი „კარკასების“ გამოყენება, რადგან თუ რომელიმე ასეთი შასი ვერ მოხერხდა, შეიძლება საფრთხე შეექმნას პროდუქტიულობას - ან თუნდაც ფუნქციონირებას! - მთელი სისტემისთვის. მაგრამ ჩვენთან ეს არ მოხდება: ჩვენ მივაწოდეთ სარეზერვო კოპირება მონაცემთა გეოგანაწილებული ასლების დონეზე. ჩვენ გავანაწილეთ შასი სხვადასხვა მონაცემთა ცენტრებში - ვიყენებთ სულ სამს - და ეს გამორიცხავს პრობლემების წარმოქმნას როგორც შასის გაუმართაობის შემთხვევაში, ასევე საიტის დაცემისას.

რა თქმა უნდა, ამ მიდგომამ აპარატურის RAID ზედმეტი გახადა, რომელიც ჩვენ მივატოვეთ. სიჭარბის აღმოფხვრით, ჩვენ ერთდროულად გავზარდეთ სისტემის საიმედოობა გადაწყვეტის გამარტივებით და წარუმატებლობის ერთ-ერთი პოტენციური წერტილის მოხსნით. შეგახსენებთ, რომ ჩვენი შენახვის სისტემები "ხელნაკეთია". ეს საკმაოდ შეგნებულად გავაკეთეთ და შედეგით სრულიად კმაყოფილი ვიყავით.

მონაცემთა ცენტრები ბოლო ხუთი წლის განმავლობაში ჩვენ რამდენჯერმე შევიცვალეთ. წინა სტატიის დაწერის შემდეგ, ჩვენ არ შეგვიცვლია მხოლოდ ერთი მონაცემთა ცენტრი - DataLine - დანარჩენი საჭიროებდა ჩანაცვლებას ჩვენი ინფრასტრუქტურის განვითარებით. დაგეგმილი იყო ყველა ტრანსფერი საიტებს შორის.

ორი წლის წინ, ჩვენ გადავედით MMTS-9-ში, გადავედით ადგილზე მაღალი ხარისხის რემონტით, კარგი გაგრილების სისტემით, სტაბილური ელექტრომომარაგებით და მტვრის გარეშე, რომელიც ადრე ყველა ზედაპირზე სქელ ფენებად იწვა და ასევე ჩაკეტა ჩვენი აღჭურვილობის შიგნით. . აირჩიე ხარისხიანი მომსახურება - მტვრის გარეშე! – გახდა ჩვენი გადასვლის მიზეზი.

თითქმის ყოველთვის „ერთი ნაბიჯი უდრის ორ ხანძარს“, მაგრამ მიგრაციის დროს პრობლემები ყოველ ჯერზე განსხვავებულია. ამჯერად, ერთ მონაცემთა ცენტრში გადაადგილების მთავარ სირთულეს "უზრუნველყვეს" ოპტიკური ჯვარედინი კავშირები - მათი სიმრავლე სართულებს შორის, ტელეკომის ოპერატორების მიერ ერთ ჯვარედინი კავშირში გაერთიანების გარეშე. ჯვარედინი კავშირების განახლებისა და მარშრუტიზაციის პროცესი (რომლითაც MMTS-9 ინჟინრები დაგვეხმარნენ) მიგრაციის ალბათ ყველაზე რთული ეტაპი იყო.

მეორე მიგრაცია მოხდა ერთი წლის წინ; 2019 წელს ჩვენ გადავედით არც თუ ისე კარგი მონაცემთა ცენტრიდან O2xygen-ზე. ამ ნაბიჯის მიზეზები მსგავსი იყო ზემოთ განხილულის, მაგრამ მათ დაემატა სატელეკომუნიკაციო ოპერატორებისთვის ორიგინალური მონაცემთა ცენტრის არამიმზიდველობის პრობლემა - ბევრ პროვაიდერს მოუწია ამ წერტილის "დაეწიოს" საკუთარ თავზე.

MMTS-13-ის მაღალხარისხიან საიტზე 9 თაროს მიგრაციამ შესაძლებელი გახადა ამ მდებარეობის განვითარება არა მხოლოდ როგორც ოპერატორის ადგილმდებარეობა (ორი თაროები და ოპერატორების „ფორვარდები“), არამედ მისი გამოყენება, როგორც ერთ-ერთი. ძირითადი. ამან გარკვეულწილად გაამარტივა მიგრაცია არც თუ ისე კარგი მონაცემთა ცენტრიდან - ჩვენ გადავიყვანეთ აღჭურვილობის უმეტესი ნაწილი მისგან სხვა საიტზე და O2xygen-ს მიენიჭა განვითარების როლი, სადაც გაგზავნეს 5 თაროები აღჭურვილობით.

დღეს O2xygen უკვე სრულფასოვანი პლატფორმაა, სადაც ჩვენ გვჭირდება ოპერატორები „ჩამოვიდნენ“ და ახლები აგრძელებენ დაკავშირებას. ოპერატორებისთვის O2xygen ასევე მიმზიდველი აღმოჩნდა სტრატეგიული განვითარების თვალსაზრისით.

ჩვენ ყოველთვის ვახორციელებთ გადაადგილების ძირითად ფაზას ერთ ღამეში და MMTS-9-ში და O2xygen-ში მიგრაციისას, ჩვენ ვიცავდით ამ წესს. ხაზს ვუსვამთ, რომ მკაცრად ვიცავთ წესს „გადაადგილება ღამით“ თაროების რაოდენობის მიუხედავად! პრეცედენტიც კი იყო, როცა 20 თარო გადავიტანეთ და ესეც ერთ ღამეში დავასრულეთ. მიგრაცია საკმაოდ მარტივი პროცესია, რომელიც მოითხოვს სიზუსტეს და თანმიმდევრულობას, მაგრამ აქ არის გარკვეული ხრიკები, როგორც მომზადების პროცესში, ასევე გადაადგილებისას და ახალ ადგილას განლაგებისას. დაინტერესების შემთხვევაში მზად ვართ დეტალურად ვისაუბროთ მიგრაციაზე.

დასკვნები ჩვენ მოგვწონს ხუთწლიანი განვითარების გეგმები. ჩვენ დავასრულეთ ახალი ხარვეზების ტოლერანტული ინფრასტრუქტურის მშენებლობა, რომელიც განაწილებულია სამ მონაცემთა ცენტრში. მკვეთრად გავზარდეთ მოძრაობის სიმჭიდროვე - თუ ცოტა ხნის წინ 40-80გ 2U-ით გვახარებდა, ახლა ჩვენთვის ნორმაა 100გ 1U-ით. ახლა ტერაბიტი ტრაფიკიც კი ჩვენთვის ჩვეულებრივად აღიქმება. ჩვენ მზად ვართ კიდევ უფრო განვავითაროთ ჩვენი ინფრასტრუქტურა, რომელიც აღმოჩნდა მოქნილი და მასშტაბური.

კითხვა: რა უნდა გითხრათ შემდეგ ტექსტებში, ძვირფასო მკითხველებო? იმის შესახებ, თუ რატომ დავიწყეთ ხელნაკეთი მონაცემთა შენახვის სისტემების შექმნა? ქსელის ბირთვისა და მისი მახასიათებლების შესახებ? მონაცემთა ცენტრებს შორის მიგრაციის ხრიკებისა და დახვეწილობის შესახებ? მიწოდების გადაწყვეტილებების ოპტიმიზაციის შესახებ კომპონენტების შერჩევით და პარამეტრების დაზუსტებით? მდგრადი გადაწყვეტილებების შექმნის შესახებ მრავალი ჭარბი და ჰორიზონტალური მასშტაბის შესაძლებლობების წყალობით მონაცემთა ცენტრში, რომლებიც დანერგილია სამი მონაცემთა ცენტრის სტრუქტურაში?

ავტორი: პეტრ ვინოგრადოვი - Uma.Tech-ის ტექნიკური დირექტორი Hamsters

წყარო: www.habr.com