ინდუსტრიის ტენდენციები მასობრივი შენახვაში

დღეს ჩვენ ვისაუბრებთ იმაზე, თუ როგორ უნდა შეინახოთ მონაცემები მსოფლიოში, სადაც მეხუთე თაობის ქსელები, გენომის სკანერები და თვითმართვადი მანქანები დღეში უფრო მეტ მონაცემს აწარმოებენ, ვიდრე მთელი კაცობრიობა წარმოქმნილი იყო ინდუსტრიულ რევოლუციამდე.

ჩვენი სამყარო სულ უფრო მეტ ინფორმაციას აწარმოებს. მისი გარკვეული ნაწილი წარმავალია და იკარგება ისე სწრაფად, როგორც შეგროვდება. სხვა უფრო დიდხანს უნდა ინახებოდეს, მეორე კი შექმნილია "საუკუნეების განმავლობაში" - ყოველ შემთხვევაში, ეს არის ის, რასაც ჩვენ ვხედავთ აწმყოდან. ინფორმაციის ნაკადები მონაცემთა ცენტრებში ისეთი სიჩქარით მკვიდრდება, რომ ნებისმიერი ახალი მიდგომა, ნებისმიერი ტექნოლოგია, რომელიც შექმნილია ამ გაუთავებელი „მოთხოვნის“ დასაკმაყოფილებლად, სწრაფად მოძველდება.

განაწილებული შენახვის სისტემების განვითარების 40 წელი

პირველი ქსელური საცავი იმ ფორმით, რომელიც ჩვენთვის ცნობილია, გაჩნდა 1980-იან წლებში. ბევრ თქვენგანს წააწყდა NFS (ქსელის ფაილური სისტემა), AFS (Andrew File System) ან Coda. ათწლეულის შემდეგ, მოდა და ტექნოლოგია შეიცვალა და განაწილებულმა ფაილურმა სისტემებმა ადგილი დაუთმო კლასტერულ შენახვის სისტემებს, რომლებიც დაფუძნებულია GPFS (ზოგადი პარალელური ფაილური სისტემა), CFS (კლასტერული ფაილური სისტემები) და StorNext. საფუძვლად გამოიყენებოდა კლასიკური არქიტექტურის ბლოკური შენახვა, რომლის თავზე შეიქმნა ერთი ფაილური სისტემა პროგრამული ფენის გამოყენებით. ეს და მსგავსი გადაწყვეტილებები დღემდე გამოიყენება, იკავებს მათ ნიშას და საკმაოდ მოთხოვნადია.

ათასწლეულის მიჯნაზე, განაწილებული შენახვის პარადიგმა გარკვეულწილად შეიცვალა და SN (Shared-Nothing) არქიტექტურის მქონე სისტემებმა წამყვანი პოზიციები დაიკავეს. მოხდა გადასვლა კლასტერული საცავიდან ცალკეულ კვანძებზე შენახვაზე, რომლებიც, როგორც წესი, წარმოადგენდნენ კლასიკურ სერვერებს საიმედო შენახვის უზრუნველყოფის პროგრამული უზრუნველყოფით; ასეთ პრინციპებზე, ვთქვათ, აგებულია HDFS (Hadoop Distributed File System) და GFS (გლობალური ფაილური სისტემა).

2010-იან წლებთან უფრო ახლოს, ცნებები, რომლებიც ემყარება განაწილებული შენახვის სისტემებს, სულ უფრო მეტად დაიწყო ასახვა სრულფასოვან კომერციულ პროდუქტებში, როგორიცაა VMware vSAN, Dell EMC Isilon და ჩვენი Huawei OceanStor. აღნიშნული პლატფორმების უკან აღარ დგას ენთუზიასტების საზოგადოება, არამედ კონკრეტული მოვაჭრეები, რომლებიც პასუხისმგებელნი არიან პროდუქტის ფუნქციონირებაზე, მხარდაჭერასა და სერვისზე და მის შემდგომ განვითარებაზე გარანტიას იძლევიან. ასეთი გადაწყვეტილებები ყველაზე მოთხოვნადია რამდენიმე სფეროში.

ტელეკომის ოპერატორები

შესაძლოა, განაწილებული შენახვის სისტემების ერთ-ერთი უძველესი მომხმარებელი არის ტელეკომის ოპერატორები. დიაგრამა გვიჩვენებს აპლიკაციების რომელი ჯგუფი აწარმოებს მონაცემთა დიდ ნაწილს. OSS (ოპერაციების მხარდაჭერის სისტემები), MSS (მენეჯმენტის მხარდაჭერის სერვისები) და BSS (ბიზნესის მხარდაჭერის სისტემები) წარმოადგენს სამ დამატებით პროგრამულ ფენას, რომლებიც საჭიროა აბონენტებისთვის მომსახურების უზრუნველსაყოფად, ფინანსური ანგარიშგების პროვაიდერთან და ოპერატიული მხარდაჭერა ოპერატორის ინჟინრებისთვის.

ხშირად, ამ ფენების მონაცემები ძლიერ არის შერეული ერთმანეთთან და ზედმეტი ასლების დაგროვების თავიდან ასაცილებლად გამოიყენება განაწილებული საცავი, რომელიც აგროვებს ოპერაციული ქსელიდან მოსულ ინფორმაციას. სათავსოები გაერთიანებულია საერთო აუზში, სადაც წვდომა აქვს ყველა სერვისს.

ჩვენი გამოთვლები აჩვენებს, რომ კლასიკური საცავის სისტემებიდან გადასასვლელი შენახვის სისტემებზე დაბლოკვის საშუალებას გაძლევთ დაზოგოთ ბიუჯეტის 70% მხოლოდ მაღალი დონის შენახვის სისტემების მიტოვებით და ჩვეულებრივი კლასიკური არქიტექტურის სერვერების გამოყენებით (ჩვეულებრივ x86), სპეციალიზებულთან ერთად მუშაობით. პროგრამული უზრუნველყოფა. ფიჭურმა ოპერატორებმა დიდი ხნის წინ დაიწყეს ასეთი გადაწყვეტილებების დიდი რაოდენობით შეძენა. კერძოდ, რუსი ოპერატორები Huawei-ს მსგავს პროდუქტებს ექვს წელზე მეტია იყენებენ.

დიახ, რიგი ამოცანების შესრულება შეუძლებელია განაწილებული სისტემების გამოყენებით. მაგალითად, გაზრდილი შესრულების მოთხოვნებით ან ძველ პროტოკოლებთან თავსებადობით. მაგრამ ოპერატორის მიერ დამუშავებული მონაცემების მინიმუმ 70% შეიძლება განთავსდეს განაწილებულ აუზში.

საბანკო სექტორი

ნებისმიერ ბანკში არსებობს მრავალი განსხვავებული IT სისტემა, დაწყებული დამუშავებიდან და დამთავრებული ავტომატური საბანკო სისტემით. ეს ინფრასტრუქტურა ასევე მუშაობს უზარმაზარ ინფორმაციას, ხოლო ამოცანების უმეტესობა არ საჭიროებს შენახვის სისტემების გაზრდის შესრულებას და საიმედოობას, მაგალითად, განვითარება, ტესტირება, საოფისე პროცესების ავტომატიზაცია და ა.შ. აქ შესაძლებელია კლასიკური შენახვის სისტემების გამოყენება. მაგრამ ყოველწლიურად უფრო და უფრო ნაკლებად მომგებიანია. გარდა ამისა, ამ შემთხვევაში არ არსებობს მოქნილობა შენახვის სისტემის რესურსების გამოყენებისას, რომელთა შესრულება გამოითვლება პიკური დატვირთვის საფუძველზე.

განაწილებული შენახვის სისტემების გამოყენებისას მათი კვანძები, რომლებიც სინამდვილეში ჩვეულებრივი სერვერებია, ნებისმიერ დროს შეიძლება გადაკეთდეს, მაგალითად, სერვერის ფერმაში და გამოიყენონ როგორც გამოთვლითი პლატფორმა.

დათა ტბები

ზემოთ მოცემულ დიაგრამაზე ნაჩვენებია ტიპიური სერვისის მომხმარებლების სია მონაცემთა ტბა. ეს შეიძლება იყოს ელექტრონული მმართველობის სერვისები (მაგალითად, „სამთავრობო სერვისები“), ციფრული საწარმოები, ფინანსური ინსტიტუტები და ა.შ.

ასეთი პრობლემების გადასაჭრელად კლასიკური შენახვის სისტემების გამოყენება არაეფექტურია, რადგან ის მოითხოვს როგორც მაღალი ხარისხის წვდომას მონაცემთა ბაზების დაბლოკვაზე, ასევე რეგულარულ წვდომას ობიექტებად შენახული სკანირებული დოკუმენტების ბიბლიოთეკებზე. მაგალითად, ვებპორტალის საშუალებით შეკვეთის სისტემა ასევე შეიძლება იყოს აქ. ამ ყველაფრის კლასიკურ საცავის პლატფორმაზე განსახორციელებლად, დაგჭირდებათ აღჭურვილობის დიდი ნაკრები სხვადასხვა ამოცანებისთვის. ერთი ჰორიზონტალური უნივერსალური შენახვის სისტემა შეიძლება კარგად მოიცავდეს ყველა ადრე ჩამოთვლილ ამოცანას: თქვენ უბრალოდ უნდა შექმნათ რამდენიმე აუზი მასში შენახვის სხვადასხვა მახასიათებლებით.

ახალი ინფორმაციის გენერატორები

მსოფლიოში შენახული ინფორმაციის რაოდენობა წელიწადში დაახლოებით 30%-ით იზრდება. ეს კარგი ამბავია საცავის გამყიდველებისთვის, მაგრამ რა არის და რა იქნება ამ მონაცემების მთავარი წყარო?

ათი წლის წინ სოციალური ქსელები გახდა ასეთი გენერატორები, ეს მოითხოვდა ახალი ალგორითმის, ტექნიკის გადაწყვეტილებების და ა.შ. პირველი არის ღრუბლოვანი გამოთვლა. ამჟამად, კომპანიების დაახლოებით 70% იყენებს ღრუბლოვან სერვისებს ამა თუ იმ გზით. ეს შეიძლება იყოს ელექტრონული ფოსტის სისტემები, სარეზერვო ასლები და სხვა ვირტუალიზებული პირები.
მეორე დრაივერი არის მეხუთე თაობის ქსელები. ეს არის ახალი სიჩქარე და მონაცემთა გადაცემის ახალი მოცულობა. ჩვენი პროგნოზით, 5G-ის ფართოდ გამოყენება გამოიწვევს ფლეშ მეხსიერების ბარათებზე მოთხოვნის შემცირებას. რამდენი მეხსიერებაც არ უნდა იყოს ტელეფონში, ის მაინც ამოიწურება და თუ გაჯეტს აქვს 100 მეგაბიტიანი არხი, არ არის საჭირო ფოტოების ლოკალურად შენახვა.

მიზეზების მესამე ჯგუფი, რის გამოც შენახვის სისტემებზე მოთხოვნა იზრდება, მოიცავს ხელოვნური ინტელექტის სწრაფ განვითარებას, დიდ მონაცემთა ანალიტიკაზე გადასვლას და ყველაფრის უნივერსალური ავტომატიზაციის ტენდენციას.

„ახალი ტრაფიკის“ თავისებურება მისი სტრუქტურის ნაკლებობა. ჩვენ უნდა შევინახოთ ეს მონაცემები მისი ფორმატის რაიმე ფორმით განსაზღვრის გარეშე. ის საჭიროა მხოლოდ შემდგომი წაკითხვისთვის. მაგალითად, სესხის ხელმისაწვდომი თანხის დასადგენად, საბანკო ქულების სისტემა გადახედავს თქვენს მიერ გამოქვეყნებულ ფოტოებს სოციალურ ქსელებში, დაადგენს, ხშირად დადიხართ თუ არა ზღვაზე და რესტორნებში და ამავდროულად შეისწავლის ამონაწერებს თქვენს ხელთ არსებული სამედიცინო დოკუმენტებიდან. მას. ეს მონაცემები, ერთი მხრივ, ყოვლისმომცველია, მაგრამ, მეორე მხრივ, მოკლებულია ერთგვაროვნებას.

არასტრუქტურირებული მონაცემების ოკეანე

რა პრობლემებს იწვევს „ახალი მონაცემების“ გაჩენა? მათ შორის პირველი, რა თქმა უნდა, არის ინფორმაციის დიდი მოცულობა და მისი შენახვის სავარაუდო პერიოდი. მარტო თანამედროვე უმართავი ავტონომიური მანქანა ყოველ დღე 60 ტერაბაიტამდე მონაცემს გამოიმუშავებს თავისი სენსორებიდან და მექანიზმებიდან. მოძრაობის ახალი ალგორითმების შემუშავებისთვის ეს ინფორმაცია უნდა დამუშავდეს იმავე დღეს, წინააღმდეგ შემთხვევაში დაიწყება დაგროვება. ამავე დროს, ის უნდა ინახებოდეს ძალიან დიდი ხნის განმავლობაში - ათწლეულების განმავლობაში. მხოლოდ ამის შემდეგ იქნება შესაძლებელი მომავალში დიდი ანალიტიკური ნიმუშების საფუძველზე დასკვნების გამოტანა.

გენეტიკური თანმიმდევრობის გაშიფვრის ერთი მოწყობილობა დღეში დაახლოებით 6 ტუბერკულოზს გამოიმუშავებს. და მისი დახმარებით შეგროვებული მონაცემები საერთოდ არ გულისხმობს წაშლას, ანუ ჰიპოთეტურად ის სამუდამოდ უნდა იყოს შენახული.

და ბოლოს, იგივე მეხუთე თაობის ქსელები. გარდა რეალურად გადაცემული ინფორმაციისა, ასეთი ქსელი თავისთავად არის მონაცემთა უზარმაზარი გენერატორი: აქტივობის ჟურნალები, ზარის ჩანაწერები, მანქანა-მანქანა ურთიერთქმედების შუალედური შედეგები და ა.შ.

ყოველივე ეს მოითხოვს ინფორმაციის შენახვისა და დამუშავების ახალი მიდგომებისა და ალგორითმების შემუშავებას. და ასეთი მიდგომები ჩნდება.

ახალი ეპოქის ტექნოლოგიები

არსებობს გადაწყვეტილებების სამი ჯგუფი, რომლებიც შექმნილია ინფორმაციის შენახვის სისტემების ახალი მოთხოვნების დასაკმაყოფილებლად: ხელოვნური ინტელექტის დანერგვა, შენახვის მედიის ტექნიკური ევოლუცია და ინოვაციები სისტემის არქიტექტურის სფეროში. დავიწყოთ AI-ით.

Huawei-ის ახალ გადაწყვეტილებებში ხელოვნური ინტელექტი გამოიყენება თავად მეხსიერების დონეზე, რომელიც აღჭურვილია AI პროცესორით, რომელიც საშუალებას აძლევს სისტემას დამოუკიდებლად გააანალიზოს მისი მდგომარეობა და იწინასწარმეტყველოს წარუმატებლობა. თუ შენახვის სისტემა დაკავშირებულია სერვისის ღრუბელთან, რომელსაც აქვს მნიშვნელოვანი გამოთვლითი შესაძლებლობები, ხელოვნური ინტელექტი შეძლებს მეტი ინფორმაციის დამუშავებას და მისი ჰიპოთეზების სიზუსტის გაზრდას.

წარუმატებლობის გარდა, ასეთ AI-ს შეუძლია წინასწარ განსაზღვროს მომავალი პიკური დატვირთვა და სიმძლავრის ამოწურვამდე დარჩენილი დრო. ეს საშუალებას გაძლევთ ოპტიმიზაცია გაუწიოთ შესრულებას და გააფართოვოთ სისტემა, სანამ რაიმე არასასურველი მოვლენა მოხდება.

ახლა შენახვის მედიის ევოლუციის შესახებ. პირველი ფლეშ დრაივები დამზადდა SLC (Single-Level Cell) ტექნოლოგიით. მასზე დაფუძნებული მოწყობილობები იყო სწრაფი, საიმედო, სტაბილური, მაგრამ ჰქონდათ მცირე სიმძლავრე და ძალიან ძვირი. მოცულობის ზრდა და ფასების შემცირება მიღწეული იქნა გარკვეული ტექნიკური შეღავათებით, რის გამოც შემცირდა დისკების სიჩქარე, საიმედოობა და მომსახურების ვადა. მიუხედავად ამისა, ტენდენცია არ იმოქმედა თავად შენახვის სისტემებზე, რომლებიც, სხვადასხვა არქიტექტურული ხრიკების გამო, ზოგადად გახდა უფრო პროდუქტიული და საიმედო.

მაგრამ რატომ დაგჭირდათ All-Flash შენახვის სისტემები? არ იყო საკმარისი უბრალოდ ძველი HDD-ების შეცვლა უკვე ოპერაციულ სისტემაში ახალი SSD-ებით იგივე ფორმის ფაქტორით? ეს საჭირო იყო ახალი მყარი მდგომარეობის დისკების ყველა რესურსის ეფექტურად გამოყენების მიზნით, რაც ძველ სისტემებში უბრალოდ შეუძლებელი იყო.

მაგალითად, Huawei-მ შეიმუშავა მრავალი ტექნოლოგია ამ პრობლემის გადასაჭრელად, რომელთაგან ერთ-ერთია ფლეშლინკი, რამაც შესაძლებელი გახადა „დისკ-კონტროლერის“ ურთიერთქმედებების მაქსიმალურად ოპტიმიზაცია.

ინტელექტუალურმა იდენტიფიკაციამ შესაძლებელი გახადა მონაცემების რამდენიმე ნაკადად დაშლა და მრავალი არასასურველი მოვლენის გამკლავება, როგორიცაა მაგ. WA (დაწერეთ გაძლიერება). ამავდროულად, აღდგენის ახალი ალგორითმები, კერძოდ RAID 2.0+, გაიზარდა აღდგენის სიჩქარე, შეამცირა მისი დრო სრულიად უმნიშვნელო ოდენობამდე.

წარუმატებლობა, გადატვირთულობა, ნაგვის შეგროვება - ეს ფაქტორები ასევე აღარ იმოქმედებს შენახვის სისტემის მუშაობაზე კონტროლერების სპეციალური ცვლილებების წყალობით.

და მონაცემთა ბლოკის საცავები ასევე ემზადებიან შეხვედრისთვის NVMe. შეგახსენებთ, რომ მონაცემთა წვდომის ორგანიზების კლასიკური სქემა ასე მუშაობდა: პროცესორი RAID კონტროლერზე წვდომა PCI Express ავტობუსის მეშვეობით. ეს, თავის მხრივ, ურთიერთქმედებდა მექანიკურ დისკებთან SCSI ან SAS-ის საშუალებით. Backend-ზე NVMe-ის გამოყენებამ საგრძნობლად დააჩქარა მთელი პროცესი, მაგრამ მას ერთი ნაკლი ჰქონდა: დისკები უშუალოდ პროცესორთან უნდა ყოფილიყო დაკავშირებული, რათა მას მეხსიერებაზე პირდაპირი წვდომა ჰქონოდა.

ტექნოლოგიის განვითარების შემდეგი ეტაპი, რომელსაც ახლა ვხედავთ, არის NVMe-oF-ის გამოყენება (NVMe over Fabrics). რაც შეეხება Huawei-ს ბლოკის ტექნოლოგიებს, ისინი უკვე უჭერენ მხარს FC-NVMe-ს (NVMe ბოჭკოვანი არხით), ხოლო NVMe RoCE-ზე (RDMA Converged Ethernet-ზე) უკვე გზაშია. სატესტო მოდელები საკმაოდ ფუნქციონალურია, მათ ოფიციალურ პრეზენტაციამდე რამდენიმე თვე რჩება. გაითვალისწინეთ, რომ ეს ყველაფერი გამოჩნდება განაწილებულ სისტემებში, სადაც „უზარმაზარ Ethernet“ იქნება დიდი მოთხოვნა.

განაწილებული შენახვის ფუნქციონირების ოპტიმიზაციის დამატებითი გზა იყო მონაცემთა ასახვის სრული მიტოვება. Huawei-ის გადაწყვეტილებები აღარ იყენებს n ასლს, როგორც ჩვეულებრივ RAID 1-ში, და მთლიანად გადადის მასზე EC (წაშლის კოდირება). სპეციალური მათემატიკური პაკეტი ითვლის საკონტროლო ბლოკებს გარკვეული პერიოდულობით, რაც საშუალებას გაძლევთ აღადგინოთ შუალედური მონაცემები დაკარგვის შემთხვევაში.

დედუპლიკაციისა და შეკუმშვის მექანიზმები სავალდებულო ხდება. თუ კლასიკურ შენახვის სისტემებში ჩვენ შემოიფარგლება კონტროლერებში დაყენებული პროცესორების რაოდენობით, მაშინ განაწილებულ ჰორიზონტალურად მასშტაბირებადი შენახვის სისტემებში თითოეული კვანძი შეიცავს ყველაფერს, რაც საჭიროა: დისკები, მეხსიერება, პროცესორები და ურთიერთდაკავშირება. ეს რესურსები საკმარისია იმის უზრუნველსაყოფად, რომ დედუპლიკაცია და შეკუმშვა მინიმალური გავლენა მოახდინოს შესრულებაზე.

და რაც შეეხება ტექნიკის ოპტიმიზაციის მეთოდებს. აქ შესაძლებელი გახდა ცენტრალურ პროცესორებზე დატვირთვის შემცირება დამატებითი გამოყოფილი ჩიპების (ან თავად პროცესორში გამოყოფილი ბლოკების) დახმარებით, რომლებიც როლს თამაშობენ. ფეხის ფეხი (TCP/IP Offload Engine) ან EC-ის მათემატიკური ამოცანების აღება, დედუპლიკაცია და შეკუმშვა.

მონაცემთა შენახვის ახალი მიდგომები ასახულია დანაწევრებულ (განაწილებულ) არქიტექტურაში. ცენტრალიზებული შენახვის სისტემებს აქვთ სერვერის ქარხანა დაკავშირებული Fiber Channel-თან SAN ბევრი მასივებით. ამ მიდგომის უარყოფითი მხარეა სკალირების სირთულე და მომსახურების გარანტირებული დონის უზრუნველყოფა (შესრულების ან შეფერხების თვალსაზრისით). ჰიპერკონვერგირებული სისტემები იყენებენ ერთსა და იმავე ჰოსტებს ინფორმაციის შესანახად და დასამუშავებლად. ეს იძლევა სკალირების პრაქტიკულად შეუზღუდავ შესაძლებლობებს, მაგრამ მოითხოვს მაღალ ხარჯებს მონაცემთა მთლიანობის შესანარჩუნებლად.

ორივე ზემოთ ჩამოთვლილისაგან განსხვავებით, დაშლილი არქიტექტურა გულისხმობს სისტემის დაყოფა გამოთვლით ქსოვილად და ჰორიზონტალურ შესანახ სისტემად. ეს უზრუნველყოფს ორივე არქიტექტურის სარგებელს და საშუალებას იძლევა თითქმის შეუზღუდავი მასშტაბირება მხოლოდ ელემენტის, რომელსაც არ აქვს შესრულება.

ინტეგრაციიდან კონვერგენციამდე

კლასიკური ამოცანა, რომლის აქტუალობა მხოლოდ გასული 15 წლის განმავლობაში გაიზარდა, არის საჭიროება ერთდროულად უზრუნველყოს ბლოკის შენახვა, ფაილებზე წვდომა, ობიექტებზე წვდომა, დიდი მონაცემთა ფერმის ფუნქციონირება და ა.შ. იყოს, მაგალითად, სარეზერვო სისტემა მაგნიტურ ფირზე.

პირველ ეტაპზე მხოლოდ ამ სერვისების მენეჯმენტის გაერთიანება შეიძლებოდა. მონაცემთა შენახვის ჰეტეროგენული სისტემები დაკავშირებული იყო ზოგიერთ სპეციალიზებულ პროგრამულ უზრუნველყოფასთან, რომლის მეშვეობითაც ადმინისტრატორი ავრცელებდა რესურსებს ხელმისაწვდომი აუზებიდან. მაგრამ რადგან ამ აუზებს განსხვავებული აპარატურა ჰქონდათ, მათ შორის დატვირთვის მიგრაცია შეუძლებელი იყო. ინტეგრაციის უფრო მაღალ დონეზე, აგრეგაცია მოხდა კარიბჭის დონეზე. თუ ფაილების გაზიარება შესაძლებელი იყო, მისი მომსახურება შეიძლება სხვადასხვა პროტოკოლით.

ყველაზე მოწინავე კონვერგენციის მეთოდი, რომელიც ამჟამად ჩვენთვის ხელმისაწვდომია, გულისხმობს უნივერსალური ჰიბრიდული სისტემის შექმნას. ზუსტად ის, რაც ჩვენი უნდა გახდეს OceanStor 100D. უნივერსალური წვდომა იყენებს იგივე ტექნიკის რესურსებს, ლოგიკურად იყოფა სხვადასხვა აუზად, მაგრამ დატვირთვის მიგრაციის საშუალებას იძლევა. ეს ყველაფერი შეიძლება გაკეთდეს ერთი მართვის კონსოლის მეშვეობით. ამ გზით ჩვენ შევძელით დანერგვა კონცეფცია "ერთი მონაცემთა ცენტრი - ერთი შენახვის სისტემა".

ინფორმაციის შენახვის ღირებულება ახლა განსაზღვრავს ბევრ არქიტექტურულ გადაწყვეტილებას. და მიუხედავად იმისა, რომ მისი უსაფრთხოდ დაყენება შესაძლებელია წინა პლანზე, დღეს ჩვენ განვიხილავთ "ცოცხალ" შენახვას აქტიური წვდომით, ამიტომ შესრულება ასევე უნდა იქნას გათვალისწინებული. შემდეგი თაობის განაწილებული სისტემების კიდევ ერთი მნიშვნელოვანი თვისებაა გაერთიანება. ყოველივე ამის შემდეგ, არავის სურს ჰქონდეს რამდენიმე განსხვავებული სისტემა, რომელიც კონტროლდება სხვადასხვა კონსოლებიდან. ყველა ეს თვისება აისახება Huawei-ს პროდუქციის ახალ სერიაში OceanStor Pacific.

ახალი თაობის მასობრივი შენახვის სისტემა

OceanStor Pacific აკმაყოფილებს ექვსი ცხრა სანდოობის მოთხოვნებს (99,9999%) და მისი გამოყენება შესაძლებელია HyperMetro კლასის მონაცემთა ცენტრების შესაქმნელად. ორ მონაცემთა ცენტრს შორის მანძილით 100 კმ-მდე, სისტემები აჩვენებენ დამატებით შეყოვნებას 2 ms, რაც შესაძლებელს ხდის მათ საფუძველზე შექმნას ნებისმიერი კატასტროფების საწინააღმდეგო გადაწყვეტილებები, მათ შორის კვორუმის სერვერებით.

ახალი სერიის პროდუქტები აჩვენებს პროტოკოლის მრავალფეროვნებას. უკვე OceanStor 100D მხარს უჭერს ბლოკზე წვდომას, ობიექტზე წვდომას და Hadoop წვდომას. ფაილზე წვდომა ასევე განხორციელდება უახლოეს მომავალში. არ არის საჭირო მონაცემთა მრავალი ასლის შენახვა, თუ მათი გაცემა შესაძლებელია სხვადასხვა პროტოკოლით.

როგორც ჩანს, რა კავშირშია „დაკარგული ქსელის“ კონცეფცია შენახვის სისტემებთან? ფაქტია, რომ მონაცემთა შენახვის განაწილებული სისტემები აგებულია სწრაფი ქსელის საფუძველზე, რომელიც მხარს უჭერს შესაბამის ალგორითმებს და RoCE მექანიზმს. ხელოვნური ინტელექტის სისტემა, რომელსაც მხარს უჭერს ჩვენი კონცენტრატორები, ხელს უწყობს ქსელის სიჩქარის შემდგომ გაზრდას და შეყოვნების შემცირებას. AI ქსოვილი. AI Fabric-ის გააქტიურებისას შენახვის ეფექტურობის მომატება შეიძლება 20%-ს მიაღწიოს.

რა არის ახალი OceanStor Pacific განაწილებული შენახვის კვანძი? 5U ფორმის ფაქტორის გადაწყვეტა მოიცავს 120 დისკს და შეუძლია შეცვალოს სამი კლასიკური კვანძი, რაც უზრუნველყოფს ორჯერ მეტ დანაზოგს თაროს სივრცეში. ასლების არ შენახვით, დისკების ეფექტურობა მნიშვნელოვნად იზრდება (+92%-მდე).

ჩვენ მიჩვეულები ვართ იმ ფაქტს, რომ პროგრამულად განსაზღვრული საცავი არის სპეციალური პროგრამა, რომელიც დამონტაჟებულია კლასიკურ სერვერზე. მაგრამ ახლა, ოპტიმალური პარამეტრების მისაღწევად, ეს არქიტექტურული გადაწყვეტა ასევე მოითხოვს სპეციალურ კვანძებს. იგი შედგება ARM პროცესორებზე დაფუძნებული ორი სერვერისგან, რომლებიც მართავენ სამ დიუმიანი დისკების მასივს.

ეს სერვერები არ არის შესაფერისი ჰიპერკონვერგირებული გადაწყვეტილებებისთვის. ჯერ ერთი, საკმაოდ ბევრი აპლიკაციაა ARM-ისთვის და მეორეც, რთულია დატვირთვის ბალანსის შენარჩუნება. ჩვენ ვთავაზობთ ცალკე საცავზე გადასვლას: კომპიუტერული კლასტერი, რომელიც წარმოდგენილია კლასიკური ან თაროების სერვერებით, მუშაობს ცალკე, მაგრამ დაკავშირებულია OceanStor Pacific შენახვის კვანძებთან, რომლებიც ასევე ასრულებენ პირდაპირ დავალებებს. და თავის თავს ამართლებს.

მაგალითად, ავიღოთ დიდი მონაცემთა შენახვის კლასიკური გადაწყვეტა ჰიპერკონვერგირებული სისტემით, რომელიც იკავებს 15 სერვერის თაროს. თუ თქვენ გაანაწილებთ დატვირთვას ცალკეულ გამოთვლით სერვერებსა და OceanStor Pacific-ის შესანახ კვანძებს შორის, ერთმანეთისგან გამოყოფით, საჭირო თაროების რაოდენობა განახევრდება! ეს ამცირებს მონაცემთა ცენტრის საოპერაციო ხარჯებს და ამცირებს საკუთრების მთლიან ღირებულებას. მსოფლიოში, სადაც შენახული ინფორმაციის მოცულობა ყოველწლიურად 30%-ით იზრდება, ასეთი უპირატესობები არ არის გადაყრილი.

***

თქვენ შეგიძლიათ მიიღოთ მეტი ინფორმაცია Huawei-ს გადაწყვეტილებებისა და მათი გამოყენების სცენარების შესახებ ჩვენს საიტზე ონლაინი ან უშუალოდ კომპანიის წარმომადგენლებთან დაკავშირებით.

წყარო: www.habr.com