რატომ არის მნიშვნელოვანი პროგრამული უზრუნველყოფის დადასტურება თქვენს მაღალი ხელმისაწვდომობის საცავში (99,9999%)

პროგრამული უზრუნველყოფის რომელი ვერსიაა ყველაზე "სწორი" და "მუშა"? თუ შენახვის სისტემა გარანტიას იძლევა შეცდომის ტოლერანტობის 99,9999% -ს, ეს ნიშნავს, რომ ის უწყვეტად იმუშავებს პროგრამული უზრუნველყოფის განახლების გარეშეც კი? ან, პირიქით, შეცდომების მაქსიმალური ტოლერანტობის მისაღებად, ყოველთვის უნდა დააინსტალიროთ უახლესი firmware? ჩვენ შევეცდებით ამ კითხვებზე პასუხის გაცემას ჩვენი გამოცდილებიდან გამომდინარე.

მცირე შესავალი

ჩვენ ყველას გვესმის, რომ პროგრამული უზრუნველყოფის ყოველი ვერსია, იქნება ეს ოპერაციული სისტემა თუ დრაივერი მოწყობილობისთვის, ხშირად შეიცავს დეფექტებს/შეცდომებს და სხვა „ფუნქციებს“, რომლებიც შეიძლება არ „გამოჩნდეს“ აღჭურვილობის მომსახურების ვადის დასრულებამდე, ან „გახსნას“. მხოლოდ გარკვეულ პირობებში. ასეთი ნიუანსების რაოდენობა და მნიშვნელობა დამოკიდებულია პროგრამული უზრუნველყოფის სირთულეზე (ფუნქციონალურობაზე) და მისი შემუშავების დროს ტესტირების ხარისხზე. 

ხშირად, მომხმარებლები რჩებიან „ქარხნის პროგრამულ უზრუნველყოფაზე“ (ცნობილი „მუშაობს, ასე რომ არ აურიოთ“) ან ყოველთვის დააინსტალირებენ უახლეს ვერსიას (მათი გაგებით, უახლესი ნიშნავს ყველაზე შრომას). ჩვენ ვიყენებთ განსხვავებულ მიდგომას - ჩვენ ვუყურებთ გამოშვების შენიშვნებს ყველა გამოყენებულისთვის mClouds ღრუბელში აღჭურვილობა და ყურადღებით შეარჩიეთ შესაბამისი firmware თითოეული მოწყობილობისთვის.

ამ დასკვნამდე, როგორც ამბობენ, გამოცდილებით მივედით. ჩვენი მუშაობის მაგალითის გამოყენებით, ჩვენ გეტყვით, რატომ არაფერს ნიშნავს შენახვის სისტემების დაპირებული 99,9999% საიმედოობა, თუ დაუყოვნებლივ არ აკვირდებით პროგრამული უზრუნველყოფის განახლებებს და აღწერილობებს. ჩვენი საქმე შესაფერისია ნებისმიერი გამყიდველის შენახვის სისტემების მომხმარებლებისთვის, რადგან მსგავსი სიტუაცია შეიძლება მოხდეს ნებისმიერი მწარმოებლის აპარატურასთან დაკავშირებით.

ახალი შენახვის სისტემის არჩევა

გასული წლის ბოლოს ჩვენს ინფრასტრუქტურას დაემატა მონაცემთა შენახვის საინტერესო სისტემა: უმცროსი მოდელი IBM FlashSystem 5000 ხაზიდან, რომელსაც შეძენის დროს ერქვა Storwize V5010e. ახლა ის იყიდება FlashSystem 5010 სახელით, მაგრამ სინამდვილეში ეს არის იგივე ტექნიკის ბაზა იგივე Spectrum Virtualize შიგნით. 

ერთიანი მართვის სისტემის არსებობა, სხვათა შორის, მთავარი განსხვავებაა IBM FlashSystem-ს შორის. ახალგაზრდა სერიის მოდელებისთვის ის პრაქტიკულად არ განსხვავდება უფრო პროდუქტიული მოდელებისგან. კონკრეტული მოდელის არჩევა უზრუნველყოფს მხოლოდ შესაბამის აპარატურულ ბაზას, რომლის მახასიათებლები შესაძლებელს ხდის გამოიყენოს ამა თუ იმ ფუნქციონალურობა ან უზრუნველყოს მასშტაბურობის უფრო მაღალი დონე. პროგრამული უზრუნველყოფა განსაზღვრავს აპარატურას და უზრუნველყოფს ამ პლატფორმისთვის საჭირო და საკმარის ფუნქციონირებას.

IBM FlashSystem 5010

მოკლედ ჩვენი მოდელი 5010. ეს არის საწყისი დონის ორმაგი კონტროლერი ბლოკის შენახვის სისტემა. მას შეუძლია NLSAS, SAS, SSD დისკების განთავსება. მასში NVMe განთავსება არ არის ხელმისაწვდომი, რადგან შენახვის ეს მოდელი განლაგებულია პრობლემების გადასაჭრელად, რომლებიც არ საჭიროებს NVMe დისკების მუშაობას.

შენახვის სისტემა შეძენილია საარქივო ინფორმაციის ან მონაცემების განსათავსებლად, რომლებზეც ხშირად არ არის წვდომა. ამიტომ, ჩვენთვის საკმარისი იყო მისი ფუნქციონირების სტანდარტული ნაკრები: Tiering (Easy Tier), Thin Provision. NLSAS დისკებზე მუშაობა 1000-2000 IOPS დონეზე ასევე საკმაოდ დამაკმაყოფილებელი იყო ჩვენთვის.

ჩვენი გამოცდილება - როგორ არ განვაახლეთ firmware დროულად

ახლა რაც შეეხება თავად პროგრამული უზრუნველყოფის განახლებას. შეძენის დროს სისტემას უკვე ჰქონდა Spectrum Virtualize პროგრამული უზრუნველყოფის ოდნავ მოძველებული ვერსია, კერძოდ, 8.2.1.3.

ჩვენ შევისწავლეთ firmware აღწერილობები და დავგეგმეთ განახლება 8.2.1.9. ცოტა უფრო ეფექტურები რომ ვყოფილიყავით, ეს სტატია არ იარსებებდა - შეცდომა არ მოხდებოდა უახლეს firmware-ზე. თუმცა, გარკვეული მიზეზების გამო, ამ სისტემის განახლება გადაიდო.

შედეგად, განახლების მცირე შეფერხებამ გამოიწვია უკიდურესად უსიამოვნო სურათი, როგორც აღწერილია ბმულზე: https://www.ibm.com/support/pages/node/6172341. 

დიახ, ამ ვერსიის firmware-ში იყო ე.წ. APAR (Authorized Program Analysis Report) HU02104. ის შემდეგნაირად ჩანს. დატვირთვის პირობებში, გარკვეულ ვითარებაში, ქეში იწყებს გადინებას, შემდეგ სისტემა გადადის დამცავ რეჟიმში, რომელშიც ის თიშავს I/O აუზს. ჩვენს შემთხვევაში ჩანდა RAID ჯგუფისთვის 3 დისკის გათიშვა RAID 6 რეჟიმში. გათიშვა ხდება 6 წუთის განმავლობაში. შემდეგ, აუზში ტომებზე წვდომა აღდგება.

თუ ვინმე არ იცნობს ლოგიკური ერთეულების სტრუქტურასა და დასახელებას IBM Spectrum Virtualize-ის კონტექსტში, ახლა მოკლედ აგიხსნით.

შენახვის სისტემის ლოგიკური ელემენტების სტრუქტურა

დისკები გროვდება ჯგუფებად, სახელწოდებით MDisk (მართული დისკი). MDisk შეიძლება იყოს კლასიკური RAID (0,1,10,5,6) ან ვირტუალიზებული - DRAID (Distributed RAID). DRAID-ის გამოყენება საშუალებას გაძლევთ გაზარდოთ მასივის შესრულება, რადგან... გამოყენებული იქნება ჯგუფის ყველა დისკი და შემცირდება აღდგენის დრო, იმის გამო, რომ საჭიროა მხოლოდ გარკვეული ბლოკების აღდგენა და არა ყველა მონაცემი წარუმატებელი დისკიდან.

მონაცემთა ბლოკების განაწილება დისკებზე RAID-5 რეჟიმში Distributed RAID (DRAID) გამოყენებისას.

და ეს დიაგრამა გვიჩვენებს ლოგიკას, თუ როგორ მუშაობს DRAID-ის აღდგენა ერთი დისკის უკმარისობის შემთხვევაში:

DRAID-ის აღდგენის ლოგიკა, როდესაც ერთი დისკი ვერ ხერხდება

შემდეგი, ერთი ან მეტი MD დისკი ქმნის ე.წ. ერთიდაიგივე აუზში, არ არის რეკომენდებული MDisk-ის გამოყენება სხვადასხვა RAID/DRAID დონეზე იმავე ტიპის დისკებზე. ჩვენ არ ჩავუღრმავდებით ამას, რადგან... ჩვენ ვგეგმავთ ამის გაშუქებას ერთ-ერთ შემდეგ სტატიაში. სინამდვილეში, Pool დაყოფილია ტომებად, რომლებიც წარმოდგენილია მასპინძლებისთვის ბლოკის წვდომის ამა თუ იმ პროტოკოლის გამოყენებით.

ასე რომ, ჩვენ, აღწერილი სიტუაციის შედეგად APAR HU02104, სამი დისკის ლოგიკური გაუმართაობის გამო, MDisk-მა შეწყვიტა ფუნქციონირება, რამაც, თავის მხრივ, გამოიწვია Pool-ის და შესაბამისი ტომების გაუმართაობა.

იმის გამო, რომ ეს სისტემები საკმაოდ ჭკვიანია, ისინი შეიძლება დაუკავშირდნენ IBM Storage Insights ღრუბელზე დაფუძნებულ მონიტორინგის სისტემას, რომელიც ავტომატურად აგზავნის სერვისის მოთხოვნას IBM-ის მხარდაჭერისთვის, თუ პრობლემა წარმოიქმნება. იქმნება აპლიკაცია და IBM-ის სპეციალისტები დისტანციურად ახორციელებენ დიაგნოსტიკას და დაუკავშირდებიან სისტემის მომხმარებელს. 

ამის წყალობით, საკითხი საკმაოდ სწრაფად მოგვარდა და მხარდაჭერის სერვისისგან მიიღეს სწრაფი რეკომენდაცია, რომ განაახლონ ჩვენი სისტემა ადრე შერჩეულ firmware 8.2.1.9-ზე, რომელიც იმ დროს უკვე გამოსწორებული იყო. ადასტურებს შესაბამისი გამოშვების შენიშვნა.

შედეგები და ჩვენი რეკომენდაციები

როგორც ნათქვამია: "ყველაფერი კარგია, რაც კარგად მთავრდება". პროგრამულ პროგრამულ შეცდომას სერიოზული პრობლემები არ შეუქმნია - სერვერები აღადგინეს რაც შეიძლება მალე და მონაცემთა დაკარგვის გარეშე. ზოგიერთ კლიენტს მოუწია ვირტუალური მანქანების გადატვირთვა, მაგრამ ზოგადად ჩვენ მზად ვიყავით უფრო უარყოფითი შედეგებისთვის, რადგან ყოველდღიურად ვაკეთებთ ინფრასტრუქტურის ელემენტებისა და კლიენტის მანქანების სარეზერვო ასლებს. 

ჩვენ მივიღეთ დადასტურება, რომ სანდო სისტემებიც კი 99,9999% დაპირებული ხელმისაწვდომობით მოითხოვს ყურადღებას და დროულ მოვლას. სიტუაციიდან გამომდინარე, ჩვენ თვითონ გამოვიტანეთ რამდენიმე დასკვნა და ვიზიარებთ ჩვენს რეკომენდაციებს:

• აუცილებელია განახლებების გამოშვების მონიტორინგი, გამოშვების შენიშვნების შესწავლა პოტენციურად კრიტიკული საკითხების შესწორებისთვის და დაგეგმილი განახლებების დროულად განხორციელება.

  ეს არის ორგანიზაციული და თუნდაც საკმაოდ აშკარა წერტილი, რომელზეც, როგორც ჩანს, არ ღირს ყურადღების გამახვილება. თუმცა, ამ "დონეზე" თქვენ შეგიძლიათ საკმაოდ მარტივად დაბრკოლდეთ. სინამდვილეში, სწორედ ამ მომენტმა დაამატა ზემოთ აღწერილი პრობლემები. იყავით ძალიან ფრთხილად განახლების რეგულაციების შედგენისას და არანაკლებ ფრთხილად აკონტროლეთ მათთან შესაბამისობა. ეს პუნქტი უფრო მეტად ეხება „დისციპლინის“ კონცეფციას.

• ყოველთვის უკეთესია სისტემის შენარჩუნება უახლესი პროგრამული ვერსიით. უფრო მეტიც, ამჟამინდელი არ არის ის, რომელსაც აქვს უფრო დიდი რიცხვითი აღნიშვნა, არამედ უფრო გვიან გამოშვების თარიღით. 

  მაგალითად, IBM განაახლებს მინიმუმ ორ პროგრამულ გამოცემას თავისი შენახვის სისტემებისთვის. ამ წერის დროს ეს არის 8.2 და 8.3. 8.2-ის განახლებები უფრო ადრე გამოდის. 8.3-ის მსგავსი განახლება ჩვეულებრივ გამოდის მცირე დაგვიანებით.

  გამოშვებას 8.3 აქვს მრავალი ფუნქციური უპირატესობა, მაგალითად, MDisk-ის გაფართოების შესაძლებლობა (DRAID რეჟიმში) ერთი ან მეტი ახალი დისკის დამატებით (ეს ფუნქცია გამოჩნდა 8.3.1 ვერსიიდან). ეს საკმაოდ ძირითადი ფუნქციაა, მაგრამ 8.2-ში, სამწუხაროდ, ასეთი ფუნქცია არ არის.

• თუ რაიმე მიზეზით შეუძლებელია განახლება, მაშინ Spectrum Virtualize პროგრამული უზრუნველყოფის ვერსიებისთვის 8.2.1.9 და 8.3.1.0 ვერსიებზე ადრე (სადაც ზემოთ აღწერილი ხარვეზი შესაბამისია), მისი წარმოქმნის რისკის შესამცირებლად, IBM ტექნიკური მხარდაჭერა გირჩევთ. სისტემის მუშაობის შეზღუდვა აუზის დონეზე, როგორც ნაჩვენებია ქვემოთ მოცემულ ფიგურაში (სურათი გადაღებულია GUI-ის რუსიფიცირებულ ვერსიაში). 10000 IOPS-ის მნიშვნელობა ნაჩვენებია როგორც მაგალითი და შეირჩევა თქვენი სისტემის მახასიათებლების მიხედვით.

IBM შენახვის მუშაობის შეზღუდვა

• აუცილებელია საცავის სისტემებზე დატვირთვის სწორად გამოთვლა და გადატვირთვის თავიდან აცილება. ამისათვის შეგიძლიათ გამოიყენოთ IBM-ის საზომი (თუ გაქვთ მასზე წვდომა), ან პარტნიორების დახმარება, ან მესამე მხარის რესურსები. აუცილებელია შენახვის სისტემაზე დატვირთვის პროფილის გაგება, რადგან MB/s-ში და IOPS-ში შესრულება მნიშვნელოვნად განსხვავდება მინიმუმ შემდეგი პარამეტრების მიხედვით:

  • ოპერაციის ტიპი: წაკითხვა ან ჩაწერა,

  • ოპერაციული ბლოკის ზომა,

  • წაკითხვის და ჩაწერის ოპერაციების პროცენტი მთლიან I/O ნაკადში.

  ასევე, ოპერაციების სიჩქარეზე გავლენას ახდენს მონაცემთა ბლოკების წაკითხვა: თანმიმდევრობით ან შემთხვევითი თანმიმდევრობით. აპლიკაციის მხარეს მონაცემთა ხელმისაწვდომობის მრავალჯერადი ოპერაციების შესრულებისას არსებობს დამოკიდებული ოპერაციების კონცეფცია. ასევე სასურველია ამის გათვალისწინება. ეს ყველაფერი დაგეხმარებათ OS-ის, შენახვის სისტემის, სერვერების/ჰიპერვიზორების მუშაობის მრიცხველების მონაცემების მთლიანობის დანახვაში, ასევე აპლიკაციების, DBMS-ების და დისკის რესურსების სხვა „მომხმარებლების“ ოპერაციული მახასიათებლების გაგებაში.

• და ბოლოს, დარწმუნდით, რომ გქონდეთ განახლებული და მოქმედი სარეზერვო ასლები. სარეზერვო განრიგი უნდა იყოს კონფიგურირებული ბიზნესისთვის მისაღები RPO მნიშვნელობების საფუძველზე და უნდა შემოწმდეს სარეზერვო ასლების პერიოდული მთლიანობის შემოწმება (რამდენიმე სარეზერვო პროგრამული უზრუნველყოფის გამყიდველს აქვს ავტომატური გადამოწმება დანერგილი მათ პროდუქტებში), რათა უზრუნველყოს მისაღები RTO მნიშვნელობა.

გმადლობთ, რომ ბოლომდე წაიკითხეთ.
ჩვენ მზად ვართ ვუპასუხოთ თქვენს შეკითხვებს და კომენტარებში. ასევე გეპატიჟებით გამოიწეროთ ჩვენი ტელეგრამის არხი, რომელშიც ჩვენ ვატარებთ რეგულარულ აქციებს (ფასდაკლებები IaaS-ზე და საჩუქრები სარეკლამო კოდებისთვის 100%-მდე VPS-ზე), ვწერთ საინტერესო სიახლეებს და ვაცხადებთ ახალ სტატიებს Habr-ის ბლოგზე.

წყარო: www.habr.com