{"id":95870,"date":"2020-10-04T13:41:59","date_gmt":"2020-10-04T11:41:59","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/pochemu-vazhno-proverit-po-na-vashej-shd-vysokoj-dostupnosti-999999"},"modified":"2020-10-04T13:41:59","modified_gmt":"2020-10-04T11:41:59","slug":"pochemu-vazhno-proverit-po-na-vashej-shd-vysokoj-dostupnosti-999999","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/pochemu-vazhno-proverit-po-na-vashej-shd-vysokoj-dostupnosti-999999","title":{"rendered":"Dlaczego wa\u017cne jest przetestowanie oprogramowania na twoim systemie z wysok\u0105 dost\u0119pno\u015bci\u0105 (99,9999%)","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Dlaczego<\/p>\n

Kt\u00f3ra wersja oprogramowania jest najbardziej \u201eodpowiednia\u201d i \u201edzia\u0142aj\u0105ca\u201d? Je\u015bli system pami\u0119ci masowej gwarantuje niezawodno\u015b\u0107 na poziomie 99,9999%, czy to oznacza, \u017ce b\u0119dzie dzia\u0142a\u0107 bez przerwy nawet bez aktualizacji oprogramowania? A mo\u017ce wr\u0119cz przeciwnie, dla maksymalnej niezawodno\u015bci zawsze trzeba zainstalowa\u0107 najnowsz\u0105 wersj\u0119 oprogramowania? Spr\u00f3bujemy odpowiedzie\u0107 na te pytania, opieraj\u0105c si\u0119 na naszym do\u015bwiadczeniu.<\/p>\n

Kr\u00f3tkie wprowadzenie<\/h3>\n

Wszyscy rozumiemy, \u017ce w ka\u017cdej wersji oprogramowania, czy to systemu operacyjnego, czy sterownika dla jakiego\u015b urz\u0105dzenia, cz\u0119sto znajduj\u0105 si\u0119 niedoci\u0105gni\u0119cia\/b\u0142\u0119dy i inne \u201ecechy\u201d, kt\u00f3re mog\u0105, ale nie musz\u0105, ujawni\u0107 si\u0119 przed ko\u0144cem eksploatacji sprz\u0119tu, a mog\u0105 \u201eujawnia\u0107 si\u0119\u201d tylko w okre\u015blonych warunkach. Ilo\u015b\u0107 i znaczenie takich niuans\u00f3w zale\u017cy od z\u0142o\u017cono\u015bci (funkcjonalno\u015bci) oprogramowania oraz od jako\u015bci jego testowania podczas tworzenia. <\/p>\n

Cz\u0119sto u\u017cytkownicy pozostaj\u0105 przy \u201efabrycznym oprogramowaniu\u201d (s\u0142ynne powiedzenie \u2014 \u201eje\u015bli dzia\u0142a, nie ruszaj\u201d) lub zawsze instaluj\u0105 najnowsz\u0105 wersj\u0119 (w ich rozumieniu ostatnia oznacza najbardziej dzia\u0142aj\u0105c\u0105). My stosujemy inne podej\u015bcie \u2014 patrzymy na noty wydania dla ca\u0142ego wykorzystywanego oprogramowania. w chmurze mClouds<\/a><\/noindex> sprz\u0119tu i starannie wybieramy odpowiednie oprogramowanie dla ka\u017cdego urz\u0105dzenia. <\/p>\n

Do takiego wniosku doszli\u015bmy, mo\u017cna powiedzie\u0107, z do\u015bwiadczeniem. Na naszym przyk\u0142adzie eksploatacji opowiemy, dlaczego obiecywana niezawodno\u015b\u0107 99,9999% macierzy dyskowej nic nie znaczy, je\u015bli nie b\u0119dziesz na bie\u017c\u0105co \u015bledzi\u0107 aktualizacji i opisu oprogramowania. Nasz przypadek nadaje si\u0119 dla u\u017cytkownik\u00f3w macierzy dyskowych dowolnego dostawcy, poniewa\u017c podobna sytuacja mo\u017ce wyst\u0105pi\u0107 z sprz\u0119tem ka\u017cdego producenta.<\/p>\n

Wyb\u00f3r nowego systemu przechowywania danych<\/h3>\n

Pod koniec ubieg\u0142ego roku nasza infrastruktura wzbogaci\u0142a si\u0119 o interesuj\u0105cy system przechowywania danych: najmniejszy model z linii IBM FlashSystem 5000, kt\u00f3ry w momencie zakupu nazywa\u0142 si\u0119 Storwize V5010e. Obecnie sprzedawany jest pod nazw\u0105 FlashSystem 5010, ale w\u0142a\u015bciwie jest to ta sama baza sprz\u0119towa z tym samym Spectrum Virtualize wewn\u0105trz. <\/p>\n

Posiadanie jednolitego systemu zarz\u0105dzania \u2014 to zreszt\u0105 g\u0142\u00f3wna r\u00f3\u017cnica IBM FlashSystem. W modelach z ni\u017cszej serii praktycznie nie r\u00f3\u017cni si\u0119 on od modeli bardziej wydajnych. Wyb\u00f3r konkretnego modelu jedynie odzwierciedla odpowiedni\u0105 baz\u0119 sprz\u0119tow\u0105, kt\u00f3rej cechy pozwalaj\u0105 na wykorzystanie tego czy innego funkcjonalno\u015bci lub zapewnienie wy\u017cszego poziomu skalowalno\u015bci. Oprogramowanie identyfikuje przy tym cz\u0119\u015b\u0107 sprz\u0119tow\u0105 i zapewnia niezb\u0119dn\u0105 i wystarczaj\u0105c\u0105 funkcjonalno\u015b\u0107 dla tej platformy. <\/p>\n

\"DlaczegoIBM FlashSystem 5010<\/p>\n

Kr\u00f3tko o naszym modelu 5010. Jest to dwu kontrolerowy blokowy system przechowywania danych poziomu podstawowego. Potrafi pomie\u015bci\u0107 dyski NLSAS, SAS oraz SSD. Umieszczenie NVMe nie jest mo\u017cliwe, poniewa\u017c ten model SAN jest pozycjonowany do rozwi\u0105zywania zada\u0144, kt\u00f3re nie wymagaj\u0105 wydajno\u015bci dysk\u00f3w NVMe.<\/p>\n

SAN zosta\u0142a zakupiona do przechowywania informacji archiwalnych lub danych, do kt\u00f3rych nie ma cz\u0119stego dost\u0119pu. Dlatego standardowy zestaw jej funkcjonalno\u015bci: tiering (Easy Tier), Thin Provision by\u0142 dla nas wystarczaj\u0105cy. Wydajno\u015b\u0107 na dyskach NLSAS na poziomie 1000-2000 IOPS r\u00f3wnie\u017c nas zadowala\u0142a. <\/p>\n

Nasze do\u015bwiadczenie \u2014 jak nie zaktualizowali\u015bmy oprogramowania na czas<\/h3>\n

Teraz przechodz\u0105c do samej aktualizacji oprogramowania. W momencie zakupu system mia\u0142 ju\u017c nieco przestarza\u0142\u0105 wersj\u0119 oprogramowania Spectrum Virtualize, a mianowicie, 8.2.1.3.<\/strong><\/p>\n

Zanotowali\u015bmy opisy oprogramowania i zaplanowali\u015bmy aktualizacj\u0119 do 8.2.1.9<\/strong>. Gdyby\u015bmy byli nieco bardziej zwinni, nie by\u0142oby tego artyku\u0142u \u2014 na nowszym oprogramowaniu ten b\u0142\u0105d by si\u0119 nie pojawi\u0142. Niemniej jednak z okre\u015blonych powod\u00f3w aktualizacja tego systemu zosta\u0142a od\u0142o\u017cona.<\/p>\n

W rezultacie niewielkie op\u00f3\u017anienie w aktualizacji doprowadzi\u0142o do niezwykle nieprzyjemnego obrazu, jak opisano w podanym linku: https:\/\/www.ibm.com\/support\/pages\/node\/6172341<\/u><\/a><\/noindex>. <\/p>\n

Tak, w firmware tej wersji by\u0142 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 tzw. APAR (Authorized Program Analysis Report) HU02104. Objawia si\u0119 on w spos\u00f3b nast\u0119puj\u0105cy. Pod obci\u0105\u017ceniem, w okre\u015blonych okoliczno\u015bciach, zaczyna przepe\u0142nia\u0107 si\u0119 pami\u0119\u0107 podr\u0119czna, a nast\u0119pnie system przechodzi w tryb ochrony, w kt\u00f3rym wy\u0142\u0105cza wej\u015bcie-wyj\u015bcie dla puli (Pool). W naszym przypadku wygl\u0105da\u0142o to jak od\u0142\u0105czenie 3 dysk\u00f3w dla grupy RAID w trybie RAID 6. Od\u0142\u0105czenie trwa 6 minut. Nast\u0119pnie dost\u0119p do wolumen\u00f3w w puli jest przywracany.<\/p>\n

Je\u015bli kto\u015b nie jest zaznajomiony ze struktur\u0105 i nazewnictwem logicznych jednostek w kontek\u015bcie IBM Spectrum Virtualize, kr\u00f3tko o tym opowiem.<\/p>\n

\"DlaczegoStruktura element\u00f3w logicznych STHD<\/p>\n

Dyski s\u0105 grupowane w tzw. MDisk (Managed Disk). MDisk mo\u017ce przedstawia\u0107 klasyczny RAID (0,1,10,5,6) lub wirtualizowany \u2013 DRAID (Distributed RAID). U\u017cycie DRAID pozwala zwi\u0119kszy\u0107 wydajno\u015b\u0107 macierzy, poniewa\u017c b\u0119d\u0105 wykorzystywane wszystkie dyski grupy, i skr\u00f3ci\u0107 czas odbudowy dzi\u0119ki temu, \u017ce trzeba b\u0119dzie odtworzy\u0107 tylko okre\u015blone bloki, a nie wszystkie dane z uszkodzonego dysku.<\/p>\n

\"DlaczegoRozmieszczenie blok\u00f3w danych na dyskach przy u\u017cyciu Distributed RAID (DRAID) w trybie RAID-5.<\/p>\n

A ten schemat pokazuje logik\u0119 pracy odbudowy DRAID w przypadku awarii jednego dysku:<\/p>\n

\"DlaczegoLogika pracy odbudowy DRAID przy awarii jednego dysku<\/p>\n

Nast\u0119pnie jeden lub kilka MDisk tworzy tzw. Pool. W obr\u0119bie jednego poola nie zaleca si\u0119 u\u017cywania MDisk z r\u00f3\u017cnymi poziomami RAID\/DRAID na dyskach tego samego typu. Nie b\u0119dziemy si\u0119 w to zbytnio zag\u0142\u0119bia\u0107, poniewa\u017c planujemy opisa\u0107 to w ramach jednego z kolejnych artyku\u0142\u00f3w. A zatem Pool dzieli si\u0119 na Tomy (Volumes), kt\u00f3re s\u0105 prezentowane za pomoc\u0105 danego protoko\u0142u dost\u0119pu blokowego w kierunku host\u00f3w.<\/p>\n

Jak wi\u0119c wida\u0107, w wyniku wyst\u0105pienia sytuacji opisanej w APAR HU02104<\/em>, z powodu logicznej awarii trzech dysk\u00f3w, przesta\u0142 by\u0107 operacyjny MDisk, co z kolei spowodowa\u0142o awari\u0119 poola i odpowiednich Tom\u00f3w.<\/p>\n

Poniewa\u017c te systemy s\u0105 do\u015b\u0107 \"inteligentne\", mo\u017cna je pod\u0142\u0105czy\u0107 do chmurowego systemu monitorowania IBM Storage Insights, kt\u00f3ry automatycznie, w przypadku wyst\u0105pienia awarii, wysy\u0142a zg\u0142oszenie do wsparcia technicznego IBM. Tworzy si\u0119 zg\u0142oszenie, a specjali\u015bci IBM przeprowadzaj\u0105 zdaln\u0105 diagnostyk\u0119 i kontaktuj\u0105 si\u0119 z u\u017cytkownikiem systemu. <\/p>\n

Dzi\u0119ki temu problem zosta\u0142 rozwi\u0105zany stosunkowo szybko, a od wsparcia technicznego otrzymali\u015bmy szybk\u0105 rekomendacj\u0119 dotycz\u0105c\u0105 aktualizacji naszego systemu do wybranej wcze\u015bniej wersji oprogramowania 8.2.1.9, w kt\u00f3rej ten problem by\u0142 ju\u017c naprawiony. Potwierdza to odpowiedni Release Note<\/u><\/a><\/noindex>.<\/u><\/p>\n

Podsumowanie i nasze rekomendacje<\/h3>\n

Jak to si\u0119 m\u00f3wi: \u201edobrze to, co dobrze si\u0119 ko\u0144czy\u201d. B\u0142\u0105d w oprogramowaniu nie przyni\u00f3s\u0142 powa\u017cnych problem\u00f3w \u2014 praca serwer\u00f3w zosta\u0142a przywr\u00f3cona w kr\u00f3tkim czasie i bez utraty danych. U niekt\u00f3rych klient\u00f3w trzeba by\u0142o zrestartowa\u0107 maszyny wirtualne, ale og\u00f3lnie byli\u015bmy gotowi na bardziej negatywne konsekwencje, poniewa\u017c codziennie wykonujemy kopie zapasowe wszystkich element\u00f3w infrastruktury i maszyn klient\u00f3w. <\/p>\n

Otrzymali\u015bmy potwierdzenie, \u017ce nawet niezawodne systemy z obiecanym czasem dost\u0119pno\u015bci na poziomie 99,9999% wymagaj\u0105 uwagi i terminowej konserwacji. W zwi\u0105zku z sytuacj\u0105 wyci\u0105gn\u0119li\u015bmy kilka wniosk\u00f3w i dzielimy si\u0119 naszymi rekomendacjami:<\/p>\n