{"id":34841,"date":"2019-10-31T22:00:43","date_gmt":"2019-10-31T19:00:43","guid":{"rendered":"https:\/\/prohoster.info\/blog\/avtomatizatsiya-zameny-diskov-s-pomoshhyu-ansible\/"},"modified":"2019-10-31T22:00:43","modified_gmt":"2019-10-31T19:00:43","slug":"avtomatizatsiya-zameny-diskov-s-pomoshhyu-ansible","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/avtomatizatsiya-zameny-diskov-s-pomoshhyu-ansible","title":{"rendered":"Automatyzacja wymiany dysk\u00f3w za pomoc\u0105 Ansible","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Automatyzacja
\n
\nCze\u015b\u0107 wszystkim. Pracuj\u0119 jako g\u0142\u00f3wny administrator system\u00f3w w OK i odpowiadam za stabilne dzia\u0142anie portalu. Chc\u0119 opowiedzie\u0107, jak zorganizowali\u015bmy proces automatycznej wymiany dysk\u00f3w, a nast\u0119pnie, jak wyeliminowali\u015bmy administratora z tego procesu, zast\u0119puj\u0105c go botem.<\/p>\n

Ten artyku\u0142 jest swoist\u0105 transliteracj\u0105 wyst\u0105pienia<\/a><\/noindex> na HighLoad+ 2018
\n<\/a><\/noindex><\/p>\n

Budowanie procesu wymiany dysk\u00f3w<\/h2>\n

<\/p>\n

Najpierw kilka cyfr<\/h3>\n

\nOK to gigantyczny serwis, z kt\u00f3rego korzystaj\u0105 miliony ludzi. Obs\u0142uguje go oko\u0142o 7 tys. serwer\u00f3w rozmieszczonych w 4 r\u00f3\u017cnych centrach danych. Na serwerach znajduje si\u0119 ponad 70 tys. dysk\u00f3w. Gdyby je u\u0142o\u017cy\u0107 jeden na drugim, powsta\u0142a by wie\u017ca o wysoko\u015bci ponad 1 km. <\/p>\n

Dyski twarde to komponent serwera, kt\u00f3ry psuje si\u0119 najcz\u0119\u015bciej. Przy takich ilo\u015bciach musimy wymienia\u0107 oko\u0142o 30 dysk\u00f3w tygodniowo, a ta procedura sta\u0142a si\u0119 do\u015b\u0107 nieprzyjemn\u0105 rutyn\u0105.<\/p>\n

\"Automatyzacja
\n<\/p>\n

Incydenty<\/h3>\n

\nW naszej firmie wprowadzono pe\u0142noprawny zarz\u0105d niemal wszystkimi incydentami. Ka\u017cdy incydent rejestrujemy w Jira, a nast\u0119pnie rozwi\u0105zujemy i omawiamy. Je\u015bli incydent mia\u0142 wp\u0142yw na u\u017cytkownik\u00f3w, koniecznie si\u0119 spotykamy i zastanawiamy, jak szybciej reagowa\u0107 w takich sytuacjach, jak zminimalizowa\u0107 wp\u0142yw i oczywi\u015bcie jak zapobiega\u0107 powt\u00f3rkom.<\/p>\n

No\u015bniki nie s\u0105 wyj\u0105tkiem. Ich stan monitoruje Zabbix. \u015aledzimy wiadomo\u015bci w Syslog pod k\u0105tem b\u0142\u0119d\u00f3w zapisu\/odczytu, analizujemy stan HW\/SW macierzy, monitorujemy SMART, a dla SSD obliczamy zu\u017cycie. <\/p>\n

Jak przebiega\u0142a wymiana dysk\u00f3w wcze\u015bniej<\/h3>\n

\nKiedy w Zabbix zapala si\u0119 jaki\u015b wyzwalacz, w Jira tworzy si\u0119 incydent, kt\u00f3ry automatycznie przypisuje si\u0119 do odpowiednich in\u017cynier\u00f3w w centrach danych. Tak robimy ze wszystkimi incydentami sprz\u0119towymi, czyli takimi, kt\u00f3re wymagaj\u0105 jakiejkolwiek pracy fizycznej z urz\u0105dzeniami w centrum danych.
\nIn\u017cynier centrum danych to osoba, kt\u00f3ra zajmuje si\u0119 kwestiami zwi\u0105zanymi ze sprz\u0119tem, odpowiada za instalacj\u0119, konserwacj\u0119, demonta\u017c serwer\u00f3w. Otrzymuj\u0105c zg\u0142oszenie, in\u017cynier przyst\u0119puje do pracy. W szafach dyskowych wymienia dyski samodzielnie. Jednak je\u015bli nie ma dost\u0119pu do potrzebnego urz\u0105dzenia, in\u017cynier zwraca si\u0119 o pomoc do dy\u017curnych administrator\u00f3w system\u00f3w. W pierwszej kolejno\u015bci trzeba wy\u0142\u0105czy\u0107 dysk z rotacji. W tym celu nale\u017cy wprowadzi\u0107 odpowiednie zmiany na serwerze, zatrzyma\u0107 aplikacje, odmontowa\u0107 dysk.<\/p>\n

Dy\u017curny administrator system\u00f3w odpowiada za dzia\u0142anie ca\u0142ego portalu w czasie swojej zmiany roboczej. Rozwi\u0105zuje incydenty, zajmuje si\u0119 naprawami, wspiera programist\u00f3w w wykonywaniu drobnych zada\u0144. Nie zajmuje si\u0119 jedynie dyskami twardymi.<\/p>\n

Dawniej in\u017cynierowie centr\u00f3w danych komunikowali si\u0119 z administratorem system\u00f3w na czacie. In\u017cynierowie wysy\u0142ali linki do ticket\u00f3w Jira, a administrator przechodzi\u0142 przez nie, prowadz\u0105c dziennik prac w jakim\u015b notatniku. Jednak czaty nie s\u0105 wygodne na takie zadania: informacje s\u0105 tam nieustrukturyzowane i szybko gin\u0105. Administrator m\u00f3g\u0142 te\u017c po prostu odej\u015b\u0107 od komputera i przez pewien czas nie odpowiada\u0107 na zapytania, podczas gdy in\u017cynier sta\u0142 przy serwerze z paczk\u0105 dysk\u00f3w i czeka\u0142.<\/p>\n

Najgorsze by\u0142o to, \u017ce administratorzy nie widzieli pe\u0142nego obrazu: jakie wyst\u0119puj\u0105 incydenty dyskowe, gdzie potencjalnie mo\u017ce pojawi\u0107 si\u0119 problem. To zwi\u0105zane jest z tym, \u017ce wszystkie incydenty HW przekazujemy in\u017cynierom. Tak, mo\u017cna by\u0142o przedstawi\u0107 wszystkie incydenty na pulpicie administratora. Ale by\u0142o ich bardzo du\u017co, a administrator zajmowa\u0142 si\u0119 tylko niekt\u00f3rymi z nich.<\/p>\n

Ponadto, in\u017cynier nie m\u00f3g\u0142 prawid\u0142owo ustali\u0107 priorytet\u00f3w, poniewa\u017c nic nie wiedzia\u0142 o przeznaczeniu konkretnych serwer\u00f3w ani o rozk\u0142adzie informacji na no\u015bnikach.<\/p>\n

Nowa procedura wymiany<\/h3>\n

\nPierwsz\u0105 rzecz\u0105, jak\u0105 zrobili\u015bmy, to wyodr\u0119bnili\u015bmy wszystkie incydenty dyskowe do osobnego typu \u201eHW-dysk\u201d i dodali\u015bmy do niego pola \u201enazwa urz\u0105dzenia blokowego\u201d, \u201erozmiar\u201d i \u201etyp dysku\u201d, aby te informacje by\u0142y zapisywane w tickecie, a nie trzeba by\u0142o ich ci\u0105gle wymienia\u0107 w czacie. <\/p>\n

\"Automatyzacja
\nPonadto ustalili\u015bmy, \u017ce w ramach jednego incydentu b\u0119dziemy wymienia\u0107 tylko jeden dysk. To znacznie upro\u015bci\u0142o p\u00f3\u017aniejszy proces automatyzacji, zbierania statystyk i pracy. <\/p>\n

Dodatkowo dodali\u015bmy pole \u201eodpowiedzialny administrator\u201d. Tam automatycznie przypisuje si\u0119 dy\u017curnego admina. To bardzo wygodne, poniewa\u017c teraz in\u017cynier zawsze widzi, kto jest odpowiedzialny. Nie trzeba przeszukiwa\u0107 kalendarza. To w\u0142a\u015bnie to pole pozwoli\u0142o wy\u015bwietli\u0107 na pulpicie administratora tickety, w kt\u00f3rych by\u0107 mo\u017ce b\u0119dzie potrzebna jego pomoc.<\/p>\n

\"Automatyzacja
\nAby wszyscy uczestnicy mogli maksymalnie skorzysta\u0107 z innowacji, stworzyli\u015bmy filtry i pulpity nawigacyjne, a nast\u0119pnie om\u00f3wili\u015bmy je z zespo\u0142em. Kiedy ludzie rozumiej\u0105 zmiany, nie dystansuj\u0105 si\u0119 od nich jak od czego\u015b niepotrzebnego. In\u017cynier musi wiedzie\u0107, kt\u00f3ry numer szafy mie\u015bci serwer oraz rozmiar i typ dysku. Administrator, przede wszystkim, powinien rozumie\u0107, czym jest grupa serwer\u00f3w oraz jaki mo\u017ce by\u0107 efekt wymiany dysku.<\/p>\n

Obecno\u015b\u0107 p\u00f3l i ich wy\u015bwietlanie to wygodne rozwi\u0105zanie, ale nie uwolni\u0142o nas od konieczno\u015bci korzystania z czat\u00f3w. W tym celu musieli\u015bmy zmieni\u0107 proces pracy. <\/p>\n

Dawniej wygl\u0105da\u0142o to tak:<\/p>\n

\"Automatyzacja
\nDzi\u015b w taki spos\u00f3b wci\u0105\u017c pracuj\u0105 in\u017cynierowie, gdy nie potrzebuj\u0105 pomocy administratora.<\/p>\n

Pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 zrobili\u015bmy, by\u0142o wprowadzenie nowego statusu Investigate<\/b>. W tym statusie zg\u0142oszenie znajduje si\u0119, kiedy in\u017cynier jeszcze nie zdecydowa\u0142, czy potrzebuje administratora, czy nie. Poprzez ten status in\u017cynier mo\u017ce przekaza\u0107 zg\u0142oszenie administratorowi. Opr\u00f3cz tego tym statusem oznaczamy zg\u0142oszenia, kiedy wymagana jest wymiana dysku, ale sam dysk nie jest dost\u0119pny na platformie. Takie sytuacje zdarzaj\u0105 si\u0119 w przypadku CDN i zdalnych lokalizacji.<\/p>\n

Dodatkowo dodali\u015bmy status Gotowy<\/b>. Do tego statusu zg\u0142oszenie jest przenoszone po wymianie dysku. Oznacza to, \u017ce wszystko zosta\u0142o ju\u017c zrobione, ale serwer synchronizuje HW\/SW RAID. Mo\u017ce to zaj\u0105\u0107 do\u015b\u0107 du\u017co czasu.<\/p>\n

Je\u015bli do pracy anga\u017cowany jest administrator, schemat nieco si\u0119 komplikuje.<\/p>\n

\"Automatyzacja
\nZ statusu Otw\u00f3rz<\/b> zg\u0142oszenie mo\u017ce przenie\u015b\u0107 zar\u00f3wno administrator systemu, jak i in\u017cynier. W statusie In progress<\/b> administrator wyjmuje dysk z rotacji, aby in\u017cynier m\u00f3g\u0142 go po prostu wyj\u0105\u0107: w\u0142\u0105cza pod\u015bwietlenie, odmontowuje dysk, zatrzymuje aplikacje w zale\u017cno\u015bci od konkretnej grupy serwer\u00f3w.<\/p>\n

Nast\u0119pnie zg\u0142oszenie przenoszone jest do Ready to change<\/b>: to sygna\u0142 dla in\u017cyniera, \u017ce dysk mo\u017cna wyj\u0105\u0107. Wszystkie pola w Jira s\u0105 ju\u017c wype\u0142nione, in\u017cynier wie, jaki typ i rozmiar dysku. Te dane s\u0105 wprowadzane automatycznie w poprzednim statusie lub przez administratora.<\/p>\n

Po wymianie dysku zg\u0142oszenie jest przenoszone do statusu Changed<\/b>. Sprawdzane jest, czy w\u0142o\u017cono w\u0142a\u015bciwy dysk, wykonuje si\u0119 partycjonowanie, uruchamia aplikacj\u0119 oraz wykonuje okre\u015blone zadania zwi\u0105zane z przywracaniem danych. Zg\u0142oszenie mo\u017ce tak\u017ce by\u0107 przeniesione do statusu Gotowy<\/b>, w tym przypadku odpowiedzialno\u015b\u0107 pozostaje po stronie administratora, poniewa\u017c to on wprowadza\u0142 dysk do rotacji. Pe\u0142ny schemat wygl\u0105da tak.<\/p>\n

\"Automatyzacja
\nDodanie nowych p\u00f3l znacznie u\u0142atwi\u0142o nam \u017cycie. Ch\u0142opaki zacz\u0119li pracowa\u0107 ze zorganizowanymi informacjami, a teraz wyra\u017anie wida\u0107, co i na jakim etapie nale\u017cy zrobi\u0107. Priorytety sta\u0142y si\u0119 znacznie bardziej relewantne, poniewa\u017c teraz ustawia je administrator.<\/p>\n

Znikn\u0119\u0142a potrzeba rozm\u00f3w na czacie. Oczywi\u015bcie administrator mo\u017ce napisa\u0107 in\u017cynierowi \"tu trzeba szybciej wymieni\u0107\" lub \"ju\u017c wiecz\u00f3r, zd\u0105\u017cysz wymieni\u0107?\". Ale ju\u017c nie rozmawiamy codziennie na czat dotycz\u0105cy tych kwestii.<\/p>\n

Dyski zacz\u0119to wymienia\u0107 hurtowo. Je\u015bli administrator przychodzi do pracy troch\u0119 wcze\u015bniej, ma troch\u0119 wolnego czasu, a jeszcze nic si\u0119 nie sta\u0142o, mo\u017ce przygotowa\u0107 szereg serwer\u00f3w do wymiany: ustawi\u0107 pola, wy\u0142\u0105czy\u0107 dyski z rotacji i przekaza\u0107 zadanie in\u017cynierowi. In\u017cynier przychodzi p\u00f3\u017aniej do centrum danych, widzi zadanie, zabiera z magazynu potrzebne dyski i od razu wymienia. W rezultacie zwi\u0119kszy\u0142a si\u0119 szybko\u015b\u0107 wymiany.<\/p>\n

Do\u015bwiadczenie wyniesione przy budowie Workflow<\/h3>\n

<\/p>\n