System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu

Wyobraź sobie, że masz pełną serwerownię sprzętu inżynieryjnego: kilkadziesiąt klimatyzatorów, kilka agregatów prądotwórczych na olej napędowy i zasilacze awaryjne. Aby sprzęt działał tak, jak powinien, regularnie sprawdzaj jego działanie i nie zapominaj o konserwacji zapobiegawczej: przeprowadzaj jazdy testowe, sprawdzaj poziom oleju, wymieniaj części. Nawet w przypadku jednej serwerowni trzeba przechowywać wiele informacji: rejestr sprzętu, listę materiałów eksploatacyjnych znajdujących się w magazynie, harmonogram konserwacji zapobiegawczej, a także dokumenty gwarancyjne, umowy z dostawcami i wykonawcami. 

Teraz pomnóżmy liczbę sal przez dziesięć. Pojawiły się problemy logistyczne. W jakim magazynie co przechowywać, żeby nie trzeba było biegać za każdą częścią zamienną? Jak uzupełnić zapasy w odpowiednim czasie, aby nieplanowane naprawy Cię nie zaskoczyły? Jeśli sprzętu jest dużo, nie da się zachować całej pracy technicznej w głowie, a na papierze jest to trudne. I tu z pomocą przychodzi MMS, czyli system zarządzania utrzymaniem ruchu. 

System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu
W MMS sporządzamy harmonogramy prac profilaktycznych i naprawczych oraz przechowujemy instrukcje dla inżynierów. Nie wszystkie centra danych posiadają taki system, wielu uważa, że ​​jest to rozwiązanie zbyt drogie. Ale z własnego doświadczenia jesteśmy o tym przekonani Nie liczy się narzędzie, ale podejście do pracy z informacją. Stworzyliśmy pierwszy system w programie Excel i stopniowo rozwinęliśmy go do postaci oprogramowania. 

Z aleksdropp postanowiliśmy podzielić się naszym doświadczeniem w tworzeniu własnego MMS-a. Pokażę jak system się rozwijał i jak pomógł wprowadzić najlepsze praktyki utrzymania ruchu. Alexey opowie Ci, jak odziedziczył MMS, co się zmieniło w tym czasie i jak system ułatwia teraz życie inżynierom. 

Jak doszliśmy do własnego MMS-a

Najpierw były foldery. 8-10 lat temu informacje były przechowywane w formie rozproszonej. Po konserwacji podpisaliśmy protokoły wykonanych prac, przechowywaliśmy papierowe oryginały w archiwach, a zeskanowane kopie w folderach sieciowych. W ten sam sposób w folderach z podziałem na wyposażenie zebrano informacje o częściach zamiennych: częściach zamiennych, narzędziach i akcesoriach. Tak możesz żyć, jeśli zbudujesz strukturę i poziomy dostępu do tych folderów.
Ale wtedy masz trzy problemy: 

  • nawigacja: przełączanie między różnymi folderami zajmuje dużo czasu. Jeśli chcesz zobaczyć naprawy konkretnego sprzętu na przestrzeni kilku lat, będziesz musiał wykonać wiele kliknięć.
  • statystyki: tego nie będziesz mieć, a bez tego trudno przewidzieć, jak szybko poszczególne urządzenia się zepsują i ile części zamiennych zaplanować na przyszły rok.  
  • terminowa reakcja: nikt nie będzie Ci przypominał, że komponenty już się kończą i trzeba je ponownie zamówić. Nie jest też oczywiste, że nie jest to pierwsza awaria tego samego sprzętu.  

Przez jakiś czas przechowywaliśmy takie dokumenty, ale potem odkryliśmy Excel :)

MMS-y do Excela. Z biegiem czasu struktura dokumentacji została przeniesiona do Excela. Został on oparty na wykazie sprzętu, do którego dołączone były harmonogramy konserwacji, listy kontrolne i linki do zaświadczeń o ukończeniu prac: 

System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu

Lista sprzętu wskazywała główne cechy i lokalizację w centrum danych:
System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu

Rezultatem jest rodzaj nawigatora, z którego można szybko zrozumieć, co dzieje się ze sprzętem i jego konserwacją. W razie potrzeby można zapoznać się z poszczególnymi aktami z harmonogramu konserwacji korzystając z linków:

System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu

Jeśli sumiennie prowadzisz dokument w Excelu, rozwiązanie jest całkiem odpowiednie dla małej serwerowni. Ale to także jest tymczasowe. Nawet jeśli będziemy korzystać z jednego klimatyzatora i robić konserwację raz w miesiącu, przez pięć lat nazbieramy setki błędów, a nasz Excel będzie puchnąć. Jeśli dodasz kolejny klimatyzator, jeden generator diesla, jeden UPS, musisz zrobić kilka arkuszy i połączyć je ze sobą. Im dłuższa historia, tym trudniej od razu wychwycić potrzebne informacje. 

Pierwszy „dorosły” system. W 2014 roku przeszliśmy pierwszy audyt Management & Operations według standardów Operational Sustainability opracowanych przez Uptime Institute. Przeszliśmy przez prawie ten sam program Excel, ale w ciągu roku znacznie go ulepszyliśmy: dodaliśmy linki do instrukcji i list kontrolnych dla inżynierów. Kontrolerzy uznali, że ten format jest całkiem wykonalny. Udało im się prześledzić wszystkie operacje na sprzęcie i upewnić się, że informacje są aktualne, a procesy działają. Audyt przeszedł z hukiem, zdobywając 92 punkty na 100 możliwych.

Pojawiło się pytanie: jak dalej żyć. Zdecydowaliśmy, że potrzebujemy „poważnego” MMS-a, przejrzeliśmy kilka płatnych programów, ale ostatecznie postanowiliśmy sami napisać oprogramowanie. Ten sam Excel został wykorzystany jako rozszerzona specyfikacja techniczna. Oto zadania jakie stawiamy dla MMS-ów. 

To, czego chcieliśmy od MMS-a

W większości przypadków MMS to zbiór katalogów i raportów. Nasza hierarchia katalogów wygląda mniej więcej tak:

System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu

Pierwszą książką referencyjną na najwyższym poziomie jest lista budynków: maszynownie, magazyny, w których znajduje się sprzęt.

System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu

Następny przychodzi lista sprzętu inżynieryjnego. Zebraliśmy go według następujących systemów:

  • System klimatyzacji: klimatyzatory, agregaty chłodnicze, pompy.
  • System zasilania: UPS, agregaty prądotwórcze na olej napędowy, tablice rozdzielcze.

System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu
Dla każdego urządzenia zbieramy podstawowe dane: typ, model, numer seryjny, dane producenta, rok produkcji, data uruchomienia, okres gwarancji.

Kiedy już wypełnimy listę wyposażenia, sporządzamy ją programu konserwacji: jak i jak często przeprowadzać konserwację. W programie konserwacji opisujemy zestaw operacjina przykład: wymień tę baterię, dostosuj działanie określonej części i tak dalej. Opisujemy operacje w osobnym podręczniku. Jeśli operacja jest powtarzana w różnych programach, nie ma potrzeby opisywania jej za każdym razem od nowa - po prostu bierzemy gotową z podręcznika:

System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu
Operacje „Zmiana nastaw temperatury” i „Wymiana szybkozłączek kablowych” będą wspólne dla agregatów chłodniczych i systemów klimatyzacyjnych tego samego producenta.

Teraz dla każdego sprzętu możemy stworzyć harmonogram przeglądów. Program konserwacji łączymy z konkretnym sprzętem, a system sam sprawdza w programie, jak często należy wykonywać konserwacje i oblicza czas pracy od daty uruchomienia:
System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchuMożesz nawet zautomatyzować przygotowanie takiego harmonogramu, korzystając z formuł Excela.

Nie do końca oczywista historia: prowadzimy osobny katalog praca odroczona. Harmonogram jest zgodny z harmonogramem, ale wszyscy jesteśmy żywymi ludźmi i rozumiemy, że wszystko może się zdarzyć. Na przykład materiał eksploatacyjny nie dotarł na czas i usługę należy przełożyć o tydzień. Jest to normalna sytuacja, jeśli będziesz mieć na nią oko. Prowadzimy statystyki dotyczące prac odroczonych i niezakończonych i staramy się, aby anulowania prac konserwacyjnych dążyły do ​​zera.  

Dla każdego sprzętu prowadzone są także statystyki wypadków i nieplanowanych napraw. Wykorzystujemy statystyki do planowania zakupów i znajdowania słabych punktów w infrastrukturze. Jeśli np. trzy razy z rzędu spali się sprężarka w tym samym miejscu, jest to sygnał do poszukiwania przyczyny awarii.   

System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu
Historia konserwacji i napraw zgromadziła się na przestrzeni 4 lat dla konkretnego klimatyzatora.

Poniższy poradnik jest części zamienne. Uwzględnia, jakie materiały eksploatacyjne są potrzebne do sprzętu, gdzie i w jakiej ilości są przechowywane. Tutaj przechowujemy również informacje o terminach dostaw, aby lepiej planować przyjazdy do magazynu. 

Liczbę części zamiennych obliczamy na podstawie rocznych statystyk napraw przypadających na sztukę sprzętu. Dla wszystkich części zamiennych wskazujemy saldo minimalne: jakie minimalne części zamienne są potrzebne w każdym zakładzie. Jeżeli części zamienne się kończą, ich ilość w katalogu jest podświetlona:

System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchuMinimalna równowaga czujników wysokiego ciśnienia powinna wynosić co najmniej dwa, ale pozostał tylko jeden. Najwyższy czas złożyć zamówienie. 

Gdy tylko nadejdzie przesyłka z częściami zamiennymi, uzupełniamy katalog danymi z faktury i wskazujemy miejsce przechowywania. Od razu widzimy aktualny stan takich części zamiennych w magazynie: 
System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu

Prowadzimy odrębny katalog kontaktów. Wprowadzamy do niego dane dostawców i wykonawców realizujących konserwację: 

System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu

Do karty każdego wykonawcy-inżyniera dołączone są certyfikaty i grupy uprawnień elektrycznych. Sporządzając harmonogram, możemy zobaczyć, którzy specjaliści posiadają wymagane uprawnienia. 
System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu

Od czasu istnienia MMS-a praca z zezwoleniami na witryny uległa zmianie. Na przykład dodano dokumenty zawierające instrukcje metodologiczne dotyczące przeprowadzania konserwacji. Jeśli wcześniej zestaw operacji mieścił się w małej liście kontrolnej, szczegółowe instrukcje obejmują wszystko: jak się przygotować, jakie warunki są potrzebne i tak dalej.   

Opowie Ci teraz jak wygląda cały proces na przykładzie. aleksdropp

Jak wygląda konserwacja w MMS-ie?

Dawno, dawno temu prace wykonane dawno temu dokumentowano po fakcie. Po prostu przeprowadziliśmy konserwację i po niej podpisaliśmy protokół zakończenia prac. 99% serwerów tak robi, ale z doświadczenia wynika, że ​​to nie wystarczy. Aby o niczym nie zapomnieć, najpierw tworzymy zezwolenie na pracę. Jest to dokument opisujący pracę i warunki jej realizacji. Od tego zaczyna się każda konserwacja i naprawa w naszym systemie. Jak to się stało: 

  1. W harmonogramie remontów przyglądamy się kolejnym zaplanowanym pracom:
    System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu
  2. Tworzymy nowe zezwolenie. Wybieramy wykonawcę utrzymania ruchu, który z naszej strony zarządza procesem i koordynuje z nami prace. Wskazujemy gdzie i kiedy będą odbywać się prace, wybieramy rodzaj sprzętu oraz program jaki będziemy realizować: 
    System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu
  3. Po zapisaniu karty przejdź do szczegółów. Wskazujemy wykonawcę i sprawdzamy, czy posiada on uprawnienia do wykonania wymaganych prac. W przypadku braku pozwolenia pole jest podświetlone na czerwono i nie można wystawić zlecenia pracy:  
    System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu
  4. Wskazujemy konkretny sprzęt. W zależności od rodzaju pracy w programie utrzymania ruchu przewidziane są czynności wstępne, np.: zamówienie paliwa na plac budowy, zaplanowanie odprawy wprowadzającej dla inżynierów i powiadomienie współpracowników.Lista czynności wyświetli się automatycznie, ale możemy dodawać własne pozycje , wszystko jest dość elastyczne:
    System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu
  5. Zapisujemy zamówienie, wysyłamy pismo do osoby zatwierdzającej i czekamy na jego odpowiedź:
    System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu
  6. Po przyjeździe inżyniera drukujemy zlecenie pracy bezpośrednio z systemu.
    System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu
  7. Zlecenie pracy zawiera listę kontrolną operacji dla programu konserwacji. Menedżer pracy w centrum danych kontroluje konserwację i zaznacza pola.
    System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu

    Przez jakiś czas wystarczała krótka lista kontrolna. Następnie wprowadziliśmy instrukcje metodologiczne, czyli MOP (metoda postępowania). Za pomocą takiego dokumentu każdy certyfikowany inżynier może sprawdzić dowolny sprzęt. 

    Wszystko jest opisane tak szczegółowo, jak to możliwe, aż po szablony powiadomień i warunki pogodowe: 

    System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu

    Wydrukowany dokument wygląda następująco:

    System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu

    Według standardów Uptime Institute taki MOP powinien obowiązywać dla wszystkich operacji. To dość duża ilość dokumentacji. Bazując na doświadczeniu, zalecamy rozwijanie ich stopniowo, np. jeden MOP miesięcznie.

  8. Po zakończeniu pracy inżynier wystawia świadectwo ukończenia. Skanujemy go i dołączamy do karty wraz ze skanami innych dokumentów: zezwolenia i MOP. 
    System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu
  9. W zleceniu pracy odnotowujemy wykonaną pracę: 
    System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu
  10. Karta sprzętu zawiera historię konserwacji:
    System MMS w centrum danych: jak zautomatyzowaliśmy zarządzanie utrzymaniem ruchu

Pokazaliśmy, jak teraz działa nasz system. Ale prace nad MMS-em się nie skończyły: w planach jest już kilka ulepszeń. Na przykład teraz przechowujemy wiele informacji w skanach. W przyszłości planujemy, aby konserwacja przebiegała bez użycia papieru: podłącz aplikację mobilną, w której inżynier będzie mógł zaznaczyć pola i natychmiast zapisać informacje na karcie. 

Oczywiście na rynku dostępnych jest wiele gotowych produktów o podobnych funkcjach. Chcieliśmy jednak pokazać, że nawet niewielki plik Excel można przekształcić w pełnoprawny produkt. Możesz to zrobić sam lub zaangażować wykonawców, najważniejsze jest odpowiednie podejście. I nigdy nie jest za późno, żeby zacząć.

Źródło: www.habr.com