Bună, Habr! Eu sunt Taras Chirkov, directorul centrului de date Linxdatacenter din Sankt Petersburg. Astăzi, în blogul nostru, voi discuta despre rolul pe care îl joacă menținerea curățeniei în incintă pentru funcționarea normală a unui centru de date modern, cum să o măsurăm corect, să o atingem și să o menținem la nivelul dorit.
Declanșatorul curățeniei
Odată, un client al centrului nostru de date din Sankt Petersburg ne-a contactat în legătură cu un strat de praf în partea de jos a rackului cu echipamente. Aceasta a fost punctul de plecare al investigației, primele ipoteze fiind următoarele:
- praful pătrunde în sălile serverului prin tălpile încălțămintei angajaților și clienților centrului de date,
- este adus prin sistemul de ventilație,
- și ambele.
Botoșii albaștri – la gunoiul istoriei
Am început cu încălțămintea. La acel moment, problema curățeniei era rezolvată în mod tradițional: un recipient cu botoși la intrare. Eficiența abordării nu atingea nivelul dorit: era greu să controlăm utilizarea lor de către vizitatorii centrului de date, iar formatul – incomod. Ne-am dat repede seama că trebuia să alegem tehnologii mai avansate sub formă de mașină de botoși. Prima model instalat la noi a eșuat: masina rupea prea des botoșii în încercarea de a-i pune pe încălțăminte, utilizarea ei devenind mai deranjantă decât utilă.
Consultarea cu colegii din Varșovia și Moscova nu a rezolvat problema, iar în final s-a decis să se opteze pentru tehnologia de termosudare a peliculei pe încălțăminte. Cu ajutorul peliculei termice, botoșii pot fi puși pe încălțăminte cu orice tip de talpă – inclusiv cu tocuri subțiri feminine. Da, pelicula poate să alunece, dar mai rar decât botoșii clasici albaștri, iar tehnologia în sine este mult mai convenabilă pentru vizitatori și mai modernă. Un alt avantaj (pentru mine) – pelicula acoperă cu ușurință cele mai mari dimensiuni de încălțăminte, spre deosebire de botoșii tradiționali, care se rup când încercăm să-i punem pe numărul 45. Pentru un plus de modernitate, am instalat coșuri de gunoi cu deschidere automată a capacului prin senzor de mișcare.
Acest proces arată astfel:
Vizitatorii au apreciat imediat inovația.
Praful pe vânt
Începând cu cel mai evident canal de contaminare a spațiului, ne-am concentrat asupra unor aspecte mai subtile – aerul. Este foarte probabil ca o parte semnificativă a prafului să pătrundă în servere prin ventilație din cauza filtrării insuficiente sau să fie adus din exterior. Sau poate problema este calitatea slabă a curățeniei? Investigația a continuat.
Am decis să facem măsurători ale concentrației de particule din aerul din interiorul centrului de date și am invitat o laborator specializat în monitorizarea calității aerului în încăperi curate de utilizare specială pentru a efectua aceste lucrări.
Angajații laboratorului au măsurat numărul de puncte de control (20), au elaborat un program pentru colectarea probelor, urmărind astfel dinamica și crearea unei imagini cât mai precise. Costul întregului proces de măsurare realizat de laborator a fost de aproximativ 1 milion de ruble, ceea ce ni s-a părut total nesemnificativ, dar a oferit o serie de idei pentru realizări autonome. În același timp, a devenit clar că laboratorul este util, dar analizele trebuie efectuate în dinamică și apelarea constantă la serviciile lor este extrem de incomod.
Privind planurile acțiunilor laboratorului, am decis să căutăm dispozitive mai utilitare pentru lucru autonom. În cele din urmă, am reușit să găsim instrumentul necesar pentru această sarcină – un analizator de calitate a aerului. Iată-l:
Dispozitivul măsoară concentrația particulelor de diferite dimensiuni (în microni).
Revizuind standardele
Această unitate analizează numărul de particule, temperatura, umiditatea și afișează rezultatele în unități de măsură conform standardelor ISO pentru acest parametru. Pe ecran sunt vizibile nivelurile de concentrație a particulelor cu diferite dimensiuni în proba de aer.
În același timp, am avut suspiciuni asupra filtrelor: la acel moment, foloseam modele de filtre G4 în interiorul camerelor serverelor. Acest model asigură o filtrare grosieră a aerului, așa că am acceptat posibilitatea de a permite pătrunderea particulelor care provoacă contaminare. Am decis să achiziționăm pe probă filtre de finețe F5, folosite în sisteme de climatizare și ventilație ca filtre de a doua etapă de filtrare (pre-filtrare).
Investigația a fost efectuată – putem începe măsurătorile de control. Ca referință, s-a decis să se utilizeze cerințele standardului ISO 14644-1 privind numărul de particule suspendate.
Clasificarea camerelor curate în funcție de numărul de particule suspendate.
Ar părea că este simplu – măsori și compari cu tabelul. Dar nu este deloc atât de simplu: în practică, s-a dovedit destul de dificil să găsești standardele pentru curățenia aerului în camerele serverelor din centrele de date. Acest lucru nu este specificat în mod explicit de nicio organizație sau institut de branșă. Și doar pe forumul intern Uptime Inside Track (accesibil persoanelor care au urmat cursurile Institute Uptime) a fost găsită o discuție separată pe această temă. Ca urmare a studierii acesteia, s-a convenit să ne orientăm după standardul ISO 8 – penultimul din clasament.
Primele măsurători au arătat că ne subestimam – rezultatele verificărilor aerului intern au arătat o conformitate cu cerințele ISO 5 în interioarele camerelor, ceea ce a depășit semnificativ normele dorite de participanții Uptime Inside Track. În acest caz – cu un mare surplus. Avem un centru de date, nu un laborator biologic, desigur, dar pentru ca concentrația de particule în aer să se încadreze în ISO 8 – acesta ar trebui să fie un obiect de clasă, minimum, „fabrica de ciment”. Și cum se poate aplica același standard unui centru de date – nu este foarte clar. În același timp, rezultatul pe ISO 5 l-am obținut măsurând aerul prin filtre G4. Asta înseamnă că murdăria nu poate pătrunde în rack-uri prin aer, filtrele F5 s-au dovedit a fi excesive și nu au fost utilizate.
Un rezultat negativ este tot un rezultat: am continuat căutările cauzei poluării în alte direcții, iar controlul calității aerului a fost inclus în verificările trimestriale, combinându-l cu verificările senzorilor BMS prin dispozitive verificate (cerințele ISO 9000 și auditurile clienților).
Mai jos este un exemplu de raport, care este completat pe baza datelor obținute din măsurători. Pentru o precizie mai mare, măsurătorile sunt efectuate cu două aparate – Testo 610 și un senzor BMS. În antetul tabelului sunt specificate valorile limită pentru aparate. Abaterea parametrilor specificați este evidențiată automat cu o culoare pentru a ușura identificarea zonelor sau perioadelor problematice.
La noi totul este clar: diferența între indicațiile aparatelor este minimă, iar concentrația de particule este mult mai mică decât limita acceptată.
Prin intrarea laterală
Deoarece în spațiile curate existau și alte intrări pe lângă intrarea principală pentru clienți, unde am instalat o mașină de băi, a rămas necesitatea de a preveni pătrunderea murdăriei în datacenter prin aceste intrări.
A purta/scoate botoșii în timpul procedurilor de descărcare a echipamentului este inconfortabil, așa că am găsit un aparat pentru curățarea talpilor. Este convenabil, funcțional, dar influențat de factorul uman prin lipsa de obligație de a folosi acest aparat. Practic, este același lucru cu botoșii de la intrarea principală.
Pentru a rezolva problema, am început să căutăm opțiuni de curățare de la care nu ne putem abate: cele mai eficiente erau covoarele lipicioase cu straturi detașabile. În timpul autorizării la ușile de intrare, vizitatorul trebuie să stea pe un astfel de covor, îndepărtând praful din talpa încălțămintei.
Îngrijitoarele îndepărtează stratul superior al acestui covor în fiecare zi, având în total 60 de straturi – suficiente pentru aproximativ 2 luni.
Vizitând datacenter-ul Ericsson din Stockholm, am observat, printre altele, cum rezolvă aceste probleme acolo: pe lângă straturile detașabile, în Suedia se folosesc covoare antibacteriene reutilizabile Dycem. Ideea mi-a plăcut datorită principiului de reutilizare și a posibilității de a asigura o suprafață de acoperire mai mare.
Covorul antibacterian magic. Într-adevăr, ar fi fost bine să fie un avion, având în vedere prețul!
Cu greu am găsit în Rusia reprezentanți ai companiei și am evaluat costul soluției pentru datacenter-ul nostru. În cele din urmă, am primit o cifră aproape de 100 de ori mai mare decât soluția cu covoare multistrat – aproximativ aceeași sumă de 1 milion de ruble, cât și în proiectul cu măsurători ale purității aerului. În plus, s-a dovedit necesitatea utilizării de produse speciale pentru curățare, disponibile doar de la acest producător. Această soluție a fost de asemenea eliminată, oprindu-ne la varianta multistrat.
Muncă manuală
Este important de menționat că măsurile menționate nu au anulat utilizarea muncii curățeniei. În pregătirea pentru certificarea datacenter-ului Linxdatacenter conform standardului Uptime Institute Management & Operations, a fost necesar să se reglementeze clar acțiunile angajaților serviciului de curățenie pe teritoriul datacenter-ului. Au fost elaborate instrucțiuni detaliate care stipulează unde, ce și în ce mod trebuie să acționeze.
Câteva extrase din instrucțiune:
După cum se poate observa, se detaliază totul, practic fiecare aspect al muncii în încăperile specifice, agenții de curățare permisi și materiale etc. Nici un detaliu, nici cel mai mic, nu rămâne neobservat. Instrucțiile sunt semnate de fiecare angajat al serviciului. În încăperile de servere, în camerele electrice etc., curățenia se efectuează doar în prezența angajaților autorizați ai datacenter-ului, de exemplu, inginerului de serviciu.
Dar asta nu este tot
De asemenea, pe lista măsurilor care asigură curățenia în datacenter se numără: patrulări cu inspecții vizuale ale încăperilor, inclusiv inspecții săptămânale ale rack-urilor pentru a identifica eventuale resturi de cabluri, ambalaje rămase de la echipamente și componente. Pentru fiecare incident de acest fel se deschide un caz, clientul primește o notificare cu privire la necesitatea remedierii abaterilor în cel mai scurt timp.
De asemenea, pentru despachetarea și configurarea echipamentului, am creat o cameră separată - aceasta este tot parte a politicii de curățenie a companiei.
O altă măsură pe care am împrumutat-o din practica Ericsson este menținerea unui nivel constant de presiune a aerului în încăperile serverelor: în interiorul acestora, presiunea este mai mare decât în afară, pentru a nu permite curentului să intre - despre această soluție vom povesti mai în detaliu într-un material separat.
În cele din urmă, ne-am dotat cu roboți asistenți pentru camerele care sunt excluse din lista celor accesibile personalului de curățenie.
Grilajul de sus oferă nu doar un plus de 10 la protecția robotului, ci îl ajută să nu rămână blocat sub canalele verticale de cabluri ale rack-urilor.
Descoperire neașteptată ca concluzie
Curățenia în data center este esențială pentru funcționarea echipamentului server și rețea, care atrage aer prin el. Depășirea nivelurilor admise de contaminare va duce la acumularea de praf pe componente și la o creștere totală a temperaturii de până la 1 grad Celsius. Praful reduce eficiența răcirii, ceea ce, pe parcursul unui an, ar putea genera costuri indirecte semnificative și, de asemenea, ar putea afecta fiabilitatea generală a obiectului.
S-ar putea spune că aceasta este o presupunere teoretică, dar experții de la Uptime Institute, care au realizat certificarea data center-ului Linxdatacenter conform standardului de calitate a managementului operațional (Management & Operations), acordă o atenție deosebită curățeniei. Și a fost cu atât mai plăcut să primim evaluări atât de elogioase în acest domeniu: cerințele de certificare sunt cu mult depășite de data center-ul nostru din Sankt Petersburg. Expertul institutului ne-a numit „cel mai curat data center pe care l-a văzut”, iar mai mult, data center-ul nostru este utilizat de Uptime ca exemplu pentru soluționarea problemelor de curăție a sălilor serverului. De asemenea, trecem cu ușurință orice audit al clienților pe această dimensiune – cele mai stricte cerințe ale celor mai pretențioși clienți sunt satisfăcute cu ușurință.
Să ne întoarcem la începutul poveștii. De unde au provenit contaminările legate de plângerea menționată la începutul articolului? Partea rack-ului clientului care a dus la lansarea întregului proiect „curățenia în data center” a fost contaminată încă de la momentul introducerii și instalării rack-ului în data center. Clientul nu a curățat rack-ul înainte de a-l aduce în sala serverului - la verificarea rack-urilor învecinate, instalate în același timp, s-a constatat că și acolo situația cu praful era la fel. Această situație a fost un motiv pentru adăugarea unui punct de control al curățeniei în lista de verificare a instalării rack-ului. Nu trebuie niciodată să uităm de probabilitatea unor astfel de lucruri = avertizat, înseamnă că ești înarmat. Aceasta este totul despre „curățenie și dictatură” în data center-ul nostru; în articolul următor voi vorbi despre senzorii de presiune, iar până atunci puneți întrebări în comentarii.
Sursa: habr.com
