Dobrý den, Habr! Jsem Taras Chirkov, ředitel datového centra Linxdatacenter v St. Petersburgu. A dnes v našem blogu budu mluvit o tom, jakou roli hraje udržování čistoty místností v běžném provozu moderního datového centra, jak ji správně měřit, dosahovat a udržovat na požadované úrovni.
Spustit čistotu
Jednoho dne nás kontaktoval klient datového centra v Petrohradě kvůli vrstvě prachu na dně stojanu na vybavení. To se stalo výchozím bodem vyšetřování, jehož první hypotézy naznačovaly následující:
- prach proniká do serveroven z podrážek bot zaměstnanců datových center a klientů,
- přivedeno ventilačním systémem,
- oba.
Modré návleky na boty – poslány na smetiště dějin
Začali jsme botami. Problém čistoty se tehdy řešil tradičním způsobem: kontejner s návleky na boty u vchodu. Efektivita přístupu nedosáhla požadované úrovně: bylo obtížné kontrolovat jejich používání hosty datového centra a samotný formát byl nepohodlný. Byly rychle opuštěny ve prospěch pokročilejší technologie v podobě stroje na návleky na boty. První model takového zařízení, který jsme nainstalovali, selhal: stroj příliš často trhal návleky na boty, když se je snažil nazout, jeho používání bylo spíše otravné než usnadňování života.
Obrácení na zkušenosti kolegů ve Varšavě a Moskvě problém nevyřešilo a nakonec padla volba ve prospěch technologie natavování tepelné fólie na boty. Pomocí termofólie můžete nasadit „návleky na boty“ na boty s jakoukoli podrážkou – dokonce i na tenkém dámském podpatku. Ano, fólie také občas klouže, ale mnohem méně často než klasické modré návleky na boty a samotná technologie je pro návštěvníka mnohem pohodlnější a modernější. Dalším důležitým (pro mě) plusem je, že fólie snadno zakryje největší velikosti bot, na rozdíl od tradičních návleků na boty, které se při pokusu nasadit na velikost 45 trhají. Aby byl proces modernější, nainstalovali zásobníky s automatickým otevíráním víka pomocí pohybového senzoru.
Proces vypadá takto:
Hosté inovaci okamžitě ocenili.
Prach ve větru
Když jsme dali do pořádku nejzjevnější kanál možného znečištění vesmíru, chopili jsme se jemnějších záležitostí – vzduchu. Je pravděpodobné, že značná část prachu se dostává do serveroven ventilací v důsledku nedostatečné filtrace nebo je přinášena z ulice. Nebo je to všechno o špatné kvalitě čištění? Vyšetřování pokračovalo.
Rozhodli jsme se provést měření obsahu částic ve vzduchu uvnitř datového centra a k provedení této práce jsme pozvali laboratoř specializující se na monitorování kvality vzduchu ve speciálních čistých prostorách.
Pracovníci laboratoře změřili počet kontrolních bodů (20) a vytvořili plán odběru vzorků pro sledování dynamiky a vytvoření co nejpřesnějšího obrazu. Náklady na celý proces laboratorního měření byly asi 1 milion rublů, což se nám zdálo zcela nepraktické, ale dalo nám to řadu nápadů pro nezávislou implementaci. Po cestě se ukázalo, že laboratoř je dobrá, ale analýzy musí být prováděny dynamicky a neustále se uchylovat k jejich službám je krajně nepohodlné.
Po pohledu na plánované činnosti laboratoře jsme se rozhodli poohlédnout se po utilitárnějších zařízeních pro samostatnou práci. Díky tomu se nám podařilo najít nástroj nezbytný pro tento úkol – analyzátor kvality ovzduší. Takhle:
Zařízení ukazuje obsah částic různých průměrů (v mikrometrech).
Předefinování standardů
Toto zařízení analyzuje počet částic, teplotu, vlhkost a zobrazuje výsledky v jednotkách měření podle norem ISO pro tento parametr. Displej zobrazuje úrovně částic s různými průměry ve vzorku vzduchu.
Zároveň udělali chybu s filtry: v té době používali modely filtrů G4 uvnitř serveroven. Tento model poskytuje hrubé čištění vzduchu, takže se předpokládala možnost chybějících částic vedoucích ke znečištění. Rozhodli jsme se pro testování zakoupit jemné filtry F5, které se používají v klimatizačních a ventilačních systémech jako filtry druhého stupně (dočištění).
Šetření bylo provedeno - můžete zahájit kontrolní měření. Jako vodítko jsme se rozhodli použít požadavky normy ISO 14644-1 na počet suspendovaných částic.
Klasifikace čistých prostor podle počtu suspendovaných částic.
Zdálo by se - změřte a porovnejte podle tabulky. Ale ne všechno je tak jednoduché: v praxi se ukázalo jako poměrně obtížné najít standardy čistoty vzduchu pro serverové místnosti datových center. To není výslovně uvedeno nikde, žádnou organizací nebo průmyslovým institutem. A pouze na interním fóru Uptime Inside Track (přístup k němu mají osoby, které absolvovaly školení v programech Uptime Institute) byla na toto téma samostatná diskuze. Na základě výsledků jejího studia jsme se přiklonili k zaměření na normu ISO 8 - předposlední v klasifikaci.
Hned první měření ukázala, že jsme se podcenili – výsledky interních vzduchových testů ukázaly splnění požadavků ISO 5 ve vnitřních prostorách, což výrazně překročilo standardy požadované účastníky Uptime Inside Track. Přitom s velkou rezervou. Máme datové centrum, samozřejmě ne biologickou laboratoř, ale aby se koncentrace částic ve vzduchu rovnala ISO 8, musí to být objekt minimálně třídy „cementovny“. A jak lze stejný standard aplikovat na datové centrum, není příliš jasné. Výsledek při ISO 5 jsme přitom získali měřením při filtraci vzduchu filtry G4. To znamená, že prach se nemůže dostat do stojanů vzduchem, filtry F5 se ukázaly být nadbytečné a nebyly ani použity.
Výsledkem je i negativní výsledek: pokračovali jsme v pátrání po příčině znečištění v dalších směrech a do čtvrtletních kontrol byl zařazen monitoring kvality ovzduší spojený s kontrolami BMS čidel ověřenými zařízeními (požadavky ISO 9000 a zákaznické audity).
Níže je uveden příklad zprávy, která je vyplněna na základě dat získaných během měření. Pro větší přesnost se měření provádí dvěma přístroji – Testo 610 a BMS senzorem. V záhlaví tabulky jsou uvedeny mezní hodnoty pro zařízení. Odchylky ve specifikovaných parametrech jsou automaticky barevně zvýrazněny pro usnadnění identifikace problémových oblastí nebo časových úseků.
U nás je vše jasné: rozdíl v ukazatelích zařízení je minimální a koncentrace částic je mnohem nižší než maximální limit.
Zadním vchodem
Vzhledem k tomu, že kromě hlavního zákaznického vchodu, kde jsme instalovali stroj na návleky na boty, existovaly další vchody do čistých prostor, stále bylo potřeba zabránit tomu, aby se přes ně do datového centra dostaly nečistoty.
Při vykládání vybavení je nepohodlné nasazovat/sejmout návleky na boty, proto jsme našli automatický stroj na čištění podrážek. Pohodlné, funkční, ale lidský faktor to ovlivňuje v podobě volitelného přístupu k tomuto zařízení. V podstatě stejné jako s návleky na boty u hlavního vchodu.
Aby problém vyřešili, začali hledat možnosti čištění, kterým se nedalo vyhnout: nejlépe si s tím poradily lepivé koberce s oddělitelnými vrstvami. Při autorizačním procesu u vstupních dveří musí návštěvník stát na takové podložce a odstraňovat přebytečný prach z podrážek bot.
Čističe každý den odtrhnou vrchní vrstvu takového koberce, celkem je 60 vrstev - vystačí na cca 2 měsíce.
Při návštěvě datového centra Ericsson ve Stockholmu jsem si mimo jiné všiml, jak se tam tyto problémy řeší: spolu s odtrhávacími vrstvami se ve Švédsku používají opakovaně použitelné antibakteriální koberce Dycem. Tento nápad se mi líbil kvůli principu opětovné použitelnosti a schopnosti poskytnout velkou plochu pokrytí.
Kouzelný antibakteriální koberec. Je to škoda, ne letadlo, ale mohlo být – za takovou a takovou cenu!
S obtížemi jsme našli zástupce společnosti v Rusku a vyhodnotili náklady na řešení pro naše datové centrum. V důsledku toho jsme dostali číslo, které bylo téměř 100krát dražší než řešení s vícevrstvými koberci - přibližně stejný 1 milion rublů jako v projektu s měřením čistoty vzduchu. Navíc se ukázalo, že je nutné používat speciální čisticí prostředky, přirozeně dostupné pouze od tohoto výrobce. Řešení také zmizelo samo, rozhodli jsme se pro vícevrstvou variantu.
Ruční práce
Zvláště bych chtěl upozornit na skutečnost, že všechna tato opatření nezrušila využívání pracovní síly uklízeček. V rámci přípravy na certifikaci datového centra Linxdatacenter dle standardu Uptime Institute Management & Operations bylo nutné jednoznačně regulovat jednání pracovníků úklidové služby na území datového centra. Byly vypracovány podrobné pokyny, které předepisovaly, kde, co a jak mají dělat.
Pár úryvků z návodu:
Jak vidíte, vše je předepsáno, doslova každý aspekt práce v konkrétní místnosti, čisticí prostředky, materiály atd. přijatelné pro použití. Žádný detail nezůstane bez dozoru, ani ten nejmenší. Pokyn – podepisuje každý servisní pracovník. V serverovnách, elektrických místnostech atd. jsou odstraněny pouze v přítomnosti oprávněných zaměstnanců datového centra, například ve službě.
Ale to není vše
Na seznamu opatření k zajištění čistoty v datovém centru jsou také zahrnuty: procházky s vizuální kontrolou prostor, včetně týdenních kontrol stojanů, aby se zjistily zbytky drátů, které v nich zůstaly, zbytky obalů ze zařízení a komponent. Pro každou takovou epizodu je otevřen incident a klient obdrží upozornění na nutnost co nejdříve odstranit porušení.
Také jsme vytvořili samostatnou místnost pro vybalení a nastavení zařízení - to je také součástí politiky úklidu společnosti.
Dalším opatřením, které jsme se naučili z praxe Ericssonu, je udržování konstantního tlaku vzduchu v serverovnách: tlak uvnitř místností je větší než venku, takže nedochází k průvanu – o tomto řešení si povíme podrobněji v samostatném článku.
Nakonec jsme si pořídili robotické asistenty pro prostory, které jsou vyloučeny ze seznamu těch, které mohou navštívit úklidový personál.
Mřížka nahoře nejenže dává +10 ochraně robota, ale také zabraňuje jeho uvíznutí pod svislými kabelovými žlaby stojanů.
Nečekaný nález jako závěr
Čistota v datovém centru je důležitá pro provoz serverového a síťového zařízení, které jím nasává vzduch. Překročení přípustných úrovní prachu bude mít za následek hromadění prachu na součástech a celkové zvýšení teploty až o 1 stupeň Celsia. Prach snižuje účinnost chlazení, což může mít za následek značné nepřímé náklady za rok a také ovlivnit odolnost proti poruchám zařízení jako celku.
Může se jednat o spekulativní předpoklad, ale odborníci Uptime Institute, kteří certifikovali datové centrum Linxdatacenter podle standardu kvality Management & Operations, věnují maximální pozornost čistotě. A ještě příjemnější bylo získat v této oblasti ta nejlichotivější hodnocení: naše datové centrum v Petrohradu vážně překračuje požadavky na certifikaci. Odborník z institutu nás nazval „nejčistším datovým centrem, jaké kdy viděl“, navíc naše datové centrum používá Uptime jako příklad, jak vyřešit problém čistých serveroven. Také na tento parametr snadno projdeme jakýmkoli klientským auditem - nejserióznější požadavky nejnáročnějších klientů jsou nadmíru uspokojeny.
Vraťme se na začátek příběhu. Kde se ta kontaminace vzala podle samotné stížnosti ze začátku článku? Část klientského racku, která byla důvodem ke spuštění celého projektu „čisté v datovém centru“, byla kontaminována od okamžiku importu a instalace racku do datového centra. Klient při přivezení do serverovny nevyčistil rack - při kontrole sousedních rozvaděčů instalovaných ve stejnou dobu se ukázalo, že tam je situace s prachem stejná. Tato situace si vyžádala přidání položky řízení čištění do klientského kontrolního seznamu instalace do racku. Nikdy bychom také neměli zapomínat na pravděpodobnost takových věcí = předem varován je předpažen. To vše je o „čistotě a diktatuře“ v našem datovém centru; v příštím článku budu mluvit o tlakových senzorech, ale zatím se ptejte v komentářích.
Zdroj: www.habr.com