Ahoj, Habr! Jsem Taras Čirkov, ředitel datového centra Linxdatacenter v Petrohradě. Dnes vám na našem blogu povím o tom, jakou roli hraje údržba čistoty v prostorách moderního datového centra pro zajištění jeho normálního provozu, jak ji správně měřit, dosahovat a udržovat na potřebné úrovni.
Aktivátor čistoty
Jednou se na nás obrátil zákazník datového centra v Petrohradě s dotazem na vrstvu prachu v dolní části regálu s vybavením. To bylo výchozím bodem našeho vyšetřování, jehož první hypotézy předpokládaly následující:
- prach se dostává do serveroven po podrážkách obuvi zaměstnanců a klientů datového centra,
- je vnášen systémem ventilace,
- a obojí.
Modré návleky – na smetiště historie
Začali jsme u obuvi. V té době se problém čistoty řešil tradičním způsobem: kontejner s návleky u vchodu. Účinnost přístupu však nedosahovala požadované úrovně: kontrola používání návleků hosty datového centra byla náročná a formát sám o sobě byl nepohodlný. Rychle jsme se vzdali tradičního řešení ve prospěch pokročilejší technologie ve formě automatizované návlekové mašiny. První nainstalovaný model takového zařízení selhal: stroj příliš často trhal návleky při pokusu je nasadit na obuv, jeho používání spíše rozčilovalo než usnadňovalo život.
Oslovení s zkušenostmi kolegů ve Varšavě a Moskvě nevyřešilo úkol, a nakonec jsme se rozhodli pro technologii připevnění termofólie na obuv. Pomocí termofólie lze nasadit "návleky" na obuv s jakoukoli podrážkou – až po tenký dámský podpatek. Ano, fólie také občas sklouzává, ale mnohem méně často než klasické modré návleky, a sama technologie je mnohem pohodlnější pro návštěvníky a modernější. Další pro mě důležitý plus – fólie snadno pokrývá i ty největší velikosti obuvi, na rozdíl od tradičních návleků, které se trhají při pokusu je nasadit na velikost 45. Pro větší modernost procesu jsme nainstalovali odpadkové koše s automatickým otevřením víka na základě pohybového senzoru.
Tento proces vypadá takto:
Hosté si novinku okamžitě oblíbili.
Prach ve větru
Uklidili jsme nejzřetelnější kanál možného znečištění prostoru, pustili jsme se do jemnějších materiálů – do vzduchu. Je velmi pravděpodobné, že značná část prachu se dostává do serveroven skrze ventilaci kvůli nedostatečné filtraci, nebo je zanášena z ulice. Nebo to snad všechno spočívá v nízké kvalitě úklidu? Vyšetřování pokračovalo.
Rozhodli jsme se změřit obsah částic ve vzduchu uvnitř datového centra a pozvali jsme laboratoř specializující se na kontrolu kvality vzduchu v čistých prostorách speciálního určení, aby tyto práce provedla.
Zaměstnanci laboratoře změřili počet kontrolních bodů (20), sestavili plán odběru vzorků pro sledování dynamiky a vytvoření co nejpřesnějšího obrazu. Náklady na celý proces měření laboratoří činily přibližně 1 milion rublů, což se nám zdálo zcela neefektivní, ale přineslo to řadu nápadů pro vlastní realizaci. Zároveň se ukázalo, že laboratoř je dobrá, ale analýzy je potřeba provádět dynamicky a neustále se obracet na jejich služby je krajně nepohodlné.
Když jsme se podívali na plánované činnosti laboratoře, rozhodli jsme se podívat se na praktičtější zařízení pro vlastní práci. V konečném výsledku jsme našli potřebný nástroj pro tuto úlohu – analyzátor kvality vzduchu. Takovýto:
Přístroj ukazuje obsah částic různého průměru (v mikrometrech).
Přepracováváním standardů
Tento přístroj analyzuje množství částic, teplotu, vlhkost a ukazuje výsledky ve vyhovujících měrných jednotkách podle standardů ISO pro tento parametr. Na displeji jsou viditelné úrovně obsahu částic s různými průměry ve vzorku vzduchu.
Současně jsme podezřívali filtry: v té době jsme používali uvnitř serveroven modely filtrů G4. Tento model zajišťuje hrubé čištění vzduchu, takže jsme připouštěli pravděpodobnost propouštění částic, které vedly k znečištění. Rozhodli jsme se zakoupit na zkoušku filtry jemného čištění F5, používané v klimatizačních a ventilačních systémech jako filtry druhého stupně čištění (dočištění).
Vyšetřování bylo provedeno – můžeme přistoupit k kontrolním měřením. Jako orientační bod jsme se rozhodli použít požadavky normy ISO 14644-1 na počet suspendovaných částic.
Klasifikace čistých prostor podle počtu suspendovaných částic.
Na první pohled se zdá, že to stačí měřit a porovnávat podle tabulky. Ale není to tak jednoduché: v praxi se ukázalo jako velmi obtížné najít standardy čistoty vzduchu pro serverové místnosti datových center. Výslovně to nikde není uvedeno, žádná organizace nebo oborový institut to nepopsal. Až na interním fóru Uptime Inside Track (přístup mají osoby, které prošly školením podle programů Uptime Institute) byla nalezena samostatná diskuse na toto téma. Na základě jejího prostudování jsme se přiklonili k orientaci na normu ISO 8 – předposlední v klasifikaci.
První měření ukázala, že jsme se podceňovali – výsledky kontrol vnitřního vzduchu splnily požadavky normy ISO 5 ve vnitřních prostorách, což výrazně překročilo předepsané normy účastníků Uptime Inside Track. A to s velkou rezervou. Máme datové centrum, ne biologickou laboratoř, ale aby koncentrace částic ve vzduchu byla rovna ISO 8 – to musí být objekt minimálně třídy „cementárna“. A jak lze tento standard použít na datové centrum – to není moc jasné. Přitom výsledek na ISO 5 jsme získali měřením při filtraci vzduchu filtry G4. To znamená, že prach se do racků vzduchem dostat nemůže, filtry F5 se ukázaly jako nadbytečné, a ani nebyly použity.
Negativní výsledek – také výsledek: pokračovali jsme v hledání příčiny kontaminace v jiných směrech a kontrolu kvality vzduchu jsme zahrnuli do čtvrtletních kontrol, v kombinaci s kontrolami senzorů BMS ověřenými zařízeními (požadavky ISO 9000 a audity klientů).
Níže – příklad zprávy, která se vyplňuje na základě dat získaných při měření. Pro větší přesnost se měření provádějí dvěma přístroji – Testo 610 a senzorem BMS. V záhlaví tabulky jsou uvedeny mezní hodnoty pro přístroje. Odchylka uvedených parametrů je automaticky zvýrazněna barvou pro usnadnění identifikace problematických oblastí nebo časových období.
Máme to všechno jasné: rozdíl v měřeních přístrojů je minimální a koncentrace částic je mnohem nižší než stanovený limit.
Cez zadný vchod
Protože do čistých prostorů existovaly i další vstupy kromě hlavního vchodu pro klienty, kde jsme umístili stroj na obuv, byla stále potřeba vyloučit vstup nečistot do datacentra přes ně.
Nosit/zhazovat návleky na obuv během procedur vykládání vybavení je nepraktické, a proto jsme našli automat na čištění podrážek. Je to praktické, funkční, ale projevuje se lidský faktor v podobě neoprávněného přístupu k tomuto zařízení. V podstatě je to totéž jako s návleky na hlavním vstupu.
Pro vyřešení úkolu jsme začali hledat možnosti čištění, kterým se nedalo vyhnout: nejlépe si s tím poradily lepivé koberce s odnímatelnými vrstvami. Během autorizace u vstupních dveří se návštěvník nevyhnutelně postaví na takový koberec a odstraní přebytečný prach z podrážek svých bot.
Úklidové pracovnice každý den odstranují horní vrstvu takového koberce, celkem má 60 vrstev – to stačí přibližně na 2 měsíce.
Když jsem navštívil datové centrum Ericsson ve Stockholmu, mezi jiným jsem si všiml, jak se tam tyto problémy řeší: vedle odnímatelných vrstev se ve Švédsku používají také opakovaně použitelné antibakteriální koberce Dycem. Myšlenka se mi líbila kvůli možnosti opakovaného použití a možnosti zajistit větší plochu pokrytí.
Kouzelný antibakteriální koberec. Škoda, že to není letadlo, jinak by to stálo - vzhledem k té ceně!
Těžko jsme našli zástupce společnosti v Rusku a provedli jsme ocenění nákladů na řešení pro naše datové centrum. Nakonec jsme dostali částku téměř 100krát vyšší než řešení s vícivrstvými koberci – přibližně stejných 1 milion rublů, co i v projektu s měřeními čistoty vzduchu. Kromě toho se ukázalo, že je třeba používat speciální čistící prostředky, které samozřejmě mají pouze tento výrobce. Toto řešení také odpadlo, zůstali jsme u vícevrstvého variantu.
Ruční práce
Je třeba zvlášť zdůraznit, že všechny uvedené opatření neodvolávaly použití uklízeček. V rámci přípravy na certifikaci datového centra Linxdatacenter podle standardu Uptime Institute Management & Operations bylo nutné přesně regulovat činnost zaměstnanců úklidové služby v areálu datového centra. Byly vypracovány podrobné pokyny, které předepisují, kde, co a jakým způsobem je třeba dělat.
Několik úryvků z pokynů:
Jak je vidět, je popsáno vše, doslova každý aspekt práce v konkrétní místnosti, povolené čisticí prostředky, materiály atd. Nepotřebuje zůstat bez pozornosti žádný detail, ani ten nejmenší. Instruktáž – pod podpis každého zaměstnance úklidové služby. V serverovnách, elektroprostorách atd. se uklízí pouze v přítomnosti pověřených zaměstnanců datového centra, například dozorujícího inženýra.
Ale to ještě není všechno.
Také v seznamu opatření zajišťujících čistotu v datovém centru: obchůzky s vizuální kontrolou prostor, včetně týdenních kontrol skříní na přítomnost zbytků kabelů a obalů od zařízení a komponentů. Každý takový incident je zdokumentován, klient dostává oznámení o nutnosti odstranit porušení v co nejkratším čase.
Také pro vybalení a nastavení zařízení jsme vytvořili zvláštní místnost – to je také součástí úklidové politiky společnosti.
Dalším opatřením, které jsme čerpali z praxe Ericsson, je udržování trvalého podtlaku vzduchu v serverovnách: uvnitř prostor je tlak vyšší než venku, aby se zabránilo tahu dovnitř – o tomto řešení se budeme podrobněji zmiňovat v samostatném materiálu.
Nakonec jsme si pořídili roboty-asistenty pro prostory, které jsou vyloučeny z okruhu přístupných pro úklidový personál.
Mřížka nahoře nejenže poskytuje +10 k ochraně robotů, ale také zabraňuje jejich zadrhnutí pod vertikálními kabelovými žlaby skříní.
Nečekaná nález jako výstup.
Údržba čistoty v datovém centru je důležitá pro účinný provoz serverového a síťového vybavení, které nasává vzduch. Překročení povolených hodnot prašnosti vede k hromadění prachu na součástech a celkovému zvýšení teploty až o 1 stupeň Celsia. Prach snižuje účinnost chlazení, což může v ročním přepočtu generovat značné nepřímé náklady a ovlivnit spolehlivost zařízení jako celku.
Lze říci, že se jedná o teoretické předpoklady, avšak odborníci z Uptime Institute, kteří prováděli certifikaci datového centra Linxdatacenter podle standardu kvality provozu (Management & Operations), věnují údržbě čistoty naprosto zásadní pozornost. A je velmi potěšující obdržet na tomto poli nejvyšší hodnocení: nároky certifikace náš datový centr v Petrohradě výrazně převyšuje. Odborník institutu nás nazval "nejčistším datovým centrem, které kdy viděl", navíc naše datové centrum je používáno jako příklad řešení otázky čistoty serverových prostor. Také s lehkostí procházíme jakýmikoliv auditními kontrolami od klientů – ty nejnáročnější požadavky těch nejkapricióznějších klientů jsou překonávány.
Vraťme se na začátek příběhu. Odkud tedy pocházely nečistoty z oné stížnosti na začátku článku? Ta část racku klienta, která vedla k zahájení celého projektu "údržba čistoty v datovém centru", byla znečištěna již od okamžiku dovozu a instalace racku do datového centra. Klient rack před jeho zavedením do serverové místnosti nevyčistil – při kontrole sousedních racků, instalovaných ve stejné době, se ukázalo, že tam je s prachem stejná situace. Tato situace posloužila jako podnět k přidání bodu kontroly čistoty do klientského checklistu pro instalaci racku. Na pravděpodobnost podobných situací se také nikdy nesmí zapomínat – varovaný je tedy chráněný. To je vše o "čistotě a disciplině" v našem datovém centru, v příštím článku se zmíním o tlakoměrech, a zatím se ptejte v komentářích.
Zdroj: habr.com
