Hej, Habr! Jag heter Taras Chirkov, chef för datacentret Linxdatacenter i Sankt Petersburg. Idag kommer jag att berÀtta i vÄr blogg om den roll som renhÄllning i lokalerna spelar för att ett modernt datacenter ska fungera ordentligt, hur man korrekt mÀter, uppnÄr och upprÀtthÄller renlighet pÄ rÀtt nivÄ.
Renlighetstrigger
En gÄng kontaktade en kund till datacentret i Sankt Petersburg oss angÄende ett lager av damm i den nedre delen av skÄpet med utrustning. Det blev startpunkten för vÄr utredning, vars första hypoteser föreslog följande:
- damm kommer in i serverhallarna via sulorna pÄ anstÀlldas och kunders skor,
- transporteras in genom ventilationssystemet,
- och bÄda.
BlĂ„a engĂ„ngsskydd â historia.
Vi började med skorna. Vid den tiden löstes rengöringsproblemet pÄ traditionellt sÀtt: en behÄllare med engÄngsskydd vid ingÄngen. Effektiviteten av tillvÀgagÄngssÀttet nÄdde inte önskad nivÄ: det var svÄrt att kontrollera anvÀndningen av dem av gÀsterna i datacentret, och sjÀlva formatet var oönskat. Vi gav snabbt upp till förmÄn för mer avancerad teknik i form av en skyddsmaskin. Den första modellen som installerades hos oss misslyckades: maskinen rev för ofta sönder skydden vid försök att sÀtta pÄ dem pÄ skorna, dess anvÀndning var mer irriterande Àn hjÀlpsam.
Att rĂ„dfrĂ„ga kollegor i Warszawa och Moskva löste inte problemet, och slutligen beslutades det att gĂ„ med teknologin för att smĂ€lta termofilm pĂ„ skorna. Med hjĂ€lp av termofilm kan man sĂ€tta pĂ„ "engĂ„ngsskydd" pĂ„ skor med vilken sula som helst â till och med pĂ„ tunna klackar. Ja, filmen kan ocksĂ„ glida av, men betydligt mer sĂ€llan Ă€n klassiska blĂ„ skydd, och sjĂ€lva tekniken Ă€r mycket mer bekvĂ€m och modern för besökare. En annan viktig (för mig) fördel Ă€r att filmen enkelt tĂ€cker de största skostorlekarna, till skillnad frĂ„n traditionella skydd som gĂ„r sönder vid försök att sĂ€tta pĂ„ dem pĂ„ storlek 45. För att öka moderniteten i processen installerade vi skrĂ€pkorgar med automatisk locköppning via rörelsesensor.
Denna process ser ut sĂ„ hĂ€r: Â
GĂ€sterna uppskattade snart nyheten.
Damm i vinden
Genom att ordna den mest uppenbara kanalen för potentiell förorening av utrymmet, började vi arbeta med mer subtila aspekter â luften. Det Ă€r helt möjligt att en betydande del av dammet kommer in i servrarna genom ventilationen pĂ„ grund av otillrĂ€cklig filtrering, eller att det bĂ€rs in utifrĂ„n. Eller kanske Ă€r det en frĂ„ga om bristande stĂ€dning? Utredningen fortsatte.
Vi beslutade att mÀta partikelhalten i luften inuti datacentret och inbjudna en laboratorium som specialiserar sig pÄ luftkvalitetskontroll i rena rum för att utföra dessa tester.
Laboratoriets personal mÀtte antalet kontrollpunkter (20), upprÀttade ett schema för provtagning för att följa dynamiken och skapa en sÄ exakt bild som möjligt. Kostnaden för hela mÀtprocessen utförd av laboratoriet uppgick till cirka 1 miljon rubel, vilket vi tyckte var helt oskÀligt, men det gav oss ett antal idéer för att sjÀlva genomföra mÀtningar. Samtidigt blev det klart att ett laboratorium Àr bra, men analyser mÄste göras kontinuerligt och det Àr extremt opraktiskt att stÀndigt vÀnda sig till deras tjÀnster.
NĂ€r vi sĂ„g pĂ„ de planerade aktiviteterna av laboratoriet, beslutade vi att titta pĂ„ mer praktiska enheter för eget bruk. Till slut lyckades vi hitta det verktyg som behövdes för denna uppgift â en luftkvalitetsanalysator. SĂ„ hĂ€r ser den ut:
Enheten visar innehÄllet av partiklar av olika diametrar (i mikrometer).
Genom att se över standarderna
Denna enhet analyserar mÀngden partiklar, temperatur, luftfuktighet och visar resultaten i mÄttenheter enligt ISO-standarder för denna parameter. PÄ displayen syns nivÄerna av partiklar med olika diametrar i luftprovet.
Parallellt misstÀnkte vi filtren: vid den tiden anvÀnde vi G4-filtreringsmodeller i serverutrymmen. Denna modell ger grov luftfiltrering, sÄ vi antog att det fanns en möjlighet att partiklar som ledde till förorening passerade. Vi beslöt att köpa F5-filtrer som prov, vilka anvÀnds i luftkonditionerings- och ventilationssystem som andra stegs filtrering (efterfiltrering).
Utredningen har genomförts â vi kan börja med kontrollmĂ€tningarna. Vi har valt att anvĂ€nda kravstandarden ISO 14644-1 för antalet svĂ€vande partiklar som referens.
Klassificering av rena rum baserat pÄ antalet svÀvande partiklar.
Det kan verka enkelt â mĂ€t och jĂ€mför med tabellen. Men allt Ă€r inte sĂ„ enkelt: i praktiken visade det sig vara ganska svĂ„rt att hitta luftstandarder för serverrum i datacenter. Det Ă€r ingenstans tydligt skrivet, av nĂ„gon organisation eller branschinstitut. Endast pĂ„ det interna forumet Uptime Inside Track (dit endast personer som genomgĂ„tt utbildningar av Uptime Institute har tillgĂ„ng) fanns en separat diskussion om detta Ă€mne. Efter att ha studerat den lutade vi oss mot standarden ISO 8 â nĂ€st sista i klassificeringen.
De första mĂ€tningarna visade att vi underskattade oss sjĂ€lva â resultaten av kontrollerna av inomhusluften visade överensstĂ€mmelse med kraven för ISO 5 i inomhusomrĂ„den, vilket betydligt översteg de önskade normerna för deltagarna i Uptime Inside Track. Dessutom med stor marginal. Vi har ett datacenter och inte ett biologiskt laboratorium, förstĂ„s, men för att koncentrationen av partiklar i luften ska vara lika med ISO 8 â det mĂ„ste vara en anlĂ€ggning av minst "cementfabriks" klass. Hur man kan tillĂ€mpa samma standard pĂ„ ett datacenter Ă€r inte helt klart. Dessutom, resultatet pĂ„ ISO 5 fick vi genom att mĂ€ta vid luftfiltrering med G4-filter. Det vill sĂ€ga, damm kan inte trĂ€nga in i stĂ€llena via luften, F5-filter visade sig vara överflödiga, och vi anvĂ€nde dem inte ens.
Ett negativt resultat Àr ocksÄ ett resultat: vi fortsatte att söka efter orsaken till föroreningar i andra riktningar, och kvaliteten pÄ luften blev en del av de kvartalsvisa kontrollerna, tillsammans med kontroller av BMS-sensorer med betrodda enheter (ISO 9000-krav och kundrevisioner).
Nedan Ă€r ett exempel pĂ„ en rapport som fylls i baserat pĂ„ data som erhĂ„llits vid mĂ€tning. För större noggrannhet görs mĂ€tningarna med tvĂ„ instrument â Testo 610 och BMS-sensor. I rubriken pĂ„ tabellen anges grĂ€nsvĂ€rdena för instrumenten. Avvikelser frĂ„n angivna parametrar markeras automatiskt med fĂ€rg för att underlĂ€tta identifiering av problemomrĂ„den eller tidsperioder.
Vi Àr tydliga: skillnaden i instrumentens avlÀsningar Àr minimal och partikelkoncentrationen Àr betydligt lÀgre Àn grÀnsvÀrdena.
Genom en backdoor
Eftersom det fanns andra ingÄngar till de rena rummen förutom huvudentrén för kunderna, dÀr vi installerade en skoinfektionsmaskin, fanns ett behov av att förhindra smutsens intrÀde i datacentret genom dessa ingÄngar.
Att ta pÄ och av skoinlÀgg under utrustningsavlastningen Àr besvÀrligt, sÄ vi hittade en automat för att rengöra sulorna. Praktiskt, funktionellt, men mÀnniskofaktorn pÄverkar i form av bristen pÄ vilja att anvÀnda denna enhet. I praktiken Àr det samma som med skoinlÀggen vid huvudentrén.
För att lösa problemet började vi söka efter rengöringslösningar som man inte kan undvika: det lyckades bÀst med klibbiga mattor med avtagbara lager. Under autentiseringen vid ingÄngsdörrarna stÀller sig besökaren alltid pÄ en sÄdan matta, vilket tar bort överfligt damm frÄn skorna.
StĂ€dpersonalen river av det översta lagret av sĂ„dana mattor varje dag, det finns totalt 60 lager i dem â tillrĂ€ckligt för ungefĂ€r 2 mĂ„nader.
Vid besöket pÄ datacentret Ericsson i Stockholm lade jag mÀrke till hur dessa frÄgor löses dÀr: tillsammans med avtagbara lager anvÀnds det flergÄngsmateriella antibakteriella mattor frÄn Dycem i Sverige. Idén gillades pÄ grund av ÄteranvÀndningsprincipen och möjligheten att tÀcka en större yta.
En magisk antibakteriell matta. Synd att den inte Ă€r ett flygplan; den skulle kunna vara det â med det priset!
Vi hade svĂ„rt att hitta representanter för företaget i Ryssland och utvĂ€rdera kostnaden för lösningen för vĂ„rt datacenter. Slutligen fick vi en siffra som var nĂ€stan 100 gĂ„nger dyrare Ă€n lösningen med flerskiktade mattor â ungefĂ€r samma 1 miljon rubel som i projektet för luftkvalitetsmĂ€tningar. Dessutom framkom det att det fanns behov av specialmedel för rengöring, som naturligtvis endast finns tillgĂ€ngliga hos denna tillverkare. Lösningen avföll ocksĂ„ av sig sjĂ€lv; vi beslutade att gĂ„ med den flerskiktade varianten.
Manuell arbetskraft
Det Àr sÀrskilt viktigt att pÄpeka att alla angivna ÄtgÀrder inte har upphÀvt anvÀndningen av stÀdares arbete. I samband med förberedelserna inför certifieringen av datacentret Linxdatacenter enligt Uptime Institute Management & Operations-standarden krÀvdes det att ÄtgÀrderna för stÀdpersonalens arbete pÄ datacentret skulle regleras tydligt. Det har upprÀttats detaljerade instruktioner som föreskriver var, vad och hur de mÄste utföra sina uppgifter.
HÀr Àr nÄgra citat frÄn instruktionen:
Som man kan se anges allt, bokstavligen varje aspekt av arbetet i ett specifikt rum, godkĂ€nda rengöringsmedel, material och sĂ„ vidare. Ingen detalj lĂ€mnas utan uppmĂ€rksamhet, inte ens den minsta. GenomgĂ„ng av instruktionerna â undertecknas av varje anstĂ€lld i stĂ€dteamet. I serverrum, elrum och sĂ„ vidare fĂ„r de endast stĂ€da i nĂ€rvaro av behörig personal frĂ„n datacentret, till exempel en jourtekniker.
Men det Àr Ànnu inte allt.
Ăven i listan över Ă„tgĂ€rder som sĂ€kerstĂ€ller renlighet i datacentret ingĂ„r inspektioner med visuell kontroll av lokalerna, inklusive veckovisa inspektioner av rack för att upptĂ€cka kvarvarande kablar, förpackningsrester frĂ„n utrustning och komponenter. För varje sĂ„dant fall registreras en incident, och kunden fĂ„r en notifiering om behovet av att Ă„tgĂ€rda övertrĂ€delser sĂ„ snabbt som möjligt.
Dessutom har vi skapat ett separat rum för att packa upp och konfigurera utrustning â detta Ă€r ocksĂ„ en del av företagets stĂ€dpolicy. Â
En annan Ă„tgĂ€rd som vi har inspirerats av frĂ„n Ericsson Ă€r att upprĂ€tthĂ„lla ett konstant lufttryck i serverrummen: trycket inuti rummen Ă€r högre Ă€n utanför sĂ„ att det inte uppstĂ„r sug in â denna lösning kommer vi att berĂ€tta mer om i ett separat material.
Slutligen har vi införskaffat robotar som assistenter för rum som inte stÄr pÄ listan över tillgÀngliga för stÀdpersonal.
Galleret ovan ger inte bara +10 i skydd för roboten, utan förhindrar ocksÄ att den fastnar under de vertikala kabelrÀnna pÄ racken.
En ovÀntad upptÀckte som slutsats.
Renlighet i datacenteret er viktig for driften av server- og nettverksutstyr som trekker luft gjennom seg. Overstepping av tillatte stÞvnivÄer vil fÞre til opphopning av stÞv pÄ komponentene og en total temperaturÞkning pÄ opptil 1 grad Celsius. StÞv reduserer effektiviteten av kjÞlingen, noe som i lÞpet av et Är kan resultere i merkbare indirekte kostnader, samt pÄvirke systemets redundans som helhet.
Det kan sies Ă„ vĂŠre en teoretisk antagelse, men ekspertene fra Uptime Institute, som utfĂžrte sertifisering av datacenteret Linxdatacenter etter standarden for kvalitetsstyring (Management & Operations), legger stor vekt pĂ„ renhet. Og det var virkelig hyggelig Ă„ motta de beste vurderingene innen dette omrĂ„det: kravene til sertifisering overstiger betydelig hva vĂ„rt datacenter i St. Petersburg krever. Instituttets ekspert beskrev oss som "det reneste datacenteret han hadde sett", og enda mer, vĂ„rt datacenter brukes av Uptime som et eksempel pĂ„ hvordan man hĂ„ndterer renslighet i serverom. I tillegg passerer vi lett enhver kundeundersĂžkelse pĂ„ dette parameteret â de mest krevende kravene fra de mest kresne kundene oppfylles med stor margin.
La oss gĂ„ tilbake til begynnelsen av historien. Hva var opprinnelsen til forurensningene nevnt i klagen helt i starten av artikkelen? Den delen av kundens stativ som fĂžrte til starten av hele prosjektet "renhet i datacenteret", hadde vĂŠrt skitten siden den ble fraktet inn og installert i datacenteret. Kunden renset ikke stativet fĂžr det ble fraktet inn i serverrommet â ved inspeksjon av nabostativene, installert pĂ„ samme tid, viste det seg at situasjonen med stĂžv var den samme der. Denne situasjonen ga grunnlag for Ă„ legge til et kontrollpunkt for rensing i kundens sjekkliste for montering av stativ. Man bĂžr heller aldri glemme sannsynligheten for slike hendelser = den som er forvarsel, er bevĂŠpnet. Dette er alt om "renhet og diktatur" i vĂ„rt datacenter; i neste artikkel vil jeg fortelle om trykksensorene, og forelĂžpig er det bare Ă„ stille spĂžrsmĂ„l i kommentarene.
KĂ€lla: habr.com
