Hallo, Habr! Ik ben Taras Chirkov, directeur van het datacenter Linxdatacenter in St. Petersburg. En vandaag zal ik in onze blog vertellen welke rol het handhaven van de netheid van de kamer speelt in de normale werking van een modern datacenter, hoe je dit correct kunt meten, bereiken en op het vereiste niveau kunt houden.
Activeer zuiverheid
Op een dag nam een klant van een datacenter in Sint-Petersburg contact met ons op over een stoflaag op de bodem van een apparatuurrek. Dit werd het startpunt van het onderzoek, waarvan de eerste hypothesen het volgende suggereerden:
- stof komt de serverruimtes binnen via de schoenenzolen van datacentermedewerkers en klanten,
- binnengebracht via het ventilatiesysteem,
- beide.
Blauwe schoenovertrekken - verzonden naar de vuilnisbak van de geschiedenis
We zijn begonnen met schoenen. Het probleem van de netheid werd destijds op de traditionele manier opgelost: een container met schoenovertrekken bij de ingang. De effectiviteit van de aanpak bereikte niet het gewenste niveau: het was moeilijk om het gebruik ervan door datacentergasten te controleren en het format zelf was onhandig. Ze werden snel verlaten ten gunste van meer geavanceerde technologie in de vorm van een schoenovertrekmachine. Het eerste model van een dergelijk apparaat dat we installeerden was een mislukking: de machine scheurde te vaak schoenovertrekken bij het aantrekken ervan, het gebruik ervan was vervelender dan het leven gemakkelijker te maken.
Terugkijkend op de ervaring van collega's in Warschau en Moskou loste het probleem niet op, en uiteindelijk werd gekozen voor de technologie van het samensmelten van thermische film op schoenen. Met behulp van thermische folie kun je ‘schoenovertrekken’ aanbrengen op schoenen met elke zool – zelfs een dunne dameshak. Ja, de film glijdt ook wel eens weg, maar veel minder vaak dan de klassieke blauwe schoenovertrekken, en de technologie zelf is veel handiger voor de bezoeker en moderner. Een ander belangrijk (voor mij) pluspunt is dat de folie gemakkelijk de grootste schoenmaten bedekt, in tegenstelling tot traditionele schoenovertrekken, die scheuren als je ze op maat 45 probeert te zetten. Om het proces moderner te maken, installeerden ze bakken met automatische opening van het deksel met behulp van een bewegingssensor.
Het proces ziet er als volgt uit:
De gasten waardeerden de innovatie meteen.
Stof in de wind
Nadat we het meest voor de hand liggende kanaal van mogelijke ruimtevervuiling op orde hadden gebracht, pakten we subtielere zaken aan: de lucht. Het is waarschijnlijk dat een aanzienlijk deel van het stof door onvoldoende filtratie via ventilatie de serverruimtes binnendringt of van de straat wordt aangevoerd. Of gaat het allemaal om de slechte kwaliteit van de schoonmaak? Het onderzoek werd voortgezet.
We besloten metingen uit te voeren van het deeltjesgehalte in de lucht in het datacenter en nodigden een laboratorium uit dat gespecialiseerd is in het monitoren van de luchtkwaliteit in speciale cleanrooms om dit werk uit te voeren.
Laboratoriumpersoneel mat het aantal controlepunten (20) en stelde een bemonsteringsschema op om de dynamiek te volgen en het meest nauwkeurige beeld te creëren. De kosten van het volledige laboratoriummeetproces bedroegen ongeveer 1 miljoen roebel, wat ons volkomen onpraktisch leek, maar het gaf ons een aantal ideeën voor onafhankelijke implementatie. Gaandeweg werd duidelijk dat het laboratorium goed is, maar dat de analyses dynamisch moeten worden uitgevoerd en dat het voortdurend gebruik maken van hun diensten buitengewoon lastig is.
Nadat we naar de geplande activiteiten van het laboratorium hadden gekeken, besloten we om naar meer utilitaire apparaten voor zelfstandig werk te kijken. Als resultaat zijn we erin geslaagd het hulpmiddel te vinden dat nodig is voor deze taak: een luchtkwaliteitsanalysator. Soortgelijk:
Het apparaat toont de inhoud van deeltjes met verschillende diameters (in micrometers).
Normen opnieuw definiëren
Dit apparaat analyseert het aantal deeltjes, de temperatuur en de vochtigheid en geeft de resultaten weer in meeteenheden volgens de ISO-normen voor deze parameter. Het display toont de niveaus van deeltjes met verschillende diameters in het luchtmonster.
Tegelijkertijd maakten ze een fout met filters: destijds gebruikten ze G4-filtermodellen in serverruimtes. Dit model zorgt voor een ruwe luchtzuivering, dus werd aangenomen dat er deeltjes zouden ontbreken die tot vervuiling zouden leiden. We hebben besloten om voor testdoeleinden F5-fijnfilters aan te schaffen, die in airconditioning- en ventilatiesystemen worden gebruikt als tweedetrapsfilters (nabehandeling).
Het onderzoek is uitgevoerd - u kunt beginnen met controlemetingen. We hebben besloten de eisen van de ISO 14644-1-norm voor het aantal zwevende deeltjes als leidraad te nemen.
Classificatie van cleanrooms op basis van het aantal zwevende deeltjes.
Het lijkt erop - meet en vergelijk volgens de tabel. Maar niet alles is zo eenvoudig: in de praktijk bleek het behoorlijk lastig om normen voor de luchtzuiverheid voor serverruimtes in datacenters te vinden. Dit wordt nergens expliciet vermeld, door welke organisatie of branche-instituut dan ook. En alleen op het interne Uptime Inside Track-forum (toegang daartoe is beschikbaar voor personen die een training in de Uptime Institute-programma's hebben gevolgd) was er een aparte discussie over dit onderwerp. Op basis van de resultaten van het onderzoek waren we geneigd ons te concentreren op de ISO 8-norm, de voorlaatste in de classificatie.
Uit de allereerste metingen bleek dat we onszelf hadden onderschat: de resultaten van interne luchttests toonden aan dat er in interne gebouwen werd voldaan aan de ISO 5-vereisten, wat aanzienlijk hoger was dan de normen die de Uptime Inside Track-deelnemers wensten. Tegelijkertijd met een ruime marge. We hebben een datacenter en geen biologisch laboratorium natuurlijk, maar om de concentratie van deeltjes in de lucht gelijk te laten zijn aan ISO 8, moet het een object zijn van minimaal de klasse ‘cementfabriek’. En hoe dezelfde standaard kan worden toegepast op een datacenter is niet erg duidelijk. Tegelijkertijd hebben we het resultaat bij ISO 5 verkregen door metingen te doen bij het filteren van lucht met G4-filters. Dat wil zeggen: stof kan niet via de lucht de racks binnendringen; de F5-filters bleken overbodig en werden niet eens gebruikt.
Een negatief resultaat is ook een gevolg: we hebben de zoektocht naar de oorzaak van de vervuiling in andere richtingen voortgezet en monitoring van de luchtkwaliteit is opgenomen in de kwartaalinspecties, gecombineerd met inspecties van GBS-sensoren door geverifieerde apparaten (ISO 9000-eisen en klantenaudits).
Hieronder ziet u een voorbeeld van een rapport dat wordt ingevuld op basis van de gegevens verkregen tijdens de meting. Voor een grotere nauwkeurigheid worden metingen uitgevoerd met twee apparaten: Testo 610 en een GBS-sensor. In de kop van de tabel staan de grenswaarden voor apparaten. Afwijkingen in de opgegeven parameters worden automatisch in kleur gemarkeerd om de identificatie van probleemgebieden of tijdsperioden te vergemakkelijken.
Bij ons is alles duidelijk: het verschil in de indicatoren van de apparaten is minimaal en de deeltjesconcentratie is veel lager dan de maximale limiet.
Via de achteringang
Omdat er naast de hoofdklanteningang waar we de schoenovertrekmachine hadden geïnstalleerd, nog andere ingangen naar de cleanrooms waren, moest er nog steeds worden voorkomen dat vuil via deze ingangen het datacenter binnendrong.
Het is lastig om schoenovertrekken aan of uit te trekken tijdens procedures voor het uitladen van apparatuur, dus hebben we een automatische machine gevonden voor het reinigen van zolen. Handig, functioneel, maar de menselijke factor beïnvloedt het in de vorm van een optionele benadering van dit apparaat. In principe hetzelfde als bij de schoenovertrekken bij de hoofdingang.
Om het probleem op te lossen gingen ze op zoek naar schoonmaakmogelijkheden die niet te vermijden waren: plakkerige tapijten met verwijderbare lagen konden dit het beste aan. Tijdens het autorisatieproces bij de toegangsdeuren moet de bezoeker op een dergelijke mat gaan staan en overtollig stof van de schoenzolen verwijderen.
Schoonmakers scheuren elke dag de bovenste laag van zo'n vloerkleed af, er zijn in totaal 60 lagen - genoeg voor ongeveer 2 maanden.
Na een bezoek aan onder meer het Ericsson-datacenter in Stockholm viel het me op hoe deze problemen daar worden opgelost: in Zweden worden naast afscheurlagen ook herbruikbare antibacteriële Dycem-tapijten gebruikt. Ik vond het idee leuk vanwege het principe van herbruikbaarheid en de mogelijkheid om een groot dekkingsgebied te bieden.
Magisch antibacterieel tapijt. Het is jammer, geen vliegtuig, maar het had het kunnen zijn – voor die en die prijs!
Het was met moeite dat we vertegenwoordigers van het bedrijf in Rusland vonden en de kosten van de oplossing voor ons datacenter inschatten. Als resultaat kregen we een cijfer dat bijna 100 keer duurder was dan de oplossing met meerlaagse tapijten - ongeveer dezelfde 1 miljoen roebel als in het project met luchtzuiverheidsmetingen. Daarnaast werd duidelijk dat het noodzakelijk was om speciale schoonmaakproducten te gebruiken, uiteraard alleen verkrijgbaar bij deze fabrikant. De oplossing verdween ook vanzelf; we kozen voor een meerlaagse optie.
Handenarbeid
Ik zou vooral de aandacht willen vestigen op het feit dat al deze maatregelen de inzet van schoonmakers niet hebben afgeschaft. Ter voorbereiding op de certificering van het datacenter van Linxdatacenter volgens de Uptime Institute Management & Operations standaard was het noodzakelijk om het handelen van medewerkers van de schoonmaakdienst op het grondgebied van het datacenter duidelijk te reguleren. Er werden gedetailleerde instructies opgesteld, waarin werd voorgeschreven waar, wat en hoe ze moesten doen.
Een paar fragmenten uit de instructies:
Zoals u ziet is alles voorgeschreven, letterlijk elk aspect van het werk in een specifieke ruimte, schoonmaakmiddelen, materialen etc. acceptabel voor gebruik. Geen enkel detail wordt onbeheerd gelaten, zelfs het kleinste. Instructie – ondertekend door iedere servicemedewerker. In serverruimtes, elektrische ruimtes, etc. ze worden alleen verwijderd in aanwezigheid van geautoriseerde medewerkers van het datacenter, bijvoorbeeld de dienstdoende ingenieur.
Maar dat is niet alles
Ook opgenomen in de lijst met maatregelen om de netheid in het datacenter te garanderen: doorgangen met een visuele inspectie van het pand, inclusief wekelijkse inspecties van de rekken om daarin achtergebleven draadresten en verpakkingsresten van apparatuur en componenten op te sporen. Voor elke aflevering wordt een incident geopend en ontvangt de klant een melding over de noodzaak om overtredingen zo snel mogelijk te elimineren.
Ook hebben we een aparte ruimte gecreëerd voor het uitpakken en opstellen van apparatuur - dit maakt ook deel uit van het schoonmaakbeleid van het bedrijf.
Een andere maatregel die we uit de praktijk van Ericsson hebben geleerd, is het handhaven van een constante luchtdruk in serverruimtes: de druk in de ruimtes is groter dan daarbuiten, zodat er geen tocht naar binnen is - over deze oplossing zullen we in een apart artikel meer in detail praten.
Ten slotte hebben we robotassistenten aangeschaft voor gebouwen die zijn uitgesloten van de lijst van gebouwen die beschikbaar zijn voor bezoek door schoonmaakpersoneel.
Het rooster bovenop geeft niet alleen +10 aan de bescherming van de robot, maar voorkomt ook dat hij vast komt te zitten onder de verticale kabelgoten van de racks.
Een onverwachte vondst als conclusie
Netheid in het datacenter is belangrijk voor de werking van server- en netwerkapparatuur die er lucht doorheen zuigt. Het overschrijden van de toegestane stofniveaus zal resulteren in stofophoping op componenten en een totale temperatuurstijging van maximaal 1 graad Celsius. Stof vermindert de koelefficiëntie, wat kan resulteren in aanzienlijke indirecte kosten per jaar en ook de fouttolerantie van de faciliteit als geheel kan beïnvloeden.
Dit is misschien een speculatieve aanname, maar de experts van het Uptime Institute die het Linxdatacenter-datacenter hebben gecertificeerd volgens de Management & Operations-kwaliteitsnorm besteden de grootst mogelijke aandacht aan netheid. En nog leuker was het om op dit vlak de meest vleiende beoordelingen te ontvangen: ons datacenter in St. Petersburg overtreft ruimschoots de certificeringseisen. Een instituutsexpert noemde ons ‘het schoonste datacenter dat hij ooit heeft gezien’. Bovendien wordt ons datacenter door Uptime gebruikt als voorbeeld van hoe het probleem van schone serverruimtes kan worden opgelost. Ook slagen we met gemak voor elke klantaudit op deze parameter - aan de meest serieuze eisen van de meest wispelturige klanten wordt ruimschoots voldaan.
Laten we teruggaan naar het begin van het verhaal. Waar kwam de besmetting vandaan volgens de klacht uit het begin van het artikel? Het gedeelte van het rack van de klant dat de aanleiding vormde voor het starten van het gehele ‘schoon in het datacenter’-project was vervuild vanaf het moment dat het rack werd geïmporteerd en geïnstalleerd in het datacenter. De klant had het rack niet schoongemaakt tegen de tijd dat het de serverruimte werd binnengebracht - bij het controleren van aangrenzende racks die tegelijkertijd waren geïnstalleerd, bleek dat de situatie met stof daar hetzelfde was. Deze situatie was aanleiding om een schoonmaakcontrole-item toe te voegen aan de checklist voor rackinstallatie van de klant. We mogen ook nooit de waarschijnlijkheid van dergelijke dingen vergeten = een gewaarschuwd mens is met beide benen op de grond. Dit gaat allemaal over “netheid en dictatuur” in ons datacenter; in het volgende artikel zal ik het hebben over druksensoren, maar stel voorlopig vragen in de reacties.
Bron: www.habr.com