Γεια σου, Χαμπρ! Είμαι ο Taras Chirkov, διευθυντής του κέντρου δεδομένων Linxdatacenter στην Αγία Πετρούπολη. Και σήμερα στο blog μας θα μιλήσω για το τι ρόλο παίζει η διατήρηση της καθαριότητας του δωματίου στην κανονική λειτουργία ενός σύγχρονου κέντρου δεδομένων, πώς να το μετρήσετε σωστά, να το πετύχετε και να το διατηρήσετε στο απαιτούμενο επίπεδο.
Καθαρότητα ενεργοποίησης
Μια μέρα, ένας πελάτης ενός κέντρου δεδομένων στην Αγία Πετρούπολη επικοινώνησε μαζί μας σχετικά με ένα στρώμα σκόνης στο κάτω μέρος μιας σχάρας εξοπλισμού. Αυτό έγινε το σημείο εκκίνησης της έρευνας, οι πρώτες υποθέσεις της οποίας υποδηλώνουν τα εξής:
- σκόνη εισέρχεται στα δωμάτια του διακομιστή από τις σόλες των παπουτσιών των εργαζομένων και των πελατών του κέντρου δεδομένων,
- εισάγεται μέσω του συστήματος εξαερισμού,
- και τα δυο.
Μπλε καλύμματα παπουτσιών - παραδομένα στον κάδο των σκουπιδιών της ιστορίας
Ξεκινήσαμε με παπούτσια. Τότε το πρόβλημα της καθαριότητας λύθηκε με τον παραδοσιακό τρόπο: ένα δοχείο με καλύμματα παπουτσιών στην είσοδο. Η αποτελεσματικότητα της προσέγγισης δεν έφτασε στο επιθυμητό επίπεδο: ήταν δύσκολο να ελεγχθεί η χρήση τους από τους επισκέπτες του κέντρου δεδομένων και η ίδια η μορφή ήταν άβολη. Γρήγορα εγκαταλείφθηκαν για χάρη της πιο προηγμένης τεχνολογίας με τη μορφή μηχανής καλύμματος παπουτσιών. Το πρώτο μοντέλο μιας τέτοιας συσκευής που εγκαταστήσαμε ήταν μια αποτυχία: το μηχάνημα πολύ συχνά έσκιζε τα καλύμματα των παπουτσιών όταν προσπαθούσε να τα φορέσει στα παπούτσια, η χρήση του ήταν πιο ενοχλητική από το να διευκολύνει τη ζωή.
Η στροφή στην εμπειρία των συναδέλφων στη Βαρσοβία και τη Μόσχα δεν έλυσε το πρόβλημα και τελικά η επιλογή έγινε υπέρ της τεχνολογίας της τήξης θερμικής μεμβράνης σε παπούτσια. Χρησιμοποιώντας θερμική μεμβράνη, μπορείτε να βάλετε «καλύμματα παπουτσιών» στα παπούτσια με οποιαδήποτε σόλα – ακόμα και με λεπτό γυναικείο τακούνι. Ναι, η ταινία επίσης γλιστρά μερικές φορές, αλλά πολύ λιγότερο συχνά από τα κλασικά μπλε καλύμματα παπουτσιών και η ίδια η τεχνολογία είναι πολύ πιο βολική για τον επισκέπτη και πιο μοντέρνα. Ένα άλλο σημαντικό (για μένα) πλεονέκτημα είναι ότι η ταινία καλύπτει εύκολα τα μεγαλύτερα μεγέθη παπουτσιών, σε αντίθεση με τα παραδοσιακά καλύμματα παπουτσιών, τα οποία σκίζονται όταν προσπαθούν να τα βάλουν στο μέγεθος 45. Για να κάνουν τη διαδικασία πιο σύγχρονη, τοποθέτησαν κάδους με αυτοματοποιημένο άνοιγμα του καπακιού χρησιμοποιώντας αισθητήρα κίνησης.
Η διαδικασία μοιάζει με αυτό:
Οι επισκέπτες εκτίμησαν αμέσως την καινοτομία.
Σκόνη στον άνεμο
Έχοντας βάλει σε τάξη το πιο προφανές κανάλι πιθανής ρύπανσης του χώρου, ασχοληθήκαμε με πιο λεπτές υποθέσεις - τον αέρα. Είναι πιθανό ότι ένα σημαντικό μέρος της σκόνης εισέρχεται στα δωμάτια του διακομιστή μέσω εξαερισμού λόγω ανεπαρκούς φιλτραρίσματος ή εισέρχεται από το δρόμο. Ή είναι όλα σχετικά με την κακή ποιότητα καθαρισμού; Η έρευνα συνεχίστηκε.
Αποφασίσαμε να κάνουμε μετρήσεις της περιεκτικότητας σωματιδίων στον αέρα μέσα στο κέντρο δεδομένων και προσκαλέσαμε ένα εργαστήριο που ειδικεύεται στην παρακολούθηση της ποιότητας του αέρα σε καθαρούς χώρους ειδικού σκοπού για να πραγματοποιήσει αυτή την εργασία.
Το προσωπικό του εργαστηρίου μέτρησε τον αριθμό των σημείων ελέγχου (20) και δημιούργησε ένα πρόγραμμα δειγματοληψίας για την παρακολούθηση της δυναμικής και τη δημιουργία της πιο ακριβούς εικόνας. Το κόστος της πλήρους εργαστηριακής διαδικασίας μέτρησης ήταν περίπου 1 εκατομμύριο ρούβλια, κάτι που μας φαινόταν εντελώς ανέφικτο, αλλά μας έδωσε μια σειρά από ιδέες για ανεξάρτητη εφαρμογή. Στην πορεία, έγινε σαφές ότι το εργαστήριο είναι καλό, αλλά οι αναλύσεις πρέπει να γίνονται δυναμικά και η συνεχής προσφυγή στις υπηρεσίες τους είναι εξαιρετικά άβολη.
Έχοντας εξετάσει τις προγραμματισμένες δραστηριότητες του εργαστηρίου, αποφασίσαμε να δούμε πιο χρηστικές συσκευές για ανεξάρτητη εργασία. Ως αποτέλεσμα, καταφέραμε να βρούμε το απαραίτητο εργαλείο για αυτήν την εργασία - έναν αναλυτή ποιότητας αέρα. Σαν αυτό:
Η συσκευή δείχνει την περιεκτικότητα σε σωματίδια διαφορετικών διαμέτρων (σε μικρόμετρα).
Επανακαθορισμός Προτύπων
Αυτή η συσκευή αναλύει τον αριθμό των σωματιδίων, τη θερμοκρασία, την υγρασία και εμφανίζει τα αποτελέσματα σε μονάδες μέτρησης σύμφωνα με τα πρότυπα ISO για αυτήν την παράμετρο. Η οθόνη δείχνει τα επίπεδα των σωματιδίων με διαφορετικές διαμέτρους στο δείγμα αέρα.
Ταυτόχρονα, έκαναν ένα λάθος με τα φίλτρα: εκείνη την εποχή χρησιμοποιούσαν μοντέλα φίλτρων G4 μέσα σε δωμάτια διακομιστών. Αυτό το μοντέλο παρέχει ακατέργαστο καθαρισμό του αέρα, επομένως υποτέθηκε η πιθανότητα να λείπουν σωματίδια που οδηγούν σε ρύπανση. Αποφασίσαμε να αγοράσουμε λεπτά φίλτρα F5 για δοκιμή, τα οποία χρησιμοποιούνται σε συστήματα κλιματισμού και εξαερισμού ως φίλτρα δεύτερου σταδίου (μετά την επεξεργασία).
Η έρευνα πραγματοποιήθηκε - μπορείτε να ξεκινήσετε τις μετρήσεις ελέγχου. Αποφασίσαμε να χρησιμοποιήσουμε τις απαιτήσεις του προτύπου ISO 14644-1 για τον αριθμό των αιωρούμενων σωματιδίων ως οδηγό.
Ταξινόμηση καθαρών δωματίων ανάλογα με τον αριθμό των αιωρούμενων σωματιδίων.
Φαίνεται - μετρήστε και συγκρίνετε σύμφωνα με τον πίνακα. Αλλά δεν είναι όλα τόσο απλά: στην πράξη, αποδείχθηκε ότι ήταν αρκετά δύσκολο να βρεθούν πρότυπα καθαριότητας αέρα για δωμάτια διακομιστών κέντρου δεδομένων. Αυτό δεν αναφέρεται ρητά πουθενά, από κανέναν οργανισμό ή ινστιτούτο του κλάδου. Και μόνο στο εσωτερικό φόρουμ Uptime Inside Track (η πρόσβαση σε αυτό είναι διαθέσιμη σε άτομα που έχουν ολοκληρώσει εκπαίδευση στα προγράμματα του Uptime Institute) έγινε ξεχωριστή συζήτηση για αυτό το θέμα. Με βάση τα αποτελέσματα της μελέτης του, ήμασταν έτοιμοι να επικεντρωθούμε στο πρότυπο ISO 8 - το προτελευταίο στην ταξινόμηση.
Οι πρώτες μετρήσεις έδειξαν ότι υποτιμήσαμε τους εαυτούς μας - τα αποτελέσματα των εσωτερικών δοκιμών αέρα έδειξαν συμμόρφωση με τις απαιτήσεις ISO 5 σε εσωτερικούς χώρους, οι οποίες ξεπέρασαν σημαντικά τα πρότυπα που επιθυμούσαν οι συμμετέχοντες στο Uptime Inside Track. Ταυτόχρονα, με μεγάλο περιθώριο. Έχουμε κέντρο δεδομένων και όχι βιολογικό εργαστήριο φυσικά, αλλά για να είναι η συγκέντρωση των σωματιδίων στον αέρα ίση με ISO 8, πρέπει να είναι αντικείμενο τουλάχιστον της κατηγορίας «τσιμεντοβιομηχανία». Και πώς μπορεί να εφαρμοστεί το ίδιο πρότυπο σε ένα κέντρο δεδομένων δεν είναι πολύ σαφές. Ταυτόχρονα, αποκτήσαμε το αποτέλεσμα σε ISO 5 λαμβάνοντας μετρήσεις κατά το φιλτράρισμα του αέρα με φίλτρα G4. Δηλαδή, η σκόνη δεν μπορεί να εισέλθει στα ράφια μέσω του αέρα· τα φίλτρα F5 αποδείχθηκαν περιττά και δεν χρησιμοποιήθηκαν καν.
Ένα αρνητικό αποτέλεσμα είναι επίσης αποτέλεσμα: συνεχίσαμε την αναζήτηση της αιτίας της ρύπανσης προς άλλες κατευθύνσεις και η παρακολούθηση της ποιότητας του αέρα συμπεριλήφθηκε σε τριμηνιαίες επιθεωρήσεις, σε συνδυασμό με επιθεωρήσεις αισθητήρων BMS από επαληθευμένες συσκευές (απαιτήσεις ISO 9000 και έλεγχοι πελατών).
Ακολουθεί ένα παράδειγμα αναφοράς που συμπληρώνεται με βάση τα δεδομένα που ελήφθησαν κατά τη μέτρηση. Για μεγαλύτερη ακρίβεια, οι μετρήσεις γίνονται με δύο συσκευές - Testo 610 και έναν αισθητήρα BMS. Η κεφαλίδα του πίνακα δείχνει τις οριακές τιμές για συσκευές. Οι αποκλίσεις στις καθορισμένες παραμέτρους επισημαίνονται αυτόματα με χρώμα για να διευκολυνθεί ο εντοπισμός προβληματικών περιοχών ή χρονικών περιόδων.
Όλα είναι ξεκάθαρα μαζί μας: η διαφορά στους δείκτες των συσκευών είναι ελάχιστη και η συγκέντρωση των σωματιδίων είναι πολύ χαμηλότερη από το μέγιστο όριο.
Από την πίσω είσοδο
Δεδομένου ότι υπήρχαν και άλλες είσοδοι στα καθαρά δωμάτια εκτός από την κύρια είσοδο πελατών όπου εγκαταστήσαμε το μηχάνημα κάλυψης παπουτσιών, υπήρχε ακόμα ανάγκη να αποτραπεί η είσοδος βρωμιάς στο κέντρο δεδομένων μέσω αυτών.
Δεν είναι βολικό να βάζετε/αφαιρείτε τα καλύμματα των παπουτσιών κατά τη διάρκεια των διαδικασιών για την εκφόρτωση του εξοπλισμού, έτσι βρήκαμε ένα αυτόματο μηχάνημα για τον καθαρισμό των σόλων. Βολικό, λειτουργικό, αλλά ο ανθρώπινος παράγοντας το επηρεάζει με τη μορφή μιας προαιρετικής προσέγγισης αυτής της συσκευής. Ουσιαστικά το ίδιο με τα καλύμματα παπουτσιών στην κεντρική είσοδο.
Για να λύσουν το πρόβλημα, άρχισαν να αναζητούν επιλογές καθαρισμού που δεν μπορούσαν να αποφευχθούν: τα κολλώδη χαλιά με αποσπώμενα στρώματα αντιμετώπιζαν καλύτερα αυτό. Κατά τη διαδικασία εξουσιοδότησης στις πόρτες εισόδου, ο επισκέπτης πρέπει να στέκεται σε ένα τέτοιο χαλάκι, αφαιρώντας την περίσσεια σκόνης από τις σόλες των παπουτσιών του.
Τα καθαριστικά σκίζουν το επάνω στρώμα ενός τέτοιου χαλιού κάθε μέρα· υπάρχουν συνολικά 60 στρώσεις - αρκετά για περίπου 2 μήνες.
Έχοντας επισκεφθεί το κέντρο δεδομένων Ericsson στη Στοκχόλμη, μεταξύ άλλων, παρατήρησα πώς επιλύονται αυτά τα ζητήματα εκεί: μαζί με τα αποσπώμενα στρώματα, χρησιμοποιούνται επαναχρησιμοποιήσιμα αντιβακτηριακά χαλιά Dycem στη Σουηδία. Μου άρεσε η ιδέα λόγω της αρχής της επαναχρησιμοποίησης και της δυνατότητας παροχής μεγάλης περιοχής κάλυψης.
Μαγικό αντιβακτηριδιακό χαλί. Είναι κρίμα, όχι αεροπλάνο, αλλά θα μπορούσε να ήταν – σε τέτοια τιμή!
Με δυσκολία βρήκαμε εκπροσώπους της εταιρείας στη Ρωσία και αξιολογήσαμε το κόστος της λύσης για το κέντρο δεδομένων μας. Ως αποτέλεσμα, πήραμε έναν αριθμό που ήταν σχεδόν 100 φορές πιο ακριβός από τη λύση με χαλιά πολλαπλών στρώσεων - περίπου το ίδιο 1 εκατομμύριο ρούβλια όπως στο έργο με μετρήσεις καθαρότητας αέρα. Επιπλέον, κατέστη σαφές ότι ήταν απαραίτητο να χρησιμοποιηθούν ειδικά προϊόντα καθαρισμού, φυσικά διαθέσιμα μόνο από αυτόν τον κατασκευαστή. Η λύση επίσης εξαφανίστηκε από μόνη της· εγκαταστήσαμε μια επιλογή πολλαπλών επιπέδων.
Χειρωνακτική εργασία
Θα ήθελα ιδιαίτερα να επιστήσω την προσοχή στο γεγονός ότι όλα αυτά τα μέτρα δεν ακύρωσαν τη χρήση της εργασίας των καθαριστών. Κατά την προετοιμασία για την πιστοποίηση του κέντρου δεδομένων Linxdatacenter σύμφωνα με το πρότυπο Uptime Institute Management & Operations, ήταν απαραίτητο να ρυθμιστούν με σαφήνεια οι ενέργειες των υπαλλήλων της υπηρεσίας καθαρισμού στην επικράτεια του κέντρου δεδομένων. Συντάχθηκαν αναλυτικές οδηγίες, οι οποίες προέγραφαν πού, τι και πώς έπρεπε να κάνουν.
Μερικά αποσπάσματα από τις οδηγίες:
Όπως μπορείτε να δείτε, τα πάντα είναι προδιαγεγραμμένα, κυριολεκτικά κάθε πτυχή της εργασίας σε ένα συγκεκριμένο δωμάτιο, καθαριστικά, υλικά κ.λπ. αποδεκτά για χρήση. Ούτε μια λεπτομέρεια δεν μένει χωρίς επίβλεψη, ακόμα και η πιο μικρή. Οδηγία – υπογεγραμμένη από κάθε υπάλληλο υπηρεσίας. Σε δωμάτια διακομιστών, ηλεκτρικά δωμάτια κ.λπ. αφαιρούνται μόνο παρουσία εξουσιοδοτημένων υπαλλήλων του κέντρου δεδομένων, για παράδειγμα, του μηχανικού σε υπηρεσία.
Αλλά δεν είναι μόνο αυτό
Περιλαμβάνεται επίσης στη λίστα μέτρων για την εξασφάλιση της καθαριότητας στο κέντρο δεδομένων: περιηγήσεις με οπτική επιθεώρηση των χώρων, συμπεριλαμβανομένων εβδομαδιαίων επιθεωρήσεων ραφιών για τον εντοπισμό υπολειμμάτων συρμάτων που έχουν απομείνει μέσα τους, υπολείμματα συσκευασίας από εξοπλισμό και εξαρτήματα. Για κάθε τέτοιο επεισόδιο, ανοίγει ένα περιστατικό και ο πελάτης λαμβάνει μια ειδοποίηση σχετικά με την ανάγκη εξάλειψης των παραβιάσεων το συντομότερο δυνατό.
Επίσης, δημιουργήσαμε έναν ξεχωριστό χώρο για την αποσυσκευασία και την τοποθέτηση εξοπλισμού - αυτό αποτελεί επίσης μέρος της πολιτικής καθαρισμού της εταιρείας.
Ένα άλλο μέτρο που μάθαμε από την πρακτική της Ericsson είναι η διατήρηση σταθερής πίεσης αέρα στα δωμάτια διακομιστών: η πίεση μέσα στα δωμάτια είναι μεγαλύτερη από ό,τι έξω, έτσι ώστε να μην υπάρχει ρεύμα προς τα μέσα - θα μιλήσουμε για αυτήν τη λύση με περισσότερες λεπτομέρειες σε ξεχωριστό άρθρο.
Τέλος, αποκτήσαμε ρομποτικούς βοηθούς για χώρους που εξαιρούνται από τη λίστα των διαθέσιμων για επίσκεψη από το προσωπικό καθαριότητας.
Η γρίλια στο επάνω μέρος όχι μόνο δίνει +10 στην προστασία του ρομπότ, αλλά και το εμποδίζει να κολλήσει κάτω από τις κάθετες θήκες καλωδίων των ραφιών.
Ένα απρόσμενο εύρημα ως συμπέρασμα
Η καθαριότητα στο κέντρο δεδομένων είναι σημαντική για τη λειτουργία του διακομιστή και του εξοπλισμού δικτύου που αντλεί αέρα μέσω αυτού. Η υπέρβαση των επιτρεπόμενων επιπέδων σκόνης θα έχει ως αποτέλεσμα τη συσσώρευση σκόνης στα εξαρτήματα και τη συνολική αύξηση της θερμοκρασίας έως και 1 βαθμό Κελσίου. Η σκόνη μειώνει την απόδοση ψύξης, η οποία μπορεί να οδηγήσει σε σημαντικό έμμεσο κόστος ετησίως και επίσης να επηρεάσει την ανοχή σφαλμάτων της εγκατάστασης στο σύνολό της.
Αυτό μπορεί να είναι μια εικαστική υπόθεση, αλλά οι ειδικοί του Ινστιτούτου Uptime που πιστοποίησαν το κέντρο δεδομένων Linxdatacenter με το πρότυπο ποιότητας διαχείρισης και λειτουργιών δίνουν τη μέγιστη προσοχή στην καθαριότητα. Και ήταν ακόμη πιο ευχάριστο να λάβουμε τις πιο κολακευτικές αξιολογήσεις σε αυτόν τον τομέα: το κέντρο δεδομένων μας στην Αγία Πετρούπολη υπερβαίνει σοβαρά τις απαιτήσεις πιστοποίησης. Ένας εμπειρογνώμονας του ινστιτούτου μας αποκάλεσε «το πιο καθαρό κέντρο δεδομένων που έχει δει», επιπλέον, το κέντρο δεδομένων μας χρησιμοποιείται από το Uptime ως παράδειγμα για τον τρόπο επίλυσης του ζητήματος των καθαρών δωματίων διακομιστή. Επίσης, περνάμε εύκολα οποιονδήποτε έλεγχο πελάτη σε αυτήν την παράμετρο - οι πιο σοβαρές απαιτήσεις των πιο ιδιότροπων πελατών ικανοποιούνται πέρα από κάθε μέτρο.
Ας επιστρέψουμε στην αρχή της ιστορίας. Από πού προήλθε η μόλυνση σύμφωνα με την ίδια την καταγγελία από την αρχή του άρθρου; Το τμήμα του rack του πελάτη που ήταν η αφορμή για την έναρξη ολόκληρου του έργου "καθαρό στο κέντρο δεδομένων" ήταν μολυσμένο από τη στιγμή που το rack εισήχθη και εγκαταστάθηκε στο κέντρο δεδομένων. Ο πελάτης δεν καθάρισε το ράφι μέχρι να το φέρει στην αίθουσα διακομιστή - κατά τον έλεγχο των γειτονικών ράφια που ήταν εγκατεστημένα την ίδια στιγμή, αποδείχθηκε ότι η κατάσταση με τη σκόνη ήταν η ίδια εκεί. Αυτή η κατάσταση προκάλεσε την προσθήκη ενός στοιχείου ελέγχου καθαρισμού στη λίστα ελέγχου εγκατάστασης ραφιών του πελάτη. Επίσης δεν πρέπει ποτέ να ξεχνάμε την πιθανότητα τέτοιων πραγμάτων = προειδοποιημένος είναι οπλισμένος. Όλα αυτά αφορούν την «καθαριότητα και τη δικτατορία» στο κέντρο δεδομένων μας· στο επόμενο άρθρο θα μιλήσω για αισθητήρες πίεσης, αλλά προς το παρόν, κάντε ερωτήσεις στα σχόλια.
Πηγή: www.habr.com