Dico subito: quel topo nel server che ci hanno portato, che abbiamo fatto bere tè dopo che è stato colpito da una scarica elettrica un paio d'anni fa, probabilmente è scappato. Perché abbiamo visto un giorno durante un controllo la sua amica. E abbiamo subito deciso di installare dei dissuasori ad ultrasuoni.
Ora intorno al data center la terra è maledetta: sugli edifici non si posano gli uccelli e, probabilmente, sono scappati tutti i talponi e i vermi. Eravamo preoccupati che causare guasti agli HDD, ma abbiamo controllato, le frequenze non erano quelle.
La storia successiva è molto più divertente. Un giorno abbiamo ricevuto un pezzo di hardware da diversi milioni di rubli in una scatola con sensori di inclinazione, vibrazione e umidità. Tutto integro. Abbiamo aperto la confezione con cura, ma il pezzo di metallo era piegato. Mistero.
Il case era proprio a forma di arco. Molto bello.
Detective
Non avremmo prestato attenzione a questo, perché il case metallico piegato sembrava quasi un oggetto di design. Bello, senza scheggiature. E se non ci fossero stati altri pezzi simili intorno, non ci saremmo neppure accorti durante lo scarto che qualcosa non andava. Ma accanto c’erano pezzi simili, solo con una forma geometrica più corretta.
Per fortuna, lo scarto di questo tipo di hardware viene registrato in video (consiglio a tutti di prendere questa abitudine), quindi siamo riusciti a dimostrare al produttore che era arrivato in quel modo. Un imballaggio intatto e un case piegato con cura non sono colpa dei facchini. Molto probabilmente, si era danneggiato prima di partire per la Russia.
Il fornitore dice: «Ehi, ragazzi, che ne dite di cambiarlo subito in garanzia?». E qui ci aspettava un'epica trappola.
Il fatto è che la dogana ci consente di importare tali attrezzature secondo i documenti senza diritto di riesportazione. Cioè, possiamo portarlo, ma non possiamo rivenderlo a qualcuno al di fuori della Russia. Quando rispediamo un'unità di alimentazione bruciata, ad esempio, è chiaro. È un pezzo di ricambio, un’unità di alimentazione.
Ma qui bisognava rimandare tutto indietro:
— Ragazzi, guardate, stiamo restituendo l'hardware al produttore.
— L'attrezzatura intera?
— Sì.
— Il modello è questo?
— Sì.
— Può funzionare?
— Non lo sappiamo, non l'abbiamo accesa.
— Quindi è un'attrezzatura integra.
— Ma non funziona.
— Beh, guardate, è un'attrezzatura integra di questo modello. Senza diritto alla riesportazione. Non lo lasciamo passare.
In generale, ci sono voluti molti tentativi prima di risolvere che non lo esportavamo, ma lo restituivamo. Alla fine siamo riusciti a sistemare tutto.
C'erano anche copripiedi
Anni fa avevamo il nostro primo dispositivo automatico, il sogno di un admin. Carichi le sovrascarpe in pacchi, lei le disimballa da sola, le apre e le posiziona pronte per essere indossate. Zip-zip ed è fatto.
Circa sei mesi dopo, ha masticato circa cento pacchi di sovrascarpe e si è soffocata. Si è scoperto che aveva così tante parti mobili che bisognava ripararla ogni mese a causa del nostro carico (abbiamo molti ingegneri-clienti che girano nel sito, poiché siamo un data center commerciale), oppure dovevamo acquistarne una nuova.
Il secondo problema è che in una delle pulizie regolari abbiamo trovato un 'panno blu' che penzolava sulla griglia di uno dei rack del suo test. L'autopsia effettuata da un ingegnere del team X ha identificato un frammento del corpo di una sovrascarpa. Si è scoperto che in clinica con le sovrascarpe è comodo: ci si cammina per mezz'ora e basta. Ma alcuni ingegneri possono lavorare tutto il giorno con il ferro. Strisciando con i piedi. Strisciando molto. E le sovrascarpe si consumano in quei piccoli straccetti che volano per il sala macchine.
Quasi subito abbiamo comprato una nuova macchina per sovrascarpe. Abbiamo preso una termomacchina: è un dispositivo in cui si carica una pellicola, e lei la restringe termicamente sopra la scarpa. Bella, efficace, resistente. Meno si disperde. È rimasta con noi per un po', ma dovevamo cambiare la pellicola termoretraibile ogni 1-2 ore, perché la suola tendeva a staccarsi.
Inizialmente pensavamo che fosse solo una nostra sfortuna, mentre per gli altri fosse tutto risolto. Ma no. Abbiamo chiesto ai colleghi occidentali e la storia è la stessa. Alla fine abbiamo iniziato a pensare a come fare in modo che funzionasse bene. Tornare nella sala macchine a prendere nuove sovrascarpe è un'idea, diciamo, poco pratica. Abbiamo trovato pulitori industriali per cantieri e fabbriche. Si tratta di strisce lungo le quali entra il personale. Le strisce con una serie di rulli puliscono tutto e sono fatte in modo tale che, sia che tu lo voglia o meno, catturano e puliscono. Costano circa mezzo milione a un milione di rubli. Abbiamo frugato e trovato una simile per 200 mila, ma il piede deve inserirlo da solo. Per dimensioni è simile a una macchina per la pulizia delle scarpe. Ci si avvicina, inserisci il piede, lei lo 'mastica' e lo restituisce pulito. L'abbiamo messa all'ingresso del data center.
Funziona alla grande, tranne per due dettagli. Primo: è diventato evidente abbastanza in fretta che per noi ingegneri va bene. Ma nella pratica, nel data center, ci sono tutte le varietà di persone che vengono a vedere, tra cui i top manager di grandi aziende. Con scarpe di pelle di drago. E per loro anche la spazzola per applicare la crema sulle scarpe costa più delle mie scarpe da allenamento, scelgono anche la trama appositamente. E sono stati proprio loro a rifiutarsi di infilarvi i piedi nel nostro dispositivo miracoloso. Il secondo problema è emerso d'inverno: quando le scarpe sono davvero molto fangose, non riesce a pulire tutto dal profondo battistrada. Poi cammini per la sala e lasci dietro di te tracce di ectoplasma.
Abbiamo deciso di fare semplice. Abbiamo messo vicino un dispenser di sovrascarpe a rotolo. Tanto abbiamo comunque bisogno di duplicare tutto secondo gli standard.
È emerso un nuovo problema. Osservando il comportamento degli ingegneri-clienti, abbiamo notato la seguente scena: prima infilavano il piede nella macchina per la pulizia e poi si mettevano le sovrascarpe dal dispenser a rotolo. Ora abbiamo appeso una targhetta che dice o l'uno o l'altro, ed è meglio pulirsi, ma se i principi di vita impediscono di pulire le scarpe, allora mettete le sovrascarpe. Sembrava un ticket che sarebbe dovuto durare un paio di giorni, ma si è allungato per molto tempo ed è stato chiuso. Ecco il dispositivo:
Due volte "ku"
In base ai requisiti PCI DSS, è necessario poter distinguere visivamente i ruoli delle persone all'interno del data center. Non guardando il pass e leggendo qualcosa, ma proprio visivamente, come i militari si riconoscono per le spalline, ma ancora di più. Abbiamo deciso di non fare i fighi e abbiamo utilizzato il vecchio caro metodo chatlano: la differenziazione cromatica dei pantaloni. Specificamente, abbiamo iniziato a fare nastri di accesso di diversi colori. Il verde, che è il preferito, è stato subito preso dai nostri amministratori.
Sembra semplice, ma questo ha causato tre effetti imprevisti:
- Ci servivano dei retractor per l'auto-inserimento di questi passaggi quando indossati (sono quelle cose che regolano automaticamente la lunghezza del nastro). Abbiamo scritto un documento dei requisiti, dove abbiamo considerato tutte le richieste di tutti i dipartimenti. È stata una scelta strategica sbagliata. Colore, formato, materiale, il retractor non in plastica, la corda in metallo, per applicare il logo, per essere cucito nel nastro. Le cose sono risultate così costose che poi è stato necessario ridurre i requisiti e cambiare il formato.
- Quando la differenziazione dei pantaloni ha iniziato a funzionare, è diventato molto comodo. I contractor hanno un tipo di nastro, gli amministratori esterni un altro, e i nostri amministratori un terzo. È evidente chi ha quale ruolo. Nella parte elettrica — solo grigi, nell'aria condizionata — blu. Qui avevamo bisogno di nastri per i conducenti (è un ruolo a parte, possono entrare nell'area di scarico, ma non possono uscirne se non per andare all'esterno). Non hanno bisogno di permessi. Inizialmente fornivamo loro nastri senza permessi. Poi, gli addetti alla sicurezza hanno deciso che fosse strano e degradante per la dignità dei conducenti. Hanno la loro logica militare, quindi ora i conducenti vengono a ritirare il permesso insieme al nastro, ma questo permesso non consente di entrare da nessuna parte. Da un punto di vista della sicurezza, diventa un marcatore che attesta che la sicurezza ha controllato quella persona.
- Uno dei nostri ingegneri ha suggerito di sostituire il nastro con maglioni uniformi di colore verde. Ha inviato una proposta di razionalizzazione. Abbiamo ottenuto un compromesso: i permessi con il nastro sono stati mantenuti e abbiamo effettivamente cucito maglioni verdi. Ora abbiamo l'uniforme per gli amministratori. Gli addetti alla sicurezza hanno accolto la battuta e l'hanno inserita nei regolamenti. Ora è obbligatoria (pantaloni, camicia, maglione, ma il maglione può essere tolto).
Inoltre, i nostri clienti si sono spesso lamentati dei percorsi errati nelle mappe per l'ingresso nel nostro data center "Compressore". Inserisci l'indirizzo e la strada risulta sbagliata. Alla fine, i visitatori si ritrovavano nei posti sbagliati, a causa della ferrovia e del traffico che ne seguiva, e lì non c'era modo di girare. Inizialmente volevamo appendere dei segnali sopra la strada. C'è un servizio municipale che consente di inserire segnali gialli aggiuntivi sotto i segnali ordinari, considerati pubblicità. E il costo è quello della pubblicità: un'insegna sull'autostrada Enthusiast costa un milione di rubli all'anno. Parallelamente, abbiamo scritto a Yandex, e hanno persino risposto all'improvviso. E hanno smesso con le stranezze. Possono anche specificare i diodi dei cancelli: ingresso da uno, uscita da un altro.
Google, se ci leggete, sappiate che avete ancora un problema, e non sappiamo a chi dirlo perché ci sentano.
Nelle email invito abbiamo inserito link non solo all'indirizzo, ma all'indirizzo con il percorso calcolato dalla geolocalizzazione dell'utente. Di conseguenza, si sono sbagliati di meno.
Proiettori gobo e altre piccole cose
Sai cosa sono i gobo-proiettori? Anche noi non lo sapevamo. Pensavamo a come etichettare le file di supporti. I supporti stessi, ovviamente, sono contrassegnati con etichette a sgancio rapido, ma si vedono a una distanza di 1-2 metri. La sala è di 500 mq, quindi c'è la possibilità di perdersi. Così ci siamo messi a pensare a come etichettare le fila. È iniziato il brainstorming. Come etichettare, con cosa e dove? Sui pavimenti, sulle pareti, segnaletica sul soffitto ecc. E a quel punto un nostro collega ha notato che da Ikea a un certo punto c'erano adesivi che si usuravano, e poi sono apparse frecce luminose. Così abbiamo deciso di fare un passo semplice: andare da Ikea e controllare uno dei proiettori. Non siamo riusciti a prenderlo: mentre spostavamo delle sedie, il venditore ci ha chiesto cosa stessimo facendo. E subito ha aiutato, dicendo che era un gobo. Si scopre che non è il proiettivo stesso, ma una piastra o una lente per immagini colorate. Questo filtro luminoso è il gobo. Un proiettore costa a partire da 40.000 rubli (ha una lampada potente per uso diurno), e noi abbiamo 14 file in ciascuna delle quattro sale macchine. Quindi abbiamo appiccicato le etichette.
Inoltre, abbiamo mappe sulle pareti che sbiadiscono col passare degli anni. Le abbiamo sostituite con versioni laminate, complete di tasche speciali per il revisore. Il revisore, nel nostro caso, è l'ingegnere principale, il cui compito è quello di controllare l'aggiornamento di tutte le mappe inserite nel centro dati. Quindi, tutte le mappe devono essere verificate e firmate annualmente da un revisore. La presenza di un piccolo registro speciale nella tasca della mappa rende questa procedura più semplice e non richiede la sostituzione della mappa stessa ogni tre anni. Profitto!
Abbiamo fatto una pulizia rotativa del pavimento falso dall'esterno. Abbiamo pulizie regolari, ci sono metodologie e tempi di svolgimento delle pulizie. Ma le ruote dei pesanti supporti lasciano segni. Abbiamo effettuato la pulizia. Adesso siamo preoccupati: non sembra migliorato molto, ma sono apparsi dei riflessi sotto angolazioni specifiche per alcune persone, quelle che hanno i propri pennarelli di gusto personale. Ora stiamo pensando e cercando qualche prodotto chimico che possa sbiancare il pavimento e conferirgli lucentezza. Per evitare che anche le persone selezionate abbiano domande.
Hai visto le postazioni console? Quelli sono tavolini da buffet mobili, solo che al posto delle bevande c'è un terminale per collegarsi alla postazione. Ecco, le ruote di queste postazioni console si staccano e si bloccano, proprio come nei carrelli del supermercato. Ci ha infastiditi incredibilmente. In effetti, l'unico modo per riportarle in vita era comprare una ruota nuova. E trovare ruote specifiche per i nostri modelli non è stato possibile, abbiamo interrogato tutti i fornitori. Alla fine, abbiamo progettato noi stessi una postazione, ponendo l'accento sulla facilità di movimento nell'area delle macchine e sulla riparabilità. È venuto davvero bene.
C'è stata una storia con i calzini sintetici. C'è una cosa chiamata braccialetti antistatici. È quando ti avvicini alla postazione, colleghi il braccialetto a terra sulla postazione e questo si connette al sistema di messa a terra. Ebbene, la postazione è a terra, ma può accadere che l'ingegnere non lo sia. I colleghi dei miei precedenti posti di lavoro raccontavano di aver visto alcune scintille nelle registrazioni delle telecamere e noi abbiamo deciso di obbligare tutti a utilizzare i braccialetti per regolamento.
Incidenti critici
Dal serio: c'è stata una situazione in cui tutti i chiller si sono spenti simultaneamente. I chiller non sono protetti da UPS, poiché crediamo nella fisica, e come riserva termica abbiamo una piscina con acqua refrigerata. Se qualcosa viene disattivato, non servono batterie per alimentare i chiller che raffreddano l'acqua, ma semplicemente dell'acqua fredda già pronta. È comodo e semplice, ma c'è un dettaglio. I chiller sono dotati di un'automazione di protezione che li disattiva in caso di parametri pericolosi della rete elettrica. Se si disattiva l'input, accendiamo il DSG, e da quel momento i chiller vengono alimentati da loro. Andrebbe tutto bene se non vivessimo in Russia. Abbiamo avuto molte volte cali di rete, ma tutto era a posto. Una volta, però, si è verificato un improvviso picco: prima in basso, poi rapidamente in alto, e poi di nuovo in basso – in pochi secondi i parametri di input sono cambiati di circa 4 volte. I chiller si sono spenti, naturalmente. All'inizio abbiamo provato a riaccenderli da remoto, ma si sono protetti molto bene, in modalità di emergenza. È stato necessario che qualcuno andasse fisicamente sul tetto per accenderli manualmente. È importante notare che, secondo lo standard Tier III, tale situazione è una ragione legittima per fermare il data center. Non ci siamo fermati perché le persone sul posto sono competenti e c'è addestramento continuo. Per questo motivo, ci siamo stati sottoposti a controlli regolari da parte di UI per essere certi del TIII Operational. Se necessario, abbiamo superato la ricertificazione UI per TIII Gold – Operational Sustainability. Sul mercato commerciale russo dei data center non c'è nulla di meglio; solo uno possiede una simile certificazione. . Va notato che ricertificarsi è più difficile che ottenere un certificato da zero, poiché controllano anche il periodo precedente, richiedendo molte più prove.
C'è stato un interessante incidente con le telecamere. Abbiamo deciso di controllare le zone cieche per ogni evenienza, abbiamo disegnato le intersezioni, costruito le diagonali degli angoli di visuale sulla pianta, e improvvisamente abbiamo trovato una zona morta di circa 30 centimetri su 15 metri proprio al centro di una delle sale. Stretta e lunga. Non c'è nulla del genere nella sala accanto. Abbiamo scoperto che la telecamera mobile si era lentamente spostata nel corso degli anni, mostrando circa un grado e mezzo a sinistra rispetto a quanto dovesse mostrare nella posizione estrema.
C'è stata anche una grande situazione nel post .
Link
- e
- La mia email: PGoryunov@croc.ru
Fonte: habr.com
