🥇La vita nel data center: piccoli dettagli poco evidenti dopo 7 anni di operatività. E un seguito sulla storia del topo

Сразу скажу: та крыса в привезённом сервере, которую мы пару лет назад отпоили чаем после удара током, скорее всего, сбежала. Потому что мы увидели как-то на обходе её подругу. И сразу решили поставить ультразвуковые отпугиватели.

Теперь вокруг дата-центра проклятая земля: на здание не садятся птицы, и, наверное, сбежали все кроты и черви. Беспокоились, что звук может вызвать выход из строя HDD, но проверили, частоты не те.

Следующая история гораздо веселее. Мы как-то получили железку за пару миллионов рублей в коробке с датчиками наклона, вибрации и влажности. Всё целое. Аккуратно сняли упаковку, а железяка гнутая. Мистика.

Корпус прямо дугой. Красиво так.

Детектив

Мы бы не придали этому значения, потому что выгнут металлический корпус был почти дизайнерским образом. Красиво так, без сколов. И если бы не другие такие же железки рядом, мы бы на распаковке даже не подумали, что что-то не так. Но рядом были такие же, только более правильной геометрической формы.

Fortunatamente, lo spacchettamento di tale hardware viene registrato in video (consiglio a tutti di adottare questa abitudine), quindi è stato possibile dimostrare al produttore che è arrivato in questo modo. Un imballaggio integro e un corpo delicatamente piegato non sono il risultato di urti da parte dei trasportatori. È probabile che sia stata danneggiata ancora prima della partenza per la Russia.

Il fornitore dice: «Eh, ragazzi, perché non la cambiamo direttamente in garanzia?». E qui ci aspettava un epico imprevisto.

Il problema è che la dogana consente di importare questo tipo di attrezzature secondo i documenti senza diritto di riesportazione. Cioè, puoi portarle qui, ma non puoi rivenderle a qualcuno al di fuori della Russia. Quando rispediamo un alimentatore bruciato, ad esempio, è tutto chiaro. È un ricambio, l'alimentatore.

Ma qui abbiamo dovuto rispedire tutto:
— Ragazzi, guardate, stiamo rispedendo l'hardware al produttore.
— L'attrezzatura intera?
— Sì.
— Modello tale e quale?
— Sì.
— Può funzionare?
— Non lo sappiamo, non l'abbiamo accesa.
— Quindi è un'attrezzatura completa.
— Ma non funziona.
— Beh, guardate, è un'attrezzatura intera di questo modello. Senza diritto di riesportazione. Non vi lasciamo passare.

In generale, ci sono state molte incomprensioni prima di capire che non lo esportiamo, ma lo restituiamo. Alla fine, siamo riusciti a sistemare tutto.

C'erano anche porta-bahile.

Inizialmente, molti anni fa, avevamo il nostro primo modello automatico, il sogno di un admin. Puoi caricare le bahile in un pacchetto, e lei le disimballa, le apre e le posiziona in modo che sia solo necessario calpestare. Choc-choc ed è pronto.

Circa sei mesi dopo, ha masticato circa cento pacchetti di bahile e si è bloccata. Si è scoperto che ha così tante parti mobili che dovevamo o ripararla una volta al mese per il nostro carico (abbiamo molti ingegneri-cliente per il sito, dato che siamo un centro dati commerciale), oppure dovevamo acquistarne una nuova.

Il secondo problema è che durante una delle pulizie di routine abbiamo trovato un "panno blu" che penzolava sulla griglia di uno dei supporti del nostro test. Il medico legale, incarnato nell'ingegnere del team X, ha identificato un frammento del corpo della calzata. Si è scoperto che in clinica con le calzate è comodo: dopo aver camminato per mezz'ora, è tutto fatto. Alcuni ingegneri, invece, possono lavorare per un'intera giornata con il materiale. Strisciando con i piedi. Molto strisciando. E le calzate si consumano in questi piccoli pezzi che volano per la sala macchine.

Subito dopo abbiamo comprato una nuova macchina per le calzate. Abbiamo scelto una termomacchina: è una macchina in cui si carica un film e questo film viene accuratamente termorestringente sopra la scarpa. Bello, efficace, resistente. Meno che si disperde. È rimasta con noi per un bel po', ma era necessario cambiare il film termorestringente circa ogni 1-2 ore, perché la suola tendeva a staccarsi da sola.

Inizialmente pensavamo di non avere fortuna, mentre per altre persone sembrava che questo problema si risolvesse in qualche modo. Ma no. Abbiamo chiesto ai colleghi occidentali — stessa storia. Alla fine, abbiamo iniziato a pensare a come risolvere la questione. Tornare dalla sala macchine per nuovi copriscarpe — diciamo che non è una grande idea. Abbiamo trovato dei pulitori industriali per cantieri e produzioni. Si tratta di qualcosa simile a delle passerelle che i turni usano per entrare in officina. Queste passerelle con parecchi rulli puliscono tutto e sono progettate in modo tale che, piaccia o meno, prendono e puliscono. Costano tra 500.000 e 1.000.000 di rubli. Abbiamo scavato e trovato un modello simile a 200.000 rubli, ma devi infilare tu stesso il piede. Per dimensioni, somiglia a una macchinetta per pulire le scarpe. Ti avvicini, infili il piede, lei lo strofina e lo restituisce pulito. L'abbiamo messa all'ingresso del centro dati.

Funziona perfettamente, tranne per due aspetti. Il primo è che è stato abbastanza veloce capire che per noi ingegneri va bene. Ma in pratica, al data center, vengono a vedere persone molto diverse, tra cui i dirigenti delle grandi aziende. Con scarpe in pelle di drago. E per loro anche una spazzola per applicare la crema sulle scarpe costa più delle mie scarpe da ginnastica. Lì scelgono appositamente la trama. Sono proprio loro che rifiutavano di infilare i piedi nel nostro dispositivo miracoloso. Il secondo problema è emerso in inverno: quando le scarpe sono davvero molto fangose, dal profondo battistrada potrebbe non uscire tutto. Poi si cammina per la sala, lasciando le tracce di ectoplasma.

Abbiamo deciso in modo semplice. Abbiamo messo una macchina per calzari a rullo accanto. Dobbiamo sempre duplicare tutto secondo lo standard.

È emersa una nuova problematica. Osservando il comportamento degli ingegneri clienti, abbiamo notato che inizialmente infilavano il piede nella macchina per la pulizia, per poi indossare le sovrascarpe dalla dispensatrice. Ora abbiamo affisso un cartello che indica che bisogna fare uno o l'altro, e sarebbe meglio pulirsi, ma se i principi di vita vietano di pulire le scarpe, allora mettete le sovrascarpe. Sembrava un ticket che doveva durare qualche giorno, ma si è prolungato nel tempo, e ora è chiuso. Ecco il dispositivo:

Due volte 'ku'

In base ai requisiti PCI DSS, è necessario poter distinguere visivamente i ruoli delle persone presenti nel Data Center. Non semplicemente prestando attenzione al badge e leggendo qualcosa, ma visivamente, come i militari si riconoscono a vicenda attraverso le epaulettes, solo in modo ancora più evidente. Abbiamo deciso di non complicarci e abbiamo utilizzato il vecchio buon metodo chatlano – la differenziazione cromatica dei pantaloni. In particolare, abbiamo iniziato a fare strisce di accesso di colori diversi. Il verde, che è il preferito, è stato immediatamente preso dai nostri amministratori.

Sembra semplice, ma ha comportato tre effetti inaspettati:

Erano necessari dei retrattori per l'auto-ritrazione di questi pass per il trasporto (sono quei dispositivi che regolano automaticamente la lunghezza della fune). Abbiamo redatto un capitolato tecnico che prendeva in considerazione tutte le richieste dei vari dipartimenti. Questa si è rivelata una scelta strategica sbagliata. Colore, formato, materiale, retrattore non in plastica, filo metallico per poter applicare il logo, e doveva essere cucito alla fune. I dispositivi sono risultati così costosi che è stato necessario ridurre le specifiche e cambiare il formato.
Quando la differenziazione delle fasce è entrata in funzione, è diventato molto conveniente. Ci sono fasce per i contrattisti, altre per gli amministratori esterni e delle terze per i nostri amministratori. È chiaro chi ha quale ruolo. Nella parte elettrica ci sono solo fasce grigie, nella climatizzazione fasce blu. E ora servivano fasce per i conducenti (questo è un ruolo separato, possono entrare nell'area di scarico, ma non possono uscirne se non per andare all'esterno). In ogni caso, non serve un pass per i conducenti. Inizialmente fornivamo loro fasce senza pass. Poi i responsabili della sicurezza hanno deciso che era piuttosto strano e umiliante per la dignità dei conducenti. Hanno la loro logica militare, quindi ora i conducenti si presentano per ritirare il pass subito con la fascia, ma questo pass non consente di accedere a nessun altro posto. Dal punto di vista della sicurezza, diventa un indicatore che quella persona è stata controllata dal personale di sicurezza.
Uno dei nostri ingegneri ha suggerito di sostituire le strisce con dei maglioni verdi. Ha inviato una proposta di razionalizzazione. Abbiamo fatto a metà: abbiamo mantenuto i pass con le strisce e abbiamo effettivamente cucito dei maglioni verdi. Ora abbiamo una divisa per gli admin. I guardiani della sicurezza hanno sostenuto lo scherzo e l'hanno inserito nei regolamenti. Ora è obbligatoria (pantaloni, camicia, maglione, ma il maglione può essere tolto).

Inoltre, i nostri clienti si lamentavano spesso dei percorsi errati nelle mappe fino all'ingresso nel nostro data center "Compressore". Se inserisci l'indirizzo, la strada viene mostrata in modo inesatto. Alla fine, i visitatori si ritrovavano in posti sbagliati a causa di una ferrovia, e oltre c'era un ingorgo, senza possibilità di tornare indietro. All'inizio volevamo posizionare dei segnali sopra la strada. C'è un servizio della città per aggiungere segnali gialli sotto quelli normali, considerati pubblicità. E il costo è quello della pubblicità: un'insegna sull'autostrada Enthusiasts costa un milione di rubli all'anno. Contemporaneamente abbiamo scritto a Yandex, e loro hanno persino risposto inaspettatamente. Hanno smesso di comportarsi male. È possibile persino indicare i LED dei cancelli: ingresso da uno, uscita da un altro.

Google, se ci stai leggendo, sappi che il tuo problema persiste e non sappiamo a chi dirlo per farci ascoltare.

Nelle e-mail di invito abbiamo inserito link non solo all'indirizzo, ma all'indirizzo con il percorso tracciato dalla geolocalizzazione dell'utente. Di conseguenza, gli errori sono diminuiti.

Proiettori Gobo e altre piccole cose

Sai, sapete cos'è un gobo-proiettore? Neanche noi lo sapevamo. Un giorno ci siamo chiesti come etichettare le file di stand. Gli stand stessi, ovviamente, erano contrassegnati con etichette rimovibili speciali, ma si vedevano solo da una distanza di 1-2 metri. La sala è di 500 mq, quindi c'è molto spazio per perdersi. Così ci siamo messi a lavorare sull'etichettatura delle righe. È iniziato un brainstorming. Come etichettare, con cosa e dove? Sul pavimento, sulla parete, indicazioni sul soffitto, ecc. A questo punto, un nostro collega ha notato che da 'IKEA' c'erano prima adesivi che si consumavano e poi sono apparse delle frecce luminose. Allora abbiamo deciso di fare un passo semplice: andare da 'IKEA' e provare a vedere uno dei proiettori. Non siamo riusciti a prenderlo: mentre portavamo sedie, un venditore ci ha chiesto cosa stessimo facendo. E ci ha subito aiutato, dicendo che si tratta di un gobo. Si scopre che non è il proiettore stesso, ma una piastra o una lente per l'immagine a colori. Questo filtro luminoso è il gobo. Un proiettore costa da 40.000 rubli (con una lampada potente per l'uso diurno), e noi abbiamo 14 righe in ciascuna delle quattro macchine. Così abbiamo attaccato le etichette.

Le nostre schede sulle pareti, dopo anni, si sono scolorite. Le abbiamo sostituite con schede laminate, dotate di piccole tasche "incorporate" per i revisori. Nel nostro caso, il revisore è il capo ingegnere, il cui compito è verificare l'aggiornamento di tutte le schede presenti nel centro dati. Infatti, tutte le schede devono essere controllate e firmate annualmente dal revisore. L'inserimento di un piccolo registro nella tasca della scheda facilita notevolmente questa procedura, evitando la necessità di sostituire la scheda ogni tre anni. Profitto!

Abbiamo effettuato una pulizia rotativa del pavimento flottante esternamente. Effettuiamo pulizie regolari, seguiamo metodologie e programmi di pulizia. Tuttavia, le tracce delle pesanti attrezzature rimangono. Abbiamo effettuato la pulizia. Ora siamo un po' ansiosi: non è diventato molto più pulito a occhio nudo, ma sono apparsi dei riflessi sotto determinati angoli per alcune persone, che usano i propri pennarelli. Stiamo ora considerando e cercando qualche sostanza chimica che possa schiarire il pavimento e conferirgli brillantezza, in modo che non ci siano domande nemmeno per i selezionati.

Hai visto le consolle? Sono come tavoli da buffet mobili, ma anziché bevande c'è un terminale per collegarsi alla consolle. Ebbene, queste consolle hanno le ruote che si staccano e si bloccano, proprio come i carrelli del supermercato. È davvero frustrante. Alla fine, l'unico modo per risolvere il problema è comprare una ruota nuova. Ma trovare ruote specifiche per i nostri modelli è stato impossibile; abbiamo intervistato tutti i fornitori. Così, abbiamo progettato autonomamente la consolle, ponendo l'accento sulla facilità di movimento nel laboratorio e sulla riparabilità. È venuto molto bene.

C'è stata una storia con le calze sintetiche. Esiste una cosa chiamata braccialetti antistatici. Funziona così: ti avvicini alla consolle, colleghi il braccialetto a terra sulla consolle e si connette al sistema di messa a terra. La consolle può essere messa a terra, ma potrebbe capitare che l'ingegnere non lo sia. I colleghi dei miei precedenti posti di lavoro raccontavano di aver visto scintille nelle registrazioni di sorveglianza, e noi abbiamo deciso di obbligare tutti, per precauzione, a utilizzare il braccialetto come regolamentato.

Incidenti critici

In un momento critico, si è verificata una situazione in cui tutti i chiller si sono spenti contemporaneamente. I chiller non sono protetti da un UPS, perché crediamo nella fisica, e come riserva per la temperatura abbiamo una piscina con acqua refrigerata. Se qualcosa si spegne, non servono batterie per alimentare i chiller che raffreddano l'acqua, ma semplicemente l'acqua fredda già pronte. È comodo e semplice, ma c'è un dettaglio. I chiller sono dotati di un'automazione di protezione che li disattiva in caso di parametri elettrici pericolosi. Se l'ingresso viene disconnesso, attiviamo il gruppo elettrogeno e i chiller continuano a funzionare alimentati da esso. Tutto sarebbe andato bene se non vivessimo in Russia. Abbiamo avuto molte fluttuazioni nella rete, ma finora tutto andava bene. Ma un giorno, c'è stata una fluttuazione improvvisa: prima giù, poi su, poi di nuovo giù – in pochi secondi i parametri di ingresso sono cambiati circa quattro volte. I chiller si sono spenti, ovviamente. Abbiamo provato ad accenderli da remoto, ma si sono protetti in modo molto affidabile, in modalità di emergenza. Abbiamo dovuto andare di persona sul tetto e accenderli manualmente. È importante notare che, secondo lo standard Tier III, una situazione del genere è una ragione legittima per fermare un data center. Noi non siamo stati fermi, perché il personale sul posto è competente e c'è una buona formazione con esercitazioni. Per questo motivo, l'UI ci ha monitorato regolarmente per garantire il rispetto del Tier III Operational. Se necessario, siamo stati ri-certificati dall'UI per il TIII Gold – Operational Sustainability. Sul mercato russo dei data center non c'è nulla di meglio, se non il nostro, che abbia ottenuto lo stesso riconoscimento. Centro Dati. Vorrei notare che ri-certificarsi è più difficile che ottenere un certificato da zero, poiché controllano anche il periodo passato come se non si fosse in sé, e sono necessarie molte più prove.

C'è stato un interessante incidente con le telecamere. Abbiamo deciso di ricontare i punti ciechi per sicurezza, abbiamo tracciato le intersezioni, costruito le diagonali degli angoli di visione sul piano, e all'improvviso abbiamo trovato un'area morta di circa 30 centimetri su 15 metri proprio al centro di una delle stanze. Stretta e lunga. Non ce n'è una simile nella stanza accanto. Si è scoperto che la telecamera girevole si era lentamente spostata negli anni, tanto da mostrare circa un grado e mezzo a sinistra di quanto dovesse nella posizione finale.

C'è stato anche un grosso caso nel post sulla sostituzione del DDISP.