Il problema di trasporto più importante a San Pietroburgo sono i ponti. Di notte, a causa loro, si è costretti a scappare dal locale senza finire la birra. Oppure a pagare il taxi il doppio del normale. Al mattino è necessario calcolare con attenzione il tempo, in modo da arrivare in stazione proprio quando il ponte è abbassato. Non prendiamo in considerazione l'opzione di "dormire da qualche parte in centro, vicino alla stazione", poiché considerata ideologicamente dannosa.
…"Sapsan", che parte alle 5:30, è stato ideato da persone che odiano i gufi. Certo, è molto comodo trovarsi a Mosca alle nove del mattino, e San Pietroburgo è incredibilmente bella durante le notti bianche, ma alle quattro e mezza, quando sono salito in taxi, desideravo voltare la testa di 270 gradi a quel ritorno, che ha inventato questo treno mattutino.
"Tutti i buoni data center si somigliano" — pensai quando scoprii che eravamo stati invitati dai ragazzi di DataLine.
Si è rivelato che ogni data center ha i suoi punti di forza (o debolezza) in modo unico, specialmente quando si imparano le lezioni dopo aver fatto errori e aver affrontato tutti gli ostacoli possibili e opportunità di apprendimento derivanti dall'esperienza personale (e, in parte, altrui). Così, noi (composti da cinque principali linkmeup e alcuni amici e simpatizzanti) abbiamo deciso di verificare quanto siano buoni (o meno) i data center OST e NORD.
Avendo lavorato un po' durante il viaggio (qui potrebbe esserci una pubblicità di un operatore mobile, ma no — la copertura è rimasta scarsa come era), ci fermiamo alla stazione ferroviaria di Leningrado. Beh, almeno non sotto Gazmanov.
Abbiamo iniziato la nostra visita ai data center "verdi" con OST — "quello stesso" che di recente ha "bruciato". Perché tra virgolette — lo spiegherò dopo. Ma ora — stiamo lì, fumiamo, aspettiamo quelli in ritardo. Fotografiamo l'ufficio RT accanto. Ci sono molte storie divertenti su questo vicinato — dalla posa dell'asfalto fresco e dalla verniciatura dei bordi prima dell'arrivo delle Alte Autorità, fino agli sconti nei bar locali che i dipendenti di DataLine ricevevano a causa della somiglianza dei loro badge.
Megafono della propaganda totalitaria
Data center a regime rigido (di accesso)
Accesso, regole di comportamento, macchinetta all'ingresso — quasi la stessa che abbiamo visto . Hai mai visto molte caffetterie nei data center? Noi, adesso, conosciamo un paio di esse. I dipendenti e i clienti hanno dei 'depositi di caffè' sui badge, che vengono regolarmente riforniti, quindi, nei limiti del ragionevole, è possibile godere di un caffè completamente gratis. Anche noi, da ospiti di riguardo, siamo stati invitati a bere.
Non posso dire nulla di negativo sul caffè: è abbastanza normale per una caffetteria 'di rete', ma la posizione conquista involontariamente, e l'arredamento è proprio nei migliori stili moderni.
L'arredamento della caffetteria locale
Nelle fotografie, i data center NORD
Il tour inizia dall'ufficio. Oltre alle famose scritte sui muri conosciute in tutto il Runet e alla gamma bianco-verde, ci sono anche delle divertenti curiosità. Questi sono oggetti di scena rimasti dopo le esibizioni del teatro aziendale (puoi immaginare il direttore tecnico di una rete di data center che recita in uno spettacolo? A noi piace, lo conosciamo di persona.).
È davvero così
Fotografie degli spettacoli
I data center (o, per essere precisi, quattro data center) si trovano in un complesso di edifici industriali costruito ancora nel secolo scorso (all'epoca, la fabbrica 'Citroën' e durante l'URSS, la fabbrica 'Gidropodvod'), quindi da un lato c'è un'architettura industriale severa, travi metalliche, atmosfera di loft e artefatti industriali di varie epoche che si trovano ancora durante i vari lavori. Dall'altro lato, le camere ermetiche del data center devono essere integrate nelle strutture esistenti, e occasionalmente si devono trovare compromessi con la realtà. Tuttavia, non direi che questi compromessi abbiano influenzato la qualità, ma ai ragazzi è sicuramente toccato sudare per il progetto. Inoltre, si dice che ci sia una Metro-2 non lontano, ma non è sicuro.
Oltre al teatro, qui c'è anche un proprio museo. Gli reperti sono, letteralmente, ritrovamenti archeologici
Qualche parola su . Sì, l'edificio (o meglio, il tetto) ha effettivamente preso fuoco. I blocchi esterni dei sistemi di raffreddamento e delle unità frigorifere sono stati danneggiati. In alcuni punti i cavi si sono bruciati e i condizionatori sono rimasti senza elettricità. In altri posti i tubi del refrigerante sono esplosi. Tuttavia, nonostante ciò, le camere con atmosfera controllata hanno resistito a tonnellate d'acqua versata su di esse e le attrezzature sono sopravvissute. La riparazione è avvenuta sotto la supervisione del “comando” rappresentato da alti dirigenti, con il contributo di tutti — sono stati raccolti tutti i tubi di rame disponibili a Mosca e nei dintorni (anche portati di notte con BMW X5) e tutti i montatori sobri. Le attrezzature critiche delle sale dati danneggiate (che hanno sofferto per la mancanza di freddo, non per l'incendio!) sono state rapidamente trasferite in altre sale, quindi, già alle cinque del mattino, abbiamo ripristinato non solo tutti i nostri servizi, ma anche quelli dei clienti.
Abbiamo personalmente ispezionato la sala che ha subito maggiori danni — a parte l'odore di bruciato e le piastrelle del pavimento sostituite, non c'è altro che ricordi dell'incendio (eccetto i supporti con le attrezzature, “temporaneamente” portati in un altro data center, dove sono rimasti).
Pannello di stato
Girando nei corridoi, vediamo un display touch con qualcosa che assomiglia molto a uno schema delle sale macchine del data center. Questo è il pannello di stato. Ce ne sono diversi nei corridoi e consentono agli ingegneri on-site di trovare rapidamente, ad esempio, il condizionatore desiderato e forniscono anche lo stato attuale.
Il monitoraggio è basato su Nagios (attualmente ci sono diversi cluster indipendenti) e copre tutti i data center (sia OST che NORD). Inoltre, ci sono applicazioni per Android e iOS (per clienti e dipendenti), e una pagina di stato direttamente sul sito.
Sul display noto un PUE insolitamente alto — non è prassi comune calcolarlo in tutta Russia, ma 1.90 è comunque molto. La risposta è puramente economica: nel 2012-2013 i server nei data center venivano venduti come pane caldo, quindi non si pensava a sentimenti o efficienza energetica. Montiamo ciò che è disponibile sul mercato, lo facciamo il più rapidamente possibile e non ci preoccupiamo affatto del vostro PUE, perché a che serve? Già in fase di progettazione si acquistano l'80-90% dei server, mentre la legislazione russa non vuole sapere nulla dell'efficienza energetica. Anche se una commissione ad Amsterdam impazzirebbe di fronte a numeri simili.
Niente di personale. Solo affari.
Un'altra caratteristica è la marcatura dei data hall. In ogni struttura, oltre al codice alfanumerico "ufficiale", i data hall hanno dei "nomi umani" tratti dall'alfabeto fonetico militare (Alfa-Bravo-Charlie-Delta...). Per qualche motivo, tutti i clienti amano il bar Whiskey.
Nel servizio clienti non ci sono dettagli trascurabili.
Questi "recinti" vengono allestiti per alcuni clienti. Non ci è stato permesso di fotografare nei macchinari, quindi foto DataLine ©.
I clienti di DataLine sono tutte grandi e rispettabili aziende, che non amano affatto che venga fotografato il loro equipaggiamento. Specialmente se il nome (o il logo) del cliente è scritto in grande sui rack. Non lo amano, punto. Pertanto, abbiamo fotografato le pareti già famose con diverse scritte e l'ingegneria. Anche per l'ingegneria non è possibile fotografare tutto ovunque, ma abbiamo cercato di farlo. Poiché tra i clienti ci sono grandi e rispettabili aziende, le loro richieste possono essere specifiche: rack speciali (o in generale qualche super SSSD da diverse rack di fornitori), i loro recinti, i loro sistemi di controllo accessi, la loro videosorveglianza e un gruppo di pronto intervento con armi. In generale, una delle regole non scritte (e scritte) di DataLine è prendersi cura del cliente e fargli del bene. A partire dai gilet e dai luoghi di lavoro attrezzati con accesso a Internet e ricariche, fino ad eventi vari per i clienti. Questi ultimi sono molto utili anche perché le stesse persone, passando da una azienda all'altra, portano i loro contatti a DataLine. Semplicemente perché qui tutto è accogliente, comodo e affidabile. Il business di DataLine non riguarda solo il noleggio di postazioni. Ci sono anche soluzioni cloud, certificate sia secondo la legge 152-FZ che secondo il PCI-DSS (di cui abbiamo intenzione di realizzare un podcast, seguite gli annunci), e la fornitura di connettività (propri cavi tra le strutture e da ciascuna di esse fino a M9, un proprio anello ottico in città, fino all'organizzazione dell'ultimo miglio fino all'ufficio del cliente).
M - motivazione
A proposito, per quanto riguarda le scritte, le idee non arrivano solo dai dipendenti, ma anche dai partner e dai clienti, dopo di che le più riuscite possono essere votate su DataLine su FB. E anche lì è possibile proporre la propria idea.
Incontro sull'Elba
Cross (foto fornita da DataLine)
Ci fermiamo al Meet-Me-Room, dove si trovano gli operatori. Nel MMR (ce ne sono tre coppie in OST, corrispondenti al numero di ingressi fiber ottici, per attiva e passiva) si accumulano le connessioni da tutti i data center. Nel cross connect tutto è noioso e ordinato. Però, nel punto dove si trova l'attiva degli operatori, ti vengono in mente i migliori anni e le immagini di qualche BM18: spaghetti di cavi e attrezzature di vario tipo (D-Link, Extreme, Juniper, Mikrotik… e così fino all'ASR9k). Qui ci sono più di cinquanta operatori, quindi è tutto un po' variopinto. Dal MMR, la fibra e il rame si diramano nei macchinari. Almeno due linee per ogni (son considerabili varianti), quindi non c'è motivo di preoccuparsi per l'affidabilità della connessione. Il MMR si chiama "Elba", che è un nome piuttosto sottile.
Hai bisogno di IBM Power?
Un'altra scoperta è l'IBM P-series, che non è mai stato acceso e che sta fermo da diversi anni in uno dei corridoi. La macchina (insieme alla library a nastro e al sistema di storage) è stata ordinata da uno dei clienti, ma "non è stata utilizzata", quindi è stata donata al data center. Da allora è lì ferma.
Deve essere bello essere ragazzi benestanti e fare regali del genere, vero? (O forse non l'hanno donata, ma l'hanno dimenticata. O l'hanno persa a carte. Ma è lì da molto tempo)
Ecco un bel pezzo che si trova in NORD-4
Andiamo al centro energetico: ci sono tre (o quattro) generatori elettrici per ogni data center (ricordo, in OST ce ne sono quattro). Il diesel raggiunge la piena potenza in 30-40 secondi e produce 1900kVA. Riserva N+1, sincronizzazione, e altro — è tutto incluso. Il massimo tempo di utilizzo del diesel in OST è di 12 ore. In NORD — 2,5 giorni (dopotutto, un serbatoio da 85 tonnellate non è una sciocchezza).
Naturalmente, ci sono contratti con diverse compagnie di carburante per la fornitura di combustibile. Il passaggio al diesel avviene regolarmente, quindi sia il carburante viene consumato, sia i contratti vengono controllati. A proposito, secondo quanto dicono i colleghi, in NORD durante il test dei generatori, che di solito dura diverse ore, nel luogo dove viene espulso l'aria calda dai generatori, anche in inverno l'erba riesce a diventare verde.
Dopo una breve pausa in una caffetteria già conosciuta, ci dirigiamo verso l'area di NORD. Anche questo non è un singolo data center, ma quattro edifici indipendenti situati nella stessa area. Ognuno ha i propri ingressi di elettricità, i propri generatori e il proprio sistema di raffreddamento. NORD-1 e NORD-2 hanno superato l'audit dell'Uptime Institute M&O. Il più recente (e il miglior data center di DataLine) è NORD-4, quindi andiamo proprio qui.
Nonostante il numero apparentemente enorme di data center a Mosca, si osserva comunque una carenza. Certo, una o due rack possono essere scaricate senza problemi. Ne daranno anche venti. Più di così — è già una questione (e i clienti di DataLine con tali esigenze non sono uno o due). Specificamente in NORD-4 c'è (per ora) spazio, perché un grosso cliente si è trasferito nel proprio data center di recente costruzione, ma in altri posti potrebbe non andar bene. Tuttavia, ora è in corso la progettazione di NORD-5, che promettono di lanciare all'inizio del 2020.
Ma torniamo alla nostra visita. Poiché eravamo in macchina, ci hanno fatti entrare nel cancello, dove i cecchini ci hanno preso di mira, hanno controllato il numero della nostra auto con la richiesta e hanno invitato tutti i passeggeri a scendere per ottenere i permessi (naturalmente, a colpo di passaporto). Perché B — è sicurezza.
NORD-4 è il vanto dell'azienda e una sintesi di anni di esperienza nella costruzione e gestione di data center, ha certificazioni Uptime Institute Tier III per il progetto di design e la struttura (cioè il data center costruito), nonché Operational Sustainability — i ragazzi hanno affrontato il lavoro con la massima responsabilità. All'interno ci sono quattro aree stagne indipendenti, ciascuna con due sale all'interno dello stesso edificio. Ognuna ha il proprio centro energetico (DGU, sale batterie), circuiti di raffreddamento e sistemi antincendio. In comune ci sono solo le connessioni in fibra ottica (due per l'edificio) e l'MMR.
Modding di un ingegnere sano
All'ingresso del CED ci aspetta già un caffè a noi noto (e perché no?). Ci dirigiamo verso il centro di monitoraggio. Ce ne sono attualmente due — in OST e NORD-4 (anche in NORD-1, 2, 3 ci sono i loro turni di sorveglianza). Da ciascun centro è possibile monitorare entrambi i siti, garantendo così una ridondanza n+1 anche qui. Sul videowall ci sono già i dashboard a noi familiari, in tonalità verde (i parametri riportati sono, ovviamente, molto di più rispetto a quelli visualizzati sul display di stato). Parliamo un po' del monitoraggio — niente di stravagante come Prometheus o Grafana, solo Nagios, solo hardcore e visualizzazione personalizzata. Negli ultimi dieci anni (o anche di più) sono state scritte numerose verifiche e script personalizzati, quindi passare a qualcos'altro sembra un'avventura pericolosa. Circa una volta al mese si presenta qualche nuova azienda che offre di risolvere tutti i problemi "rapidamente e senza dolore", ma finora non è andato a buon fine. Il videowall, tra l'altro, funziona anch'esso su una soluzione autoprodotta, che risulta molto più economica rispetto agli analoghi commerciali.
Qui al CCT
Quando progetti, costruisci e gestisci data center da molti anni, non hai più paura di fare qualcosa da solo piuttosto che di acquistare soluzioni pronte. DataLine, ad esempio, non esita a dire che, semplicemente grazie alla sua scala, ha calpestato il massimo numero di spine, e ogni nuovo CED è il figlio di errori difficili e di un'esperienza che supera i dieci anni. Ovviamente, in ogni nuovo CED ci sono le proprie inovazioni, e passeggiando per NORD ti sorprendi di come le persone abbiano semplicemente preso e fatto bene. Non per vanità, né per classifiche o certificati — è un processo ingegneristico ordinario, dove ad ogni iterazione cresci e diventi sempre migliore. Un osservatore esterno dirà che è noioso e conservativo, mentre il cliente, al contrario, sostiene tale stabilità con i propri fondi. E per far bene, non è affatto necessario spendere tanti soldi per sistemi ingegneristici o software (anche se a volte è inevitabile). Spesso la chiave è l'esperienza, le conoscenze e l'ingegno ingegneristico.
Ad esempio, l'edificio NORD-4 conta 3,5 piani. I primi tre sono completi, con soffitti di 4,5 metri, dove si trovano le sale macchine. L'ultimo è tecnico, alto solo 1,8 metri, ed è dedicato esclusivamente al sistema di raffreddamento. Poiché il piano è tecnico, i requisiti sono molto più bassi, il che ha permesso di semplificare il progetto e risparmiare denaro.
Vista del data center triangolare
Max ha un particolare kung-fu per non apparire nelle foto
Concludiamo la visita sul tetto: da qui si gode di una vista fantastica sulla centrale elettrica a fianco e sull'area residenziale, così come su altri edifici NORD. Due di essi sono triangolari. A questo proposito, i colleghi si sono persino scherzati dicendo che 'DataLine è scemo, costruisce un data center triangolare' per mettere lì rack triangolari e server triangolari. Ma niente, l'hanno costruito e funziona con successo, utilizzando efficacemente il territorio disponibile (che a Mosca, va detto, non è gratuito). Un altro fatto sorprendente (per me) è che la maggior parte dei clienti commerciali desidera collocarsi proprio a Mosca. Una location a più di cinquantakm lungo l'autostrada di Minsk (anche se ci sono tutte le capacità e le comunicazioni necessarie) interessa ormai a pochi. Ecco perché tutti si ritrovano stipati in uno spazio limitato.
I condensatori non sono più un data center, ma una centrale elettrica
Con questo il nostro viaggio è giunto al termine.
Dopo c'è stata una lunga e fruttuosa conversazione sui piani comuni e sui futuri podcast (spero di non dover aspettare a lungo), quindi seguite le novità, presto ci sarà ancora di più di interessante.
Coloro che desiderano vedere tutto con i propri occhi sono invitati da DataLine a visitare. Completamente gratuito, ma su prenotazione. A chi menziona la parola d'ordine 'linkmeup' verrà dato un bonus di karma.
Resta sintonizzato!
Fonte: habr.com
