Il principale problema di trasporto a San Pietroburgo sono i ponti. Di notte, a causa loro, devi scappare dal pub senza finire la birra. O pagare il doppio per un taxi. Al mattino, devi calcolare attentamente il tempo in modo che, non appena il ponte viene abbassato, tu possa arrivare alla stazione come una mangusta agile. Non riteniamo che l'opzione di "dormire in un posto centrale, vicino alla stazione ferroviaria" sia ideologicamente dannosa.
…Il treno Sapsan, che parte alle 5:30, è stato inventato da persone che odiano i gufi. No, certo, è molto comodo essere a Mosca alle nove del mattino, e San Pietroburgo è incredibilmente bella durante le notti bianche, ma alle quattro e mezza, quando sono salita su un taxi, volevo girare la testa di 270 gradi verso l'allodola che ha inventato questo treno mattutino.
"Tutti i buoni data center sono uguali", ho pensato quando ho scoperto che i ragazzi di DataLine ci avevano invitato a far loro visita.
A quanto pare, ogni data center è buono (o cattivo) a modo suo, soprattutto quando si è affrontata la propria dose di difficoltà, si sono accumulati tutti i punti deboli della zona e si è imparato qualcosa dalla propria (e, in parte, da quella di qualcun altro) ricca esperienza. Così noi (come parte dei cinque principali linkmeup e degli amici e simpatizzanti che si sono uniti a loro) abbiamo deciso di verificare quanto siano buoni (o meno buoni) i data center OST e NORD.
Dopo essere riusciti a fare un po' di strada (qui ci sarebbe potuta essere una pubblicità per un operatore di telefonia mobile, ma niente, la copertura era pessima come prima), scendiamo alla stazione di Leningradsky. Beh, almeno non sotto Gazmanov.
Abbiamo iniziato il nostro tour dei data center "insalata" con OST - "quello stesso" che è "bruciato" non molto tempo fa. Perché tra virgolette? Dopo. Nel frattempo, restiamo lì, fumiamo, aspettiamo chi è in ritardo. Scattiamo foto dell'ufficio RT lì accanto. Ci sono molte storie divertenti su questo quartiere: dalla stesura di asfalto fresco e dalla verniciatura dei marciapiedi prima dell'arrivo dei "High Persons", agli sconti nei bar vicini, concessi ai dataliner per la somiglianza dei loro badge.
Il portavoce della propaganda totalitaria
Centro dati con regime di accesso rigoroso
Pass, regole di condotta, tritacarne all'ingresso: abbiamo visto quasi la stessa cosa E avete mai visto molti bar nei data center? Beh, ora ne conosciamo un paio. Dipendenti e clienti hanno un deposito "caffè" sui loro badge, che viene rifornito regolarmente. Quindi, entro limiti ragionevoli, potete concedervi un caffè assolutamente gratis. Anche noi, come cari ospiti, siamo stati trattati così.
Non posso dire nulla di male sul caffè: è abbastanza tipico di una caffetteria di una "catena", ma la posizione è involontariamente accattivante e l'interno è in linea con le migliori tradizioni moderne.
Interno di una caffetteria locale
Le foto mostrano i data center NORD
Il tour inizia dall'ufficio. Oltre alle iscrizioni sulle pareti e alla combinazione di colori bianco-verde tipica di RuNet, ci sono anche alcune cose divertenti. Si tratta di oggetti di scena rimasti da spettacoli teatrali aziendali (vi immaginate il direttore tecnico di una rete di data center che recita in uno spettacolo teatrale? Lo conosciamo personalmente).
E la verità
Foto delle esibizioni
Il data center (o meglio, quattro data center) si trova in un complesso di edifici industriali costruiti nel secolo scorso (all'epoca lo stabilimento Citroën e, durante l'URSS, lo stabilimento di Gidroprivod), quindi da un lato, c'è uno stile industriale severo, travi metalliche, un'atmosfera da loft e manufatti industriali di epoche diverse che si ritrovano ancora durante i vari lavori. Dall'altro, le zone ermetiche del data center devono essere integrate nelle strutture esistenti e di tanto in tanto è necessario scendere a compromessi con la realtà. Tuttavia, non direi che questi compromessi abbiano influito sulla qualità, ma i ragazzi hanno sicuramente dovuto lavorare sodo durante la progettazione. Inoltre, secondo alcune indiscrezioni, la Metro-2 passerebbe da qualche parte nelle vicinanze, ma non è certo.
Oltre al teatro, qui c'è anche un museo. I reperti esposti sono, naturalmente, reperti archeologici.
Qualche parola su Sì, l'edificio (o meglio, il tetto) è davvero bruciato. Le unità esterne dei sistemi di raffreddamento e le linee fredde sono state danneggiate. Da qualche parte i cavi si sono bruciati e i condizionatori sono rimasti senza corrente. Da qualche parte i tubi del freon sono esplosi. Ma, nonostante ciò, le aree di contenimento hanno resistito a tonnellate d'acqua riversate su di esse, le apparecchiature sono sopravvissute. Il restauro è stato eseguito sotto il controllo del "quartier generale" nella persona dei vertici aziendali da tutto il mondo: hanno rastrellato tutte le tubazioni in rame di Mosca e dintorni (le hanno persino trasportate di notte a bordo di una BMW X5) e hanno portato via tutti i montatori sobri. Le apparecchiature critiche delle sale dati danneggiate (danneggiate dalla mancanza di freddo, non dal fuoco!) sono state rapidamente spostate in altre sale, in modo che alle cinque del mattino fossero svegliati non solo tutti i loro servizi, ma anche i loro clienti.
Abbiamo controllato personalmente la sala più "danneggiata": a parte l'odore di bruciato e le piastrelle del pavimento falso sostituite, non c'era assolutamente nulla che indicasse un incendio (a parte i rack di apparecchiature che erano stati "temporaneamente" spostati in un'altra sala dati e lì rimasti).
Barra di stato
Camminando lungo i corridoi, vediamo un touch screen con qualcosa di molto simile alla disposizione delle sale macchine del data center. Si tratta di un pannello di stato. Ce ne sono molti nei corridoi e permettono ai tecnici in loco di trovare rapidamente, ad esempio, il condizionatore d'aria necessario e di segnalarne semplicemente lo stato attuale.
Il monitoraggio è basato su Nagios (ora ci sono diversi cluster indipendenti) e copre tutti i data center (sia OST che NORD). Sono inoltre disponibili applicazioni per Android e iOS (per clienti e dipendenti) e una pagina di stato direttamente sul sito.
Sul display noto un PUE insolitamente alto: non ovunque in Russia è accettato calcolarlo, ma 1.90 è comunque un po' troppo. La risposta è puramente economica: nel 2012-2013, i rack nei data center andavano a ruba, quindi non c'era tempo per sentimentalismi ed efficienza energetica. Installiamo ciò che è disponibile sul mercato, lo facciamo il più velocemente possibile e non ci preoccupiamo affatto del vostro PUE, perché? Anche in fase di progettazione, l'80-90% dei rack viene acquistato e la legislazione nella Federazione Russa non ne vuole sapere di efficienza energetica. Anche se qualche commissione ad Amsterdam potrebbe avere un infarto per questi numeri.
Niente di personale. Solo affari.
Un'altra caratteristica è la marcatura delle sale dati. In ogni sito, le sale dati, oltre alla codifica alfanumerica "ufficiale", hanno soprannomi "umani" tratti dall'alfabeto navale (Alpha-Bravo-Charlie-Delta...). Per qualche motivo, tutti i clienti adorano la sala Whiskey.
Non ci sono piccoli dettagli quando si tratta di assistenza clienti
Tali "recinti" vengono installati per alcuni clienti. Non ci è stato permesso di scattare foto nelle sale macchine, quindi la foto è di DataLine ©.
I clienti di DataLine sono tutte aziende grandi e rispettate, e non amano che le loro attrezzature vengano fotografate. Soprattutto se il nome (o il logo) del cliente è scritto direttamente sul bancone a caratteri cubitali. Non gli piace, e basta. Ecco perché abbiamo fotografato le ormai famose pareti con le varie iscrizioni e la parte ingegneristica. Non si può fotografare tutta la parte ingegneristica e nemmeno ovunque, ma ci abbiamo provato. Dato che i clienti sono grandi e rispettati, a volte hanno richieste specifiche: banconi speciali (o persino una sorta di sistema di stoccaggio Uber da diversi banconi di fornitori), recinzioni proprie, un proprio ACS, una propria videosorveglianza e una squadra di pronto intervento con mitragliatrici. In generale, una delle regole implicite (e anche esplicite) di DataLine è prendersi cura del cliente e fare del bene a lui. A partire dai giubbotti antiproiettile e dalle postazioni di lavoro attrezzate con accesso a Internet e caricabatterie, fino ai vari eventi per i clienti. Questi ultimi sono molto utili anche perché sono le stesse persone, passando da un'azienda all'altra, a portarli da DataLine. Semplicemente perché qui tutto è accogliente, comodo e affidabile. L'attività di DataLine non si limita all'affitto di spazi rack. È anche un cloud, certificato simultaneamente secondo gli standard 152-FZ e PCI-DSS (faremo un podcast a riguardo, rimanete sintonizzati per gli annunci), e fornisce connettività (fibra proprietaria tra le sedi e da ciascuna di esse a M9, un proprio anello ottico intorno alla città, e così via, fino all'organizzazione dell'ultimo miglio fino all'ufficio del cliente).
M - motivazione
Parlando di iscrizioni, le idee non provengono solo dai dipendenti, ma anche dai partner e dai clienti, dopodiché puoi votare quelle di maggior successo su DataLine su FB. Beh, puoi anche suggerire la tua idea lì.
Incontro sull'Elba
Crossover (foto per gentile concessione di DataLine)
Ci fermiamo alla Meet-Me-Room, dove si trovano gli operatori. Nella MMR (ce ne sono tre coppie nella OST, a seconda del numero di ingressi ottici principali, per quelli attivi e passivi), vengono riunite le connessioni da tutte le sale dati. Nella cross-room, tutto è noioso e ordinato. Ma dove si trovano le apparecchiature attive degli operatori, si ricordano i migliori anni e le riprese di qualche BM18: un groviglio di cavi e apparecchiature eterogenee (DLink, Extreme, Juniper, Mikrotik... e così via fino ad ASR9k). Ci sono più di cinquanta operatori qui, quindi tutto è eterogeneo. Dalla MMR, ottiche e rame vengono distribuiti alle sale macchine. Almeno due percorsi per ciascuna (sono possibili opzioni), quindi non ci si deve preoccupare dell'affidabilità della connessione. La MMR si chiama "Elba", il che è molto sottile.
Hai bisogno di IBM Power?
Un altro ritrovamento è un IBM P-series, mai acceso e rimasto in uno dei corridoi per diversi anni. La macchina (insieme alla libreria a nastro e al sistema di storage) era stata ordinata da uno dei clienti, ma "non era necessaria", quindi è stata donata al data center. Da allora è rimasta lì.
Deve essere bello essere ricchi e fare regali del genere, non è vero? (O forse non te l'hanno dato, ma se ne sono dimenticati. O l'hanno perso giocando a carte. Ma è lì da molto tempo)
Ecco una tale bellezza in piedi a NORD-4
Passiamo al power center: tre (o anche quattro) generatori diesel per ogni data center (vi ricordo che ce ne sono quattro in OST). Il diesel raggiunge la piena capacità in 30-40 secondi e produce 1900 kVA. Ridondanza N+1, sincronizzazione e così via, inclusi. Il tempo massimo impiegato dai diesel in OST è di 12 ore. In NORD - 2.5 giorni (dopotutto, un deposito da 85 tonnellate non è una passeggiata).
Naturalmente, esistono contratti con diverse compagnie di rifornimento per la fornitura di carburante. Il passaggio al diesel avviene regolarmente, quindi sia il carburante viene prodotto che i contratti vengono verificati. A proposito, secondo i colleghi di NORD, durante il collaudo del gruppo elettrogeno diesel, che di solito richiede più di un'ora, l'erba ha il tempo di diventare verde anche in inverno, nel punto in cui viene emessa l'aria calda dei motori diesel.
Dopo un breve spuntino in un bar familiare, ci dirigiamo al sito NORD. Anche questo non è un unico data center, ma quattro edifici indipendenti su un unico territorio. Ognuno ha i propri ingressi di alimentazione, i propri motori diesel e il proprio sistema di raffreddamento. NORD-1 e NORD-2 hanno superato l'audit M&O dell'Uptime Institute. Il più recente (e il migliore data center DataLine) è NORD-4, quindi andiamo lì.
Nonostante l'apparente numero enorme di data center a Mosca, c'è ancora carenza. Naturalmente, uno o due rack vi verranno spediti senza problemi. Ve ne daranno anche venti. Di più è una questione (e DataLine ha più di uno o due clienti con tali esigenze). Nello specifico, NORD-4 ha spazio (per ora), perché un grande cliente si è trasferito nel suo data center di nuova costruzione, ma in altri luoghi la fortuna potrebbe non essere la stessa. Ciononostante, NORD-5 è attualmente in piena attività e promettono di lanciarlo all'inizio del 2020.
Ma torniamo alla nostra escursione. Dato che viaggiavamo in auto, siamo stati fatti entrare in una chiusa, dove i mitraglieri ci hanno preso di mira, hanno controllato il numero della nostra auto con quello della domanda e hanno chiesto a tutti i passeggeri di scendere per ottenere i lasciapassare (con il passaporto, ovviamente). Perché B sta per sicurezza.
NORD-4 è l'orgoglio dell'azienda e il frutto di una pluriennale esperienza nella costruzione e gestione di data center. Ha ottenuto le certificazioni Uptime Institute Tier III per la progettazione e la Facility (ovvero il data center realizzato), nonché per la Sostenibilità Operativa: i ragazzi hanno affrontato la questione con la massima responsabilità. All'interno sono presenti quattro zone di contenimento indipendenti con due sale all'interno di un edificio. Ognuna dispone di un proprio power center (generatore diesel, sale batterie), circuiti di raffreddamento e sistemi antincendio. In comune: ingressi ottici (due per edificio) e MMR.
Modding di Healthy Engineer
All'ingresso del data center, ci attende una caffetteria familiare (beh, perché no?). Saliamo al centro di monitoraggio. Ora ce ne sono due principali: in OST e NORD-4 (anche NORD-1,2,3, 1 e XNUMX hanno i loro turni di servizio). Da ogni centro è possibile monitorare entrambi i siti, quindi anche qui la ridondanza n+XNUMX è garantita. Sul videowall, già a noi familiari, i dashboard in un'ampia gamma di colori (ovviamente, ci sono molti più parametri rispetto al display di stato). Parliamo un po' di monitoraggio: niente Prometheus e Grafana alla moda, solo Nagios, solo una visualizzazione hardcore e fatta in casa. In oltre dieci anni (in realtà, anche di più) di utilizzo, sono già stati scritti molti controlli e script personalizzati, quindi passare a qualcos'altro sembra una vera avventura. Circa una volta al mese, compare un'altra azienda che si offre di risolvere tutti i problemi "rapidamente e in modo indolore", ma finora non ha funzionato. Il videowall, tra l'altro, funziona anche con una soluzione autoassemblante, che si è rivelata molto più economica rispetto ai prodotti analoghi in commercio.
Il Centro di Controllo Missione locale
Quando si progetta, costruisce e gestisce data center per molti anni, non si ha poi così tanta paura di fare qualcosa da soli, piuttosto che acquistare qualcosa di già pronto. DataLine, ad esempio, non ha timore di affermare che, semplicemente grazie alle sue dimensioni, ha calpestato il massimo numero di rastrelli, e che ogni nuovo data center è figlio di errori difficili e di esperienza, che dura ormai da oltre dieci anni. Naturalmente, ogni nuovo data center ha il suo know-how e, passeggiando per NORD, ogni tanto ci si sorprende a pensare che qualcuno l'abbia semplicemente preso e l'abbia fatto bene. Non per mettersi in mostra, non per ottenere valutazioni e certificazioni: un normale processo di ingegneria, in cui a ogni iterazione si supera se stessi e si diventa sempre più bravi. Un osservatore esterno dirà che questo è noioso e conservativo, ma il cliente, al contrario, sostiene tale stabilità con i propri soldi. E per fare bene, non è affatto necessario acquistare sistemi di ingegneria o software a caro prezzo (anche se a volte non c'è modo di evitarlo). Nella maggior parte dei casi, i fattori decisivi sono l'esperienza, la conoscenza e l'ingegnosità ingegneristica.
Ad esempio, l'edificio NORD-4 si sviluppa su 3,5 piani. I primi tre sono piani completi, con soffitti alti 4.5 metri, e ospitano le sale macchine. L'ultimo è un piano tecnico, alto solo 1.8 metri, dedicato esclusivamente al sistema di raffreddamento. Essendo il piano tecnico, i requisiti richiesti sono molto più bassi, il che ha permesso di semplificare il progetto e risparmiare denaro.
Vista del data center triangolare
Max ha un kung fu speciale per non apparire nelle foto
Concludiamo il tour sul tetto: da qui si gode di un'eccellente vista sulla vicina centrale termoelettrica e sulla zona residenziale, nonché su altri edifici NORD. Due di questi sono triangolari. In questa occasione, i colleghi hanno persino riso, dicendo che "DataLine è una stronzata, stanno costruendo un data center triangolare per qualche motivo" per installarci rack e server triangolari. Ma non importa: l'hanno costruito e lo stanno gestendo con successo, sfruttando al contempo in modo efficace il territorio disponibile (che, va detto, a Mosca non è libero). Un altro fatto sorprendente (per me) è che la maggior parte dei clienti commerciali desidera avere sede a Mosca. Un sito a cinquanta chilometri di distanza lungo l'autostrada di Minsk (anche se tutte le capacità e le comunicazioni necessarie sono disponibili) non interessa a nessuno. Quindi tutti si accalcano in uno spazio non coperto.
Le torri di raffreddamento non sono più data center, ma centrali termoelettriche
È qui che termina il nostro ultimo viaggio.
In seguito c'è stata un'altra lunga e produttiva conversazione sui piani comuni e sui podcast futuri (spero che non dovremo aspettare a lungo), quindi rimanete sintonizzati, presto ci saranno cose ancora più interessanti.
Bene, e per chi vuole vedere tutto con i propri occhi, DataLine vi invita a un tour. Assolutamente gratuito, ma su appuntamento. Chi pronuncia la parola in codice "linkmeup"... più karma.
Rimanete sintonizzati!
Fonte: habr.com
