Il problema di trasporto più importante a San Pietroburgo sono i ponti. Di notte, a causa loro, sei costretto a scappare dal bar senza finire la birra. Oppure pagare un taxi il doppio del normale. La mattina, devi calcolare attentamente il tempo, così da poter raggiungere la stazione non appena il ponte viene abbassato, come un ingegnoso mangusta. Non prendiamo in considerazione l'opzione di «dormire da qualche parte in centro, vicino alla stazione», poiché ideologicamente dannosa.
…»Il Sapsan», in partenza alle 5:30, è stato concepito da persone che odiano i gufi. Certo, è molto comodo arrivare a Mosca alle nove del mattino, e San Pietroburgo è incredibilmente bella durante le notti bianche, ma alle quattro e mezza, quando sono salito in taxi, desideravo girare la testa di 270 gradi a quel passero mattiniero che ha ideato questo treno del mattino.
«Tutti i buoni data center si somigliano» — pensai quando scoprii che ci avevano invitati in visita i ragazzi di DataLine.
A quanto pare, ogni centro dati ha i suoi punti di forza (o debolezze), specialmente quando hai già fatto esperienza e raccolto insegnamenti dai tuoi (e, in parte, altrui) errori. Così, noi (composti da cinque leader di linkmeup e amici e sostenitori al seguito) abbiamo deciso di verificare quanto siano buoni (o meno) i centri dati di OST e NORD.
Dopo aver lavorato un po' mentre eravamo in viaggio (potrebbe esserci stata la pubblicità di un operatore mobile, ma no — la copertura è rimasta così scarsa come prima), scendiamo alla Stazione di Leningrado. Beh, almeno non sotto Gazmanov.
Abbiamo iniziato il nostro tour dei data center 'verdi' con OST — 'quello stesso', che di recente ha avuto un 'incendio'. Perché tra virgolette — lo spiegheremo dopo. Nel frattempo, ci siamo fermati, fumiamo, aspettiamo in ritardo. Fotografiamo l'ufficio di RT vicino a noi. Ci sono molte storie divertenti riguardo a questa vicinanza — dalle nuove asfaltature e dalla verniciatura dei marciapiedi prima dell'arrivo delle Alte Personalità, agli sconti nei bar locali che erano riservati ai dataline per via della somiglianza dei loro badge.
Megafono della propaganda totalitaria
Centro dati a regime di sicurezza severa
Pass, regole di comportamento, macinino all'ingresso — ne abbiamo visto uno simile. E quante caffetterie avete visto nei data center? Noi ora conosciamo un paio. I dipendenti e i clienti hanno sui badge depositi 'di caffè' che vengono regolarmente riforniti, quindi, nei limiti ragionevoli, si può gustare caffè completamente gratuito. Anche noi, come ospiti graditi, siamo stati offerti un caffè.
Non posso dire nulla di male sul caffè — è abbastanza normale per una caffetteria 'di rete', ma la posizione è davvero invitante e l'arredamento è in perfetta sintonia con le migliori tradizioni moderne.
L'arredamento della caffetteria locale.
Nelle foto, i data center NORD.
La visita inizia dall'ufficio. Oltre alle famose scritte sui muri conosciute in tutta la rete russa e alla gamma bianco-verde, ci sono anche diverse cose divertenti. Questo è il materiale rimasto dalle esibizioni del teatro aziendale (potete immaginare il direttore tecnico della rete dei data center che interpreta in uno spettacolo? Noi lo conosciamo di persona.).
E in effetti.
Foto degli spettacoli.
I data center (o meglio, quattro data center) sono situati in un complesso di edifici industriali costruito già nel secolo scorso (all'epoca una fabbrica "Citroën", e durante l'era sovietica, la fabbrica "Gidropivot"), quindi da un lato ci sono l'industria dura, travi in metallo, l'atmosfera del loft e artefatti industriali di diverse epoche che vengono ancora trovati durante vari lavori. Dall'altro lato, le aree stagne del data center devono essere integrate nelle strutture esistenti, e di tanto in tanto si devono fare dei compromessi con la realtà. Tuttavia, non direi che questi compromessi abbiano influenzato la qualità — ma sicuramente i ragazzi hanno dovuto lavorare sodo durante la progettazione. Inoltre, si dice che ci sia una linea della Metro-2 nelle vicinanze, ma non è certo.
Oltre al teatro, c'è anche il proprio museo. Gli oggetti esposti, naturalmente, sono reperti archeologici.
Poche parole su . Да, здание (а, точнее, крыша) действительно горело. Пострадали внешние блоки систем охлаждения и хладотрассы. Где-то перегорела проводка и кондиционеры остались без электричества. Где-то взорвались фреонопроводы. Но, не смотря на это, гермозоны выдержали тонны вылитой на них воды, оборудование уцелело. Восстанавливали под управлением «штаба» в лице высшего руководства всем миром — выгребли вообще все медные трубки в Москве и окрестностях (привозили даже ночью на BMW X5) и всех трезвых монтажников. Критичное оборудование из пострадавших датахоллов (пострадавших от отсутствия холода, не от пожара!) оперативно перенесли по другим залам, так что, уже в пять утра подняли не только все свои сервисы, но и клиентов.
Мы лично проверили тот зал, который больше всего «пострадал» — кроме запаха гари и заменённых плиток фальшпола, о пожаре не напоминает вообще ничего (кроме стоек с оборудованием, «временно» увезённых в другой дата-холл, да там и оставшихся).
Статусная панель
Passeggiando per i corridoi, vediamo un display touch con qualcosa di molto simile a uno schema delle sale macchine del data center. Questo è un pannello di stato. Ce ne sono diversi nei corridoi, e permettono agli ingegneri on-site di trovare rapidamente, ad esempio, il condizionatore necessario e comunicano semplicemente lo stato attuale.
Il monitoraggio è basato su Nagios (ora con diversi cluster indipendenti) e copre tutti i data center (sia OST che NORD). Inoltre, ci sono applicazioni per Android e iOS (per clienti e dipendenti), e una pagina di stato direttamente sul sito.
Sul display noto un PUE insolitamente alto — non è una misura comune in tutta la Russia, ma comunque 1.90 è piuttosto eccessivo. La risposta a questo è puramente economica: nel 2012-2013, i rack nei data center venivano venduti come pane caldo, quindi non c'era tempo per sentimentalismi e efficienza energetica. Si installa ciò che è disponibile sul mercato, si fa il più velocemente possibile e non ci si preoccupa affatto del PUE, perché a che serve? Già nella fase di progettazione vengono acquistati l'80-90% dei rack, mentre la legislazione in Russia non vuole sapere nulla dell'efficienza energetica. Certo, una commissione ad Amsterdam sarebbe sicuramente sconvolta da questi numeri.
Niente di personale. È solo business.
Un'altra caratteristica è la designazione dei data hall. In ogni sito, i data hall hanno, oltre al codice alfanumerico "ufficiale", anche pseudonimi "umani" dall'alfabeto fonetico (Alfa-Bravo-Charlie-Delta...). Stranamente, tutti i clienti amano il whiskey.
Nel servizio clienti non ci sono dettagli trascurabili.
Tali "recinzioni" vengono installate per alcuni clienti. Non ci è stato permesso di fotografare nelle sale macchine, quindi questa è una foto di DataLine ©.
I clienti di DataLine sono per lo più grandi e rispettabili aziende, e non amano affatto che venga fotografato il loro equipaggiamento. Soprattutto quando il nome (o il logo) del cliente è scritto in grande sui rack. Non lo gradiscono, e basta. Per questo motivo, abbiamo scattato foto delle famose pareti con varie scritte, oltre che degli impianti tecnici. Anche la fotografabilità degli impianti non è totale, ma ci abbiamo provato. Poiché tra i nostri clienti ci sono grandi aziende, anche le loro richieste possono essere specifiche: rack speciali (o addirittura un'uber SAN composti da rack di diversi fornitori), recinzioni personalizzate, sistemi di controllo accessi, impianti di videosorveglianza e squadre di pronto intervento armate. In generale, una delle regole non scritte (e a volte esplicite) di DataLine è prendersi cura del cliente e garantirgli un servizio di qualità. A partire dalle giubbotti e postazioni di lavoro attrezzate con accesso a Internet e ricariche, fino a eventi speciali per i clienti. Questi ultimi risultano particolarmente utili anche perché le stesse persone, passando da un'azienda all'altra, portano i loro contatti a DataLine. Solo perché qui tutto è accogliente, conveniente e affidabile. Il business di DataLine non si limita solamente all'affitto di spazi rack. Comprende anche il cloud, certificato sia per il 152-FZ che per il PCI-DSS (su questo intendiamo realizzare un podcast, seguite gli annunci), e la fornitura di connettività (le nostre fibre tra i siti e da ciascuno di essi fino a M9, il nostro anello ottico per la città, fino all'organizzazione dell'ultimo miglio fino all’ufficio del cliente).
M — motivazione
A proposito delle iscrizioni — le idee non provengono solo dai dipendenti, ma anche da partner e clienti, dopo di che le più fortunate possono essere votate su DataLine su FB. E puoi anche proporre la tua idea lì.
Incontro sull'Elba
Cross Connection (foto fornita da DataLine)
Ci fermiamo al Meet-Me-Room, dove si trovano gli operatori. Nel MMR (ce ne sono tre paia in OST, corrispondenti al numero degli ingressi di fibra ottica, per attivo e passivo) si concentrano le connessioni da tutti i data center. Nella connessione incrociata tutto è noioso e ordinato. Ma dove si trova l'attrezzatura degli operatori, ricordi gli anni migliori e le immagini di qualche BM18: spaghetti di cavi e attrezzature di vario tipo (DLink, Extreme, Juniper, Mikrotik… e così via fino all'ASR9k). Qui ci sono più di cinquanta operatori, quindi è tutto colorato. Dall’MMR, la fibra e il rame si distribuiscono nelle sale macchine. Almeno due percorsi per ogni (possono esserci varianti), quindi non c'è bisogno di preoccuparsi dell'affidabilità della connessione. L'MMR è chiamato 'Elba', il che è piuttosto sottile.
IBM Power n-serve?
Un'altra scoperta è l'IBM P-series, mai acceso, che giace in uno dei corridoi da diversi anni. La macchina (insieme alla libreria a nastro e all'archiviazione) è stata ordinata da uno dei clienti, ma non è mai stata utilizzata, quindi è stata donata al data center. Da allora, è rimasta lì.
Deve essere bello essere persone facoltose e fare regali del genere, vero? (O forse non l'hanno donata, ma l'hanno dimenticata. O l'hanno persa a carte. Ma resta lì da molto tempo)
Ecco un bel modello che si trova in NORD-4.
Andiamo al centro energetico: tre (o addirittura quattro) generatori per ogni data center (ricordo che in OST ce ne sono quattro). Il diesel raggiunge la piena potenza in 30-40 secondi e produce 1900kVA. Riserva N+1, sincronizzazione e altro — tutto incluso. Il tempo massimo di funzionamento con i generatori a diesel in OST è di 12 ore. In NORD — 2,5 giorni (del resto, un magazzino da 85 tonnellate non è una cosa da poco).
Naturalmente, ci sono contratti con diverse compagnie di carburante per la fornitura di combustibile. Il passaggio al diesel avviene regolarmente, quindi sia il combustibile è prodotto sia i contratti vengono verificati. A proposito, secondo quanto dicono i colleghi, presso NORD, durante il test del gruppo elettrogeno (che di solito richiede più di un'ora), nel luogo dove viene espulso l'aria calda dai diesel, l'erba riesce anche a verdeggiare, anche in inverno.
Dopo un breve spuntino in un caffè che già conosciamo, ci dirigiamo verso il sito di NORD. Non è un solo data center, ma quattro edifici indipendenti sulla stessa area. Ognuno ha i propri ingressi di elettricità, i propri generatori diesel e il proprio sistema di raffreddamento. NORD-1 e NORD-2 hanno superato l'audit M&O dell'Uptime Institute. Il più recente (e il miglior data center DataLine) è il NORD-4, quindi ci dirigiamo proprio qui.
Nonostante la grande quantità di Data Center a Mosca, c'è ancora una carenza. Certo, una o due rack possono essere consegnati senza problemi. Anche venti possono essere disponibili. Ma per quantità maggiori, la situazione diventa complicata (e per i clienti di DataLine con tali necessità, non c'è solo uno o due). Specificamente, in NORD-4 c'è spazio (per ora), perché un grande cliente si è trasferito nel proprio nuovo Data Center, ma in altri posti potrebbe non andare così bene. Tuttavia, attualmente è in fase di progettazione NORD-5, che promettono di lanciare all'inizio del 2020.
Ma torniamo alla nostra visita. Poiché ci siamo recati in auto, ci hanno fatto entrare nel varco, dove gli agenti di sicurezza hanno verificato il numero della nostra macchina con la richiesta, e tutti i passeggeri sono stati invitati ad uscire per ricevere i permessi (naturalmente, con il passaporto). Perché la sicurezza è prioritaria.
NORD-4 è il vanto dell'azienda, una sintesi di anni di esperienza nella costruzione e gestione di data center. Possiede certificati Uptime Institute Tier III per il design e il facility (ovvero, il data center realizzato), oltre a garantire la sostenibilità operativa: il team ha affrontato il progetto con la massima responsabilità. All'interno, ci sono quattro aree ermetiche indipendenti, ognuna con due sale all'interno di un unico edificio. Ciascuna ha il proprio centro energetico (generatori di riserva, sale batterie), circuiti di raffreddamento e sistemi antincendio. Le connessioni comuni sono duplicate in fibra ottica (due per edificio) e il MMR.
Modding del ingegnere sano
На входе в ЦОД ждёт уже знакомая нам кофейня (ну а почему бы и нет?). Поднимаемся в центр мониторинга. Главных сейчас два — в OST и NORD-4 (в NORD-1,2,3 тоже сидят свои дежурные смены). Из каждого центра можно смотреть за обеими площадками, так что даже здесь обеспечивается redundancy n+1. На видеостене — уже знакомые нам дашборды в салатовой гамме (параметров на ней, понятно, гораздо больше, чем на статусном дисплее). Немного общаемся за мониторинг — никаких модных прометеусов и графан, только Nagios, только хардкор и самописная визуализация. За десять лет (впрочем, даже больше) использования написано уже множество кастомных проверок и скриптов, так что съезжать на что-то другое выглядит той ещё авантюрой. Примерно раз в месяц появляется очередная компания, которая предлагает «быстро и безболезненно» решить все проблемы, но пока как-то не складывается. Видеостена, кстати, тоже работает на самосборном решении, которое получилось в разы дешевле коммерческих аналогов.
Здешний ЦУП
Quando progetti, costruisci e gestisci data center per molti anni, la paura di fare qualcosa da solo, piuttosto che acquistare soluzioni pronte, diminuisce. DataLine, ad esempio, non esita a dire che, grazie alla sua dimensione, ha affrontato il massimo numero di difficoltà e ogni nuovo data center è frutto di errori e di un'esperienza che conta già oltre dieci anni. Ovviamente, in ogni nuovo data center ci sono le proprie innovazioni, e passeggiando per NORD, ci si accorge che le persone hanno semplicemente fatto le cose bene. Non per ostentazione, non per classifiche o certificati — è un semplice processo ingegneristico, dove ad ogni iterazione si cresce e si diventa sempre migliori. Un osservatore esterno potrebbe dire che è noioso e conservativo, ma il cliente, al contrario, supporta questa stabilità con i suoi investimenti. E per fare bene, non è affatto necessario spendere fortemente in sistemi ingegneristici o software (anche se, a volte, non se ne può fare a meno). Spesso a fare la differenza sono l'esperienza, le conoscenze e l'ingegnosità ingegneristica.
Ad esempio, l'edificio NORD-4 conta 3,5 piani. I primi tre sono completi, con altezze di 4,5 metri, dove si trovano le sale macchina. L'ultimo è tecnico, alto solo 1,8 metri, e dedicato esclusivamente al sistema di raffreddamento. Poiché il piano è tecnico, i requisiti per esso sono molto più bassi, il che ha consentito di semplificare il progetto e risparmiare denaro.
Vista del data center triangolare
Max ha un particolare kung-fu che gli permette di non farsi beccare nelle foto
Concludiamo il tour sulla terrazza — da qui si gode una vista eccellente sulla vicina centrale termoelettrica e sul quartiere residenziale, nonché su altri edifici NORD. Due di questi sono triangolari. I colleghi si sono persino divertiti a dire che "DataLine è stupida, costruisce un Data Center triangolare per mettere torri triangolari e server triangolari." Ma non fa niente — l'hanno costruito e lo gestiscono con successo, utilizzando efficacemente il terreno disponibile (che a Mosca, va detto, non è gratis). Un altro fatto sorprendente (per me) è che la maggior parte dei clienti commerciali desidera stabilirsi proprio a Mosca. Una sede a oltre cinquanta chilometri lungo la strada di Minsk (anche se ha tutte le capacità e le comunicazioni necessarie) interessa a pochissimi. Così, tutti si accalcano in spazi limitati.
I torri di raffreddamento non sono più un Data Center, ma una centrale termoelettrica.
Con questo il nostro episodio di viaggio giunge al termine.
Dopo c'è stata una lunga e fruttuosa discussione sui piani comuni e sui futuri podcast (spero che non dovremo aspettare a lungo), quindi rimanete sintonizzati per ulteriori interessanti novità.
DataLine invita a tutti coloro che vogliono vedere tutto con i propri occhi a un tour. Completamente gratuito, ma su prenotazione. A chi pronuncerà la parola segreta «linkmeup» — aggiunge karma.
Rimanete sintonizzati!
Fonte: habr.com
