U prublema di trasportu più impurtante in San Petruburgu hè i ponti. A notte, per via di elli, avete da scappà da a taverna senza finisce a vostra biera. Ebbè, o pagate duie volte per un taxi cum'è di solitu. In a matina, calculate currettamente u tempu per chì quandu u ponte hè chjusu, fate à a stazione cum'è una mangusta agile. Ùn avemu micca cunsideratu l'opzione "per passà a notte in un locu in u centru, vicinu à a stazione" cum'è ideologicamente dannusu.
... "Falcu pellegrinu", partendu à 5:30, hè statu inventatu da e persone chì odianu i civette. Innò, sicuru, hè assai cunvenutu per esse in Mosca à nove ore di a matina, è San Petruburgu hè incredibilmente bella durante e notti bianche, ma à a mità di quattru, quandu sò ghjuntu in u taxi, vulia turnà a mo testa 270. gradi à l'allodola chì hà inventatu stu trenu matinu.
"Tutti i boni centri di dati sò simili", aghju pensatu quandu aghju scupertu chì i picciotti di DataLine ci anu invitatu à visità.
Comu risulta, ogni centru di dati hè bonu (o cattivu) un pocu in u so modu, soprattuttu quandu si chjappà u big time, cullighjate tutti i razzi in a zona è amparà lezioni da u vostru propiu (è, un pocu, l'altri populi. ) ricca esperienza. Allora avemu (custituitu da cinque linkmeup principali è i so amichi è simpatizzanti) decisu di verificà quantu sò boni (o micca cusì boni) i centri di dati OST è NORD.
Dopu avè riesciutu à fà un pocu di travagliu nantu à a strada (ci puderia esse un annunziu per un operatore mobile quì, ma micca - a cobertura era sempre mala), avemu scaricatu in a stazione di Leningradsky. Ebbè, almenu micca sottu Gazmanov.
Avemu principiatu u nostru giru di i centri di dati "lime" cù OST - "u stessu" chì "bruciatu" pocu tempu fà. Perchè in quotes - dopu. Intantu, stemu, fumemu, è aspittemu quelli chì sò in ritardu. Pigliate ritratti di l'uffiziu RT vicinu. Ci sò parechje storie divertenti annantu à questu quartiere - da a stallazione di asfaltu frescu è a pittura di curbs prima di l'arrivu di dignitarii, à sconti in caffè vicini chì sò stati dati à i residenti di Dataline per via di a similitudine di i so badge.
U portavoce di a propaganda totalitaria
Data center di modu strettu (accessu).
Passu, regule di cumportamentu, macinatu di carne à l'entrata - quasi u listessu chì avemu vistu . Avete vistu assai caffè in i centri di dati? Avà sapemu un coppiu. L'impiegati è i clienti anu depositi di "café" nantu à i so badge, chì sò regularmente riforniti. Cusì, in limiti ragiunate, pudete trattà cun caffè completamente gratis. Noi, cum'è cari invitati, eramu ancu trattati cù un pranzu.
Ùn possu micca dì nunda di male nantu à u caffè - hè abbastanza normale per una caffetteria "catena", ma u locu hè captivante involuntariamente, è l'internu hè ghjustu in linea cù e migliori tradizioni muderni.
Internu di un caffè locale
I ritratti mostranu i centri di dati NORD
A tour principia da l'uffiziu. In più di l'iscrizioni nantu à i muri è u schema di culore biancu è calce cunnisciutu in tuttu u Runet, ci sò ancu ogni tipu di cose divertenti. Quessi sò prupunimenti lasciati da spettaculi di teatru corporativu (pudete imaginate u direttore tecnicu di una reta di centru di dati chì ghjucanu in una dramma? È u cunniscenu personalmente).
È hè vera
Foto da spettaculi
U centru di dati (o piuttostu, quattru centri di dati) sò situati in un cumplessu di edifizii industriali custruiti in u seculu prima di l'ultimu (poi a pianta Citroen, è in i tempi suviètici a pianta Gidroprivod), cusì da una banda ci hè un duru. aspettu industriale, travi di metallu, una atmosfera di loft è artefatti industriali di epoche diverse chì si trovanu sempre durante diversi travaglii. Per d 'altra banda, e zoni ermetiche di u centru di dati deve esse in forma in strutture esistenti, è cumprumessi cù a realità deve esse fatta da u tempu à u tempu. Tuttavia, ùn diceraghju micca chì questi cumprumessi anu affettatu a qualità - ma i picciotti probabilmente avianu da travaglià dura durante u disignu. Inoltre, sicondu i rumuri, Metro-2 passa in un locu vicinu, ma questu ùn hè micca sicuru.
In più di u teatru, ci hè ancu un museu. Esposizioni, naturalmente - ritrovi archeologichi
Uni pochi parolle circa . Iè, u bastimentu (o megliu, u tettu) era veramente in focu. L'unità esterne di i sistemi di rinfrescante è i tubi friddi sò stati danati. In qualchì locu u cablaggio hè brusgiatu è l'aria condizionata sò stati lasciati senza elettricità. I tubi di freon sò esplosi in qualchì locu. Ma, malgradu questu, e zoni ermetiche resistenu tunnellate d'acqua versata nantu à elli, è l'equipaggiu sopravvive. L'anu restauratu sottu u cuntrollu di a "sede" rapprisentata da a dirigenza di u mondu sanu - razzianu tutti i tubi di rame in Mosca è l'area circundante (ancu li purtonu di notte in un BMW X5) è tutti i sobri. installatori. L'equipaggiu criticu da i datahalls dannighjati (dannutu da a mancanza di fretu, micca da u focu!) Hè statu trasfirutu rapidamente à altri saloni, cusì chì da cinque à a matina micca solu tutti i so servizii, ma ancu i so clienti eranu in funziunamentu.
Avemu cuntrollatu personalmente a sala chì "soffriva u più" - eccettu l'odore di ardenti è rimpiazzati tile di u pianu elevatu, nunda ùn ricorda micca u focu (eccettu per i rack di l'equipaggiu chì sò stati "temporaneamente" purtati à un altru sala di dati, è restò quì).
pannellu di statutu
Camminendu per i corridori, vedemu un display touch cun qualcosa assai simili à u diagramma di e camere di turbine di u centru di dati. Questu hè u pannellu di statutu. Ci sò assai di elli in i corridori, è permettenu à l'ingegneri in situ di truvà rapidamente, per esempiu, l'aria condizionata necessaria, è simpricimenti rappurtate u statu attuale.
U monitoraghju hè custruitu nantu à Nagios (avà ci sò digià parechji clusters indipendenti) è copre tutti i centri di dati (sia OST è NORD). Inoltre, ci sò applicazioni per Android è iOS (per i clienti è l'impiegati), è una pagina di statutu direttamente nantu à u situ web.
In a visualizazione aghju nutatu un PUE inusualmente altu - ùn hè micca accettatu in ogni locu in Russia, ma ancu 1.90 hè un pocu altu. A risposta à questu hè puramente ecunomica - in u 2012-2013, i racks in i centri di dati vindianu cum'è torte calde, per quessa, ùn ci era micca tempu per sentimentalità è efficienza energetica. Installemu ciò chì hè nantu à u mercatu, fate u più prestu pussibule è ùn importa micca u vostru PUE, perchè perchè? Ancu in u stadiu di disignu, 80-90% di i racks sò acquistati, ma a legislazione in a Federazione Russa ùn vole micca sapè nunda di l'efficienza energetica. Ancu s'è certi cumissioni in Amsterdam sarianu soddisfatti di tali figuri.
Nunda di persunale. Solu affari.
Un'altra caratteristica hè a marcatura di e sale di dati. In ogni situ, e sale di dati, in più di a codificazione alfanumerica "ufficiale", anu pseudonimi "umani" da l'alfabetu navali (Alpha-Bravo-Charlie-Delta...). Per una certa ragione, tutti i clienti amanu a sala di Whisky.
Ùn ci sò micca picculi dettagli quandu si tratta di cura di i clienti.
Tali "fences" sò eretti per certi clienti. Ùn avemu micca permessu di piglià ritratti in e camere di turbine, cusì a foto hè DataLine ©
I clienti di DataLine sò in gran parte cumpagnie grandi è rispettate; ùn li piace micca veramente chì i so equipaghji sò fotografiati. Inoltre, se u nome di u cliente (o logò) hè scrittu direttamente nantu à u bancu in grandi lettere. Ùn li piace micca - questu hè tuttu. Per quessa, avemu filmatu i muri dighjà famosi cù diverse iscrizioni, è l'ingegnere. Ùn hè ancu pussibule di fotografà tuttu l'ingenieru è micca in ogni locu, ma avemu pruvatu. Siccomu i nostri clienti sò grandi è rispettati, anu ancu richieste specifiche - rack speciali (o un tipu di sistema di almacenamento uber da parechji rack di venditori), i so propri recinti, i so propri sistemi di cuntrollu di accessu, a so propria videovigilanza è una squadra di risposta rapida cù mitragliatrici. In generale, una di e regule micca parlate (è pubbliche) di DataLine hè di piglià cura di u cliente è di fà u bè. Partendu da veste è stazioni di travagliu equipate cù accessu à Internet è caricatori, à diversi avvenimenti per i clienti. L'ultimi sò ancu assai utili in chì e stesse persone, chì si movenu da cumpagnia à cumpagnia, portanu à DataLine. Simply perchè tuttu quì hè accogliente, convenientu è affidabile. L'affari di DataLine ùn hè micca solu di affittu spaziu di rack. Questu hè ancu un nuvulu, certificatu simultaneamente secondu 152-FZ è PCI-DSS (avemu da fà un podcastu nantu à questu, stà attenti à l'annunzii), è furnisce a cunnettività (i so propri fibre trà i siti è da ognunu à elli). M9, u so propiu anellu otticu attraversu a cità, è cusì finu à l'urganizazione di l'ultimu chilometru à l'uffiziu di u cliente).
M - motivazione
Parlendu di iscrizioni, l'idee venenu micca solu da l'impiegati, ma ancu da i partenarii è i clienti, dopu chì pudete votà per i più riesciuti nantu à DataLine in FB. Ebbè, pudete prupone a vostra idea quì.
Reunione à l'Elba
Cross (foto per cortesia di DataLine)
Ci fermemu à a Meet-Me-Room, induve si trovanu l'operatori. In MMR (ci sò trè pariglii in OST, secondu u numeru di inputs otticu principali, per attivu è passiu) e cunnessione da tutte e sale di dati sò cumminati. In a scarpa cross-country tuttu hè boring è pulito. Ma induve si trova a camera attiva, vi ricordate di i migliori anni è filmati da qualchi BM18: tagliatelle fatte di fili è equipaghji assortiti (DLink, Extreme, Juniper, Mikrotik ... è cusì finu à ASR9k). Ci sò più di cinquanta operatori quì, cusì tuttu hè culurita. Da MMR, l'ottica è u ramu sò distribuiti à e sale di macchine. Almenu duie rotte per ognunu (i varianti sò pussibuli), perchè ùn avete micca preoccupatu di l'affidabilità di a cunnessione. MMR hè chjamatu "Elbe", chì hè abbastanza sottile.
IBM Power nunda?
Un altru scupertu hè una IBM P-series, chì ùn hè mai stata attivata, è hè stata in unu di i corridori per parechji anni. A macchina (inseme cù a biblioteca di cinta è u sistema di almacenamiento) hè stata urdinata da unu di i clienti, ma "ùn era micca utile", per quessa hè stata donata à u centru di dati. Dapoi sta ferma.
Hè prubabilmente bonu per esse omi ricchi è dà tali rigali, nò? (O forse ùn l'anu micca datu cum'è rigalu, ma s'hè scurdatu. O anu persu à e carte. Ma hè stata per un bellu pezzu)
Stu bellu tippu si trova in NORD-4
Andemu à u centru di l'energia - trè (o ancu quattru) generatori diesel per ogni centru di dati (lasciami ricurdà, ci sò quattru in OST). U mutore di diesel righjunghji a piena putenza in 30-40 seconde è pruduce 1900 kVA. N+1 ridondanza, sincronizazione, etc. inclusa. U tempu di seduta più longu nantu à i motori diesel in OST hè di 12 ore. in NORD - 2.5 ghjorni (dopu tuttu, una stallazione di almacenamiento per 85 tunnellate ùn hè micca assai soldi).
Di sicuru, ci sò accordi cù diverse cumpagnie di carburante per u fornimentu di carburante. U cambiamentu à u diesel hè regularmente, cusì chì sia u carburante hè pruduttu è i cuntratti sò verificati. In modu, sicondu i culleghi, in NORD, quandu si teste di i generatori di diesel, chì generalmente dura più di una ora, in u locu induve l'aria calda da i motori diesel hè emessa, ancu in l'invernu l'erba riesce à turnà verde.
Dopu un brevi spuntino in una caffetteria familiare, andemu à u situ NORD. Questu hè ancu micca un centru di dati, ma quattru edifici indipendenti nantu à u stessu territoriu. Ognunu hà u so propiu input di l'electricità, i so propri motori diesel è u so propiu cooling. NORD-1 è NORD-2 sò stati auditati da Uptime Institute M&O. L'ultimu (è u megliu centru di dati DataLine) hè NORD-4, cusì hè quì chì andemu.
Malgradu u numeru apparentemente enormu di centri di dati in Mosca, ci hè sempre una carenza. No, sicuru, unu o dui rack vi saranu spediti senza prublemi. Vi daranu ancu vinti. Più hè una quistione (è DataLine hà più di unu o dui clienti cù tali bisogni). In particulare, in NORD-4 ci hè un locu (per avà), perchè un grande cliente si trasfirìu in u so propiu centru di dati di novu custruitu, ma in altri lochi questu ùn hè micca cusì furtunatu. Tuttavia, u disignu di NORD-5 hè avà in piena evoluzione, chì hè prumessu di esse lanciatu à u principiu di u 2020.
Ma tornemu à a nostra escursione. Siccomu viaghjàvamu in vittura, ci anu lasciatu in a porta, induve i mitragliatori ci anu miratu, cuntrollanu u nostru numeru di vittura cù l'applicazione, è dumandanu à tutti i passageri di esce per piglià i pass (cù i so passaporti, sicuru). Perchè B hè sicurità.
NORD-4 hè l'orgogliu di a cumpagnia è una compilazione di parechji anni di sperienza in a custruzzione è l'operazione di centri di dati, hà certificati Uptime Institute Tier III per u prugettu di cuncepimentu è Facility (vale à dì un centru di dati custruitu), è ancu a Sostenibilità Operativa. - i picciotti si avvicinavanu à a materia u più vicinu pussibule in modu rispunsevule. Dentru ci sò quattru zoni ermetiche, indipindenti l'una di l'altru, cù duie sale ognuna in un edifiziu. Ciascunu hà u so propiu centru di putenza (generatore diesel, stanze di batterie), circuiti di rinfrescante è sistemi di estinzione di u focu. General - inputs otticu (ci sò dui di elli per edifiziu) è MMR.
Ingegnere Sano Modding
À l'entrata di u centru di dati, ci aspetta una caffetteria dighjà familiarizzata (bene, perchè micca?). Andemu à u centru di surviglianza. Ci sò avà dui principali - in OST è NORD-4 (NORD-1,2,3 anu ancu u so propiu turnu di duvere). Da ogni centru pudete guardà i dui siti, cusì ancu quì a redundanza n+1 hè assicurata. In u video wall ci sò digià dashboards familiari in un schema di culore verde chjaru (ci sò, sicuru, assai più paràmetri nantu à questu cà nantu à a visualizazione di u statutu). Avemu cumunicatu un pocu nantu à u monitoraghju - senza Prometheus è Grafan fantastichi, solu Nagios, solu visualizazione hardcore è fatta in casa. Più di deci anni (in ogni modu, ancu di più) di usu, parechji cuntrolli persunalizati è scripts sò digià stati scritti, cusì cambià à qualcosa d'altru s'assumiglia à un ghjocu. Circa una volta à u mese appare una altra sucietà chì offre à risolve tutti i prublemi "rapidamente è senza dolore", ma in qualchì manera ùn funziona ancu. U muru di video, per via, travaglia ancu nantu à una suluzione auto-assemblata, chì hè stata parechje volte più prezzu di l'analogi cummerciale.
Centru di cuntrollu lucale
Quandu avete disignatu, custruendu è operatu centri di dati per parechji anni, ùn avete più paura di fà qualcosa sè stessu invece di cumprà qualcosa pronta. DataLine, per esempiu, ùn esitò à dì chì, solu per via di scala, anu pisatu u massimu numeru di sbagli, è ogni novu centru di dati hè u risultatu di sbagli difficiuli è spirienza chì hè stata per più di deci anni. . Di sicuru, ogni novu centru di dati hà u so propiu sapè fà, è mentre camminendu intornu à NORD, ogni tantu ti pigliate à pensà chì a ghjente hà fattu solu è hà fattu bè. Micca per esse dimustrà, micca per a fine di qualificazioni è certificati - un prucessu di ingegneria normale, quandu à ogni iterazione cresce sopra sè stessu è diventate megliu è megliu. Un observatore esternu diciarà chì questu hè noioso è cunsirvatore, ma u cliente, à u cuntrariu, mantene una stabilità cusì cù i so soldi. È per fà bè, ùn hè micca necessariu cumprà sistemi di ingegneria o software per assai, assai soldi (ancu se qualchì volta ùn pudete micca fà senza ellu). L'esperienza, a cunniscenza è l'ingenuità di l'ingegneria spessu decidenu.
Per esempiu, u bastimentu NORD-4 hà 3,5 piani. I primi trè sò cumpleti, cù tetti di 4.5 metri, induve si trovanu e camere di turbine. È l'ultimu hè tecnicu, solu 1.8 metri d'altitudine, è hè dedicatu solu à u sistema di rinfrescante. Siccomu u pianu hè tecnicu, i requisiti per questu sò assai più bassi, chì simplificà u prugettu è risparmià soldi.
Vista di u centru di dati triangulari
Max hà una capacità speciale di kung fu per ùn esse brusgiatu in e foto
Finimu a tour nantu à u tettu - da quì avemu una vista eccellente di a centrale termale vicinu è a zona residenziale, è ancu di altri edifici NORD. Dui di elli sò triangulari. Circa questu, i culleghi anu ancu risu chì "DataLine sò moroni, per una certa raghjone sò custruendu un centru di dati triangulari" per installà racks triangulari è servitori triangulari. Ma nunda - anu custruitu è sò operatu cù successu, è à u stessu tempu utilizendu in modu efficace u territoriu esistenti (chì in Mosca, deve esse dichjaratu, ùn hè micca liberu). Un altru fattu sorprendente (per mè) hè chì a maiò parte di i clienti cummerciale volenu esse situatu in Mosca. Un situ à mezu centu chilomitri di distanza longu l'autostrada di Minsk (ancu s'ellu ci sò tutte e capacità è cumunicazioni necessarii) ùn interessa più à nimu. Allora tutti s'ammuccianu in una senza gomma.
E torri di rinfrescamentu ùn sò più centri di dati, ma centrali termali
Cù questu u nostru prossimu viaghju hè ghjuntu à a fine.
Dopu ci hè stata una altra conversazione longa è produttiva nantu à i piani cumuni è i podcasts futuri (spergu chì ùn avemu micca bisognu di aspittà assai), cusì stà attentu, ci saranu ancu cose più interessanti prestu.
Ebbè, sè vo vulete vede tuttu cù i vostri ochji, DataLine vi invita à un tour. Completamente gratis, ma su appuntamentu. Quelli chì chjamanu a parolla di codice "linkmeup" riceveranu un plus in karma.
Resta attenti!
Source: www.habr.com