El problema de transport més important a Sant Petersburg són els ponts. A la nit, per culpa d'ells, has de fugir de la taverna sense acabar la cervesa. Bé, o paga el doble per un taxi que de costum. Al matí, calcula amb cura l'hora per tal que tan bon punt el pont estigui tancat, arribis a l'estació com una mangosta àgil. No considerem ideològicament nociva l'opció “pernoctar en algun lloc del centre, prop de l'estació”.
..."Falcó pelegrí", amb sortida a les 5:30, va ser inventat per gent que odia els mussols. No, és clar, és molt convenient ser a Moscou a les nou del matí, i Sant Petersburg és increïblement bonic durant les nits blanques, però a dos quarts de quatre, quan vaig pujar al taxi, vaig voler girar el cap 270. graus a l'alosa que va inventar aquest tren matinal.
"Tots els bons centres de dades són iguals", vaig pensar quan vaig saber que els nois de DataLine ens havien convidat a visitar-nos.
Com a resultat, cada centre de dades és bo (o dolent) una mica a la seva manera, sobretot quan arribeu al gran moment, recolliu tots els rastells de la zona i apreneu lliçons del vostre (i, una mica, de les altres persones). ) rica experiència. Així que nosaltres (formats per cinc linkmeup líders i els seus amics i simpatitzants) vam decidir comprovar com de bons (o no tan bons) són els centres de dades OST i NORD.
Després d'haver aconseguit fer una mica de feina a la carretera (aquí podria haver un anunci d'un operador mòbil, però no, la cobertura encara era dolenta), vam descarregar a l'estació de Leningradsky. Bé, almenys no sota Gazmanov.
Vam començar el nostre recorregut pels centres de dades "calç" amb OST, "el mateix" que "es va cremar" no fa gaire. Per què entre cometes - després. Mentrestant, ens aixequem, fumem i esperem els que arribin tard. Fent fotos de l'oficina de RT del costat. Hi ha moltes històries divertides sobre aquest barri: des de la col·locació d'asfalt nou i la pintura de voreres abans de l'arribada dels dignataris, fins a descomptes a les cafeteries properes que es donaven als residents de Dataline per la similitud dels seus distintius.
El portaveu de la propaganda totalitària
Centre de dades de mode estricte (accés).
Passi, normes de conducta, picadora de carn a l'entrada, gairebé la mateixa que vam veure . Heu vist moltes cafeteries als centres de dades? Ara en coneixem un parell. Els empleats i els clients tenen dipòsits de "cafè" als seus distintius, que es reomplen regularment. Així, dins dels límits raonables, podeu gaudir d'un cafè totalment gratuït. Nosaltres, com a estimats convidats, també vam gaudir d'un àpat.
No puc dir res dolent del cafè: és bastant normal per a una cafeteria de "cadena", però la ubicació és involuntàriament captivadora i l'interior s'ajusta a les millors tradicions modernes.
Interior d'una cafeteria local
Les fotos mostren els centres de dades NORD
El recorregut comença des de l'oficina. A més de les inscripcions a les parets i de l'esquema de color blanc i llima conegut arreu del Runet, també hi ha tot tipus de coses divertides. Aquests són els accessoris que queden de les representacions de teatre corporatiu (us imagineu el director tècnic d'una xarxa de centres de dades jugant en una obra? I el coneixem personalment).
I és cert
Fotos de les actuacions
El centre de dades (o millor dit, quatre centres de dades) es troben en un complex d'edificis industrials construïts al segle anterior (aleshores la planta de Citroën, i a l'època soviètica la planta de Gidroprivod), per la qual cosa, d'una banda, hi ha un dur aspecte industrial, bigues metàl·liques, ambient de golfes i artefactes industrials de diferents èpoques que encara es troben durant diverses obres. D'altra banda, les zones hermètiques del centre de dades s'han d'ajustar a les estructures existents, i de tant en tant s'han de fer compromisos amb la realitat. Tanmateix, no diria que aquests compromisos afectessin la qualitat, però probablement els nois havien de treballar dur durant el disseny. A més, segons els rumors, el Metro-2 passa per algun lloc proper, però això no és segur.
A més del teatre, també hi ha un museu. Exposicions, naturalment - troballes arqueològiques
Unes paraules sobre . Sí, l'edifici (o millor dit, la teulada) estava realment en flames. Les unitats externes dels sistemes de refrigeració i les canonades de fred van quedar malmeses. En algun lloc es va cremar el cablejat i els aparells d'aire condicionat van quedar sense electricitat. Les canonades de freó van explotar en algun lloc. Però, malgrat això, les zones hermètiques van suportar tones d'aigua abocada sobre elles i l'equip va sobreviure. El van restaurar sota el control de la "seu" representada per la màxima direcció de tot el món: van treure totes les canonades de coure a Moscou i els voltants (fins i tot les van portar de nit en un BMW X5) i tots els sobris. instal·ladors. Els equips crítics dels datahalls danyats (danyats per la falta de fred, no pel foc!) es van traslladar ràpidament a altres sales, de manera que a les cinc del matí no només tots els seus serveis, sinó també els seus clients estaven en funcionament.
Vam comprovar personalment la sala que "més va patir", excepte per l'olor de cremada i les rajoles substituïdes del terra elevat, res no recorda el foc (excepte els bastidors d'equips que es van portar "temporalment" a una altra sala de dades, i hi va romandre).
Panell d'estat
Caminant pels passadissos, veiem una pantalla tàctil amb alguna cosa molt semblant al diagrama de les sales de turbines del centre de dades. Aquest és el tauler d'estat. N'hi ha molts als passadissos i permeten als enginyers locals trobar ràpidament, per exemple, l'aire condicionat necessari i simplement informar de l'estat actual.
El monitoratge es basa en Nagios (ara ja hi ha diversos clústers independents) i cobreix tots els centres de dades (tant OST com NORD). A més, hi ha aplicacions per a Android i iOS (per a clients i empleats) i una pàgina d'estat directament al lloc web.
A la pantalla noto un PUE inusualment alt: no s'accepta a tot arreu a Rússia, però encara 1.90 és una mica alt. La resposta a això és purament econòmica: el 2012-2013, els bastidors dels centres de dades es venien com a pastissos calents, de manera que no hi havia temps per al sentimentalisme i l'eficiència energètica. Instal·lem el que hi ha al mercat, ho fem el més ràpid possible i no ens importa gens el teu PUE, perquè per què? Fins i tot en l'etapa de disseny, es compren entre el 80 i el 90% dels bastidors, però la legislació de la Federació Russa no vol saber res sobre l'eficiència energètica. Tot i que alguna comissió d'Amsterdam estaria satisfeta amb aquestes xifres.
Res personal. Només negocis.
Una altra característica és el marcatge de sales de dades. A cada lloc, les sales de dades, a més de la codificació alfanumèrica "oficial", tenen pseudònims "humans" de l'alfabet naval (Alpha-Bravo-Charlie-Delta...). Per alguna raó, a tots els clients els encanta la sala de Whisky.
No hi ha petits detalls quan es tracta d'atenció al client.
Aquestes "tanques" s'aixequen per a alguns clients. No ens van permetre fer fotos a les sales de les turbines, així que la foto és DataLine ©
Els clients de DataLine són majoritàriament empreses grans i respectades; realment no els agrada que els fotografiessin el seu equip. A més, si el nom (o el logotip) del client està escrit directament al taulell amb lletres grans. No els agrada, això és tot. Per tant, vam filmar les ja famoses parets amb diverses inscripcions, i l'enginyer. Tampoc és possible fotografiar tot l'enginyer i no a tot arreu, però ho hem intentat. Com que els nostres clients són grans i respectats, també tenen peticions específiques: bastidors especials (o algun tipus de sistema d'emmagatzematge uber de diversos bastidors de proveïdors), les seves pròpies tanques, els seus propis sistemes de control d'accés, la seva pròpia videovigilància i un equip de resposta ràpida amb metralladores. En general, una de les regles no expressades (i públiques) de DataLine és tenir cura del client i fer-li el bé. Des d'armilles i estacions de treball equipades amb accés a Internet i carregadors, fins a diversos esdeveniments per a clients. Aquests últims també són molt útils perquè les mateixes persones, passant d'empresa en empresa, els porten a DataLine. Simplement perquè tot aquí és acollidor, còmode i fiable. El negoci de DataLine no consisteix només en llogar espai de bastidor. Aquest també és un núvol, simultàniament certificat segons 152-FZ i PCI-DSS (en farem un podcast, estigueu atents als anuncis) i proporciona connectivitat (les seves pròpies fibres entre els llocs i de cadascun d'ells a M9, el seu propi anell òptic a través de la ciutat, i així successivament fins a l'organització de l'última milla fins a l'oficina del client).
M - motivació
Parlant d'inscripcions, les idees no només provenen dels empleats, sinó també dels socis i dels clients, després de les quals podeu votar les més reeixides a DataLine en FB. Bé, allà pots proposar la teva idea.
Trobada a l'Elba
Cross (foto cortesia de DataLine)
Ens aturem a la Meet-Me-Room, on es troben els operadors. En MMR (hi ha tres parells en OST, segons el nombre d'entrades òptiques principals, per a actives i passives) es combinen connexions de totes les sales de dades. A la sabata de fons tot és avorrit i net. Però on es troba la càmera activa, recordeu els millors anys i imatges d'alguns BM18: fideus fets amb cables i equips variats (DLink, Extreme, Juniper, Mikrotik... i així fins a ASR9k). Aquí hi ha més de cinquanta operadors, així que tot és colorit. Des de MMR, l'òptica i el coure es distribueixen a les sales de màquines. Com a mínim dues rutes per a cadascuna (s'hi poden trobar variants), de manera que no us haureu de preocupar per la fiabilitat de la connexió. MMR s'anomena "Elba", que és força subtil.
IBM Power res?
Una altra troballa és una sèrie P d'IBM, que no s'ha encès mai i que fa uns quants anys que es troba en un dels passadissos. La màquina (juntament amb la biblioteca de cintes i el sistema d'emmagatzematge) va ser encarregada per un dels clients, però "no va ser útil", per la qual cosa va ser donada al centre de dades. Ha estat parat des de llavors.
Probablement sigui bo ser nois rics i fer aquests regals, oi? (O potser no l'han regalat, però s'han oblidat. O han perdut a les cartes. Però fa temps que existeix)
Aquest noi guapo està a NORD-4
Anem al centre d'energia: tres (o fins i tot quatre) grups electrògens dièsel per a cada centre de dades (permeteu-me que us recordi, n'hi ha quatre a OST). El motor dièsel aconsegueix la màxima potència en 30-40 segons i produeix 1900 kVA. Redundància N+1, sincronització, etc. inclosa. El temps més llarg de seient en motors dièsel a OST és de 12 hores. a NORD - 2.5 dies (al cap i a la fi, una instal·lació d'emmagatzematge de 85 tones no suposa molts diners).
Per descomptat, hi ha acords amb diverses companyies de combustible per al subministrament de combustible. El canvi al dièsel es produeix regularment, de manera que tant es produeix combustible com es verifica els contractes. Per cert, segons els seus companys, a NORD, en provar grups electrògens dièsel, que solen trigar més d'una hora, al lloc on s'emet aire calent dels motors dièsel, fins i tot a l'hivern l'herba aconsegueix tornar-se verda.
Després d'un petit berenar a una cafeteria familiar, ens dirigim al lloc de NORD. Tampoc es tracta d'un centre de dades, sinó de quatre edificis independents al mateix territori. Cadascun té les seves pròpies entrades d'electricitat, els seus propis motors dièsel i la seva pròpia refrigeració. NORD-1 i NORD-2 van ser auditats per Uptime Institute M&O. L'últim (i el millor centre de dades de DataLine) és NORD-4, així que és on anem.
Malgrat el nombre aparentment enorme de centres de dades a Moscou, encara hi ha una escassetat. No, per descomptat, us enviaran un o dos bastidors sense cap problema. Fins i tot et donaran vint. Més és una pregunta (i DataLine té més d'un o dos clients amb aquestes necessitats). Concretament, a NORD-4 hi ha un lloc (de moment), perquè un gran client s'ha traslladat al seu propi centre de dades de nova construcció, però en altres llocs potser no és tan afortunat. No obstant això, el disseny de NORD-5 està ara en ple apogeu, que es compromet a llançar-se a principis de 2020.
Però tornem a la nostra excursió. Com que viatjàvem amb cotxe, ens van deixar entrar a la porta d'entrada, on els metralladors ens van apuntar, van comprovar el nostre número de cotxe amb l'aplicació i van demanar a tots els passatgers que sortissin per obtenir els abonaments (amb els seus passaports, és clar). Perquè B és seguretat.
NORD-4 és l'orgull de l'empresa i un recull de molts anys d'experiència en la construcció i operació de centres de dades, compta amb certificats de nivell III de l'Uptime Institute per al projecte de disseny i instal·lació (és a dir, centre de dades construït), així com per a la sostenibilitat operativa. - els nois van abordar l'assumpte amb la màxima responsabilitat possible. A l'interior hi ha quatre zones hermètiques, independents entre si, amb dues sales cadascuna dins d'un mateix edifici. Cadascun té el seu propi centre d'alimentació (generador dièsel, sales de bateries), circuits de refrigeració i sistemes d'extinció d'incendis. General - entrades òptiques (n'hi ha dues per edifici) i MMR.
Enginyer saludable Modding
A l'entrada del centre de dades, ens espera una cafeteria ja coneguda (bé, per què no?). Pugem al centre de seguiment. Ara n'hi ha dos principals: a OST i NORD-4 (NORD-1,2,3 també tenen els seus propis torns de treball). Des de cada centre podeu mirar els dos llocs, de manera que fins i tot aquí s'assegura la redundància n+1. A la paret de vídeo ja hi ha taulers familiars amb un esquema de color verd clar (hi ha, per descomptat, molts més paràmetres que a la pantalla d'estat). Ens comuniquem una mica sobre el seguiment: no hi ha Prometeu i Grafan de luxe, només Nagios, només visualització hardcore i casolana. Durant deu anys (no obstant això, encara més) d'ús, ja s'han escrit moltes comprovacions i scripts personalitzats, de manera que canviar a una altra cosa sembla una aposta. Aproximadament un cop al mes apareix una altra empresa que s'ofereix a resoldre tots els problemes "ràpidament i sense dolor", però d'alguna manera encara no funciona. El mur de vídeo, per cert, també funciona amb una solució autoassemblada, que va resultar ser diverses vegades més barata que els anàlegs comercials.
Centre de control local
Quan porteu molts anys dissenyant, construint i operant centres de dades, ja no teniu tanta por de fer alguna cosa vosaltres mateixos en lloc de comprar alguna cosa feta. DataLine, per exemple, no dubta a dir que, simplement per l'escala, han trepitjat el màxim nombre d'errors, i cada nou centre de dades és fruit d'errors difícils i de l'experiència que porta més de deu anys. . Per descomptat, cada centre de dades nou té els seus propis coneixements i, mentre passeja per NORD, de tant en tant et sorprens pensant que la gent ho va fer i ho va fer bé. No per lluir-nos, ni per les qualificacions i els certificats: un procés d'enginyeria normal, quan a cada iteració creixes per sobre de tu mateix i et fas cada cop millor. Un observador extern dirà que això és avorrit i conservador, però el client, per contra, manté aquesta estabilitat amb els seus propis diners. I per fer-ho bé, no és gens necessari comprar sistemes d'enginyeria o programari per molts, molts diners (tot i que de vegades no es pot fer sense ell). L'experiència, el coneixement i l'enginy de l'enginyeria sovint decideixen.
Per exemple, l'edifici NORD-4 té 3,5 plantes. Els tres primers són de ple dret, amb sostres de 4.5 metres, on hi ha les sales de turbines. I l'últim és tècnic, de només 1.8 metres d'alçada, i es dedica exclusivament al sistema de refrigeració. Com que el sòl és tècnic, els requisits són molt més baixos, la qual cosa va simplificar el projecte i estalviar diners.
Vista del centre de dades triangular
Max té una habilitat especial de kung fu per no cremar-se a les fotos
Acabem el recorregut al terrat: des d'aquí tenim una excel·lent vista de la central tèrmica propera i la zona residencial, així com d'altres edificis NORD. Dos d'ells són triangulars. Sobre això, els companys fins i tot van riure que "DataLine són idiotes, per alguna raó estan construint un centre de dades triangular" per instal·lar-hi bastidors triangulars i servidors triangulars. Però res: van construir i funcionen amb èxit i, al mateix temps, utilitzen de manera efectiva el territori existent (que a Moscou, cal dir-ho, no és gratuït). Un altre fet sorprenent (per a mi) és que la majoria dels clients comercials volen estar ubicats a Moscou. Un lloc a mig centenar de quilòmetres al llarg de l'autopista de Minsk (encara que hi hagi totes les capacitats i comunicacions necessàries) ja no interessa a ningú. Així que tothom s'agrupa en un que no sigui de goma.
Les torres de refrigeració ja no són centres de dades, sinó centrals tèrmiques
Amb això el nostre proper viatge ha arribat a la seva fi.
Després hi va haver una altra conversa llarga i productiva sobre plans conjunts i futurs podcasts (espero que no haurem d'esperar gaire), així que estigueu atents, aviat hi haurà coses encara més interessants.
Bé, si ho voleu veure tot amb els vostres propis ulls, DataLine us convida a fer un recorregut. Totalment gratuït, però amb cita prèvia. Aquells que anomenen la paraula clau "linkmeup" tindran un avantatge de karma.
Estiguin atents!
Font: www.habr.com