Cea mai importantă problemă de transport din Sankt Petersburg sunt podurile. Noaptea, din cauza lor, trebuie să fugim din bar fără să bem berea. Sau, altfel, să plătim pentru un taxi de două ori mai mult decât de obicei. Dimineața, trebuie să calculăm cu atenție timpul, astfel încât de îndată ce podul se ridică, să ajungem rapid la gară ca un mangust ager. Varianta «a dormi undeva în centru, aproape de gară» nu este luată în considerare, fiind considerată ideologic dăunătoare.
…»Sapsan», care pleacă la 5:30, a fost inventat de oameni care urăsc bufnițele. Desigur, este foarte convenabil să te afli în Moscova la nouă dimineața, iar Sankt Petersburg este incredibil de frumos în timpul nopților albe, dar la cinci și jumătate dimineața, când am urcat în taxi, mi-ar fi plăcut să-mi întorc capul la 270 de grade către cocorul care a inventat acest tren matinal.
«Toate centrele de date bune arată la fel» - m-am gândit eu când am aflat că am fost invitați de prietenii de la DataLine.
Așa cum s-a dovedit, fiecare centru de date este bun (sau rău) într-un mod puțin diferit, mai ales când ai strâns experiență, ai călcat pe multe greble și ai învățat lecțiile din propria (și, puțin, străina) bogată experiență. Așadar, noi (format din cinci membri de top linkmeup și prietenii și simpatizanții lor) am decis să verificăm cât de bune (sau nu) sunt centrele de date OST și NORD.
Reușind să lucrăm puțin în drum (aici ar putea fi reclama unui operator mobil, dar nu - acoperirea a rămas la fel de proastă), ne descărcăm la Gara Leningrad. Ei, măcar nu sub Gazmanov.
Ne-am început excursia prin centrele de date »salate« cu OST - «acela», care nu cu mult timp în urmă «ardea». De ce între ghilimele - mai târziu. Între timp, stăm, fumăm, așteptând întârzierea. Fotografiem biroul RT de alături. Există multe povești amuzante legate de această vecinătate - începând cu asfaltul proaspăt și vopsirea bordurilor înainte de sosirea Personalităților Înalte și terminând cu reducerile din cafenelele din apropiere, care erau oferite angajaților de la DataLine din cauza asemănării între ecusoane.
Megafonul propagandei totalitare
Centru de date cu regim strict (de acces)
Dovada, reguli de comportament, măcelărie la intrare - aproape aceeași pe care am văzut-o . Ați văzut vreodată cafenele în centrele de date? Noi, acum, știm câteva. Angajații și clienții au pe insigne „depozite de cafea”, care sunt regluar alimentate, așa că, în limite rezonabile, puteți savura cafea complet gratuit. Și noi, ca oaspeți de seamă, am fost serviți cu cafea.
Despre cafea nu pot spune nimic rău — este destul de obișnuită pentru o cafenea „de rețea”, dar amplasarea este cu adevărat atrăgătoare, iar interiorul este în cele mai bune tradiții moderne.
Interiorul cafenelei locale
În fotografii, centrele de date NORD
Turul începe din birou. Pe lângă inscripțiile celebre pe ziduri și paleta de alb și verde deschis, mai sunt și diverse lucruri amuzante. Acestea sunt recuzita rămasă de la reprezentațiile teatrului corporativ (îți poți imagina un director tehnic al rețelei de centre de date jucând într-o piesă? Noi îl cunoaștem personal).
Așa este
Fotografii de la spectacole
Centrul de date (sau mai bine zis, cele patru centre de date) se află în complexul unor clădiri industriale construite în urmă cu mai bine de un secol (atunci — fabrica „Citroën”, iar în vremea URSS — fabrica „Ghidropivod”), așa că pe de o parte — este un industrial aspru, grinzi metalice, atmosferă de loft și artefacte industriale din diferite epoci, care sunt încă descoperite atunci când se desfășoară diverse lucrări. Pe de altă parte — zonele hermetice ale centrului de date trebuie integrate în structurile existente, fiind necesară compromiterea realității. Totuși, nu aș spune că aceste compromisuri au afectat calitatea — dar băieții, cu siguranță, au avut mult de muncă la proiectare. De asemenea, se spune că undeva în apropiere trece Metro-2, dar nu este sigur.
Pe lângă teatru, aici există și propriul muzeu. Expozițiile sunt, cum altfel, descoperiri arheologice.
Câteva cuvinte despre Da, clădirea (sau, mai exact, acoperișul) a ars cu adevărat. Unitățile externe de răcire și conductele de refrigerare au fost afectate. În unele zone s-au ars firele electrice și aerul condiționat a rămas fără electricitate. În alte locuri, conductele de freon au explodat. Dar, în ciuda acestui fapt, zonele etanșe au rezistat tonelor de apă turnate pe ele, echipamentele au supraviețuit. Restabilirea a fost coordonată printr-un „comandament” din partea conducerii, strângând toate tuburile de cupru din Moscova și împrejurimi (inclusiv transportate noaptea cu BMW X5) și toți instalatorii treji. Echipamentele critice din sălile de date afectate (care au fost afectate de lipsa de răceală, nu de incendiu!) au fost mutate rapid în alte săli, astfel încât, deja la ora cinci dimineața, au fost repornite nu doar toate serviciile proprii, ci și cele ale clienților.
Am verificat personal sala care a fost cel mai mult „afectată” — în afară de mirosul de fum și plăcile de pardoseală înlocuite, nu mai amintește nimic de incendiu (cu excepția stâlpilor cu echipament, „temporar” transportate în altă sală de date și rămase acolo).
Panou de stare
Colindând pe coridoare, vedem un ecran tactil cu ceva ce seamănă foarte mult cu un plan al mașinilor din centrul de date. Acesta este panoul de stare. Ele sunt răspândite pe coridoare și permit inginerilor on-site să găsească rapid, de exemplu, aerul condiționat necesar, și de asemenea, informează despre starea actuală.
Monitorizarea este construită pe Nagios (acum sunt deja câteva clustere independente) și acoperă toate centrele de date (atât OST, cât și NORD). În plus, există aplicații pentru Android și iOS (pentru clienți și angajați) și o pagină de stare direct pe site-ul web.
Pe ecran observ un PUE neobișnuit de ridicat — în Rusia nu este obișnuit să se calculeze peste tot, dar totuși 1.90 este puțin cam mult. Răspunsul la asta este pur economic — în anii 2012-2013, rack-urile din centrele de date se vindeau ca pâinea caldă, așa că nu era timp pentru sentimentalism și eficiența energetică. Montăm ce avem pe piață, facem lucrul cât mai repede posibil și nu ne preocupăm de aceste PUE, pentru ce? Chiar și în stadiul de proiectare sunt achiziționate 80-90% din rack-uri, iar legislația din Rusia nu vrea să știe nimic despre eficiența energetică. Totuși, o comisie în Amsterdam s-ar îngrijora de asemenea cifre.
Nimic personal. Doar afaceri.
O altă caracteristică este eticheta sălilor de date. Fiecare locație are, pe lângă codificarea „oficială” alfanumerică, și pseudonime „umane” din alfabetul fonetic militar (Alfa-Bravo-Charlie-Delta...). De ce oare toți clienții iubesc să numească Whiskey.
În afacerile de relații cu clienții, nu există detalii neimportante.
Astfel de „garduri” sunt montate pentru anumiți clienți. În sălile de mașini nu ne-au permis să filmăm, așa că aceasta este doar o fotografie DataLine ©.
Clienții DataLine sunt companii mari și respectate, care nu sunt deloc încântate atunci când li se fotografiază echipamentele. Cu atât mai mult cu cât numele (sau logo-ul) clientului este scris cu litere mari chiar pe rack. Nu le place – și atât. De aceea, am fotografiat celebrele acum ziduri cu diverse descrieri, și ingineria. Nici ingineria nu se poate fotografia tot timpul și oriunde, dar ne-am străduit. Pentru că printre clienți se numără mari și respectabili jucători, așa că solicitările lor pot fi specifice – rack-uri speciale (sau un sistem de stocare hiper din mai multe rack-uri de vânzători diferiți), garduri proprii, sisteme de control al accesului proprii, supraveghere video și echipe de reacție rapidă cu arme. Unul dintre regulile nescrise (și scrise) ale DataLine este să aibă grijă de client și să-i facă viața mai ușoară. Începând de la veste și locuri de muncă dotate cu acces la internet și încărcătoare, până la diferite evenimente pentru clienți. Aceste evenimente sunt foarte utile și pe de altă parte, deoarece aceleași persoane, mutându-se de la o companie la alta, le aduc la DataLine. Pur și simplu pentru că aici totul este confortabil, convenabil și de încredere. Afacerea DataLine nu este doar despre închirierea locurilor în rack-uri. Este, de asemenea, un serviciu de cloud, certificată atât conform 152-FZ, cât și PCI-DSS (pe care intenționăm să facem un podcast, urmăriți anunțurile), și furnizarea de conectivitate (fibra noastră între locații și de la fiecare dintre ele la M9, inelul optic propriu în oraș și continuând cu organizarea ultimei mile către biroul clientului).
M – motivație
Vorbind despre descrieri – ideile vin nu doar de la angajați, ci și de la parteneri și clienți, după care cele mai bune pot fi votate pe DataLine pe FB. De asemenea, poți propune propria idee acolo.
Întâlnire la Elba
Crossover (fotografia a fost furnizată de DataLine)
Ne oprim stop la Meet-Me-Room, unde își desfășoară activitatea operatorii. În MMR (avem trei perechi în OST, conform numărului de intrări principale de fibră optică, pentru activare și pasivitate) se concentrează conexiunile din toate data hall-urile. În crustă totul este plictisitor și ordonat. Dar acolo unde se află activarea operatorilor, îți aduci aminte de cei mai buni ani și cadre dintr-un BM18: un amalgam de cabluri și echipamente variate (DLink, Extreme, Juniper, Mikrotik… și tot așa până la ASR9k). Aici sunt peste cincizeci de operatori, așa că totul este colorat. Din MMR, fibra optică și cuprul se distribuie către sălile de mașini. Minim două trasee pentru fiecare (sunt posibile variante), așa că nu trebuie să-ți fac griji pentru fiabilitatea conexiunii. MMR se numește „Elba”, ceea ce este destul de subtil.
Ai nevoie de IBM Power?
O altă descoperire este IBM P-series, care nu a fost niciodată pornit, și care stă de câțiva ani într-unul dintre coridoare. Mașina (împreună cu biblioteca cu bandă și stocarea de date) a fost comandată de un client, dar „nu a fost necesară”, așa că a fost donată centrului de date. De atunci rămâne acolo.
Este probabil bine să fii un băiat bogat și să faci asemenea cadouri, nu? (Poate că nu au donat-o, ci au uitat. Sau au pierdut-o la cărți. Dar stă de mult.)
Iată ce frumos stă în NORD-4.
Mergem la centrala energetică — trei (sau poate patru) DG-uri pentru fiecare centru de date (îți reamintesc, în OST sunt patru). Dieselul atinge capacitatea maximă în 30-40 de secunde și eliberează 1900kVA. Rezervare N+1, sincronizare și altele — sunt incluse. Cel mai lung timp petrecut pe dieseluri în OST — 12 ore. În NORD — 2,5 zile (până la urmă, un rezervor de 85 de tone nu este de ici, de colo).
Desigur, există contracte cu diverse companii de combustibil pentru livrarea de combustibil. Trecerea pe diesel se face în mod regulat, astfel încât combustibilul se produce și contractele sunt verificate. Apropo, potrivit colegilor, în NORD, în timpul testării DG-urilor, care de obicei durează mai multe ore, locul unde se elimină aerul cald de la dieseluri, chiar și iarna, reușește să înverzească iarba.
După o scurtă gustare la cafeaua deja cunoscută, ne îndreptăm spre site-ul NORD. Acesta nu este un singur centru de date, ci patru clădiri independente pe aceeași terasă. Fiecare are propriile intrări de electricitate, proprii diesel și propriul sistem de răcire. NORD-1 și NORD-2 au trecut auditul Uptime Institute M&O. Cel mai recent (și cel mai bun centru de date DataLine) — NORD-4, așa că ne îndreptăm exact aici.
În ciuda numărului aparent mare de centre de date din Moscova, există totuși o penurie. Sigur, o sau două rack-uri vi se vor oferi fără probleme. Chiar și douăzeci vă vor da. Mai mult — devine deja o chestiune (iar la DataLine clienții cu astfel de nevoi nu sunt niciunul și nici doi). Concret, în NORD-4 mai este loc (deocamdată), deoarece un client mare s-a mutat în propriul său centru de date proaspăt construit, dar în alte locuri s-ar putea să nu fie la fel de norocoși. Cu toate acestea, acum se desfășoară proiectarea NORD-5, care promite să fie lansată la începutul anului 2020.
Dar să revenim la excursia noastră. Deoarece am venit cu mașina, ne-au lăsat să intrăm în poartă, unde ne-au luat la țintă automatele, numărul mașinii noastre fiind verificat cu cererea, iar toți pasagerii au fost rugați să iasă pentru a primi permise (desigur, pe baza pașaportului). Deoarece B — securitatea.
NORD-4 este mândria companiei și o compunere a experienței multianuale în construcția și operarea centrelor de date. Acesta are certificări Uptime Institute Tier III pentru proiectare și Facility (adică centru de date construit), precum și Operational Sustainability — echipa a abordat problema cu maximum de responsabilitate. În interior — patru zone hermetice independente, câte două săli într-o singură clădire. Fiecare are propriul centru energetic (DGU, camere de acumulatori), contururi de răcire și sisteme de stingere a incendiilor. Comun — intrările de fibră optică (există două pentru clădire) și MMR.
Moddingul unui inginer sănătos
La intrarea în DC ne așteaptă deja cafeneaua cunoscută (de ce nu?). Ne îndreptăm spre centrul de monitorizare. Acum sunt două principale — în OST și NORD-4 (în NORD-1, 2, 3 sunt de asemenea echipe de serviciu). Din fiecare centru se poate observa ambele locații, așa că chiar și aici se asigură redundanța n+1. Pe panoul video — deja cunoscutele noastre tablouri de bord într-o paletă de verde (numărul parametrilor de pe acesta, bineînțeles, este mult mai mare decât pe afișajul de stare). Ne discutăm puțin despre monitorizare — fără Prometheus la modă și Grafana, doar Nagios, doar hardcore și vizualizare personalizată. În zece ani (de fapt, chiar mai mult) de utilizare, au fost scrise deja numeroase verificări și scripturi personalizate, așa că migrarea pe altceva pare o adevărată aventură. Aproximativ o dată pe lună apare câte o nouă companie care oferă „rapid și fără durere” soluționarea tuturor problemelor, dar până acum nu s-a concretizat nimic. Panoul video, de altfel, funcționează de asemenea pe o soluție auto-construită, care a costat de câteva ori mai puțin decât omologii comerciali.
Centrul de Comandă de Aici
Când proiectezi, construiești și operezi centre de date de mulți ani, nu mai eziti să faci ceva singur, în loc să cumperi soluții gata făcute. DataLine, de exemplu, nu se ferește să spună că, pur și simplu din cauza dimensiunii, au pășit pe cel mai mare număr de greble, iar fiecare nou DC este fiul greșelilor dificile și al experienței care se întinde pe mai bine de zece ani. Desigur, fiecare nou DC are inovațiile sale, iar plimbându-te prin NORD, te surprinzi adesea gândindu-te că oamenii pur și simplu au luat inițiativa și au făcut lucrurile bine. Nu din vanitate, nu pentru clasamente și certificări — un proces ingineresc obișnuit, în care crești cu fiecare iterație și devii din ce în ce mai bun. Un observator extern ar spune că este plictisitor și conservator, iar clientul, dimpotrivă, susține această stabilitate cu banii săi. Și pentru a face lucruri bine, nu este obligatoriu să cumperi sisteme sau software ingineresc foarte scumpe (deși, uneori, fără asta, nu se poate). Adesea, experiența, cunoștințele și ingeniozitatea inginerilor fac diferența.
De exemplu, clădirea NORD-4 are 3,5 etaje. Primele trei sunt complete, cu tavane de 4,5 metri, unde se află sălile de mașini. Iar ultimul este tehnic, cu o înălțime de doar 1,8 metri și este dedicat exclusiv sistemului de răcire. Fiind un etaj tehnic, cerințele pentru acesta sunt mult mai scăzute, ceea ce a permis simplificarea proiectului și economisirea de bani.
Vedere asupra centrului de date triangular
Max are o abilitate specială de a nu se face remarcat în fotografii
Încheiem excursia pe acoperiș — de aici se deschide o vedere minunată către centrala electrică de lângă și către zona rezidențială, precum și către alte clădiri NORD. Două dintre ele sunt triunghiulare. Colegii s-au și amuzat de asta, spunând că „DataLine sunt nebuni, construiesc un centru de date triunghiular” pentru a putea pune acolo rackuri triunghiulare și servere triunghiulare. Dar nimic — l-au construit și îl exploatează cu succes, folosind eficient terenul disponibil (care, trebuie spus, nu este gratuit în Moscova). Încă un fapt surprinzător (pentru mine) — majoritatea clienților comerciali doresc să se stabilească tocmai în Moscova. Locația de la peste 50 de kilometri pe șoseaua Minsk (chiar dacă are toate capacitățile și comunicațiile necesare) nu mai interesează pe nimeni. Așa că toți se înghesuie în spațiul limitat.
Turbinele de răcire nu sunt deja un centru de date, ci o centrală electrică
Aici s-a încheiat următoarea noastră călătorie.
Ulterior, a fost o discuție lungă și productivă despre planurile comune și viitoarele podcasturi (sper că nu va trebui să aștept prea mult), așa că urmăriți noutățile, vor fi mai multe lucruri interesante în curând.
Cei interesați să vadă totul cu ochii lor sunt invitați de DataLine la o excursie. Complet gratuit, dar cu programare prealabilă. Cei care vor menționa cuvântul-cheie „linkmeup” își vor câștiga un punct în karma.
Rămâneți conectați!
Sursa: habr.com
