Cea mai importantă problemă de transport din Sankt Petersburg sunt podurile. Noaptea, din cauza lor, trebuie sa fugi de taverna fara sa-ti termini berea. Ei bine, sau plătiți de două ori mai mult pentru un taxi decât de obicei. Dimineața, calculează cu atenție timpul, astfel încât, de îndată ce podul este închis, să ajungi la stație ca o mangusta agilă. Opțiunea „de a petrece noaptea undeva în centru, lângă gară” nu considerăm ca fiind dăunătoare din punct de vedere ideologic.
..."Soimul Peler", care pleaca la 5:30, a fost inventat de oameni care urasc bufnitele. Nu, desigur, este foarte convenabil să fii la Moscova la nouă dimineața, iar Sankt Petersburg este incredibil de frumos în timpul nopților albe, dar la patru și jumătate, când m-am urcat în taxi, am vrut să întorc capul 270 grade până la lark care a inventat acest tren de dimineață.
„Toate centrele de date bune sunt la fel”, m-am gândit când am aflat că băieții de la DataLine ne-au invitat să vizităm.
După cum se dovedește, fiecare centru de date este un pic bun (sau rău) în felul său, mai ales atunci când ai ajuns la mare, strângi toate greblele din zonă și înveți lecții de la tine (și, puțin, de la alți oameni). ) experiență bogată. Așa că noi (formați din cinci linkmeup de top și prietenii și simpatizanții lor) am decis să verificăm cât de bune (sau nu atât de bune) sunt centrele de date OST și NORD.
După ce am reușit să lucrăm puțin pe drum (ar putea fi o reclamă pentru un operator de telefonie mobilă aici, dar nu - acoperirea era încă proastă), ne-am descărcat la stația Leningradsky. Ei bine, cel puțin nu sub Gazmanov.
Am început turul centrelor de date „de var” cu OST – „același” care „a ars” nu cu mult timp în urmă. De ce între ghilimele – după. Între timp, stăm în picioare, fumăm și așteptăm pe cei care întârzie. Facem poze cu biroul RT alăturat. Există multe povești amuzante despre acest cartier - de la așezarea de asfalt proaspăt și vopsirea bordurilor înainte de sosirea demnitarilor, până la reduceri în cafenelele din apropiere care au fost oferite rezidenților Dataline din cauza asemănării insignelor lor.
Purtător de cuvânt al propagandei totalitare
Centru de date în modul strict (acces).
Pass, reguli de conduită, mașină de tocat carne la intrare – aproape aceeași pe care am văzut-o . Ați văzut multe cafenele în centrele de date? Acum cunoaștem un cuplu. Angajații și clienții au depozite de „cafea” pe insigne, care sunt completate în mod regulat. Deci, în limite rezonabile, vă puteți răsfăța cu cafea complet gratuit. Și noi, ca oaspeți dragi, am fost tratați cu o masă.
Nu pot spune nimic rău despre cafea - este destul de normal pentru o cafenea „în lanț”, dar locația este involuntar captivantă, iar interiorul este în conformitate cu cele mai bune tradiții moderne.
Interiorul unei cafenele locale
Fotografiile arată centrele de date NORD
Turul începe de la birou. Pe lângă inscripțiile de pe pereți și schema de culori alb și var cunoscută în întreaga Runet, există și tot felul de lucruri amuzante. Acestea sunt elemente de recuzită rămase din spectacolele de teatru corporate (vă puteți imagina directorul tehnic al unei rețele de centre de date jucând într-o piesă? Și îl cunoaștem personal.).
Și adevărul
Fotografii de la spectacole
Centrul de date (sau, mai degrabă, patru centre de date) se află într-un complex de clădiri industriale construite în secolul anterior (apoi uzina Citroen, iar în vremea sovietică uzina Gidroprivod), așa că, pe de o parte, există o dură. aspect industrial, grinzi metalice, o atmosferă de mansardă și artefacte industriale din diferite epoci care se mai găsesc în timpul diferitelor lucrări. Pe de altă parte, zonele ermetice ale centrului de date trebuie să se încadreze în structurile existente, iar compromisuri cu realitatea trebuie făcute din când în când. Cu toate acestea, nu aș spune că aceste compromisuri au afectat calitatea - dar băieții probabil au trebuit să muncească din greu în timpul designului. De asemenea, potrivit zvonurilor, Metro-2 trece pe undeva prin apropiere, dar acest lucru nu este sigur.
Pe lângă teatru, există și un muzeu. Exponate, firesc - descoperiri arheologice
Câteva cuvinte despre . Da, clădirea (sau mai bine zis, acoperișul) era într-adevăr în flăcări. Unitățile exterioare ale sistemelor de răcire și conductele reci au fost deteriorate. Undeva cablurile au ars și aparatele de aer condiționat au rămas fără electricitate. Conductele de freon au explodat undeva. Dar, în ciuda acestui fapt, zonele ermetice au rezistat la tone de apă turnate pe ele, iar echipamentul a supraviețuit. L-au restaurat sub controlul „sediului” reprezentat de conducerea de top a lumii întregi - au greblat toate țevile de cupru din Moscova și din împrejurimi (le-au adus chiar și noaptea într-un BMW X5) și toate cele sobru. instalatori. Echipamentele critice din halele de date avariate (avariate din cauza lipsei de frig, nu de la incendiu!) au fost mutate rapid în alte hale, astfel încât pe la cinci dimineața nu doar toate serviciile lor, ci și clienții lor erau în funcțiune.
Am verificat personal sala care „a suferit cel mai mult” - cu excepția mirosului de ars și a plăcilor înlocuite ale podelei înălțate, nimic nu amintește deloc de incendiu (cu excepția rafturilor de echipamente care au fost „temporar” duse într-o altă sală de date, și a rămas acolo).
Panoul de stare
Mergând de-a lungul coridoarelor, vedem un display tactil cu ceva foarte asemănător cu diagrama camerelor cu turbine ale centrului de date. Acesta este panoul de stare. Există o mulțime de ele pe coridoare și le permit inginerilor de la fața locului să găsească rapid, de exemplu, aparatul de aer condiționat necesar și să raporteze pur și simplu starea actuală.
Monitorizarea este construită pe Nagios (acum există deja câteva clustere independente) și acoperă toate centrele de date (atât OST, cât și NORD). În plus, există aplicații pentru Android și iOS (pentru clienți și angajați) și o pagină de stare direct pe site.
Pe afișaj observ un PUE neobișnuit de mare - nu este acceptat peste tot în Rusia, dar totuși 1.90 este oarecum mare. Răspunsul la aceasta este pur economic - în 2012-2013, rafturile din centrele de date se vindeau ca prăjiturile calde, așa că nu a fost timp pentru sentimentalism și eficiență energetică. Instalăm ceea ce este pe piață, o facem cât mai repede posibil și nu ne pasă deloc de PUE-ul tău, pentru că de ce? Chiar și în faza de proiectare, 80-90% din rafturi sunt achiziționate, dar legislația din Federația Rusă nu vrea să știe nimic despre eficiența energetică. Deși unele comisii din Amsterdam ar fi mulțumite de asemenea cifre.
Nimic personal. Doar afaceri.
O altă caracteristică este marcarea sălilor de date. La fiecare sit, sălile de date, pe lângă codificarea alfanumerică „oficială”, au pseudonime „umane” din alfabetul naval (Alpha-Bravo-Charlie-Delta...). Din anumite motive, toți clienții iubesc camera Whisky.
Nu există mici detalii când vine vorba de asistența clienților.
Astfel de „garduri” sunt ridicate pentru unii clienți. Nu aveam voie să facem poze în camerele turbinelor, așa că fotografia este DataLine ©
Clienții DataLine sunt în mare parte companii mari și respectate; chiar nu le place să-și fotografieze echipamentele. Mai mult, dacă numele (sau logo-ul) clientului este scris direct pe tejghea cu litere mari. Nu le place - asta e tot. Prin urmare, am filmat pereții deja celebri cu diverse inscripții, și inginerul. De asemenea, nu este posibil să fotografiați întregul inginer și nu peste tot, dar am încercat. Întrucât clienții noștri sunt mari și respectați, au și solicitări specifice - rafturi speciale (sau un fel de sistem de stocare uber de la mai mulți rafturi de furnizor), garduri proprii, sisteme proprii de control acces, supraveghere video proprie și o echipă de răspuns rapid cu mitraliere. În general, una dintre regulile nerostite (și publice) ale DataLine este să ai grijă de client și să-i faci bine. Incepand de la veste si statii de lucru dotate cu acces la Internet si incarcatoare, pana la diverse evenimente pentru clienti. Acestea din urmă sunt, de asemenea, foarte utile prin faptul că aceiași oameni, trecând de la companie la companie, îi aduc la DataLine. Pur și simplu pentru că totul aici este confortabil, convenabil și de încredere. Afacerea DataLine nu se referă doar la închirierea spațiului de rack. Acesta este, de asemenea, un cloud, certificat simultan conform 152-FZ și PCI-DSS (vom face un podcast despre el, rămâneți la curent pentru anunțuri) și oferă conectivitate (fibre proprii între site-uri și de la fiecare dintre ele la M9, propriul inel optic prin oraș și așa mai departe până la organizarea ultimei mile până la biroul clientului).
M - motivație
Apropo de inscripții, ideile vin nu numai de la angajați, ci și de la parteneri și clienți, după care le poți vota pe cele mai de succes pe DataLine în FB. Ei bine, îți poți propune ideea acolo.
Întâlnire pe Elba
Cross (fotografie prin amabilitatea DataLine)
Ne oprim la Meet-Me-Room, unde se află operatorii. În MMR (există trei perechi în OST, în funcție de numărul de intrări optice principale, pentru activ și pasiv) conexiunile din toate sălile de date sunt combinate. La pantoful de fond totul este plictisitor și îngrijit. Dar acolo unde se află camera activă, vă amintiți cei mai buni ani și filmări de la niște BM18: tăiței din fire și echipamente asortate (DLink, Extreme, Juniper, Mikrotik... și așa mai departe până la ASR9k). Sunt peste cincizeci de operatori aici, așa că totul este colorat. Din MMR, optica și cuprul sunt distribuite în sălile de mașini. Cel puțin două rute pentru fiecare (sunt posibile variante), deci nu trebuie să vă faceți griji cu privire la fiabilitatea conexiunii. MMR se numește „Elbe”, ceea ce este destul de subtil.
IBM Power nimic?
O altă descoperire este o serie IBM P, care nu a fost niciodată pornită și stă pe unul dintre coridoare de câțiva ani. Aparatul (împreună cu biblioteca de benzi și sistemul de stocare) a fost comandat de unul dintre clienți, dar „nu a fost util”, așa că a fost donat centrului de date. De atunci stă în picioare.
Probabil că este bine să fii băieți bogați și să oferi astfel de cadouri, nu? (Sau poate că nu l-au făcut cadou, ci au uitat. Sau au pierdut la cărți. Dar există de mult timp)
Acest tip frumos stă în NORD-4
Mergem la centrul de energie - trei (sau chiar patru) seturi de generatoare diesel pentru fiecare centru de date (permiteți-mi să vă reamintesc, sunt patru dintre ele în OST). Motorul diesel atinge puterea maximă în 30-40 de secunde și produce 1900 kVA. Redundanță N+1, sincronizare etc. inclusă. Cel mai lung timp de ședere pe motoarele diesel în OST este de 12 ore. în NORD - 2.5 zile (la urma urmei, o unitate de depozitare pentru 85 de tone nu este mulți bani).
Desigur, există acorduri cu diverse companii de combustibil pentru furnizarea de combustibil. Trecerea la motorină are loc în mod regulat, astfel încât să fie produs atât combustibil, cât și să fie verificate contractele. Apropo, conform colegilor, la NORD, la testarea grupurilor electrogene diesel, care durează de obicei mai mult de o oră, în locul în care este emis aer cald de la motoarele diesel, chiar și iarna iarba reușește să devină verde.
După o scurtă gustare la o cafenea cunoscută, ne îndreptăm către site-ul NORD. Acesta nu este, de asemenea, un centru de date, ci patru clădiri independente pe același teritoriu. Fiecare are propriile intrări de energie electrică, propriile sale motoare diesel și propria sa răcire. NORD-1 și NORD-2 au fost auditate de Uptime Institute M&O. Cel mai recent (și cel mai bun centru de date DataLine) este NORD-4, așa că acolo ne îndreptăm.
În ciuda numărului aparent mare de centre de date din Moscova, există încă o penurie. Nu, desigur, unul sau două rafturi vă vor fi expediate fără probleme. Îți vor da chiar și douăzeci. Mai mult este o întrebare (și DataLine are mai mult de unul sau doi clienți cu astfel de nevoi). Mai exact, în NORD-4 există un loc (deocamdată), deoarece un client mare s-a mutat în propriul său centru de date nou construit, dar în alte locuri acest lucru poate să nu fie atât de norocos. Cu toate acestea, designul NORD-5 este acum în plină desfășurare, care se promite să fie lansat la începutul anului 2020.
Dar să revenim la excursia noastră. Deoarece călătorim cu mașina, ne-au lăsat să intrăm pe poarta, unde mitralierii ne-au țintit, ne-au verificat numărul mașinii cu cererea și au cerut tuturor pasagerilor să iasă pentru a obține permise (cu pașapoartele, desigur). Pentru că B este securitate.
NORD-4 este mândria companiei și o compilație de mulți ani de experiență în construcția și operarea centrelor de date, are certificate Uptime Institute Tier III pentru proiect de proiectare și Facility (adică centru de date construit), precum și durabilitate operațională. - băieții au abordat problema cât se poate de responsabil. În interior sunt patru zone ermetice, independente una de cealaltă, cu două săli fiecare în interiorul unei clădiri. Fiecare are propriul centru de alimentare (grup generator diesel, încăperi pentru baterii), circuite de răcire și sisteme de stingere a incendiilor. General - intrări optice (există două pentru fiecare clădire) și MMR.
Inginer sănătos Modding
La intrarea în centrul de date ne așteaptă o cafenea deja cunoscută (de ce nu?). Urcăm la centrul de monitorizare. Acum există două principale - în OST și NORD-4 (NORD-1,2,3 au, de asemenea, propriile schimburi de sarcini). Din fiecare centru puteți privi ambele site-uri, așa că și aici este asigurată redundanța n+1. Pe peretele video există deja tablouri de bord familiare într-o schemă de culori verde deschis (există, desigur, mult mai mulți parametri pe el decât pe afișajul de stare). Comunicăm puțin despre monitorizare - fără Prometheus și Grafan de lux, doar Nagios, doar vizualizare hardcore și de casă. Peste zece ani (cu toate acestea, chiar mai mult) de utilizare, multe verificări și scripturi personalizate au fost deja scrise, așa că trecerea la altceva arată ca un pariu. Cam o dată pe lună apare o altă companie care se oferă să rezolve toate problemele „rapid și fără durere”, dar cumva încă nu iese. Peretele video, apropo, funcționează și pe o soluție auto-asamblată, care s-a dovedit a fi de câteva ori mai ieftină decât analogii comerciali.
Centru de control local
Când proiectați, construiți și operați centre de date de mulți ani, nu vă mai este atât de frică să faceți ceva singur, decât să cumpărați ceva gata făcut. DataLine, de exemplu, nu ezită să spună că, pur și simplu datorită dimensiunii, au călcat pe numărul maxim de greșeli, iar fiecare nou centru de date este rezultatul unor greșeli dificile și al experienței care se desfășoară de mai bine de zece ani. . Desigur, fiecare centru de date nou are propriul său know-how și, în timp ce te plimbi prin NORD, din când în când te surprinzi crezând că oamenii tocmai au făcut-o și au făcut-o bine. Nu de dragul evidențierii, nu de dragul evaluărilor și certificatelor - un proces normal de inginerie, când la fiecare iterație creșteți deasupra dvs. și deveniți din ce în ce mai buni. Un observator din exterior va spune că acest lucru este plictisitor și conservator, dar clientul, dimpotrivă, menține o astfel de stabilitate cu banii săi. Și pentru a o face bine, nu este deloc necesar să cumpărați sisteme de inginerie sau software pentru o mulțime, o mulțime de bani (deși uneori nu puteți face asta fără ele). Experiența, cunoștințele și ingeniozitatea inginerească decid adesea.
De exemplu, clădirea NORD-4 are 3,5 etaje. Primele trei sunt cu drepturi depline, cu tavane de 4.5 metri, unde se află încăperile turbinelor. Iar ultimul este tehnic, are doar 1.8 metri înălțime și este dedicat exclusiv sistemului de răcire. Deoarece podeaua este tehnică, cerințele pentru aceasta sunt mult mai mici, ceea ce a simplificat proiectul și a economisit bani.
Vedere a centrului de date triunghiular
Max are o capacitate specială de kung fu de a nu se arde în fotografii
Încheiem turul pe acoperiș - de aici avem o vedere excelentă asupra centralei termice și a zonei rezidențiale din apropiere, precum și a altor clădiri NORD. Două dintre ele sunt triunghiulare. Despre asta, colegii chiar au râs că „DataLine sunt proști, din anumite motive construiesc un centru de date triunghiular” pentru a instala rack-uri triunghiulare și servere triunghiulare acolo. Dar nimic - au construit și funcționează cu succes și, în același timp, folosesc eficient teritoriul existent (care la Moscova, trebuie spus, nu este gratuit). Un alt fapt surprinzător (pentru mine) este că majoritatea clienților comerciali doresc să fie localizați la Moscova. Un site aflat la o jumătate de sută de kilometri de-a lungul Autostrăzii Minsk (chiar dacă există toate capacitățile și comunicațiile necesare) nu mai interesează nimănui. Așa că toată lumea se ghemuiește într-unul fără cauciuc.
Turnurile de răcire nu mai sunt centre de date, ci centrale termice
Cu aceasta următoarea noastră călătorie s-a încheiat.
Apoi a avut loc o altă conversație lungă și productivă despre planuri comune și podcasturi viitoare (sper că nu va trebui să așteptăm mult), așa că stați pe fază, vor fi lucruri și mai interesante în curând.
Ei bine, dacă vrei să vezi totul cu ochii tăi, DataLine te invită într-un tur. Complet gratuit, dar cu programare. Cei care numesc cuvântul de cod „linkmeup” vor primi un plus în karma.
Rămâneţi aproape!
Sursa: www.habr.com