It wichtichste transportprobleem yn Sint-Petersburch binne brêgen. Nachts, fanwegen harren, moatte jo rinne fuort fan 'e taverne sûnder jo bier ôfmeitsje. No, of betelje twa kear safolle foar in taksy as gewoanlik. Berekkenje moarns de tiid foarsichtich, sadat jo sa gau as de brêge ticht is, jo as in agile mongoose nei it stasjon komme. Wy beskôgje de opsje "om oernachtsje earne yn it sintrum, tichtby it stasjon" as ideologysk skealik.
... "Peregrine Falcon", ferlitten om 5:30, waard útfûn troch minsken dy't haatsje ûlen. Nee, fansels, it is heul handich om moarns om njoggenen yn Moskou te wêzen en Sint-Petersburch is ûnbidich moai yn 'e wite nachten, mar om healwei fiven, doe't ik yn 'e taksy stapte, woe ik de holle 270 draaie. graden nei de lark dy't dizze moarntrein útfûn.
"Alle goede datacenters binne gelyk," tocht ik doe't ik fûn dat de jonges fan DataLine ús útnoege om te besykjen.
Sa't it docht bliken, is elk datasintrum goed (of min) in bytsje op syn eigen manier, foaral as jo de grutte tiid reitsje, alle harken yn 't gebiet sammelje en lessen leare fan jo eigen (en, in bytsje, oare minsken ) rike ûnderfining. Dat wy (besteande út fiif liedende linkmeup en harren freonen en sympatisanten) besletten om te kontrolearjen hoe goed (of net sa goed) de OST- en NORD-datasintra binne.
Nei it slagge om in bytsje wurk op 'e dyk te dwaan (d'r koe hjir in advertinsje wêze foar ien mobile operator, mar nee - de dekking wie noch min), wy lossen op it Leningradsky-stasjon. No, teminsten net ûnder Gazmanov.
Wy begon ús rûnlieding troch de "kalk" datasintra mei OST - "deselde" dy't net sa lang lyn "ferbaarnd". Wêrom yn quotes - na. Yn 'e tuskentiid steane wy, smoke en wachtsje op dyjingen dy't te let binne. Foto's nimme fan it RT-kantoar neist. D'r binne in protte grappige ferhalen oer dizze buert - fan it oanlizzen fan farsk asfalt en it skilderjen fan stoepranden foar de komst fan weardichheden, oant koartingen yn kafees yn 'e buert dy't waarden jûn oan ynwenners fan Dataline fanwegen de oerienkomst fan har badges.
It mûlestik fan totalitêre propaganda
Data sintrum fan strikte (tagong) modus
Pass, gedrachsregels, fleismolen by de yngong - hast deselde dy't wy seagen . Hawwe jo in protte coffeeshops sjoen yn datasintra? No kenne wy in pear. Meiwurkers en kliïnten hawwe "koffie" ôfsettings op harren badges, dy't geregeldwei oanfolle. Dus, binnen ridlike grinzen, kinne jo josels folslein fergees traktearje op kofje. Wy as leave gasten waarden ek traktearre op in miel.
Ik kin net sizze neat min oer de kofje - it is hiel normaal foar in "keten" coffeeshop, mar de lokaasje is ûnwillekeurich boeiende, en it ynterieur is krekt yn oerienstimming mei de bêste moderne tradysjes.
Ynterieur fan in pleatslike coffeeshop
Foto's litte NORD-datasintra sjen
De tocht begjint by it kantoar. Njonken de ynskripsjes op 'e muorren en it wyt- en kalkkleurskema dat troch de Runet bekend is, binne der ek allerhanne grappige dingen. Dit binne rekwisieten dy't oerbleaun binne fan bedriuwsteaterfoarstellingen (kinne jo jo foarstelle dat de technysk direkteur fan in datacenternetwurk yn in toanielstik spilet? En wy kenne him persoanlik.).
En it is wier
Foto's fan optredens
It datasintrum (of leaver, fjouwer datasintra) lizze yn in kompleks fan yndustriële gebouwen boud yn 'e foarige ieu (doe de Citroen-fabryk, en yn'e Sovjet-tiid de Gidroprivod-fabryk), dus oan 'e iene kant is der in hurde yndustriële útstrieling, metalen balken, in loft sfear en yndustriële artefakten út ferskate tiidrekken dy't noch te finen tidens ferskate wurken. Oan 'e oare kant moatte de hermetyske sônes fan it datasintrum passe yn besteande struktueren, en kompromissen mei de realiteit moatte fan tiid ta tiid makke wurde. Ik soe lykwols net sizze dat dizze kompromissen de kwaliteit beynfloede - mar de jonges moasten wierskynlik hurd wurkje tidens it ûntwerp. Ek, neffens geroften, giet Metro-2 earne tichtby, mar dit is net wis.
Neist it teater is der ek in museum. Eksposysjes, fansels - argeologyske fynsten
In pear wurden oer . Ja, it gebou (of leaver, it dak) stie echt yn 'e brân. De eksterne ienheden fan de koelsystemen en kâlde buizen waarden skansearre. Earne baarnde de bedrading út en sieten de airconditioners sûnder stroom. Freonbuizen eksplodearre earne. Mar, nettsjinsteande dit, de hermetyske sônes wjerstean tonnen wetter útgetten op harren, en de apparatuer oerlibbe. Se restaurearre it ûnder de kontrôle fan it "haadkantoar" fertsjintwurdige troch it topmanagement fan 'e hiele wrâld - se raken alle koperen pipen yn Moskou en omkriten (se brochten se sels nachts yn in BMW X5) en al it sober ynstallearders. Krityske apparatuer fan 'e skansearre datahallen (skea troch it gebrek oan kjeld, net troch it fjoer!) waard fluch ferpleatst nei oare sealen, sadat om fiif oere moarns net allinich al har tsjinsten, mar ek har kliïnten op 'e nij wiene.
Wy hawwe persoanlik de hal kontrolearre dy't "de measte te lijen hat" - útsein de rook fan baarnende en ferfongen tegels fan 'e ferhege flier, neat docht tinken oan it fjoer (útsein rekken mei apparatuer dy't "tydlik" nei in oare datahal waarden brocht, en bleau dêr).
Status paniel
Troch de gongen lâns rinnen, sjogge wy in touch-display mei wat heul gelyk oan it diagram fan de turbinekeamers fan it datasintrum. Dit is it statuspaniel. D'r binne genôch fan har yn 'e gongen, en se kinne yngenieurs op it terrein fluch fine, bygelyks de fereaske airconditioning, en gewoan de hjoeddeistige status rapportearje.
De monitoring is boud op Nagios (no binne d'r al ferskate ûnôfhinklike klusters) en beslacht alle datasintra (sawol OST as NORD). Derneist binne d'r applikaasjes foar Android en iOS (foar kliïnten en meiwurkers), en in statusside direkt op 'e webside.
Op it display fernimme ik in ûngewoan hege PUE - it wurdt net oeral yn Ruslân akseptearre, mar dochs is 1.90 wat heech. It antwurd hjirop is suver ekonomysk - yn 2012-2013 ferkochten racks yn datasintra as hjitte koeken, dus d'r wie gjin tiid foar sentimintaliteit en enerzjy-effisjinsje. Wy ynstallearje wat is op 'e merk, doch it sa gau as mooglik en net skele oer jo PUE at all, want wêrom? Sels op it ûntwerpstadium wurde 80-90% fan 'e rekken kocht, mar de wetjouwing yn' e Russyske Federaasje wol neat witte oer enerzjy-effisjinsje. Al soe guon kommisje yn Amsterdam mei sokke sifers tefreden wêze.
Neat persoanliks. Gewoan bedriuw.
In oar skaaimerk is it markearjen fan datahallen. Op elke side hawwe datahallen, neist de "offisjele" alfanumerike kodearring, "minsklike" pseudonimen út it marinealfabet (Alpha-Bravo-Charlie-Delta...). Om ien of oare reden hâlde alle kliïnten de Whisky-keamer.
D'r binne gjin lytse details as it giet om klantsoarch.
Sokke "fences" wurde oprjochte foar guon kliïnten. Wy mochten gjin foto's meitsje yn 'e turbinekeamers, dus de foto is DataLine ©
De kliïnten fan DataLine binne meast grutte en respekteare bedriuwen; se hâlde wirklik net fan har apparatuer te fotografearjen. Boppedat, as de klant syn namme (of logo) wurdt skreaun direkt op de teller yn grutte letters. Se fine it net leuk - dat is alles. Dêrom filme wy de al ferneamde muorren mei ferskate ynskripsjes, en de yngenieur. It is ek net mooglik om de hiele yngenieur te fotografearjen en net oeral, mar wy hawwe besocht. Om't ús kliïnten grut en respekteare binne, hawwe se ek spesifike oanfragen - spesjale racks (as in soarte fan uber-opslachsysteem fan ferskate ferkeaperrekken), har eigen fences, har eigen tagongskontrôlesystemen, har eigen fideotafersjoch en in rappe antwurdteam mei masinegewearen. Yn 't algemien is ien fan' e ûnútsprutsen (en iepenbiere) regels fan DataLine om te soargjen foar de klant en goed te dwaan oan him. Utgeande fan vesten en ynrjochte wurkstasjons mei ynternet tagong en opladers, oant ferskate eveneminten foar kliïnten. De lêste binne ek tige nuttich yn dat deselde minsken, dy't fan bedriuw nei bedriuw ferhúzje, se nei DataLine bringe. Gewoan omdat alles hjir gesellich, handich en betrouber is. It bedriuw fan DataLine giet net allinich oer it ferhieren fan rekromte. Dit is ek in wolk, tagelyk sertifisearre neffens 152-FZ en PCI-DSS (wy sille der in podcast oer meitsje, op 'e hichte bliuwe foar oankundigingen), en leveret ferbining (syn eigen fezels tusken de siden en fan elk fan har nei M9, syn eigen optyske ring oer stêd, ensafuorthinne oant de organisaasje fan 'e lêste kilometer nei de kliïnt syn kantoar).
M - motivaasje
Oer ynskripsjes sprutsen, ideeën komme net allinich fan meiwurkers, mar ek fan partners en kliïnten, wêrnei't jo kinne stimme foar de meast suksesfolle op DataLine in FB. No, dêr kinne jo jo idee foarstelle.
Gearkomst op de Elbe
Cross (foto mei dank oan DataLine)
Wy stopje by de Meet-Me-Room, dêr't de operators sitte. Yn MMR (der binne trije pearen yn OST, neffens it oantal wichtichste optyske yngongen, foar aktive en passive) ferbinings út alle data sealen wurde kombinearre. Yn de cross-country skuon is alles saai en kreas. Mar wêr't de kamera aktyf leit, ûnthâlde jo de bêste jierren en bylden fan guon BM18: noedels makke fan triedden en ferskate apparatuer (DLink, Extreme, Juniper, Mikrotik ... ensafuorthinne oant ASR9k). D'r binne hjir mear as fyftich operators, dus alles is kleurich. Fan MMR wurdt optyk en koper ferdield nei de masinekeamers. Op syn minst twa rûtes foar elk (farianten binne mooglik), dus jo hoege net te soargen oer de betrouberens fan de ferbining. MMR hjit "Elbe", dat is frij subtyl.
Hoe foldocht jo IBM Power?
In oare fynst is in IBM P-searje, dy't nea ynskeakele is, en hat ferskate jierren yn ien fan 'e gongen stien. De masine (tegearre mei de tapebibleteek en opslachsysteem) waard besteld troch ien fan 'e kliïnten, mar "it wie net brûkber", dus it waard skonken oan it datasintrum. It stiet sûnt dy tiid.
It is wierskynlik goed om rike jonges te wêzen en sokke kado's te jaan, krekt? (Of miskien hawwe se it net kado jûn, mar fergetten. Of se ferlearen by kaarten. Mar it is al lang)
Dizze knappe keardel stiet yn NORD-4
Wy geane nei it enerzjysintrum - trije (of sels fjouwer) dieselgeneratorsets foar elk datasintrum (lit my jo herinnerje, d'r binne fjouwer fan har yn OST). De dieselmotor berikt folsleine krêft yn 30-40 sekonden en produsearret 1900 kVA. N+1 oerstalligens, syngronisaasje, ensfh. De langste sittiid op dieselmotoren yn OST is 12 oeren. yn NORD - 2.5 dagen (ommers, in opslach foar 85 ton is net in soad jild).
Fansels binne der ôfspraken mei ferskate brânstofbedriuwen foar de levering fan brânstof. It oerstapjen nei disel komt geregeld foar, sadat sawol brânstof produsearre wurdt as kontrakten ferifiearre wurde. Trouwens, neffens kollega's by NORD, by it testen fan dieselgeneratorsets, dy't meastentiids mear as ien oere duorret, op it plak dêr't waarme lucht fan dieselmotoren útstjit, sels yn 'e winter slagget it gers om grien te wurden.
Nei in koart hapke by in bekende coffeeshop geane wy nei de NORD-side. Dit is ek net ien datasintrum, mar fjouwer ûnôfhinklike gebouwen op itselde territoarium. Elk hat syn eigen elektrisiteitsinputs, syn eigen dieselmotoren en syn eigen koeling. NORD-1 en NORD-2 waarden kontrolearre troch Uptime Institute M&O. It lêste (en bêste DataLine-datasintrum) is NORD-4, dus dat is wêr't wy hinne gean.
Nettsjinsteande it skynber grutte oantal datasintra yn Moskou, is d'r noch in tekoart. Nee, fansels, ien of twa rekken sille sûnder problemen nei jo ferstjoerd wurde. Se jouwe jo sels tweintich. Mear is in fraach (en DataLine hat mear as ien of twa kliïnten mei sokke behoeften). Spesifyk, yn NORD-4 is d'r in plak (foar no), om't ien grutte klant is ferhuze yn in eigen nij boud datasintrum, mar op oare plakken kin dit net sa gelok wêze. It ûntwerp fan NORD-5 is lykwols no yn folle gong, dat wurdt tasein oan it begjin fan 2020 te lansearjen.
Mar litte wy werom nei ús ekskurzje. Om't wy mei de auto reizgen, lieten se ús de poarte yn, dêr't masinegewearen op ús doelen, ús autonûmer kontrolearren mei de oanfraach, en alle passazjiers fregen om út te kommen om paspoarten te heljen (mei har paspoarten, fansels). Omdat B is feiligens.
NORD-4 is de grutskens fan it bedriuw en in kompilaasje fan in protte jierren ûnderfining yn 'e bou en eksploitaasje fan datasintra, it hat Uptime Institute Tier III-sertifikaten foar ûntwerpprojekt en Facility (dus boud datasintrum), lykas Operational Sustainability - de jonges gongen de saak sa nau mooglik ferantwurde oan. Binnen binne der fjouwer hermetyske sônes, ûnôfhinklik fan elkoar, mei twa sealen elk binnen ien gebou. Elk hat in eigen krêftsintrum (dieselgeneratorset, batterijkeamers), koelsirkels en brânblussystemen. Algemien - optyske yngongen (der binne twa fan harren per gebou) en MMR.
Healthy Engineer Modding
By de yngong fan it datasintrum wachtet in ús al bekende coffeeshop (goed, wêrom net?). Wy geane op nei it tafersjochsintrum. D'r binne no twa haad - yn OST en NORD-4 (NORD-1,2,3 hawwe ek har eigen plichten). Fan elk sintrum kinne jo nei beide siden sjen, dus ek hjir is oerstalligens n+1 garandearre. Op 'e fideomuorre binne al bekende dashboards yn in ljochtgrien kleurskema (d'r binne fansels folle mear parameters op as op it statusdisplay). Wy kommunisearje in bytsje oer tafersjoch - gjin fancy Prometheus en Grafan, allinich Nagios, allinich hardcore en selsmakke fisualisaasje. Mear as tsien jier (lykwols noch mear) fan gebrûk binne in protte oanpaste kontrôles en skripts al skreaun, sadat it oerskeakeljen nei wat oars liket op in Gamble. Sa'n ien kear yn 'e moanne ferskynt in oar bedriuw dat biedt om alle problemen "fluch en sûnder pine" op te lossen, mar op ien of oare manier wurket it noch net. De fideomuorre wurket trouwens ek op in sels gearstalde oplossing, dy't ferskate kearen goedkeaper bliek te wêzen as kommersjele analogen.
Lokale kontrôle sintrum
As jo in protte jierren datasintra ûntwerpe, bouwe en eksploitearje, binne jo net langer sa bang om sels wat te dwaan dan wat klear te keapjen. DataLine, bygelyks, twifelet net om te sizzen dat se gewoan troch skaal op it maksimale oantal flaters stapt hawwe, en elk nij datasintrum is it gefolch fan drege flaters en ûnderfining dy't al mear as tsien jier geande is . Fansels hat elk nij datasintrum syn eigen know-how, en wylst jo rûnom NORD rinne, fange jo sa no en dan dat jo tinke dat minsken it gewoan diene en goed diene. Net om 'e wille fan pronkjen, net om' e wurdearrings en sertifikaten - in normaal yngenieurproses, as jo by elke iteraasje boppe josels groeie en better en better wurde. In waarnimmer fan bûten sil sizze dat dit saai en konservatyf is, mar de kliïnt, krekt oarsom, behâldt sa'n stabiliteit mei syn eigen jild. En om it goed te dwaan, is it hielendal net nedich om yngenieursystemen of software te keapjen foar in protte, in protte jild (hoewol't jo it soms net sûnder kinne). Underfining, kennis en technysk fernimstigens beslute faaks.
Bygelyks, it NORD-4 gebou hat 3,5 ferdjippings. De earste trije binne folweardich, mei plafonds fan 4.5 meter, dêr't de turbinekeamers sitte. En de lêste is technysk, mar 1.8 meter heech, en is suver wijd oan it koelsysteem. Sûnt de flier technysk is, binne de easken dêrfoar folle leger, wat it projekt ferienfâldige en jild besparre.
Utsjoch fan it trijehoekige datasintrum
Max hat in spesjale kung fu-fermogen om net op foto's te ferbaarnen
Wy einigje de rûnlieding op it dak - fanôf hjir hawwe wy in prachtich útsicht op 'e tichtby lizzende termyske enerzjysintrale en wenwyk, lykas oare NORD-gebouwen. Twa fan harren binne trijehoekich. Dêroer laken kollega's sels dat "DataLine idioaten binne, om ien of oare reden bouwe se in trijehoekich datasintrum" om dêr trijehoekige racks en trijehoekige servers te ynstallearjen. Mar neat - se bouden en wurkje mei súkses, en tagelyk effektyf gebrûk fan it besteande territoarium (dat yn Moskou, it moat sein wurde, is net fergees). In oar ferrassend (foar my) feit is dat de mearderheid fan 'e kommersjele kliïnten yn Moskou lizze wol. In plak in healhûndert kilometer fuort lâns de Minsk Highway (ek al binne der alle nedige kapasiteiten en kommunikaasje) is net mear fan belang foar gjinien. Dus elkenien hoart yn in net-rubber ien.
Koeltoeren binne gjin datasintra mear, mar thermyske enerzjysintrales
Dêrmei is ús folgjende reis oan in ein kommen.
Nei ôfrin wie der wer in lang en produktyf petear oer mienskiplike plannen en takomstige podcasts (ik hoopje dat wy net lang hoege te wachtsjen), dus bliuw yn 'e gaten, der komme meikoarten noch mear nijsgjirrige dingen.
No, as jo alles mei jo eigen eagen sjen wolle, noeget DataLine jo út foar in rûnlieding. Folslein fergees, mar op ôfspraak. Dejingen dy't it koadewurd "linkmeup" neame, krije in plus yn karma.
Bliuw op 'e hichte!
Boarne: www.habr.com