Ang labing importante nga problema sa transportasyon sa St. Petersburg mao ang mga taytayan. Sa gabii, tungod kanila, kinahanglan ka nga molayas sa tavern nga dili mahuman ang imong beer. Aw, o doble pa ang bayri sa taxi kay sa naandan. Sa buntag, pag-ihap pag-ayo sa oras aron sa dihang sirado na ang taytayan, makaabot ka sa estasyon sama sa usa ka abtik nga mongoose. Wala namo isipa ang opsyon nga "magpalabay sa kagabhion sa usa ka dapit sa sentro, duol sa estasyon" nga makadaot sa ideolohiya.
..."Peregrine Falcon", nga mibiya sa 5:30, giimbento sa mga tawo nga nagdumot sa mga bukaw. Dili, siyempre, sayon kaayo nga naa sa Moscow sa alas nuebe sa buntag, ug ang St. Petersburg hilabihan ka nindot sa panahon sa puti nga mga gabii, apan sa alas kwatro y medya, sa dihang misakay ko sa taxi, gusto nakong ilingiw ang akong ulo 270 degrees ngadto sa lark nga nag-imbento karong buntag nga tren.
"Ang tanan nga maayo nga mga sentro sa datos managsama," naghunahuna ko sa dihang nahibal-an nako nga ang mga lalaki gikan sa DataLine nagdapit kanamo sa pagbisita.
Ingon sa nahibal-an, ang matag data center maayo (o dili maayo) gamay sa kaugalingon nga paagi, labi na kung naigo ka sa dako nga oras, kolektaha ang tanan nga mga rake sa lugar ug pagkat-on sa mga leksyon gikan sa imong kaugalingon (ug, gamay, sa ubang mga tawo. ) dato nga kasinatian. Mao nga kami (nga gilangkoban sa lima ka nanguna nga linkmeup ug ilang mga higala ug mga simpatisador) nakahukom nga susihon kung unsa ka maayo (o dili kaayo maayo) ang mga sentro sa datos sa OST ug NORD.
Kay nakahimo og gamay nga trabaho sa dalan (mahimo nga adunay usa ka ad alang sa usa ka mobile operator dinhi, apan dili - ang coverage dili maayo), kami nagdiskarga sa estasyon sa Leningradsky. Aw, labing menos dili ubos sa Gazmanov.
Nagsugod kami sa among paglibot sa mga sentro sa datos sa "apog" nga adunay OST - "ang parehas" nga "nasunog" dili pa dugay. Ngano sa mga kinutlo - pagkahuman. Sa kasamtangan, kami mobarog, manigarilyo, ug maghulat niadtong maulahi. Pagkuha og mga hulagway sa opisina sa RT sa tupad. Adunay daghang kataw-anan nga mga istorya bahin sa kini nga kasilinganan - gikan sa pagbutang sa presko nga aspalto ug pagpintal sa mga kurbada sa wala pa ang pag-abot sa mga dignitaryo, hangtod sa mga diskwento sa mga duol nga cafe nga gihatag sa mga residente sa Dataline tungod sa pagkaparehas sa ilang mga badge.
Ang tigpamaba sa totalitarian nga propaganda
Data center sa estrikto (access) mode
Pass, mga lagda sa pamatasan, gilingan sa karne sa entrada - halos parehas nga among nakita . Nakita ba nimo ang daghang mga tindahan sa kape sa mga sentro sa datos? Karon nakaila mi og magtiayon. Ang mga empleyado ug mga kliyente adunay mga deposito sa "kape" sa ilang mga badge, nga kanunay nga gipuno. Busa, sulod sa makataronganong mga limitasyon, mahimo nimong tagdon ang imong kaugalingon sa kape nga bug-os nga walay bayad. Kami, isip minahal nga mga bisita, gitagaan usab og pagkaon.
Dili ako makasulti bisan unsa nga dili maayo bahin sa kape - normal kini alang sa usa ka "kadena" nga tindahan sa kape, apan ang lokasyon dili boluntaryo nga nakadani, ug ang sulud nahiuyon sa labing kaayo nga modernong mga tradisyon.
Interior sa usa ka lokal nga coffee shop
Ang mga litrato nagpakita sa mga sentro sa datos sa NORD
Ang tour magsugod gikan sa opisina. Gawas pa sa mga inskripsiyon sa mga bungbong ug sa puti ug apog nga laraw sa kolor nga nailhan sa tibuok Runet, aduna usab ang tanang matang sa kataw-anan nga mga butang. Kini ang mga props nga nahabilin gikan sa mga pasundayag sa teatro sa korporasyon (mahunahuna ba nimo ang teknikal nga direktor sa usa ka network sa data center nga nagdula sa usa ka dula? Ug kami nakaila kaniya sa personal.).
Ug kini tinuod
Mga litrato gikan sa mga pasundayag
Ang data center (o hinoon, upat ka mga data center) nahimutang sa usa ka komplikado sa industriyal nga mga bilding nga gitukod balik sa siglo sa wala pa ang katapusan (dayon ang Citroen nga planta, ug sa panahon sa Sobyet ang Gidroprivod nga tanum), mao nga sa usa ka bahin adunay usa ka mapintas. pagtan-aw sa industriya, metal nga mga sagbayan, usa ka atmospera sa loft ug mga artifact sa industriya gikan sa lainlaing mga panahon nga makita gihapon sa lainlaing mga buhat. Sa laing bahin, ang mga hermetic zone sa data center kinahanglan nga mohaum sa kasamtangan nga mga istruktura, ug ang pagkompromiso sa kamatuoran kinahanglan nga himoon matag karon ug unya. Bisan pa, dili ko isulti nga kini nga mga pagkompromiso nakaapekto sa kalidad - apan ang mga lalaki tingali kinahanglan nga magtrabaho pag-ayo sa panahon sa disenyo. Ingon usab, sumala sa mga hungihong, ang Metro-2 moagi sa usa ka duol, apan dili kini sigurado.
Gawas sa teatro, adunay usa usab ka museyo. Mga eksibit, natural - mga kaplag sa arkeolohiko
Pipila ka mga pulong mahitungod sa . Oo, ang bilding (o hinoon, ang atop) nasunog gayud. Ang mga eksternal nga yunit sa mga sistema sa pagpabugnaw ug bugnaw nga mga tubo nadaot. Sa usa ka lugar nasunog ang mga wiring ug ang mga air conditioner wala’y kuryente. Ang mga tubo sa freon mibuto sa usa ka dapit. Apan, bisan pa niini, ang mga hermetic zone nakasugakod sa toneladang tubig nga gibubo kanila, ug ang mga ekipo naluwas. Gipahiuli nila kini ubos sa kontrol sa "headquarters" nga girepresentahan sa kinatas-ang pagdumala sa tibuok kalibutan - ilang gikuha ang tanan nga mga tubo nga tumbaga sa Moscow ug sa kasikbit nga lugar (gidala pa gani nila kini sa gabii sa usa ka BMW X5) ug ang tanan nga mabuot. mga installer. Ang mga kritikal nga ekipo gikan sa naguba nga mga datahall (naguba tungod sa kakulang sa katugnaw, dili gikan sa kalayo!) Dali nga gibalhin ngadto sa ubang mga hawanan, mao nga sa alas singko sa buntag dili lamang ang tanan nilang mga serbisyo, kondili usab ang ilang mga kliyente ug nagdagan.
Personal namo nga gisusi ang hawanan nga "pinakasakit" - gawas sa baho sa pagsunog ug pag-ilis sa mga tile sa gipataas nga salog, wala'y bisan unsa nga nagpahinumdom sa kalayo (gawas sa mga racks sa mga ekipo nga "temporaryo" nga gidala sa laing data hall, ug nagpabilin didto).
Status panel
Naglakaw ubay sa mga koridor, nakakita kami og touch display nga adunay susama kaayo sa diagram sa mga turbine room sa data center. Kini ang status panel. Adunay daghan niini sa mga koridor, ug gitugotan nila ang mga on-site nga mga inhenyero nga dali nga makit-an, pananglitan, ang gikinahanglan nga air conditioner, ug ireport lang ang karon nga kahimtang.
Ang pagmonitor kay gitukod sa Nagios (karon aduna nay daghang independent clusters) ug naglangkob sa tanang data centers (parehong OST ug NORD). Dugang pa, adunay mga aplikasyon alang sa Android ug iOS (alang sa mga kliyente ug empleyado), ug usa ka panid sa status direkta sa website.
Sa display namatikdan nako ang usa ka talagsaon nga taas nga PUE - wala kini gidawat bisan asa sa Russia, apan sa gihapon ang 1.90 medyo taas. Ang tubag niini pulos ekonomikanhon - sa 2012-2013, ang mga rack sa mga sentro sa datos gibaligya sama sa mainit nga mga tinapay, mao nga wala nay panahon alang sa sentimentalidad ug kahusayan sa enerhiya. Gi-install namon kung unsa ang naa sa merkado, buhata kini sa labing madali ug wala’y pagtagad sa imong PUE, tungod kay ngano? Bisan sa yugto sa disenyo, ang 80-90% sa mga racks gipalit, apan ang lehislasyon sa Russian Federation dili gusto nga mahibal-an ang bisan unsa mahitungod sa kahusayan sa enerhiya. Bisan kung ang pipila nga komisyon sa Amsterdam matagbaw sa ingon nga mga numero.
Walay personal. Negosyo lang.
Ang laing bahin mao ang pagmarka sa mga data hall. Sa matag site, ang mga data hall, dugang sa "opisyal" nga alphanumeric encoding, adunay "tawhanong" pseudonyms gikan sa naval alphabet (Alpha-Bravo-Charlie-Delta...). Alang sa pipila ka rason, ang tanan nga mga kliyente nahigugma sa Whisky lawak.
Wala’y gagmay nga mga detalye kung bahin sa pag-atiman sa kustomer.
Ang ingon nga "mga koral" gipatindog alang sa pipila ka mga kliyente. Wala mi tugoti sa pagkuha og mga hulagway sa mga lawak sa turbine, mao nga ang litrato kay DataLine ©
Ang mga kliyente sa DataLine kasagaran dagko ug respetado nga mga kompanya; dili gyud sila ganahan nga makuhaan og litrato ang ilang kagamitan. Dugang pa, kung ang ngalan sa kliyente (o logo) gisulat direkta sa counter sa dagkong mga letra. Dili nila gusto - mao ra kana. Busa, among gi-film ang nabantog nga mga bungbong nga adunay lainlaing mga inskripsiyon, ug ang engineer. Dili usab mahimo nga kuhaan og litrato ang tibuuk nga inhenyero ug dili bisan diin, apan gisulayan namon. Tungod kay dako ug respetado ang among mga kliyente, aduna usab silay espesipikong mga hangyo - espesyal nga mga rack (o usa ka matang sa uber storage system gikan sa daghang vendor racks), ilang kaugalingong mga koral, ilang kaugalingong mga access control system, ilang kaugalingong video surveillance ug usa ka paspas nga response team nga adunay machine gun. Sa kinatibuk-an, usa sa wala gisulti (ug publiko) nga mga lagda sa DataLine mao ang pag-atiman sa kliyente ug pagbuhat og maayo kaniya. Nagsugod gikan sa mga vest ug mga workstation nga adunay kagamitan nga adunay access sa Internet ug mga charger, hangtod sa lainlaing mga panghitabo alang sa mga kliyente. Ang naulahi mapuslanon usab kaayo nga ang parehas nga mga tawo, nga nagbalhinbalhin gikan sa kompanya ngadto sa kompanya, nagdala kanila sa DataLine. Tungod lang kay ang tanan dinhi komportable, komportable ug kasaligan. Ang negosyo sa DataLine dili lang bahin sa pag-abang sa rack space. Kini usa usab ka panganod, dungan nga gipamatud-an sumala sa 152-FZ ug PCI-DSS (maghimo kami usa ka podcast bahin niini, magpadayon nga tun-an alang sa mga anunsyo), ug maghatag koneksyon (sa kaugalingon nga mga lanot tali sa mga site ug gikan sa matag usa kanila hangtod sa M9, ang kaugalingon nga optical ring sa tibuuk nga lungsod, ug uban pa hangtod sa organisasyon sa katapusang milya sa opisina sa kliyente).
M - panukmod
Naghisgot bahin sa mga inskripsiyon, ang mga ideya naggikan dili lamang sa mga empleyado, kondili gikan usab sa mga kasosyo ug kliyente, pagkahuman mahimo nimong iboto ang labing malampuson nga mga DataLine sa FB. Aw, mahimo nimong isugyot ang imong ideya didto.
Miting sa Elbe
Cross (litrato sa maayong kabubut-on sa DataLine)
Mihunong mi sa Meet-Me-Room, diin nahimutang ang mga operator. Sa MMR (adunay tulo ka pares sa OST, sumala sa gidaghanon sa mga nag-unang optical input, alang sa aktibo ug passive) ang mga koneksyon gikan sa tanang data hall gihiusa. Sa cross-country nga sapatos ang tanan makalaay ug hapsay. Apan kung diin nahimutang ang aktibo nga camera, nahinumduman nimo ang labing kaayo nga mga tuig ug footage gikan sa pipila nga BM18: noodles nga hinimo sa mga wire ug lainlaing kagamitan (DLink, Extreme, Juniper, Mikrotik ... ug uban pa hangtod sa ASR9k). Adunay sobra sa kalim-an nga mga operator dinhi, busa ang tanan mabulukon. Gikan sa MMR, ang mga optika ug tumbaga gipang-apod-apod sa mga lawak sa makina. Labing menos duha ka mga ruta alang sa matag usa (mga variant posible), aron dili ka mabalaka bahin sa pagkakasaligan sa koneksyon. Ang MMR gitawag nga "Elbe", nga medyo maliputon.
IBM Power nada?
Ang laing nakit-an mao ang usa ka IBM P-serye, nga wala pa ma-on, ug nagbarog sa usa sa mga koridor sulod sa pipila ka tuig. Ang makina (kauban ang tape library ug storage system) gi-order sa usa sa mga kliyente, apan "kini dili mapuslanon," mao nga kini gidonar sa data center. Nagbarog na kini sukad pa kaniadto.
Maayo tingali nga mahimong adunahan nga mga lalaki ug maghatag ingon nga mga regalo, di ba? (O tingali wala nila kini gihatag ingon usa ka regalo, apan nakalimot. O napildi sila sa mga baraha. Apan dugay na kini)
Kining gwapo nga lalaki nagbarog sa NORD-4
Moadto kami sa sentro sa enerhiya - tulo (o bisan upat) nga mga set sa diesel generator alang sa matag sentro sa datos (pahinumdoman ko ikaw, adunay upat niini sa OST). Ang makina sa diesel makaabot sa bug-os nga gahum sa 30-40 segundos ug makahimo og 1900 kVA. N+1 redundancy, synchronization, ug uban pa gilakip. Ang pinakataas nga oras sa paglingkod sa mga makina sa diesel sa OST mao ang 12 ka oras. sa NORD - 2.5 ka adlaw (human sa tanan, ang pasilidad sa pagtipig alang sa 85 tonelada dili daghang salapi).
Siyempre, adunay mga kasabutan sa lainlaing mga kompanya sa gasolina alang sa suplay sa gasolina. Ang pagbalhin sa diesel kanunay nga mahitabo, aron ang duha nga gasolina magama ug ang mga kontrata mapamatud-an. Pinaagi sa dalan, sumala sa mga kauban, sa NORD, sa diha nga ang pagsulay sa diesel generator sets, nga kasagaran nagkinahanglan labaw pa kay sa usa ka oras, sa dapit diin ang init nga hangin gikan sa diesel nga mga makina gipagula, bisan sa tingtugnaw ang balili makahimo sa pagkaberde.
Human sa usa ka mubo nga snack sa usa ka pamilyar nga coffee shop, mipaingon kami sa NORD site. Dili usab kini usa ka sentro sa datos, apan upat ka independente nga mga bilding sa parehas nga teritoryo. Ang matag usa adunay kaugalingon nga mga input sa kuryente, kaugalingon nga mga makina sa diesel ug kaugalingon nga pagpabugnaw. Ang NORD-1 ug NORD-2 gi-audit sa Uptime Institute M&O. Ang pinakabag-o (ug labing maayo nga DataLine data center) mao ang NORD-4, mao nga kung asa kami moadto.
Bisan pa sa daw dako nga gidaghanon sa mga sentro sa datos sa Moscow, adunay kakulang. Dili, siyempre, usa o duha ka racks ang ipadala kanimo nga wala’y mga problema. Hatagan ka pa gani nilag baynte. Daghan pa ang pangutana (ug ang DataLine adunay labaw pa sa usa o duha ka kliyente nga adunay ingon nga mga panginahanglan). Sa piho, sa NORD-4 adunay usa ka lugar (sa pagkakaron), tungod kay usa ka dako nga kliyente ang mibalhin sa kaugalingon nga bag-ong gitukod nga sentro sa datos, apan sa ubang mga lugar dili kini swerte. Bisan pa, ang disenyo sa NORD-5 anaa na karon, nga gisaad nga ilunsad sa sinugdanan sa 2020.
Pero balik ta sa atong excursion. Tungod kay nagbiyahe mi sakay sa awto, gipasulod mi nila sa gateway, diin gipunting kami sa mga machine gunner, gisusi ang numero sa among awto gamit ang aplikasyon, ug gihangyo ang tanan nga mga pasahero sa paggawas aron makakuha mga pass (uban ang ilang mga pasaporte, siyempre). Tungod kay ang B mao ang seguridad.
Ang NORD-4 mao ang garbo sa kompanya ug usa ka kompilasyon sa daghang mga tuig nga kasinatian sa pagtukod ug operasyon sa mga sentro sa datos, kini adunay mga sertipiko sa Uptime Institute Tier III alang sa proyekto sa disenyo ug Pasilidad (ie gitukod nga sentro sa datos), ingon man ang Operational Sustainability - ang mga lalaki miduol sa butang ingon ka suod kutob sa mahimo nga responsable. Sa sulod adunay upat ka hermetic zones, independente sa usag usa, nga adunay duha ka hawanan matag usa sulod sa usa ka bilding. Ang matag usa adunay kaugalingong power center (diesel generator set, battery rooms), cooling circuits ug fire extinguishing system. Kinatibuk-ang - optical inputs (adunay duha niini kada building) ug MMR.
Healthy Engineer Modding
Sa entrada sa data center, naghulat ang usa ka coffee shop nga pamilyar na kanato (maayo, nganong dili?). Mosaka mi sa monitoring center. Adunay duha na karon nga nag-una - sa OST ug NORD-4 (NORD-1,2,3 usab adunay kaugalingon nga pagbalhin sa katungdanan). Gikan sa matag sentro mahimo nimong tan-awon ang duha ka mga site, mao nga bisan dinhi gisiguro ang redundancy n+1. Sa bungbong sa video aduna nay pamilyar nga mga dashboard sa usa ka light green nga color scheme (adunay, siyempre, mas daghang mga parameter niini kaysa sa status display). Nagkomunikar kami gamay bahin sa pag-monitor - wala’y nindot nga Prometheus ug Grafan, Nagios ra, hardcore ug hinimo sa balay nga pagtan-aw. Kapin sa napulo ka tuig (bisan pa, labi pa) sa paggamit, daghang naandan nga mga tseke ug mga script ang nasulat na, mao nga ang pagbalhin sa usa ka butang sama sa usa ka sugal. Mga kausa sa usa ka bulan adunay lain nga kompanya nga nagpakita nga nagtanyag aron masulbad ang tanan nga mga problema "sa madali ug walay sakit," apan sa usa ka paagi wala pa kini molihok. Ang bungbong sa video, sa laing bahin, naglihok usab sa usa ka solusyon nga gitigum sa kaugalingon, nga nahimo nga daghang beses nga mas barato kaysa mga komersyal nga analogue.
Lokal nga kontrol center
Kung nagdesinyo ka, nagtukod ug nag-operate sa mga sentro sa datos sa daghang mga tuig, dili ka na mahadlok sa pagbuhat sa usa ka butang sa imong kaugalingon kaysa pagpalit usa ka butang nga andam na. Ang DataLine, pananglitan, dili magpanuko sa pag-ingon nga, tungod lang sa kadak-an, sila mitunob sa kinatas-ang gidaghanon sa mga kasaypanan, ug ang matag bag-ong data center mao ang resulta sa lisud nga mga sayop ug kasinatian nga nagpadayon sulod sa kapin sa napulo ka tuig . Siyempre, ang matag bag-ong sentro sa datos adunay kaugalingon nga kahibalo, ug samtang naglakaw libot sa NORD, matag karon ug unya nahibal-an nimo ang imong kaugalingon nga naghunahuna nga ang mga tawo nakahimo lang ug maayo. Dili alang sa pagpakita, dili alang sa mga rating ug mga sertipiko - usa ka normal nga proseso sa engineering, kung sa matag pag-uli motubo ka labaw sa imong kaugalingon ug mahimong mas maayo ug mas maayo. Ang usa ka tigpaniid sa gawas moingon nga kini makalaay ug konserbatibo, apan ang kliyente, sa sukwahi, nagpadayon sa ingon nga kalig-on sa iyang kaugalingong salapi. Ug aron mahimo kini nga maayo, dili gyud kinahanglan nga mopalit mga sistema sa engineering o software alang sa daghang, daghang salapi (bisan kung usahay dili nimo mahimo kung wala kini). Ang kasinatian, kahibalo ug kabatid sa inhenyeriya kanunay nga magdesisyon.
Pananglitan, ang NORD-4 nga bilding adunay 3,5 nga andana. Ang una nga tulo bug-os, nga adunay mga kisame nga 4.5 metros, diin nahimutang ang mga lawak sa turbine. Ug ang katapusan mao ang teknikal, 1.8 metros lamang ang gitas-on, ug gipahinungod lamang sa sistema sa pagpabugnaw. Tungod kay teknikal ang salog, ang mga kinahanglanon alang niini labi ka ubos, nga nagpasimple sa proyekto ug nakatipig salapi.
Pagtan-aw sa triangular nga sentro sa datos
Si Max adunay espesyal nga kung fu nga abilidad nga dili masunog sa mga litrato
Gitapos namon ang paglibot sa atop - gikan dinhi adunay maayo kaayo nga pagtan-aw sa duol nga thermal power plant ug residential area, ingon man ang uban pang mga bilding sa NORD. Duha niini triangular. Mahitungod niini, gikataw-an pa sa mga kauban nga ang "DataLine mga moron, sa pipila ka hinungdan nagtukod sila usa ka triangular data center" aron ma-install ang mga triangular nga rack ug triangular nga mga server didto. Apan wala - sila nagtukod ug malampuson nga naglihok, ug sa samang higayon epektibo nga gigamit ang kasamtangan nga teritoryo (nga sa Moscow, kini kinahanglan nga isulti, dili libre). Ang laing makapakurat (alang kanako) nga kamatuoran mao nga ang kadaghanan sa mga komersyal nga kliyente gusto nga mahimutang sa Moscow. Ang usa ka site nga tunga sa gatos ka kilometro ang gilay-on ubay sa Minsk Highway (bisan kung adunay tanan nga kinahanglan nga mga kapasidad ug komunikasyon) dili na interesado sa bisan kinsa. Busa ang tanan nagtapok sa usa nga dili goma.
Ang mga cooling tower dili na mga sentro sa datos, kondili mga thermal power plant
Niini ang among sunod nga panaw natapos na.
Pagkahuman adunay lain nga taas ug produktibo nga panag-istoryahanay bahin sa hiniusa nga mga plano ug umaabot nga mga podcast (naglaum ako nga dili na kita maghulat og dugay), busa padayon nga tutok, adunay labi pa nga makapaikag nga mga butang sa dili madugay.
Aw, kung gusto nimo makita ang tanan gamit ang imong kaugalingon nga mga mata, giimbitahan ka sa DataLine sa usa ka tour. Hingpit nga libre, apan pinaagi sa appointment. Kadtong nagtawag sa code nga pulong nga "linkmeup" makakuha og dugang sa karma.
Magpadayon nga tune!
Source: www.habr.com