A legnagyobb közlekedési probléma Szentpéterváron a hidak. Éjszaka emiatt ki kell szöknöm a kocsmából, anélkül, hogy befejezném a sört. Vagy pedig kétszer annyit kell fizetnem a taxira, mint általában. Reggel pedig gondosan kell időt számolni, hogy amint a hidakat levonták, ügyes manguszként elérjem a pályaudvart. A "valahol a központban, a pályaudvar közelében megszállni" lehetőséget nem vesszük figyelembe, mivel ideológiailag káros.
…"Szapszan", ami 5:30-kor indul, olyan emberek találmánya, akik utálnak hajnali baglyokat. Nem, természetesen nagyon kényelmes reggel 9-kor Moszkvában lenni, és Szentpétervár őrülten gyönyörű a fehér éjszakák alatt, de amikor négy és félkor beszálltam a taxiba, szerettem volna 270 fokban megfordítani a fejem annak a pacsirtának, aki kitalálta ezt a reggeli vonatot.
"Minden jó adatközpont hasonlít egymásra" - gondoltam, amikor megtudtam, hogy vendégségbe hívott minket a DataLine csapata.
Kiderült, hogy minden adatközpont kicsit jónak (vagy rossznak) számít, különösen, ha már begyűjtötted a magad kis leckéit, minden akadályt összeszedtél a környéken, és megtanultad a saját (és egy kicsit mások) gazdag tapasztalatait. Így hát mi (öt vezető linkmeup és néhány barát, akik csatlakoztak hozzánk) úgy döntöttünk, hogy ellenőrizzük, mennyire jók (vagy nem annyira) az OST és NORD adatközpontok.
Reggeljük kicsit dolgozni az úton (itt lehetett volna egy hirdetés egy mobil szolgáltatóról, de nem – a lefedettség ugyanolyan rossz volt, mint volt), kiszállunk a Lengyelországi pályaudvarnál. Nos, legalább nem Gazmanov alatt.
A "salátás" adatközpontok látogatását az OST-nél kezdtük – "az a bizonyos", amely nem régen "égett". Miért idézőjelben - majd később. De most állunk, dohányzunk, várjuk az elkésőket. Lefotózzuk a szomszédos RT irodát. Ezzel a szomszédsággal sok vicces történet van – kezdve a friss aszfalt lerakásától és a járdaszegélyek festésétől a Magas Személyek érkezése előtt, és befejezve a környékbeli kávézók kedvezményeivel, amit a dataline-osok kaptak a hasonló jelvények miatt.
A totális propaganda hangosítója
Szabályozott (belépési) adatközpont
Belépő, viselkedési szabályok, húsdaráló a bejáratnál - majdnem ugyanilyet láttunk . Sokat láttunk kávézókat adatközpontokban? Mi most már tudunk párat. Az alkalmazottaknak és az ügyfeleknek a névjegyén vannak "kávé" betétek, amelyeket rendszeresen feltöltenek, így ésszerű keretek között kávét teljesen ingyen lehet kapni. Minket, mint drága vendégeket, szintén megkínáltak.
A kávéról nem tudok semmi rosszat mondani - teljesen átlagos egy "hálózati" kávézóhoz képest, de a helyzés azért sokat nyom a latban, az enteriőr pedig a legjobb modern hagyományoknak megfelelő.
A helyi kávézó enteriőrje
A NORD adatközpontok a fényképeken
A látogatás az irodával kezdődik. Az interneten mindenki által ismert feliratok mellett világos zöld-fehér színvilág is található, és vannak vicces dolgok is. Ez a dekoráció a vállalati színház előadásainak maradványai (el tudják képzelni, hogy az adatközpontok technikai igazgatója színházi előadást játszik? Mi személyesen ismerjük őt).
Igazán.
Fényképek az előadásokból
Az adatközpont (pontosabban négy adatközpont) egy ipari épületekből álló komplexumban található, amelyet még az előző században építettek (akkor Citroën gyár, míg a Szovjetunió idején Gidroprivod gyár), így egyrészt itt zord ipari hangulat van, fémgerendák, loft légkör és különböző korszakok ipari relikviái, amelyeket még ma is találnak különböző munkálatok során. Másrészt az adatközpont hermetikus zónáit be kell illeszteni a meglévő szerkezetekbe, és időnként kompromisszumokat kell kötni a realitással. Mégsem mondanám, hogy ezek a kompromisszumok rontották volna a minőséget - de a fiúk bizonyára megizzadtak a tervezés során. Ráadásul hallottam, hogy valahol a közelben menekülő metró van, de ezt nem tudom biztosan.
A színház mellett saját múzeumuk is van. Az kiállított tárgyak természetesen régészeti leletek.
Pár szó a Igen, az épület (pontosabban a tető) tényleg lángolt. A hűtő rendszerek külső egységei és a hűtőcsövek megsérültek. Valahol az elektromos vezetékek kiégtek, és a légkondicionálók áram nélkül maradtak. Valahol a freonvezetékek felrobbantak. De ennek ellenére a hermetikus zónák elviselték a rájuk öntött víz tonnáit, a berendezések épen maradtak. A helyreállítást a csúcsvezetés irányítása alatt végezték el közösen - szinte az összes rézcsövet kiszivattyúzták Moszkvából és környékéről (még éjszaka is BMW X5-össel hozták) és az összes szakképzett szerelőt. A kritikus berendezéseket a sérült adatközpontokból (amelyek a hideg hiányától szenvedtek, nem a tűz miatt!) sürgősen átköltöztették más termekbe, így már öt órakor sikerült nemcsak a saját szolgáltatásaikat, hanem a klienseiket is működésbe állítani.
Személyesen ellenőriztük azt a termet, amely a legjobban 'sérült' - a füstszag mellett, valamint a kicserélt álmennyezeti lapokkal, a tűzről nem árulkodik semmi (kivéve az ideiglenesen egy másik adatközpontba átszállított berendezések állványait, amelyek ott is maradtak).
Állapotjelző panel
Járva a folyosókon, látunk egy érintőképernyős kijelzőt, ami nagyon hasonlít a központi gépterem terveire. Ez az állapotjelző panel. Ezekből sok van a folyosókon, és lehetővé teszik a helyszíni mérnökök számára, hogy gyorsan megtalálják például a szükséges légkondicionálót, és egyszerűen tájékoztatják a jelenlegi állapotról.
A megfigyelés a Nagiosra épül (jelenleg már több független klaszterünk van) és lefedi az összes adatközpontot (mind az OST, mind a NORD). Továbbá van Android és iOS alkalmazás (ügyfelek és alkalmazottak számára), és az állapotjelző oldal közvetlenül a weboldalon.
A kijelzőn különösen magas PUE-t észlelek - Oroszországban nem mindenhol számítják ezt, de azért a 1.90 egy kicsit sok. A válasz erre már teljesen gazdasági - 2012-2013 között a rackek az adatközpontokban úgy keltek el, mint a friss pékáru, így nem volt idő érzelmekre és energiahatékonyságra. Amit a piacon találtunk, azt gyorsan beépítettük, és nem foglalkoztunk a PUE-val, mert minek? Még a tervezési szakaszban is a rackek 80-90%-át megvásárolják, és a jogszabályok Oroszországban nem akarnak tudni az energiahatékonyságról. Bár egy amszterdami bizottságot biztos megütnének ilyen számok láttán.
Semmi személyes. Csak üzlet.
Egy másik jellemző a dátaterem címkézése. Minden helyszínen a dátatermek a "hivatalos" alfanumerikus kódolás mellett "emberi" álnévvel is rendelkeznek a haditengerészeti ábécé alapján (Alfa-Bravo-Charlie-Delta…). Valamiért minden ügyfél szereti a Whiskey-t.
Az ügyfelek gondozásában nincsenek apróságok.
Ilyen "kerítéseket" állítanak fel egyes ügyfelek számára. Nálunk a géptermekben nem engedélyezték a fényképezést, ezért a DataLine fotója ©.
A DataLine ügyfelei nagyrészt nagy és tiszteletben álló cégek, akik nagyon nem szeretik, ha fényképezik az ő berendezéseiket. Különösen akkor, ha az ügyfél neve (vagy logója) nagy betűkkel van írva a rackre. Egyszerűen nem szeretik — és kész. Ezért fényképeztük a híressé vált falakat különféle feliratokkal, valamint a műszaki teret. A műszaki tér fényképezése sem engedélyezett mindenhol, de próbáltuk. Mivel az ügyfelek között nagy és tiszteletben álló cégek is vannak, az igényeik is specifikusak lehetnek — különleges állványok (vagy akár valamilyen különleges tárolórendszer több gyártótól), saját kerítések, saját beléptető rendszerek, saját videófelügyelet és gyorsreagálású csoport gépfegyverekkel. Egyébként a DataLine egyik nem hivatalos (és hivatalos is) szabálya az, hogy törődjünk az ügyféllel és jót tegyünk neki. A kezdve a mellényektől és az interneteléréssel rendelkező munkahelyekig, egészen a különböző rendezvényekig az ügyfelek számára. Az utóbbiak nagyon hasznosak abban is, hogy ugyanazok az emberek, akik cégről cégre vándorolnak, azokat a DataLine-hoz hozzák. Csak azért, mert itt minden kényelmes, praktikus és megbízható. A DataLine üzlete nem csak rackhelyek bérbeadása. Ez ugyanúgy magában foglalja a felhőt, ami egyszerre van tanúsítva a 152-FZ és a PCI-DSS szerint (erről tervezünk egy podcastot, figyeljék a bejelentéseket), valamint a kapcsolódás biztosítását (saját szálak a helyszínek között és minden egyes helyszínről az M9-hez, saját optikai gyűrű a városban, egészen a legutolsó mérföld szervezéséig az ügyfél irodájához).
M — motiváció
Egy szó, mint szó, a feliratokról — az ötletek nemcsak a munkatársaktól származnak, hanem a partnerektől és az ügyfelektől is, ami után a legjobbakat lehet szavazni a DataLine a FB-n. Nos, a saját ötletet is javasolhatják ott.
Találkozó az Elbán
Cross photo (a DataLine cég biztosította)
Megállunk a Meet-Me-Room-nál, ahol az üzemeltetők találhatók. Az MMR-ben (az OST-ben három pár, az optikai gerincek számának megfelelően, aktív és passzív) összefutnak a csatlakozások az összes adatközpontból. A kereszteződésnél minden unalmas és rendezett. Viszont ott, ahol az üzemeltetői aktiválás van, feleleveníted a legjobb éveket és néhány képkockát a BM18-ból: kábelrengeteg és vegyes berendezések (DLink, Extreme, Juniper, Mikrotik… és így tovább az ASR9k-ig). Itt több mint ötven üzemeltető van, szóval minden színes. Az MMR-ből az optika és a réz elágazik a géptermekbe. Minimum két nyomvonal minden egyeshez (lehetséges alternatívák), így a csatlakozás megbízhatósága miatt nem kell aggódni. Az MMR neve „Elba”, ami nagyon finom utalás.
IBM Power szükséges?
Egy újabb felfedezés — ez az IBM P-sorozat, amit egyszer sem kapcsoltak be, és több éve áll az egyik folyosón. Az eszközt (a szalagos könyvtárral és a tárolóval együtt) egy ügyfél rendelte, de „nem volt rá szükség”, ezért a data centernek ajándékozták. Azóta itt áll.
Jó dolog lehet gazdag srácnak lenni és ilyen ajándékokat adni, ugye? (Lehet, hogy nem is adták, hanem elfelejtették. Vagy kártyán vesztették el. De régen áll itt.)
Ilyen szép darab áll a NORD-4-ben.
Megyünk az energia központba — három (vagy négy) DGJ (dízel-generátor) minden adatközponthoz (emlékezz, az OST-ben négy van). A dízel 30-40 másodperc alatt eléri a maximális teljesítményt, és 1900 kVA-t szolgáltat. N+1 tartalék, szinkronizálás és egyebek — minden benne van. A leghosszabb tartózkodási idő dízelek használatában az OST-én — 12 óra. A NORD-ban — 2,5 nap (azért egy 85 tonnás tároló nem kis dolog).
Természetesen szerződések vannak különböző üzemanyag cégekkel az üzemanyag szállítására. A dízelre való átállás rendszeresen megtörténik, így az üzemanyag is előáll, és a szerződéseket ellenőrzik. Egy szó mint száz, kollégák szerint a NORD-ban, amikor a DGJ-t tesztelik, ami általában nem egy óráig tart, azon a helyen, ahová a meleg levegő távozik a dízelből, még télen is zöldell a fű.
Rövid falatozás után a már ismert kávézóban átnézünk a NORD területére. Ez nem egy adatközpont, hanem négy független épület ugyanazon a területen. Mindegyik saját villamosenergia-bekötéssel, saját dízeljeivel és saját hűtéssel rendelkezik. A NORD-1 és NORD-2 az Uptime Institute M&O auditján átment. A legújabb (és legjobb DataLine adatközpont) — NORD-4, szóval éppen ide megyünk.
Bár Moszkvában látszólag hatalmas számú adatközpont van, mégis hiány van. Persze, egy-két állványt gond nélkül rendelhet, sőt, akár húszat is. De többet már kérdéses (a DataLine ügyfelei között pedig nem egy és nem kettő van, aki ilyen igénnyel bír). A NORD-4-ben egyelőre van hely, mert egy nagyobb ügyfél átköltözött a saját frissen épített adatközpontjába, de más helyeken már lehet, hogy nem lesz ilyen szerencse. Mindazonáltal jelenleg zajlik a NORD-5 tervezése, amelyet 2020 elején ígérnek indítani.
De térjünk vissza a túránkhoz. Mivel autóval érkeztünk, beengedték a kapun, ahol az automata fegyveresek a gépkocsink számát összevetették a kérelemmel, és minden utast megkértek, hogy szálljon ki a belépőjegy átadása érdekében (természetesen, útlevél szerint). Mivel B - biztonság.
A NORD-4 a cég büszkesége és a több éves adatközpont-építési és üzemeltetési tapasztalatok összegzése, amely Uptime Institute Tier III tanúsítványt kapott a tervezési projektjére és a létesítményre (azaz a felépített adatközpontra), valamint az Operatív Fenntarthatóságot - a fiúk maximálisan felelősségteljesen álltak a munkához. Belül négy független hermetikus zóna található, mindegyikben két terem egy épületen belül. Mindegyiknek saját energia központja (DG, akkumulátoros helyiségek), hűtési kontúrja és tűzoltó rendszere van. A közösek - az optikai bevezetők (ezekből kettő van az épülethez) és az MMR.
Egy egészséges mérnök moddingja
A már jól ismert kávézó vár ránk a Data Center bejáratánál (miért ne?). Felemelkedünk a felügyeleti központba. Jelenleg kettő van — az OST és a NORD-4 (a NORD-1,2,3 is tartalmaz saját ügyeletes csapatokat). Mindkét központból figyelemmel kísérhetjük a két helyszínt, így a redundancy n+1 itt is biztosítva van. A videofalon már ismert zöld árnyalatú irányítópultok láthatók (a rajta lévő paraméterek, értelemszerűen, jóval többek, mint a státusz kijelzőn). Kicsit beszélgetünk a monitorozásról — semmilyen divatos Prometheus vagy Grafana, csak Nagios, csak hardveres és saját készítésű vizualizáció. Tíz év alatt (sőt, még annál is több) már számos egyedi ellenőrzés és script készült, így más megoldásra áttérni igencsak merész vállalkozásnak tűnik. Körülbelül havonta megjelenik egy újabb cég, amely „gyorsan és fájdalommentesen” szeretné megoldani az összes problémát, de eddig nem jött össze. A videofal egyébként saját készítésű megoldáson alapul, amely töredéke a kereskedelmi alternatívák árának.
Ittani Műveleti Központ
Amikor évekig tervezed, építed és üzemelteted az adatközpontokat, már nem félsz annyira attól, hogy valamit magad csinálj, ahelyett, hogy kész megoldásokat vásárolnál. A DataLine például nem szégyelli kimondani, hogy a méreteik révén a lehető legtöbb buktatóval találkoztak, és minden új adatközpont a nehéz tapasztalatok és a több mint tíz éves tudás gyermeke. Természetesen minden új adatközpontban vannak saját innovációk, és miközben sétálsz a NORD-ban, gyakran észreveszed, hogy az emberek egyszerűen megcsinálták jól. Nem a hiúság kedvéért, nem a rangsorok és tanúsítványok miatt — ez egy normális mérnöki folyamat, ahol minden iterációval fejlődsz és egyre jobbá válsz. Egy külső megfigyelő unalmasnak és konzervatívnak tartaná ezt, míg az ügyfél épp ellenkezőleg, a saját pénzével támogatja ezt a stabilitást. Ahhoz, hogy jól csinálj, nem szükséges drága mérnöki rendszereket vagy szoftvereket vásárolnod (bár néha, enélkül, nem lehet). Gyakran a tapasztalat, tudás és mérnöki leleményesség dönti el a dolgokat.
Például a NORD-4 épület 3,5 emeletből áll. Az első három teljes értékű, 4,5 méter magas plafonokkal, ahol géptermek találhatók. Az utolsó pedig technikai emelet, mindössze 1,8 méter magas, amelyet kizárólag a hűtőrendszernek szenteltek. Mivel technikai szintről van szó, az elvárások is jóval alacsonyabbak, ami lehetővé tette a projekt egyszerűsítését és a költségek csökkentését.
Kilátás a háromszögletű adatközpontra
Max rendelkezik egy különleges kung-fu-val, hogy ne legyen feltűnő a fényképeken
A túrát a tetőn zárjuk le — innen kiváló kilátás nyílik a közeli erőműre és az lakóövezetre, valamint több más NORD épületre. Kettő közülük háromszögletű. Ebből kifolyólag a kollégák még nevettek, hogy «DataLine — hülyék, miért építenek háromszögletű adatcentrumot», hogy ott háromszögletű állványokat és háromszögletű szervereket állítsanak fel. De semmi baj — megépítették és sikeresen üzemeltetik, ráadásul hatékonyan kihasználják a rendelkezésre álló területet (ami Moszkvában, meg kell mondani, nem ingyenes). Még egy meglepő (számomra) tény — a legtöbb kereskedelmi ügyfél kifejezetten Moszkvában szeretne elhelyezkedni. A helyszín ötven kilométerre a Minsk autópályán (még ha rendelkezésre is állnak az összes szükséges erőforrás és kommunikáció) már alig érdekel valakit. Így mindannyian zsúfolódnak a nem nyújthatóban.
A hűtőtornyok már nem adatközpontok, hanem erőművek
Ezzel a következő utazásunk végére értünk.
Ezután egy hosszú és produktív beszélgetés következett a közös tervekről és jövőbeli podcastekről (remélem, sokáig nem kell várni), így figyeljétek a híreket, hamarosan még több érdekesség jön.
Nos, azokat, akik szeretnék saját szemükkel látni mindent, a DataLine ingyenes vezetett túrára várja. Teljesen ingyenes, de előzetes bejegyzés szükséges. Akik megnevezik a kódot, hogy «linkmeup» — plusz a karmájukba.
Maradjatok velünk!
Forrás: habr.com
