Eu și colegii mei ne-am gândit: de ce să nu ne amintim de toate grozăviile cu care se confruntă oamenii în construcția centrelor de date, înainte de sărbătoarea noastră horror preferată, în loc de succesurile și proiectele interesante. Așa că, stingeți lumina, porniți muzica alarmantă, acum vor fi povești care ne trezesc uneori în sudoare rece.
Fantoma biroului
Într-o clădire de birouri, am construit un server room și tot felul de automatizări pentru sistemele de climatizare, inclusiv jaluzele cu prinderi. Pe acoperiș se află o stație meteorologică care determină din ce parte soarele luminează și închide jaluzelele dacă este prea strălucitor. Proiectul a fost predat și uitat, după o vreme sună și întreabă:
— Nu ați putea să de-automatizați jaluzelele? Vrem să le închidem singuri.
— De ce?!
— Îngrijitorii se sperie. Și noi ne speriem — avem senzația că acolo e o fantomă.
Așa arată coșmarul unui specialist în automatizare: mai întâi clientul vrea automatizare și eficiență energetică, tu îi faci totul cu bucurie, iar apoi iese la iveală că șeful preferă să conducă singur. Și în camera unde totul este complet automatizat, în cele din urmă totul funcționează manual.
Adesea, în birourile diferitelor șefi, instalăm un panou de control din care se pot gestiona scenariile de iluminare, aer condiționat, ventilație și jaluzelele. Un șef mai conservator a spus: nu vreau algoritmi, vreau două butoane: „pornire tot” și „oprire tot”. Un programator a venit, a plâns în timp ce elimina interfața standard de control, a desenat în locul ei două butoane și a plecat plângând acasă.
Dar unde avem generatoarele de rezervă?
Noapte întunecată, în camera întunecată a tehnicianului Oleg a sunat mobilul.
— Aici în instalația de generatoare de rezervă, temperatura lichidului de răcire este prea mare. Acum îți trimit un printscreen.
Era dispecerul de la centru de date, pe care l-am predat cu sufletul împăcat cu o lună în urmă. Nu l-a deranjat nici faptul că era ora trei dimineața, nici că sistemul arăta aceeași „temperatură” atât în generator, cât și în încăpere. Deoarece aceasta nu era de fapt temperatura, ci un cod de eroare „fără conexiune cu senzorul”. Oleg i-a spus dispecerului sincer unde ar trebui să meargă noaptea cu astfel de solicitări. Practic:
— Du-te la motoare, uită-te, cel mai probabil senzorul are doar bateria descărcată. Modulul de baterie la motoare alimenta acest panou de control, are un întrerupător — dacă cineva dintre voi l-a atins, trebuie să-l întorci înapoi.
De fapt, dispecerul este acea persoană care ar trebui să cunoască obiectul ca un frezor experimentat își cunoaște cele trei degete, dar aici a apărut o întrebare surprinzătoare:
— Dar motoarele — unde sunt?
— Urcă la etajul doi, întreabă electricienii, te vor duce.
Următoarele 20 de minute, Oleg a lucrat de la distanță ca navigator, încercând să conecteze dispecerul cu electricienii, care nu erau foarte dornici să ofere tururi cuiva în mijlocul nopții.
Ciclul problemelor în Data Center
Într-un regat îndepărtat, într-un stat foarte îndepărtat, ne-a defectat cumva pe . Exact cu trei ore înainte de trecerea certificării la Uptime Institute. Degeaba spunem o poveste despre ce sunt chillerele și invertoarele, dacă nu știți. Așa că credeți-mă: ele trebuie să funcționeze ca ceasurile, altfel certificarea se va transforma într-o dovadă de eșec, iar clientul va deveni o mamă vitregă. Și, cel mai deranjant, va avea dreptate, deoarece pentru vizita comisiei se cer sume enorme, iar dacă ceva nu decurge bine, nimeni nu le va returna.
Tehnicianul furnizorului a sosit, a ridicat din umeri și a spus că pacientul este aproape mort, iar așteptarea unei plăci noi va dura cel puțin o lună. Comisia e deja la ușă, opțiunile sunt puține. Prima - demontează inverterul de la chillerul „sănătos” și montează-l pe cel „bolnav”, apoi schimbă-le între ele până la finalizarea testelor. Nu este o înșelătorie, de altfel: conform regulamentului de testare, oricum unul dintre cele trei chillere este rezervat, așa că scenariul este complet fezabil. A doua opțiune - să încerce să găsească un inverter nou în următoarele 90 de minute. Am sunat la frigoristul nostru din Moscova. Frigoristul a contactat un cunoscut din reprezentanța rusă a furnizorului. Acesta, la rândul său, a presat reprezentanța producătorului din Olanda și... după o jumătate de oră, deja ne montau o placă nouă. Certificarea a trecut cu brio.
Lucrări neterminate
Indiferent dacă a durat mult sau puțin, dar pe șantier întotdeauna apare un moment când toți subcontractorii pleacă și rămân acestea: lucrările neterminate. Acesta este despre lucrările nefinalizate, nu despre cei care le-au lăsat, dacă este cazul. Cine este ultimul - acela face curățenie.
Am construit odată un centru de date în subsol: rack-uri în două rânduri, aliniate pe unul dintre margini pentru a permite deschiderea ușii. Din cauza acestui lucru, s-a creat un spațiu între un rând și perete, iar clientul refuza să semneze actul de recepție din cauza acestui gol. Tehnicianul și managerul de proiect au mers dis-de-dimineață la „Leroy” pentru polistiren, vopsea, prinderi și au umplut cu meticulozitate acel gol, astfel încât să se potrivească cu rack-urile. Am predat.
Dar într-o zi, după ce au plecat colaboratorii de la încălzire, am descoperit o neconcordanță în proiect: ar trebui să fie 7 radiatoare, dar aveam doar 6. Am mers, am numărat - totul era corect, ei chiar nu au montat un radiator în coridor. Era prea târziu să bem „Borjomi”, totul era deja instalat și presat. Clientul își varsă cenușa în cap, pentru că actele au fost deja semnate. Din nou, „Leroy” ne-a salvat - am cumpărat un aparat de încălzire electric, am tras un grup de cabluri în coridor și duminică dimineața l-am instalat noi înșine; clientul este fericit.
Odată, ni s-a lăsat un nimic magic în locul unei pereți de protecție împotriva incendiilor. În centrul de date, canalul de ventilație pentru aerul proaspăt vine de la etajul al doilea în subsol, printr-o cameră care, conform clasificării de incendiu, aparține unei alte categorii decât cele de deasupra și de dedesubt. Practic, asta înseamnă că în canal ar trebui să existe o clapetă de retenție a focului, iar în jurul ei - un perete de protecție împotriva incendiilor. În jurul channel-ului nostru strălucitor cu clapetă de retenție a focului era o gaură, ghiciți cine și cum a umplut-o? „Leroy Merlin” nu a sponsorizat această postare, din păcate.
Dale Carnegie fumează nervos.
Demult, când iarba era mai verde, iar dolarul era de 30 și ceva, am construit un centru de date pentru o bancă în centrul istoric al Moscovei. Trebuia să ne încadrăm în termene extrem de strânse. Dar străduțele sunt înguste, deschiderile clădirii la fel, să urci câteva tone de echipamente pe scări - practic imposibil. Am spus clientului că trebuie să încărcăm cu un macarale direct pe acoperiș, clientul a răspuns în stilul „tu ești cowboy, sări”. Adică o idee bună, dar acum trebuie să obții aprobarea pentru sosirea unui macarale de 120 de tone de la instituții precum GIBDD. Și, de preferat, încă de ieri. Succes în inițiative, dacă nu reușiți - penalizări.
Situația este complicată, timpul ne presează și am decis să riscăm, până la urmă, amenzile de la poliție pentru încălcarea termenelor sunt doar floricele în comparație cu cele pentru încălcarea regulilor de circulație. Sâmbătă dimineața, am adus o macara de 16 metri, sperând să terminăm totul repede. După câteva ore a venit un ofițer de poliție și a întrebat timid permisiunea. Nu o aveam, desigur. Și nu se știe cum s-ar fi terminat totul dacă nu ar fi fost cu noi un vânzător cu abilități diplomatice deosebite.
El l-a dus pe ofițerul de poliție deoparte, i-a explicat ceva timp de 5 minute, iar polițistul a avut câteva schimbări de expresie, dar în final a urcat în mașina sa și a strigat că, dacă se întâmplă ceva, va veni el însuși să ne ajute. Ce argumente erau, vânzătorul nu a dezvăluit nici acum.
Ridicați-mă, oameni buni!
Dincolo de dealuri, dincolo de câmpii, dar în cadrul celui de-al Treilea inel de transport, se afla... nu, nu era o cabană, ci o întreprindere guvernamentală serioasă. O schimbare de noapte complicată, descărcăm echipamente. Ultimul camion cu o bucată de metal de 15 tone iese pe singurul intersecție de pe teritoriu, ceva explodează cu un zgomot asurzitor, iar mașina se cufundă în noroi. La 5 dimineața, construcția începe să revitalizeze, iar șoferul de betonieră din spatele camionului nostru, amintindu-și de femeile căzute, întreabă fără ocolitoare: nu ne-ar plăcea să ne dăm deoparte de pe drum? Căci, deh, betonul lui se răcește. Iar noi am fi fost bucuroși, pentru că la 7 dimineața va veni unul dintre numeroșii comisari ai unui ministru și, dacă va vedea acest haos, va fi rău pentru toată lumea, de la ingineri până la conducere.
Tehnicianul fuge la macara locală, îi cere cu lacrimi să ridice bucata de metal din camion, pentru a putea baga un alt camion sub ea. Dar acela refuză categoric, chiar și pentru bani. Situația a fost reparată de inginerul nostru - a negociat prin liderul acelei macarale. În final, am livrat totuși fierul acolo unde trebuia, dar am rămas deja puțin cărunți.
Apoi am devenit mult mai cărunți, la aceeași lucrare. A avut loc un epic fail în cel mai literal sens.
Există un dispozitiv numit stivuitor telescopic. Este folosit atunci când nu este loc să te desfășori pe un șantier, dar trebuie să ridici o încărcătură sus și să o așezi cu atenție. Cu ajutorul lui, am fost nevoiți să descărcăm un modul de 1,5 tone printr-o fereastră, peste o gaură. Nimic nu preconiza asta: conform specificațiilor, mașina trebuia să suporte peste 2 tone. Dar când mai rămânea exact jumătate de metru până la fereastră, „cuiurile” stivuitorului s-au rupt, iar metalul a căzut de la înălțime. Nu aveam ce face - am sunat producătorul să vină să efectueze lucrările de reparație. Tehnicienii lor au venit și... au refuzat să intre pe șantier. Pentru că trebuia să meargă pe un alee, iar pe alee era o excavatoare care săpa. Noi eram obișnuiți: am așteptat 10 secunde, până când brațul s-a întors în partea opusă aleii, și am alergat. Dar pe ei i-a șocat. A trebuit să prezentăm această particularitate ca pe un atracție captivantă, ca un fel de „Fort Boyard”, iar modulul ne-au reparat în final.
Karma nu e întotdeauna instantanee
În curând povestea se va spune, dar lucrurile nu se întâmplă ușor, mai ales când vine vorba de semnarea actelor de recepție a lucrărilor executate. Am construit odată un excelent centru de date pentru o companie. Dar regele-client a decis să ne pună la încercare ultima dată:
— În specificația dumneavoastră sunt scrise 100 de piulițe pe suport, dar eu am numărat 97. Corectați specificațiile și estimările, sau nu voi semna nimic.
Și am plecat de fiecare dată departe, numărând împreună cu regele piulițele pentru conductele de aer, apoi piulițele, apoi șuruburile. De fiecare dată se dovedea că nu erau 97, ci 99 și așa mai departe. Și nu găseam liniște. În consecință, am acumulat atâtea costuri interne încât conducerea noastră a cedat. Au spus: să facă ce vor - nimeni să nu mai meargă acolo. Așa am rămas fără semnături.
…Și după un an, clientul a venit singur și ne-a întrebat politicoasă unde ar trebui să semneze? S-a dovedit că a venit Curtea de Conturi, iar el avea echipamente neinregistrate în valoare cu șapte zerouri.
Wingardium Leviosa!
A fost odată un client bun, care a decis să cumpere o clădire veche pentru un centru de date. Dar bucuria lui nu a durat mult: au început să apară probleme în camera de acumulatori. Atunci ne-a chemat în ajutor, undeva să vedem și să oferim consultanță. Ajungem, intrăm în camera de acumulatori și acolo... pereții deasupra podelei levitau din trei părți. N-ar fi fost de mirare: au pus 4 tone de acumulatori direct pe podea — aceasta a început să coboare în pământ. Aceasta este o problemă frecventă cu acumulatorii: este important să calculezi corect încărcătura pe structuri și să preconizezi cadre de descărcare pentru a evita ca plafoanele să se prăbușească precum un castel de cărți.
Dar cireșa de pe tortul coșmarului arhitectural în această clădire era absența totală a fundației. Pereții se aflau pur și simplu pe o talpă de nisip, sub care se afla un sol mai puțin prietenos. Am început să ne gândim cum să salvăm pacientul și, în cele din urmă, am propus un sistem complex de silicatizare: se sapa în mai multe locuri și se injecta un solvent de întărire. Aceasta nu a readus podeaua la înălțimile anterioare, dar cel puțin a oprit coborârea.
Bătălia celor doi yokozuna
Într-un oarecare regat, într-un oarecare stat birou, noi realizam monitorizarea: pentru un centru de date la unul dintre etaje, pentru gestionarea climatului — pentru tot. Zeci de dulapuri de automatizare, kilometri de cabluri de semnal slab!
Particularitatea acestui birou era propriul complex SPA cu saună. Când am dezvoltat proiectul, s-a presupus că sauna va fi folosită rar. Dar inginerul presupune, iar clientul dispune: conducerea s-a implicat atât de mult în stilul de viață sănătos, încât au încetat să mai oprească sauna — durează prea mult să se încălzească.
Rezultatul: automatizările detectează creșterea temperaturii din saună — pornesc aerul condiționat mai intens pentru a compensa. Ajută cât de cât. Aerul condiționat continuă să se chinuie — atmosfera devine tot mai încinsă, pentru că automatizările nu suspectează că cineva ar putea sta atât de mult în saună. Aerul condiționat intră în paranoie, se gândește: „Nu este din cauza lor, este din cauza mea. Toate eforturile sunt în zadar. Se pare că sunt defect”, ceea ce comunică pe panoul de control. Operatorul suspină și apasă butonul „sarcina eliminată”. Și așa în fiecare zi.
Cu o simplă mișcare a mâinii
Mai avem multe povești în arhive, dar nu toate se potrivesc aici. Iată ultimele trei povești: despre mâini neîndemânatice.
Povestea întâi despre cum, în același clădire, pe lângă servere, am realizat aportul de aer în holurile și puțurile de lifturi. Am terminat, am părăsit obiectul, am așteptat ca un alt contractor să termine lucrările de finishing și ne-am întors pentru testarea sistemului. Pornim aportul — plafonul fals se umflă brusc, plăcile zboară cu zgomot pe podea și totul se transformă într-un stil loft în câteva secunde. S-a dovedit că băieții care montau plafonul au uitat să pună plăcile perforate pentru aer. Nu și-au dat seama de existența lor, doar au luat dintr-un pachet deschis — și asta e, nu au observat ambalajul cu perforate, nu s-au uitat la proiect.
Epică a doua este tot despre plafon. Într-un centru de date era un coridor destul de îngust, iar schimbul de aer în încăperea cu rafturile de acumulatori trebuia să fie semnificativ, așa că comunicările mergeau de-a lungul întregului plafon. Băieții care realizau plafonul fals nu s-au complicat și… au înșurubat elementele de susținere direct în canalele noastre de aer. Orice canal de aer vibrează un pic atunci când funcționează unitățile de ventilație, iar când are o grămadă de găuri și neregularități, sunetele Apocalipsei vă sunt garantate. Le-am dat montatorilor niște răspunsuri clare, încât rănile de pe canale s-au vindecat miraculos. Pe cheltuiala lor, desigur.
Povestea a treia s-a întâmplat când am realizat automatizarea pentru sistemul de aer condiționat tehnologic. I-am dat contractorului clientului un senzor de temperatură și, fără să ne gândim, am cerut să-l monteze pe calorifer în aport. În unitățile de aport există întotdeauna un încălzitor pentru aerul exterior: fie cu apă, fie electric. Acel om minunat a executat totul fără ezitare. Adică a luat și a înșurubat un șurub direct în tubul din caloriferul cu apă, cu toate consecințele de aici (în sensul propriu) care decurg. Bine că pe șantier erau specialiști în aer condiționat cu gaz MAPP — scurgerea a fost reparată rapid.
Linkuri:
- Scrieți, dacă e ceva, aici: build@croc.ru
Sursa: habr.com
