Voi spune imediat: șoarecele din serverul adus, pe care l-am îmbăiat cu ceai acum câțiva ani după ce a primit o lovitură cu curent, cel mai probabil a evadat. Pentru că am văzut cumva, la o inspecție, prietena ei. Și imediat am decis să instalăm dispunctoare cu ultrasunete.
Acum, în jurul centrului de date, este o pământ blestemat: păsările nu se așază pe clădire și, probabil, toate puicuțele și viermii au fugit. Ne-am îngrijorat că provoca defectarea HDD-ului, dar am verificat, frecvențele nu sunt cele potrivite.
Următoarea poveste este mult mai amuzantă. Odată am primit o piesă de echipament de câteva milioane de ruble într-o cutie cu senzori de înclinare, vibrație și umiditate. Totul este intact. Am deschis cu grijă ambalajul, iar piesa de echipament era îndoită. Mistic.
Carcasa este pur și simplu curbată. Așa frumoasă.
Detectiv
Nu i-am fi dat atenție, pentru că carcasa metalică îndoită părea aproape un lucru de designer. Așa frumoasă, fără ciobituri. Și dacă nu ar fi fost alte piese de echipament asemănătoare lângă, nici nu ne-am fi gândit la dezastru la despachetare. Dar erau și altele, doar că cu o formă geometrică mai corectă.
Din fericire, desfășurarea unui astfel de echipament este filmată (recomand tuturor să-și facă acest obicei), așa că am reușit să dovedim producătorului că așa a venit. Ambalajul integral și carcasa îndoită cu grijă nu sunt rezultatul unei lovituri de la muncitori. Cel mai probabil, s-a deteriorat încă înainte de a pleca în Rusia.
Furnizorul spune: „Eh, băieți, haideți să o schimbăm imediat pe garanție”. Și aici ne aștepta o capcană epică.
Problema este că vama ne permite să aducem astfel de echipamente pe baza documentelor fără drept de export. Adică putem aduce, dar nu putem vinde cuiva din afara Rusiei. Când trimitem înapoi o sursă de alimentare arsă, de exemplu, totul este clar. Aceasta este o piesă de schimb, o sursă de alimentare.
Dar acum a trebuit să trimitem totul înapoi:
— Băieți, uitați, trimitem piesa de echipament înapoi producătorului.
— Echipamentul în întregime?
— Da.
— Modelul acesta?
— Da.
— Poate funcționa?
— Nu știm, nu l-am pornit.
— Așa că, este echipament complet.
— Dar nu funcționează.
— Uitați, este echipament complet de acest model. Fără drept de re-export. Nu vă lăsăm.
În general, a fost nevoie de multe încercări înainte să ne lămurim că nu exportăm, ci returnăm. În cele din urmă, am reușit să facem totul.
Au fost și unele cizme de protecție
La început, cu mulți ani în urmă, am avut prima noastră mașină automată, un vis pentru administratorii de sistem. Îi încărcai boccelile într-un pachet, iar aceasta le desfăcea singură, deschidea și le poziționa astfel încât era nevoie doar să pășești. Ptic-ptic și era gata.
Aproximativ după șase luni, a mestecat în jur de o sută de pachete de bocceli și s-a înecat. S-a dovedit că are atât de multe piese mobile încât fie că trebuie să o repari o dată pe lună, având în vedere că avem foarte mulți ingineri-clienți pe site (deoarece suntem un datacenter comercial), fie că trebuie să cumperi una nouă.
A doua problemă a fost că, mai târziu, într-una dintre curățările de rutină, am găsit cumva "o cârpă albastră", zburdând pe grilajul uneia dintre rack-urile de testare. Expertul medical, sub forma inginerului echipei X, a identificat un fragment din corpul boccelii. S-a dovedit că în policlinică este convenabil cu boccelile: ai mers o jumătate de oră — și asta e tot. Însă unii ingineri pot lucra toată ziua cu echipamentele. Frecându-și picioarele. Foarte mult. Și boccelile se uzează în aceste mici fâșii care zboară prin sala mașinilor.
Aproape imediat am cumpărat o nouă bochelă. Am ales o bochelă termică: este o mașină în care se încarcă filmul, iar aceasta își strânge cu grijă filmul termic pe partea superioară a încălțărilor. Frumos, eficient, rezistent. Se împrăștie mai puțin. A stat destul de mult timp la noi, dar trebuia să schimbăm filmul termic la fiecare 1-2 ore, deoarece talpa avea tendința de a se desprinde singură.
Inițial credeam că avem ghinion, că alții cumva rezolvă această problemă. Dar nu. Am întrebat colegii din occident — aceeași poveste. În cele din urmă, am început să ne gândim cum să facem lucrurile bine. Să te întorci din sala mașinilor pentru noi bocceli — un plan, să spunem, nu tocmai ideal. Am găsit curățitoare industriale pentru șantiere și producții. Este ceva de genul covoarelor prin care intră schimbul în atelier. Covoare cu o mulțime de role care curăță totul și sunt făcute astfel încât, vrei sau nu, te prind și curăță. Costă între cinci sute de mii și un milion de ruble. Ne-am uitat și am găsit unul similar la două sute de mii, dar trebuie să-ți bagi singur piciorul în el. Ca dimensiuni, seamănă cu o mașină de curățat pantofi. Te aproprii, băgați piciorul acolo, te mestecă și îți dă înapoi curat. L-am pus la intrarea în datacenter.
Funcționează excelent, cu două excepții. Prima — s-a dovedit rapid că pentru noi, inginerii, este în regulă. În practică, în data center vin să se uite tot felul de oameni, printre care și directorii companiilor mari. Cu încălțăminte din piele de dragon. Iar pentru ei, chiar și o perie pentru aplicarea cremei pe pantofi costă mai mult decât adidașii mei de antrenament, ei selectează special mătasea. Aceștia refuzau să își bage picioarele în minunăția noastră. A doua problemă a apărut iarna: când încălțămintea este foarte murdară, dintr-un profil adânc nu poate scoate tot. Apoi umbli prin sală, lăsând urme de ectoplasmă.
Am decis simplu. Am pus lângă mașina de încălțat o rolă de botoșei. Oricum, trebuie să avem totul duplicat conform standardului.
A apărut o nouă problemă. Observând comportamentul inginerilor-clienți, am văzut următoarea situație: mai întâi își băgau piciorul în mașina de curățare, apoi puneau botoșii din rolă. Acum am pus un semn că trebuie să alegi fie una, fie alta, și e mai bine să te cureți, dar dacă principiile de viață interzic curățarea încălțămintei, atunci poartă botoșii. Era un tichet care a fost pentru câteva zile, dar s-a prelungit mult timp, s-a închis. Iată dispozitivul:
De două ori „cu”
Conform cerințelor PCI DSS, trebuie să ai posibilitatea de a distinge vizual rolurile oamenilor care se află în data center. Fără a verifica permiterea și citind ceva acolo, ci pur și simplu vizual, așa cum se deosebesc militarii între ei după epoleți, doar și mai strident. Am decis să nu ne complicăm și am folosit metoda tradițională — diferențierea cromatică a pantalonilor. Practic — am început să facem brățări de acces de culori diferite. Verde, ca preferatul nostru, a fost imediat preluat de administratorii noștri.
Pare simplu, dar a provocat trei efecte neașteptate:
- Am avut nevoie de retractoare pentru retragerea automată a acestor brățări atunci când sunt purtate (acestea sunt lucruri care reglează singure lungimea brățării). Am scris un caiet de sarcini în care am avut în vedere toate dorințele departamentelor. Aceasta a fost o eroare strategică. Culoarea, formatul, materialul, retractoarele nu din plastic, fir din metal, pentru a aplica logo-ul, pentru a fi cusut în brățară. Lucrurile au ieșit atât de scumpe încât a trebuit mai apoi să reducem cerințele și să schimbăm formatul.
- Odată ce diferențierea panglicilor a început să funcționeze, a devenit foarte convenabil. La contractori sunt o anumită panglică, la administratorii externi alta, iar la administratorii noștri a treia. Este evident cine are ce rol. La electricitate — doar gri, la climatizare — albastru. Și aici au fost necesare panglicile pentru șoferi (aceasta este o rolă separată, ei pot intra în zona de descărcare, dar nu pot părăsi zona decât afară). În același timp, șoferii nu au nevoie de permise. La început le-am dat panglici fără permise. Apoi, cei de la securitate au decis că este ciudat și că umilește demnitatea umană a șoferilor. Au propria lor logică militară, așa că acum șoferii vin să primească permise direct cu panglica, dar acest permis nu îi lasă să intre nicăieri. Din punct de vedere al securității, devine un marker că securitatea a verificat această persoană.
- Unul dintre inginerii noștri a propus să facem pulovere de uniformă de culoare verde în loc de panglică. Și a trimis o propunere de raționalizare. Am făcut jumătate: am păstrat permisele cu panglică, plus am cusut cu adevărat pulovere verzi de uniformă. Acum avem uniforma administratorului. Cei de la securitate au susținut gluma și au inclus-o în reglementări. Acum este obligatorie (pantaloni, cămașă, pulover, dar puloverul poate fi scos).
De asemenea, clienții noștri s-au plâns adesea de rutele greșite din hărțile către intrarea în centrul nostru de date „Compresor”. Introduci adresa, dar drumul este arătat greșit. Vizitatorii sfârșeau prin a merge în direcția greșită, deoarece acolo este o cale ferată, iar după ea este un ambuteiaj, iar acolo nu se poate întoarce. La început, am dorit să punem indicatoare deasupra drumului. Există un astfel de serviciu în oraș — pentru a plasa indicatoare suplimentare galbene sub indicatoarele obișnuite, care sunt considerate publicitate. Și prețul pentru acestea este ca pentru publicitate: pe autostrada Entuziștilor, o placă costă un milion de ruble pe an. În paralel, am scris la Yandex, iar ei au răspuns chiar și surprinzător. Și au încetat să mai facă abateri. Chiar poți specifica diodele porților: intrare pe unele, ieșire pe altele.
Google, dacă ne citiți, știți că încă mai aveți o problemă, și nu știm cui să-i spunem despre asta pentru a fi auziți.
În scrisorile de invitație am inclus linkuri nu doar la adresă, ci la adresa cu ruta trasată din geopozitia utilizatorului. În consecință, ratele de ratări au scăzut.
Proiectoare gobo și alte detalii
Știți ce sunt proiectoarele gobo? Nici noi nu știam. Ne gândeam cum să marcăm rândurile rafturilor. Rafturile erau deja marcate cu etichete speciale cu prindere rapidă, dar acestea se vedeau de la o distanță de 1-2 metri. Sala are 500 mp, așa că e ușor să te rătăcești acolo. Așa că am decis să abordăm problema marcării rândurilor. A început un brainstorming. Cum să marcăm, cu ce și unde? Pe podea, pe zid, indicatoare pe tavan etc. Atunci, un coleg a observat că la „IKEA” aveau adesea autocolante de uzură pe podea, iar apoi au apărut săgețile luminoase. Ne-am decis să urmăm metoda simplă: să mergem la „IKEA” să vedem un proiector. Nu am reușit să-l extragem: în timp ce mutam scaunele, vânzătorul ne-a întrebat ce facem. Și imediat ne-a ajutat, spunând că este gobo. Se pare că nu este proiectorul în sine, ci o placă sau o lentilă pentru imagini colorate. Acest filtru de lumină este gobo. Un proiector costă de la 40.000 de ruble (acolo e o lampă puternică pentru utilizare zilnică), iar noi avem 14 rânduri în fiecare dintre cele patru săli de mașini. Așa că am lipit etichetele.
În plus, schemele de pe pereți se estompează în timp. Le-am înlocuit cu altele laminare, cu „pocket-uri” speciale pentru revizor. Revizorul, în cazul nostru, este inginerul principal responsabil cu verificarea actualizării tuturor schemelor plasate în data center. Toate schemele trebuie verificate anual și semnate de acest revizor. Iar prezența unui mic jurnal special în buzunarul schemei face această procedură mai simplă și nu necesită înlocuirea schemei la fiecare trei ani. Profit!
Am realizat curățarea rotativă a pardoselii false din exterior. Avem curățiri regulate, cu metode și program de curățare. Dar urmele de roți ale rafturilor grele rămân. Am efectuat curățarea. Acum suntem puțin nervoși: nu s-a îmbunătățit marcat la vedere, dar au apărut reflexii sub anumite unghiuri la anumite persoane, adică cele care își doresc un anumit tip de finisare. Acum ne gândim și căutăm o substanță chimică care să albească pardoseala și să-i ofere strălucire. Ca să nu fie nicio întrebare chiar și celor aleși.
Ai văzut stațiile de consolă? Acestea sunt mesele pentru bufet pe roți, dar în loc de băuturi, au un terminal pentru conectare. Așadar, rotițele acestor stații de consolă se desprind și se blochează, la fel ca și cărucioarele din supermarket. Ne-a enervat extrem de mult. În cele din urmă, singura modalitate de a le repara a fost să cumpărăm o roată nouă. Însă nu am reușit să găsim roți exacte pentru modelele noastre, am întrebat toți subcontractorii. Drept urmare, am proiectat singuri stația, punând accent pe ușurința de mișcare în sala de mașini și capacitatea de reparare. A ieșit foarte bine.
A fost o poveste cu șosetele sintetice. Există un dispozitiv numit brățări antistatice. Asta înseamnă că atunci când te apropii de stație, conectezi brățara la solul stației, iar aceasta se conectează la sistemul de egalizare a potențialului. Stația este însă împământată, dar s-ar putea ca inginerul să nu fie. Colegii de la locurile anterioare de muncă povesteau cum au văzut de câteva ori scântei pe camerele de supraveghere, așa că ne-am decis să obligăm pe toată lumea, conform regulamentului, să folosească brățările.
Incidente critice
Din experiențele serioase, a fost o situație în care toate chillerele s-au oprit simultan. Chillerele noastre nu sunt protejate de UPS, deoarece noi credem în fizică, iar ca rezervă pentru temperatură avem o piscină cu apă răcită. Dacă ceva se deconectează, nu sunt necesare baterii pentru alimentarea chillerelelor, care răcesc apa, ci doar apa rece, deja pregătită. E convenabil și simplu, dar există un detaliu. Chillerele au un sistem de protecție automată, care le deconectează la parametrii periculoși ai rețelei electrice. Dacă conexiunea se oprește, activăm generatorul de rezervă, iar chillerele sunt alimentate de acesta. Totul ar fi bine, dacă nu am locui în Rusia. De multe ori am avut fluctuații ale rețelei, dar totul a fost în regulă. Însă, odată, a fost o săritură bruscă, mai întâi în jos, apoi rapid în sus, apoi din nou în jos – în câteva secunde, parametrii de alimentare s-au schimbat de aproximativ patru ori. Chillerele s-au deconectat, firește. Am încercat inițial să le activăm de la distanță, dar s-au protejat foarte eficient, în mod de urgență. A trebuit să urcăm pe acoperiș și să le pornim manual. Ce este important, conform standardului Tier III, o astfel de situație este un motiv legitim pentru oprirea unui centru de date. Noi nu am avut nicio oprire, deoarece oamenii de la fața locului sunt competenți și avem antrenamente regulate. Din acest motiv, ne-a verificat UI constant, pentru a fi siguri de TIII Operational. Dacă e ceva, am trecut re-certificarea UI pentru TIII Gold – Sustenaibilitate Operațională. Pe piața comercială de centre de date din Rusia, nu există nimic mai avansat, cu excepția noastră, cu aceeași realizare având doar unul. . Voi menționa că re-certificarea este mai dificilă decât obținerea unui certificat de la zero, deoarece verifică și perioada anterioară a performanței, necesitând mai multe dovezi.
A fost un incident interesant cu camerele. Am decis să recalculăm zonele oarbe, de precauție, am desenat intersecții, am construit diagonalele unghiurilor de vedere pe plan, și, dintr-o dată, am descoperit o zonă moartă de aproximativ 30 de centimetri pe 15 metri, chiar în centrul uneia dintre săli. Îngustă și lungă. În sala vecină nu există așa ceva. S-a dovedit că camera rotativă s-a mutat lent în timp, astfel încât a început să arate cu aproximativ un grad și jumătate mai la stânga decât ar fi trebuit în poziția extremă.
A fost, de asemenea, un incident major în post .
Linkuri
- și
- Emailul meu: PGoryunov@croc.ru
Sursa: habr.com
