Viața de zi cu zi a unui centru de date: lucruri mici neevidente peste 7 ani de funcționare. Și continuarea despre șobolan

Viața de zi cu zi a unui centru de date: lucruri mici neevidente peste 7 ani de funcționare. Și continuarea despre șobolan

O să spun imediat: acel șobolan din serverul adus, căruia i-am dat ceai acum câțiva ani după un șoc electric, cel mai probabil a scăpat. Pentru că am văzut-o odată pe prietena ei într-o rundă. Și am decis imediat să instalăm repelere cu ultrasunete.

Acum există un pământ blestemat în jurul centrului de date: nicio pasăre nu va ateriza pe clădire și, probabil, toate alunițele și viermii au scăpat. Erau îngrijorați că sunetul poate cauza defectarea HDD-ului, dar verificat, frecvențele nu sunt aceleași.

Următoarea poveste este mult mai distractivă. Am primit odată o piesă hardware pentru câteva milioane de ruble într-o cutie cu senzori de înclinare, vibrații și umiditate. Totul este întreg. A îndepărtat cu grijă ambalajul, iar bucata de fier a fost îndoită. Mistic.

Corpul este drept într-un arc. Atât de frumos.

detectiv

Nu am acorda nicio importanță acestui lucru, deoarece corpul metalic curbat era aproape o imagine de design. Atât de frumos, fără jetoane. Și dacă nu ar fi fost alte piese hardware similare din apropiere, nici măcar nu ne-am fi gândit la despachetare că ceva nu este în regulă. Dar în apropiere erau aceleași, doar cu o formă geometrică mai regulată.

Din fericire, despachetarea unui astfel de hardware este filmată (recomand tuturor să intre în acest obicei), așa că am putut demonstra producătorului că așa a ajuns. Un pachet intact și un corp frumos îndoit nu sunt o lovitură din partea celor care mișcă. Cel mai probabil, a fost rănită chiar înainte de a pleca în Rusia.

Vânzătorul spune: „Uh, băieți, să-l schimbăm imediat în garanție.” Și apoi ne-a așteptat o ambuscadă epică.

Cert este că vama ne permite să importăm astfel de echipamente cu documente fără drept de export. Adică îl poți aduce, dar nu îl poți revinde cuiva din afara Rusiei. Când trimitem înapoi o sursă de alimentare arsă, de exemplu, totul este clar. Aceasta este o piesă de schimb, o sursă de alimentare.

Și apoi a trebuit să trimit totul înapoi:
- Băieți, uite, trimitem piesa de hardware înapoi producătorului.
- Întregul echipament?
- Da.
— Model așa și așa?
- Da.
- Pot lucra?
— Nu știm, nu l-am pornit.
- Deci aceasta este un întreg echipament.
- Ei bine, nu merge.
- Păi, uite, întreg echipamentul este de acest model. Fără drepturi de reexport. Nu te vom lăsa să intri.

În general, au fost multe ghemuiri înainte să ne dăm seama că nu îl exportăm, ci îl dăm înapoi. Până la urmă, am reușit să facem totul.

Erau și huse de pantofi

Mai întâi, acum mulți ani, am avut primul automat, visul unui administrator. Încărcați un pachet de huse de pantofi acolo, le despachetează singur, le deschide și le pune într-o poziție în care trebuie doar să le calci. Chp-chpk și gata.

După aproximativ șase luni, a mestecat peste o sută de pachete de huse de pantofi și s-a înecat. S-a dovedit că există atât de multe piese în mișcare încât fie trebuie să le reparăm o dată pe lună la sarcina noastră (avem o mulțime de ingineri clienți care se plimbă prin unitate, deoarece suntem un centru de date comercial), fie trebuie să cumpărăm unul nou.

A doua problemă este că mai târziu, în timpul uneia dintre curățeniile obișnuite, am găsit cumva o „cârpă albastră” atârnată pe grătarul unuia dintre rafturile testării noastre. Expertul criminalist, reprezentat de un inginer X-Team, a identificat un fragment din corpul husei de încălțăminte. S-a dovedit că era convenabil să porți huse de pantofi la clinică: m-am plimbat o jumătate de oră și atât. Și unii ingineri pot lucra cu hardware toată ziua. Trecând picioarele. Se amestecă mult. Și husele de pantofi se uzează în aceste mici bucăți care zboară în jurul halei turbinelor.

Aproape imediat am cumpărat o husă nouă pentru pantofi. Am luat o carcasă termică pentru încălțăminte: aceasta este o mașină în care este încărcată pelicula și, cu grijă, micșorează această peliculă deasupra pantofului. Frumos, eficient, durabil. Mai puțină împrăștiere. L-am avut destul de mult timp, dar a trebuit să schimbăm filmul de contracție cam o dată la 1-2 ore, deoarece talpa avea tendința să cadă singură.

La început am crezut că avem ghinion, dar oamenii rezolvă cumva această problemă. Dar nu. I-am întrebat pe colegii noștri occidentali - aceeași poveste. Drept urmare, au început să se gândească cum să o facă în mod normal. Întoarcerea de la sala turbinelor pentru noi huse de pantofi este, sincer vorbind, o idee așa-așa. Am găsit produse de curățare industriale pentru șantiere și industrii. Acestea sunt ceva de genul unor căi pe care schimbul intră în atelier. Căile cu o grămadă de role curăță totul, și sunt făcute în așa fel încât indiferent dacă vrei sau nu, se va prinde și se va curăța. Au costat o jumătate de milion până la un milion de ruble. Am săpat și l-am găsit pe același pentru 200 de mii, dar trebuie să pui singur piciorul în el. Are dimensiuni similare cu o mașină de lustruit pantofi. Vii sus, bagi piciorul acolo, ea îl mestecă și îl dă înapoi curat. L-au plasat la intrarea în centrul de date.

Funcționează excelent, cu excepția a două probleme. Primul este că a devenit rapid clar că acest lucru este normal pentru noi, inginerii. Dar, în practică, o varietate de oameni vin la centrul de date pentru a căuta, inclusiv directori de top ai companiilor mari. Cu pantofi din piele din fundul unui dragon. Și chiar și pentru aplicarea cremei pe pantofi, peria lor costă mai mult decât adidașii mei de antrenament, ei selectează special perii. Ei au refuzat să pună picioarele în dispozitivul nostru miraculos. A doua problemă a apărut iarna: când pantofii sunt cu adevărat dezordonați, nu pot scoate totul din banda de rulare adâncă. Apoi te plimbi prin hol, lăsând urme de ectoplasmă.

Ne-am hotărât simplu. Am pus o husă de pantofi rulată lângă ea. Cu toate acestea, trebuie să duplicăm totul conform standardului.

A apărut o nouă problemă. Observând comportamentul inginerilor clienți, am văzut următoarea imagine: mai întâi și-au înfipt picioarele în mașină pentru curățare, iar apoi au agățat huse de pantofi dintr-o husă de pantofi rulată. Acum au pus un semn că este fie unul, fie altul și este mai bine să vă curățați, dar dacă principiile vieții interzic curățarea pantofilor, atunci purtați huse pentru pantofi. Se pare că biletul, care a fost pentru câteva zile, dar a durat mult, a fost închis. Iată dispozitivul:

Viața de zi cu zi a unui centru de date: lucruri mici neevidente peste 7 ani de funcționare. Și continuarea despre șobolan

„ku” de două ori

În conformitate cu cerințele PCI DSS, trebuie să fiți capabil să distingeți vizual rolurile persoanelor aflate în centrul de date. Fără să se uite atent la trecere și să citească ceva acolo, dar direct vizual, ca și personalul militar se disting între ele prin curelele de umăr, doar și mai strălucitoare. Am decis să nu ne arătăm și am folosit vechea metodă Chatlan - diferențierea culorilor pantalonilor. Mai exact, au început să facă panglici de trecere de diferite culori. Administratorii noștri au luat imediat Green drept favorit.

Sună simplu, dar a provocat trei efecte neașteptate:

  1. Retractoarele au fost necesare pentru a retrage automat aceste treceri atunci când sunt purtate (acestea sunt lucruri care reglementează ele însele lungimea benzii). Am scris o specificație tehnică care a ținut cont de toate dorințele tuturor departamentelor. Aceasta a fost o greșeală strategică. Culoare, format, material, retractorul nu este din plastic, firul de pescuit este din metal pentru a aplica logo-ul astfel incat sa fie cusut in banda. Piesele s-au dovedit a fi atât de scumpe încât a trebuit apoi să reducem cerințele și să schimbăm formatul.
  2. Odată ce diferențierea pantalonilor a început să funcționeze, a devenit foarte convenabil. Contractorii au unele panglici, administratorii externi au altele, iar administratorii noștri au altele. Puteți vedea cine are ce rol. Pentru electrice - doar gri, pentru aer conditionat - albastru. Și atunci aveam nevoie de panglici pentru șoferi (acesta este un rol separat, ei pot intra în zona de descărcare, dar nu o pot părăsi decât afară). Șoferii nu au nevoie de permis. La început le-am dat panglici fără permise. Atunci securiștii au decis că acest lucru este complet ciudat și degradant pentru demnitatea umană a șoferilor. Au propria lor logică militară, așa că acum șoferii vin să primească imediat un permis cu o panglică, dar acest permis nu le permite să meargă nicăieri. Din punct de vedere al securității, se dovedește a fi un marker că securitatea a verificat această persoană.
  3. Unul dintre inginerii noștri a sugerat să facem pulovere cu uniforme verzi în loc de panglică. Și a trimis o propunere de raționalizare. Au făcut-o pe jumătate: au lăsat pasele cu panglica, plus că au cusut efectiv puloverele de uniformă verde. Acum avem o uniformă de administrator. Securiștii au susținut gluma și au inclus-o în regulament. Acum este obligatoriu (pantaloni, cămașă, pulover, dar puloverul poate fi scos).

De asemenea, clienții noștri s-au plâns adesea de rutele strâmbe de pe hărți înainte de a intra în centrul nostru de date Compressor. Introduceți adresa, dar drumul este afișat incorect. Vizitatorii au ajuns să ruleze în direcția greșită, pentru că acolo era o cale ferată, iar în spatele ei era un ambuteiaj și nu era nicio cale de întoarcere acolo. La început am vrut să punem indicatoare deasupra drumului. Orașul are un astfel de serviciu - plasați semne suplimentare galbene sub semnele obișnuite, acestea sunt considerate reclame. Și prețul pentru ei este ca și reclamă: pe autostrada Entuziastov, un semn costă un milion de ruble pe an. În același timp, i-am scris lui Yandex și chiar au răspuns brusc. Și au încetat să se mai comporte. Puteți specifica chiar și diodele de poartă: intrare prin unele, ieșire prin altele.

Google, dacă ne citiți, atunci știți: mai aveți o problemă și nu știm cui să spunem despre ea pentru a putea fi auziți.

Scrisorile de invitație au inclus link-uri nu doar către o adresă, ci către o adresă cu o rută bazată pe geolocalizarea utilizatorului. Ca urmare, au fost mai puține rateuri.

Proiectoare Gobo și alte obiecte mici

Știți ce sunt proiectoarele gobo? Nici noi nu stiam. Cumva ne gândeam cum să marchem rândurile de rafturi. Rafturile în sine, desigur, sunt marcate cu marcaje speciale cu eliberare rapidă, dar pot fi văzute de la o distanță de 1-2 metri. Sala în sine are 500 mp, așa că este loc destul de mult pentru a te pierde acolo. Prin urmare, am început în sfârșit să marchem rândurile. A început un brainstorm. Cum se marchează, cu ce și unde? Pe podea, pe perete, semne pe tavan etc. Și atunci colegul nostru a văzut că la Ikea erau autocolante care s-au uzat pe podea și apoi au apărut săgeți ușoare. Ei bine, am decis să inversăm într-un mod simplu: mergeți la Ikea și scoateți unul dintre proiectoare să se uite. Nu l-am putut obține: în timp ce căram scaunele, vânzătorul a întrebat ce facem. Și a ajutat imediat, spunând că este un gobo. Se pare că acesta nu este proiectorul în sine, ci o placă sau un obiectiv pentru o imagine color. Acest filtru este un gobo. Un proiector costă de la 40 de mii de ruble (există o lampă puternică pentru utilizarea în timpul zilei) și avem 14 rânduri în fiecare dintre cele patru camere de mașini. De aceea am pus autocolante pe el.

Avem și diagrame pe pereți care se estompează de-a lungul anilor. Le-am schimbat în laminate, cu buzunare speciale „cusute” pentru auditori. În cazul nostru, Inspectorul este inginerul șef, ale cărui responsabilități includ verificarea relevanței tuturor schemelor situate în centrul de date. Deci, toate schemele trebuie verificate anual și semnate de un astfel de auditor. Și prezența unei mici reviste speciale în buzunarul diagramei face această procedură mai ușoară și nu necesită înlocuirea diagramei în sine la fiecare trei ani. Profit!

Am făcut o curățare rotativă a podelei înălțate de afară. Avem curățenie regulată, avem metode și ore de curățare. Dar roțile rafturilor grele lasă urme. Noi am facut curatenia. Acum suntem nervoși: nu pare mult mai îngrijit, dar au apărut sublinii din anumite unghiuri pentru anumite persoane, ei bine, care au propriile lor pixuri, potrivite gusturilor lor. Acum ne gândim la asta și căutăm un fel de substanță chimică care va albi podeaua și va adăuga strălucire. Pentru ca nici măcar cei selectați să nu aibă întrebări.

Ați văzut rafturile consolei? Acestea sunt ca mesele de tip bufet de călătorie, dar în loc de băuturi există un terminal pentru conectarea la rack. Așadar, pe aceste rafturi cantilever, roțile cad și se blochează, ca cărucioarele într-un supermarket. Ne-am săturat incredibil. Drept urmare, singura modalitate posibilă de a-l reînvia este să cumpărați o roată nouă. Dar nu a mai fost posibil să obținem roți special pentru modelele noastre; am intervievat toți antreprenorii. Drept urmare, am proiectat singuri rack-ul, concentrându-ne pe ușurința de mișcare în camera mașinilor și pe mentenabilitatea. A mers foarte bine.

Era o poveste cu șosete sintetice. Există așa ceva - brățări antistatice. Acesta este momentul în care mergi la rack, conectezi brățara la pământ de pe rack și comunică cu sistemul de egalizare potențial. Deci, rack-ul este împământat, dar se poate dovedi că inginerul nu este împământat. Colegii de la locurile anterioare de muncă ne-au povestit cum au văzut scântei la supravegherea video de câteva ori și am decis, din păcat, să obligăm pe toată lumea să o folosească direct conform reglementărilor.

Incidente critice

Pe o notă mai gravă, a existat o situație în care toate răcitoarele au fost întrerupte deodată. Chillerele noastre nu sunt protejate de un UPS, pentru că credem în fizică și avem un bazin cu apă rece ca rezervă de temperatură. Dacă ceva se stinge, nu aveți nevoie de baterii pentru a alimenta răcitoarele care răcesc apa, ci pur și simplu de apa rece în sine, deja gata. Convenabil și simplu, dar există o nuanță. Răcitoarele sunt echipate cu echipamente automate de siguranță, care le oprește în cazul unor parametri periculoși ai rețelei electrice. Dacă intrarea este oprită, pornim setul generator diesel și apoi răcitoarele sunt alimentate de la acestea. Totul ar fi bine dacă nu am trăi în Rusia. Am avut întreruperi de rețea de multe ori, dar totul a fost bine. Dar într-o zi a fost un salt brusc, mai întâi în jos, apoi brusc în sus, apoi din nou în jos - în câteva secunde parametrii de intrare s-au schimbat de aproximativ 4 ori. Chillerele s-au oprit, desigur. Am încercat mai întâi să le pornim de la distanță, dar s-au protejat foarte fiabil, ca în caz de urgență. Schimbul trebuia să meargă cu picioarele pe acoperiș și să le pornească manual. Ceea ce este important, conform standardului TierIII, o astfel de situație este un motiv legitim pentru închiderea centrului de date. Nu ne-am oprit, pentru că oamenii sunt la pământ cu capul și există exerciții cu exerciții. Pentru asta, UI pur și simplu ne-a tras în mod regulat, pentru a fi siguri despre TIII Operational. În orice caz, am trecut recertificarea UI către TIII Gold - Sustenabilitate operațională. Pe piața comercială rusă a centrelor de date nu există nimic mai cool, cu excepția noastră, doar unul are aceeași realizare Centru de date. Observ că recertificarea este mai dificilă decât obținerea unui certificat de la zero, deoarece ei verifică perioada anterioară ca și cum nu ai fi tu însuți și sunt necesare mult mai multe dovezi.

A avut loc un incident interesant cu camerele. Am decis să recalculăm unghiurile moarte pentru orice eventualitate, am trasat intersecții, am trasat diagonalele unghiurilor de vizualizare pe plan și, deodată, am găsit un punct mort de aproximativ 30 de centimetri pe 15 metri chiar în centrul uneia dintre săli. Îngustă și lungă. Nu există așa ceva în camera alăturată. S-a dovedit că camera rotativă s-a mișcat încet de-a lungul anilor, astfel încât a început să arate aproximativ un grade și jumătate spre stânga decât ar trebui în poziția extremă.

A mai fost un incident mare în postare despre repararea înlocuirii DDIBP.

referințe

Sursa: www.habr.com

Adauga un comentariu