🥇Секојдневие во центарот за податоци: неочигледни детали за 7 години работа. И продолжението за стаорецот

Веднаш ќе кажам: тој стаорец во донесениот сервер, на кој му дадовме чај пред неколку години по струен удар, најверојатно избега. Затоа што еднаш ја видовме нејзината пријателка на круг. И веднаш решивме да инсталираме ултразвучни репелери.

Сега има проколната земја околу центарот за податоци: ниту една птица нема да слета на зградата, а веројатно сите кртови и црви избегале. Беа загрижени дека звук може предизвикуваат дефект на HDD, но проверено, фреквенциите не се исти.

Следната приказна е многу позабавна. Еднаш добивме парче хардвер за неколку милиони рубли во кутија со сензори за навалување, вибрации и влажност. Сè е целина. Внимателно отстранете ја амбалажата, а парчето железо беше свиткано. Мистик.

Телото е исправено во лак. Толку убаво.

Детективска приказна

Не би му придавале никаква важност на ова, бидејќи заобленото метално тело беше речиси дизајнерска слика. Толку убава, без чипс. И да не беа други слични парчиња хардвер во близина, немаше ни да помислиме да распакуваме дека нешто не е во ред. Но, во близина имаше исти, само со поправилна геометриска форма.

За среќа, отпакувањето на таквиот хардвер е снимено (препорачувам сите да си ја стекнат оваа навика), па можевме да му докажеме на производителот дека така пристигнал. Непроменетиот пакет и уредно свитканото тело не се удар од двигателите. Најверојатно таа е повредена уште пред да замине за Русија.

Продавачот вели: „Ах, момци, да ви го смениме веднаш под гаранција“. И тогаш не чекаше епска заседа.

Факт е дека царината ни дозволува да увезуваме ваква опрема со документи без право на извоз. Односно, можете да го донесете, но не можете да го препродавате на некој надвор од Русија. Кога, на пример, ќе го вратиме изгореното напојување, сè е јасно. Ова е резервен дел, напојување.

И тогаш морав да испратам сè назад:
- Момци, погледнете, го испраќаме хардверот назад до производителот.
- Цела опрема?
- Да.
— Модел вакво и онакво?
- Да.
- Може да работи?
– Не знаеме, не го вклучивме.
- Значи ова е цела опрема.
- Па, не функционира.
- Па, види, целата опрема е од овој модел. Нема права за повторен извоз. Нема да те пуштиме.

Во принцип, имаше многу чучњеви пред да сфатиме дека не го извезуваме, туку го враќаме. На крајот успеавме да направиме се.

Имаше и навлаки за чевли

Прво, пред многу години, го имавме првиот автоматски, администраторски сон. Таму ставате пакет навлаки за чевли, тој самиот ги отпакува, ги отвора и ги става во позиција каде што само треба да ги згазите. Chp-chpk и готово.

По околу шест месеци, таа џвакала околу сто пакети навлаки за чевли и се задавила. Се испостави дека има толку многу подвижни делови што или треба да ги поправаме еднаш месечно на наш товар (имаме многу инженери клиенти кои шетаат низ објектот, бидејќи сме комерцијален центар за податоци), или треба да купиме нов.

Вториот проблем е што подоцна, за време на едно од редовните чистења, некако најдовме „мало сино парталче“ обесено на решетката на една од решетките на нашето тестирање. Форензичкиот вештак, застапуван од инженер на „Икс-тим“, идентификуваше фрагмент од телото на капакот на чевлите. Се испостави дека е погодно да се носат навлаки за чевли во клиниката: шетав половина час и тоа е сè. И некои инженери можат да работат со хардвер цел ден. Мешање стапала. Мешање многу. И навлаките за чевли се истрошија во овие мали парчиња што летаат околу салата за турбина.

Речиси веднаш купивме нов капак за чевли. Зедовме термална кутија за багажник: ова е машина во која се полни филм и внимателно го собира овој филм на врвот на чевелот. Убава, ефективна, издржлива. Помалку расејување. Го имавме доста долго, но моравме да го менуваме филмот за собирање еднаш на секои 1-2 часа, бидејќи ѓонот имаше тенденција да паѓа сам по себе.

Отпрвин мислевме дека немаме среќа, но луѓето некако го решаваат овој проблем. Но не. Ги прашавме нашите западни колеги - истата приказна. Како резултат на тоа, тие почнаа да размислуваат како да го направат тоа правилно. Враќањето од салата за турбини за нови навлаки за чевли е, искрено кажано, таква идеја. Најдовме индустриски средства за чистење за градилишта и индустрии. Тоа се нешто како патеки по кои смената влегува во работилницата. Патеките со еден куп ролки чистат се, а се направени така што сакале или не, ќе фати и ќе исчисти. Тие чинат од половина милион до еден милион рубли. Копавме наоколу и го најдовме истиот за 200 илјади, но мора сам да ја ставиш ногата. По големина е слична на машината за полирање чевли. Доаѓаш, пикаш со ногата таму, таа ја џвака и ја враќа чиста. Тие го поставија на влезот во центарот за податоци.

Работи одлично освен за два проблема. Првата е дека брзо стана јасно дека тоа е нормално за нас инженерите. Но, во пракса, различни луѓе доаѓаат во центарот за податоци за да погледнат, вклучително и врвни директори на големи компании. Со чевли од кожа од змејски задник. Па дури и за нанесување крем на чевли, нивната четка чини повеќе од моите патики за обука, тие специјално ги избираат влакната. Токму тие одбија да ги стават своите нозе во нашиот чудотворен уред. Вториот проблем се појави во зима: кога чевлите се навистина во неред, не можат да извлечат сè од длабоката шарка. Потоа шетате низ салата, оставајќи траги од ектоплазма.

Решивме едноставно. До неа поставивме валана навлака за чевли. Сеедно, треба да дуплираме сè според стандардот.

Се појави нов проблем. Набљудувајќи го однесувањето на инженерите на клиентите, ја видовме следнава слика: тие прво ги заглавија стапалата во машината за чистење, а потоа ги закачија навлаките за чевли од валани капак за чевли. Сега поставија знак дека е или едното или другото, и подобро е да се исчистите сами, но ако принципите на животот забрануваат чистење на чевлите, тогаш носете навлаки за чевли. Се чини дека билетот, кој беше за неколку дена, но траеше долго, беше затворен. Еве го уредот:

„ку“ двапати

Според барањата на PCI DSS, треба да можете визуелно да ги разликувате улогите на луѓето лоцирани во центарот за податоци. Без да се погледне одблизу на пропусницата и да се прочита нешто таму, туку директно визуелно, како воениот персонал се разликуваат по ремените на рамо, само уште посветли. Решивме да не се пофалиме и го искористивме стариот добар чатлан метод - диференцијација на бои на панталоните. Поточно, тие почнаа да прават проодни ленти со различни бои. Нашите администратори веднаш го земаа Грин за свој фаворит.

Звучи едноставно, но предизвика три неочекувани ефекти:

Потребни беа повлекувачи за автоматско повлекување на овие пропусници при носење (ова се работи кои сами ја регулираат должината на лентата). Напишавме техничка спецификација која ги зема предвид сите желби на сите одделенија. Ова беше стратешка грешка. Боја, формат, материјал, повлекувачот не е пластичен, риболовната линија е направена од метал за да се нанесе логото така што ќе се зашие во лентата. Парчињата се покажаа толку скапи што потоа моравме да ги намалиме барањата и да го смениме форматот.
Откако диференцијацијата на панталоните почна да работи, стана многу погодно. Изведувачите имаат некои ленти, надворешните администратори имаат други, а нашите админи имаат други. Можете да видите кој каква улога има. За електрика - само сиви, за клима - сина. И тогаш ни требаа ленти за возачите (ова е посебна улога, тие можат да влезат во просторот за истовар, но не можат да го напуштат освен надвор). На возачите не им треба пропусница. Отпрвин им дававме ленти без пропусници. Тогаш обезбедувањето одлучило дека тоа е сосема чудно и понижувачко за човечкото достоинство на возачите. Тие имаат своја воена логика, па сега возачите доаѓаат веднаш да добијат карта со лента, но оваа карта не им дозволува да одат никаде. Од гледна точка на безбедноста, излегува дека е маркер дека обезбедувањето го проверило ова лице.
Еден од нашите инженери предложи да се направат зелени еднообразни џемпери наместо лента. И испрати предлог за рационализација. Тоа го направија на половина пат: ги оставија пропусниците со лентата, плус всушност ги сошија зелените униформирани џемпери. Сега имаме административна униформа. Чуварите ја поддржаа шегата и ја вклучија во прописите. Сега е задолжително (панталони, кошула, џемпер, но џемперот може да се отстрани).

Нашите клиенти, исто така, често се жалеа на искривени правци на мапите пред да влезат во нашиот центар за податоци на Компресорот. Ја внесувате адресата, но патот е прикажан погрешно. Посетителите завршија со такси во погрешен правец, бидејќи таму имаше железница, а зад неа имаше метеж, а таму немаше начин да се сврти. Најпрво сакавме да ставиме знаци над патот. Градот има таква услуга - ставете жолти дополнителни знаци под вообичаените знаци, тие се сметаат за рекламирање. А цената за нив е како рекламирање: на автопатот Ентузијастов, еден знак чини милион рубли годишно. Во исто време, му пишавме на Yandex, а тие дури и одеднаш одговорија. И тие престанаа да глумат. Можете дури и да ги наведете диодите на портата: влез преку некои, излез преку други.

Гугл, ако нè читате, тогаш знајте: сè уште имате проблем и не знаеме на кого да му кажеме за да можеме да се слушнеме.

Писмата со покани вклучуваа врски не само до адреса, туку и до адреса со рута заснована на геолокацијата на корисникот. Како резултат на тоа, имаше помалку промашувања.

Гобо проектори и други мали предмети

Дали знаете што се тоа гобо проектори? Ниту ние не знаевме. Некако размислувавме како да ги обележиме редовите на лавици. Самите лавици, се разбира, се означени со специјални ознаки за брзо ослободување, но тие можат да се видат на растојание од 1-2 метри. Самата сала е 500 кв.м., така што има многу простор за губење таму. Затоа, конечно почнавме да ги обележуваме редовите. Започна бура на идеи. Како да се означи, со што и каде? На подот, на ѕидот, знаци на таванот итн. И тогаш нашиот колега виде дека во Икеа порано имало налепници што се бришеле на подот, а потоа се појавиле светли стрели. Па, решивме да го смениме на едноставен начин: одете во Икеа и погледнете еден од проекторите. Не можевме да го добиеме: додека ги носевме столовите, продавачот праша што правиме. И тој веднаш помогна, велејќи дека тоа е гобо. Излегува дека ова не е самиот проектор, туку чинија или леќа за слика во боја. Овој филтер е гобо. Еден проектор чини од 40 илјади рубли (има моќна светилка за дневна употреба), а имаме 14 редови во секоја од четирите машински простории. Затоа и ставаме налепници.

Имаме и дијаграми на ѕидовите кои избледуваат со текот на годините. Ги сменивме во ламинирани, со посебни „зашиени“ џебови за ревизори. Во нашиот случај, инспекторот е главен инженер, чии одговорности вклучуваат проверка на релевантноста на сите шеми лоцирани во центарот за податоци. Значи, сите шеми мора да се проверуваат годишно и да се потпишуваат од таков ревизор. А присуството на специјално мало списание во џебот на дијаграмот ја олеснува оваа постапка и не бара замена на самиот дијаграм на секои три години. Профит!

Направивме ротационо чистење на подигнатиот под надвор. Имаме редовни чистења, имаме методи и времиња на чистење. Но, тркалата на тешките лавици оставаат траги. Го направивме чистењето. Сега сме нервозни: не стана многу поуреден на изглед, но се појавија акценти од одредени агли за одредени луѓе, па, кои имаат свои фломастери за да одговараат на нивниот вкус. Сега размислуваме за тоа и бараме некаква хемикалија која ќе го избели подот и ќе додаде сјај. За дури и избраните да немаат прашања.

Дали сте ги виделе држачите за конзола? Овие се како патувачки маси за бифе, но наместо пијалоци има терминал за поврзување со решетката. Така, на овие конзолни лавици, тркалата паѓаат и се заглавуваат, како колички во супермаркет. Неверојатно ни е преку глава. Како резултат на тоа, единствениот можен начин да се оживее е да се купи ново тркало. Но, веќе не беше можно да се добијат тркала специјално за нашите модели, ги интервјуиравме сите изведувачи. Како резултат на тоа, ние самите ја дизајниравме решетката, фокусирајќи се на леснотијата на движење низ машинската просторија и одржувањето. Многу добро функционираше.

Имаше приказна со синтетички чорапи. Постои такво нешто - антистатички нараквици. Ова е кога одите до решетката, поврзете ја нараквицата со земјата на решетката и таа комуницира со системот за изедначување на потенцијалот. Значи, решетката е заземјена, но може да испадне дека инженерот не е заземјен. Колегите од претходните работни места ни кажаа како неколку пати виделе искри на видео надзорот, а ние решивме од грев да ги обврземе сите да го користат директно според прописите.

Критични инциденти

Уште посериозно, имаше ситуација кога сите чилери беа отсечени одеднаш. Нашите чилери не се заштитени со UPS-от, бидејќи ние веруваме во физиката, а имаме базен со ладна вода како температурен резерват. Ако нешто згасне, не ви требаат батерии за напојување на чилерите што ја ладат водата, туку едноставно самата ладна вода, веќе подготвена. Практично и едноставно, но има една нијанса. Чилерите се опремени со автоматска безбедносна опрема, која ги исклучува во случај на опасни параметри на електричната мрежа. Ако влезот е исклучен, го вклучуваме комплетот на дизел генератор, а потоа од нив се напојуваат чилерите. Сè би било добро ако не живееме во Русија. Многупати имавме прекини на мрежата, но се беше во ред. Но, еден ден имаше остар скок, прво надолу, потоа нагло нагоре, па повторно надолу - за неколку секунди влезните параметри се променија околу 4 пати. Чилерите се исклучија, се разбира. Прво се обидовме да ги вклучиме од далечина, но тие се заштитија многу сигурно, како итен случај. Смената мораше да оди со нозете на покривот и да ги вклучи рачно. Она што е важно, според стандардот TierIII, оваа ситуација е легитимна причина за исклучување на центарот за податоци. Немавме застанување, бидејќи луѓето се на земја со глави, а има вежба со вежби. За ова, UI едноставно не заебаваше редовно, за да бидеме сигурни за TIII Operational. Ако било што, ние ја поминавме ресертификацијата на корисничкиот интерфејс на TIII Gold - Operational Sustainability. На рускиот комерцијален пазар на центри за податоци нема ништо поладно, освен нашиот, само еден го има истото достигнување На Центарот за податоци. Забележувам дека е потешка ресертификацијата отколку да се добие сертификат од нула, пошто го проверуваат претходниот период како да не сте вие самите, а потребни се многу повеќе докази.

Имаше интересен инцидент со камерите. Решивме повторно да ги пресметаме мртвите точки за секој случај, исцртавме раскрсници, на планот исцртавме дијагонали на аглите на гледање и наеднаш најдовме слепа точка од околу 30 сантиметри на 15 метри точно во центарот на една од салите. Тесен и долг. Во соседната соба нема такво нешто. Се испостави дека ротирачката камера полека се движела со текот на годините, така што почнала да покажува околу еден и пол степени налево отколку што треба во екстремната положба.

Имаше уште еден голем инцидент во објавата за поправка замена на DDIBP.