Предварително известие: този пост е изцяло за петък и е повече развлекателен, отколкото технически. Очаквайте весели истории за инжинерски недоразумения, анекдоти от тъмната страна на работата с мобилен оператор и друг затаен шум. Ако някъде нещо украсиш — то е само в името на жанра, а ако излъжа — всичко това е толкова далечно, че никому не може да навреди. Но ако забележите някаква техническа или друга грешка — поправяйте ме безпощадно, винаги съм бил на страната на справедливостта.
Внимание, започвам без раздвижване!
Задна врата в двора
В нашата дежурна стая на първия етаж имаше големи прозорци, от основата до почти тавана. Те гледаха към служебния паркинг, откъдето сутрин почистването се раздвижваше. Паркингът беше на достатъчно разстояние от главния вход и всички служебни входове, и освен това зад два бариери.
Един сутрин, към сградата пристигат тогавашни полицейски автомобили, на всичките проходи стоят полицаи и проверяват всички излизащи. В служебната разпечатка идва сигнал: изненадващо (истински изненадващо, не както обикновено) пристига проверка за лицензионността на софтуера, ще проверяват работните станции. Всички, които имат нещо пиратско на компютрите — трябва незабавно да го премахнат!
Разбира се, всичко, което се отнася до операционни системи, офисен и служебен софтуер — по-голямата част беше лицензирана. Но не всичко, не винаги и не навсякъде; а какво си инсталираха служителите на служебните лаптопи — историята е съвсем тъмна. Започнах да проверявам компютрите в моята зона на отговорност за пиратско съдържание, бързайки да премахна нещо...
... А в това време в дежурната стая с бързи и нервни стъпки започват да влизат инженери, с лаптопи и системни единици в ръцете. Влизат през вратата, а излизат, смеещи се от абсурдността на ситуацията, през прозореца: всички проходи бяха затворени, а за такава заддна врата демоните на реда не се сетиха. Така, докато се провеждаше проверка на счетоводството (където всичко беше образцово), служителите извадиха всичко подозрително.
Миналото — там
Ако сте се заинтересували и не сте затворили таба — ето малко експозиция на случващото се във времето, пространството и лицата. Аз съм прекрасно млад, зелен като лист хрян, завършил IT специалист, започнал да работи в инженерната дежурка на самарския 'Мегафон' (който тогава все още беше 'МСС Поволжье'). За мен това беше първото истинско срещане с Техниката с голямо Т и с Техниците с още по-голямо: като най-младият в това адско място, с възторг наблюдавах работата на опитните инженери, безуспешно опитвайки се да разбера тяхната мъдрост. Докато тази мъдрост не се внедри в мозъчните ми пори, можех само да се взирам в купчина различни мониторинги, притеснявайки се всеки път, когато там се появяваше 'червено'.
Ако някой от споменатите тук персонажи се разпознае — приветствам ви!
Работи — не пипай (но пипай, ако не работи)
Един от споменатите по-горе свръхтехнареи беше Миша Басов. През годините работа в 'Мега' чух много добри и интересни неща за него, че почти стои в основата и е стартирал куп процеси. Не успях да се запозная добре с него: срещнахме се буквално в отдел 'Човешки ресурси', когато носех документи, а той вземаше.
Една от системите за мониторинг, с които работехме, беше написана от Миша. Не помня точно какво се мониторираше, но знам, че Миша написа временно решение, което бързо стана постоянно. И добре е: много от нещата, които истинските технари правят за собствените си нужди на бегом, се оказват просто прекрасни. Този мониторинг също удовлетворяваше всички, работеше без всякаква поддръжка и обслужване, макар че никой не знаеше как.
После на няколко години след уволнението на Миша, мониторингът започна да показва празна страница.
Веднага звъннах на алармата. Старшият на смяната звънна на алармата. Началникът на сектора звънна на алармата.
Началникът на отдела удари в камбаната. Началникът на службата също удари в камбаната. Началникът на департамента звънна с камбанките. Звукът достигна IT-директора на Поволжието, който незабавно свика среща. Там той покани началника на департамента. Той изрева на началника на службата. Последният, без да разбере същността на проблема, покани началника на отдела. Този, неразбирайки какво се случва, викна началника на сектора, който извика началника на смяната. Е, той прехвърли вината на мен.
Някак си, подменяйки се с дежурството, отидох на тази среща. Казаха много думи, беше повикан отговорникът за мониторингите (нищо смислено не чухме), беше споменато, че мониторингът е писал Басов, че мониторингът е много важен, но никой не разбира и не знае как работи... Всичко се сведе до това, че ненужната и неразбираема система трябва да се премахне, а вместо нея да се внедри проверено решение от проверен доставчик.
Докато всичко това се казваше, успях да изпросим у някого лаптоп и ssh-достъп до този сървър. Искаше ми се да видя каква суперкрута система е написал легендарният Басов.
Влизам, първото нещо, по навик, написах:
df -hКомандата ми отговори нещо подобно на:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% / Чистя пренапълнения за години /var/log, обновявам мониторинга — всичко работи. Поръчах!
Срещата спира, се сгъва, всички се разотиват. По пътя началникът на отдела се радва и ми обещава бонус!..
... Вместо бонус получих след това ментален укор за това, че случайно провалих отката на поръчката за система за мониторинг от проверен доставчик.
Къде живеят къщичките
Една от задълженията на дежурните инженери беше контролът на електронните ключове за достъп до машинни зали. Самите зали тогава много ме впечатлиха: редици с rack-ове, запълнени със сървъри и комуникационно оборудване, линии от оптични влакна и крос-кабели (някъде — перфектно подредени, някъде — превърнали се в невероятен клъстър спагети), постоянният шум на климатиците и фалшивите подове, под които беше толкова удобно да се охлаждат напитките... Входовете в залите бяха запечатани с тежки херметични врати, предназначени да осигурят автоматично заключване при пожар. Входът и изходът се протоколираха стриктно под подпис, за да се знае кой и защо е вътре в момента.
Най-много ми харесваха, разбира се, сървърните шкафове на „супердомовете” — два HP SuperDome 9000, които осигуряваха работата на billing системата. Две идентични нодове, едната винаги активна, а другата — синхронен горещ резерв. Разликата между тях беше само в IP-адресите, единият беше x.x.x.45, другият — x.x.x.46. И двата IP адреса бяха известни на всички инженери, защото ако нещо се случеше с billing-а — първото нещо, което проверяваш, е дали супердомовете са видими. Невидимостта на супердомовете — ахтунг.
Една такава сутрин, подобен ахтунг се случва. В рамките на две секунди, на двата сървъра изчезват всички услуги, billing-ът се срива в нищото. Бързо проверяваме сървър — пингват се, но реално на тях няма нищо!
Не успяваме дори да започнем предписания комплект от мерки, когато чуваме силен виков "ЩЕ УБИЯ, СТУДЕНТ!"; в оперативната стая втурва се главният администратор на всичките сървъри, хваща електронния ключ от машинната зала и бяга натам.
Много бързо след това мониторингът се нормализира.
Случи се следното: новият служител на подиспълнителя, който конфигурираше порция нови виртуални машини, ръчно им зададе последователни статични IP адреси, от x.x.x.1 до x.x.x.100. 'Студентът' не знаеше за свещените неприкосновени адреси, а на ветераните дори не им е минавало през ума, че някой може да ги атакува по такъв начин.
Услугата 'Антиспам'
Ух, нощните дежурства! Обичах ги и ги мразех, защото бяха 50/50: или планови работи на оборудването, където активно участваш, с уморени умове и треперещи ръце помагайки на инженера, или тишина и спокойствие. Абонатите спят, оборудването работи, нищо не се счупва, дежурният е отпуснат.
Дежурството върви по план.
Една нощ, така спокойно, звъни служебният телефон: здравейте, обаждат се от Сбербанк, нашата SIM карта, с която се изпращат уведомленията, е спряна.
Случаят вече беше отдавна, преди внедряването на IP свързванията със SMS шлюза. Затова, за да може Сбер да изпрати SMS от известния номер 900, те взимаха предоставената SIM карта (по-вероятно — даже не една), включваха я в GSM модем и така работеха.
Окей, проблемата е приета и започнах да проучвам. Първо проверявам състоянието на сим картата в биллинга, тя е блокирана. Какво, по дяволите — до мен има червено съобщение „НЕ БЛОКИРАЙТЕ“ и линк към заповедта на генералния архидемон. Ух, направо е интересно.
Проверявам причината за блокировката, вдигам вежди и пътувам в съседния кабинет, където момичето от отдела за измами зяпа в мониторчето.
„Леночка, — казвам ѝ, — защо блокираше Сбербанк?“
Тя е в недоумение: казва, че е постъпила жалба, че от номер 900 идва спам. Е, и аз блокирах, сутринта ще разберем.
А вие казвате — абонатски жалби се игнорират!
Сим картата, разбира се, беше включена отново.
Много страшна история.
Когато току-що започнах работа, на мен и на другите новаци ни направиха нещо като запознаваща обиколка. Показаха ни оборудването: сървъри, климатици, инвертори, противопожарна защита. Показа ни основната станция, която стоеше в една от машинните зали за опити, обяснявайки, че въпреки че предавателите се включват на минимална мощност, по-добре е да не влизате в това време през екранираната врата. Обясниха за устройството на мобилната мрежа, за основното и резервното захранване, за устойчивостта на отказ и за това, че мрежата е проектирана да работи дори след ядрено бомбардиране. Не знам дали беше казано за красота, или е истина, но ми остана в главата.
И наистина: каквото и да се случва понякога локално, поволжската гласова мрежа винаги работеше без прекъсване. Не съм специалист, но знам, че оборудването (както базовите станции, така и клиентските терминали) е проектирано за максимална устойчивост на „гласа“. Изключи ли се захранването на БС? Ще намали мощността, ще премине на ДГУ/акумулатори, ще изключи предаването на пакетен трафик, но гласът ще продължи. Нарязали ли са кабела? Базата ще премине на радиоканал, който е достатъчен за глас. Телефонът загуби БС? Той ще увеличи мощността и ще търси сигнал, докато не се свърже с кули (или докато не изтощи батерията). И т.н., и т.н.
Но веднъж в офиса мига светлината, а навън зазвучаха дизелови генератори. Всички се втурнаха да проверяват железата си: от IT страна нищо критично не се случи, а от мониторинга на БС прозвуча объркано „опа“. И после: „мина, при нас ВСИЧКИ бази легнаха, проверете връзката“.
Вадим мобилните телефони — няма сигнал.
Опитваме IP-телефония — мобилната връзка не работи.
Няма мрежа. Изобщо. Никъде.
Спомняйки си за думите относно атомната бомбардировка, подсъзнателно очаквах няколко секунди, докато ударната вълна достигне до нас — по някаква причина в главата ми не идеше друга причина за загубата на мрежата. Беше страшно и любопитно едновременно: разбирах, че така или иначе нямаше да успея да направя нищо. Останалите също бяха в шок, никой не успяваше да разбере какво става.
Нямаше ударна вълна. След петсекундния шок, се втурнахме към предоставения за такъв случай телефон на стационарната мрежа, започвайки да се обаждаме на регионалните офиси. Стационарната мрежа, за щастие, работеше, но в регионите потвърдиха: цяла Самара е „мъртва“, нито устройства не отговарят, нито можем да се обадим.
След пет минути, някой от енергетиците донесе новината: избухнала е някъде на електрическата станция, изключила е минимум цяла Самара, а възможно и областта. Облегчихме се; а когато се извърши превключване на резервните мощности — даже поехме дъх.
Още една страшна (но малко глупава) история
Най-голямата катастрофа, която помня, се случи по време на поредната пряка линия с вече обнуления. Тогава точно въвеждаха функцията за изпращане на въпроси чрез SMS, затова се подготвиха предварително за натоварването на мрежата: всичко беше проверено и подготвено, а една седмица преди ден X бяха забранени каквито и да било работи, с изключение на аварийните. Такъв протокол се използва във всеки случай, когато се очаква повишено натоварване, например — по време на празници. И за дежурните инженери е все едно, че е почивен ден, защото когато оборудването не се пипа, нищо не може да се случи, а ако дори нещо се случи — всички специалисти по всякакъв случай предварително са на работа.
В обобщение, седим си, слушаме националния лидер, не се притесняваме за нищо.
От страна на комутаторите се чува тихо „Е***ть”.
Гледам у себе си — наистина „е***ь”: кампусната мрежа падна.
След секунди умира всичко (по това време все още нямаше мемчето за Наташа и котките, а щеше да е полезно). Пропада потребителският сегмент на мрежата, пропада технологията. С нарастващо ужасение се опитваме да проверим какво е останало в работно състояние, а след това посегаме към шкафчето за скритата бутилка лечебен коняк: останаха само гласови повиквания (казвах, че те са упорити!), всичко останало — умряло. Няма интернет — нито абонатен GPRS, нито оптика, която се отдалечава на няколко субпровайдера. SMS не се изпращат. Ужас! Обзваняме регионите — те имат мрежа, но Самара не я вижда.
В рамките на половин час краят на света стана почти осезаем. Десет милиона души, при които всичко изведнъж се счупи и които не могат да се свържат с кол центъра, защото в кол центъра гласовите терминали работят чрез VOIP.
И то по време на речта на всемогъщия управител! Още една победа на държавния департамент и лично на Обама!
Дежурните техници стартираха бързо и работиха много точно: за около час мрежата се възстанови.
Тази катастрофа не е на областно, а дори не и на регионално ниво, за това се изисква да се докладва в Москва с всички подробности и с указване на виновниците. Затова на участниците в разследването им беше забранено да разказват истината под заплаха от уволнение, а за ГО беше съставен отчет, пълен с неясноти, от който по някакъв начин излизаше, че „то се е случило само, никой не е виновен“.
Какво всъщност се случи: един от началниците се приближаваше към сроковете за внедряване и губеше бонусите за тях. И началникът на началника губеше, и така нататък; затова натиснаха един от новите инженери, като му наредиха да направи необходимите мрежови включвания „докато всичко е спокойно“. Инженерът не се осмели да възрази, или поне да поиска писмена заповед: това беше неговата първа грешка. Втората — той сгреши при отдалечената конфигурация на циска, постигайки рекордни резултати по провала за кратко време.
Насколько мне известно, никого не наказали.
Празникът идва при нас
Праздниците, както вече споменах, винаги са били специални дни за нас. В такива дни натоварването на мрежата рязко нараства, броят на поздравителните обаждания и SMS съобщенията е извън контрол. Не знам как е сега, с развитието на интернет комуникацията, но тогава на единствения Нова година операторите записваха значителни печалби от поздравителните обаждания.
Затова на новогодишната нощ в офиса винаги дежуреха инженери от всички подразделения (а извън офиса — екипи, готови да се пробият през преспите за отстраняване на авария на базовата станция в малката махала). Билдингисти, администратори на хардуер, софтуерни техници, мрежови специалисти, комутатори, обслужващи екипи, поддръжка на подизпълнители — на всяка мярка по мярка. И ако условията позволяват, те се събираха в нашата дежурка, наблюдавайки на нашите мониторингови устройства за рязките скокове на трафика, преминаващ през часовите зони на цялата Поволжие.
Три или четири пъти за нощта посрещахме Нова година, но в това имаше не толкова празничност, колкото нервно очакване: дали оборудването ще издържи натоварването, дали някое звено от сложната техническа верига няма да се скъса...
Особено нервничеше Саша, отговарящ за билдалинга. Той, по принцип, винаги изглеждаше така, сякаш цялото му съществуване преминава на гол нерв, защото му се налагаше да се справя с всичките проблеми, свързани с билдинг процеса, да отговаря за всичките неудачи, често биваше буден през нощта; всъщност, не мога да си представя как и защо работеше там, където работеше. Може би му плащаха много, или семейството му беше държано в заложници. Но в онази нощ имах усещането, че ако щракна с нокътя му, той ще се разпадне на прах от натрупаното вътрешно напрежение. За такъв неприятен случай имаме метла, а засега — работим на работа, облизывайки се на чакания коняк.
Час след час преминаха всички пикове на натоварване, всички започнаха да проверяват системите си. Комутаторът бледнее: на един от регионалните комутатори е пропаднал целият билдинг трафик. А това — данни за всички обаждания, преминали през комутатора; те се записват в файл, който по чанкове по FTP (надеждно, но бавно) се изтегля на BRT за тарифи.
Комутаторът, представяйки си какъв обем скипидарна клизма ще му наложат за загубата на част от новогодишните приходи в целия регион, видимо потрепери. Обърна се към Саша и се обърна към знамето господин, който се занимава с биллинг с глас, изпълнен с трепетна надежда: «Саша, моля те, погледни, може би BRT вече е успял да извлече тарификацията? А, моля те, провери!».
Саша отпусна глътка коняк, хапна го с бутер с хайвер, бавно дъвчеше и, завъртайки очи от удоволствие, предизвикано от факта, че проблемът не е при него, отговори: «Вече проверих, файлове няма…».
(Моят чудесен коректор попита какво е станало с бедния комутатор. О, съдбата му беше ужасна: осъдили са го на седмица дежурства на първа линия поддръжка на кол центъра, забранявайки му да псува. Бр-р-р!)
Който е безгрешен, нека хвърли камък.
По тези истории може да се създаде впечтление, че аз лично или другите дежурни не сме сбъркали. Нищо подобно, сбърквали сме, но somehow без интересен епик и последствия. Работата беше считана за подходяща за вчерашни студенти без мозък и опит, няма какво да се вземе от такъв служител, да го уволниш за грешка — новият не е гарантирано, че ще е по-умен. А прехвърлянето на «дежурката» на собствените си грешки беше у инженерите отделен спорт: пропуснали, не са разбрали, не уведомили навреме, ето и ги наказвайте. «Дежурката» беше усвоила изкуството на оправданията, получаваше се не винаги, но всички разбираха. Затова имаше последствия — но обикновено без сериозни последствия.
Разглеждаме поредния «залет» на смяна.
За няколко години работа там мога да спомена три случая, когато от отдела някой е уволняван.
Веднъж инженерът на нощна смяна реши да изпие биричка, а в дежурката изведнъж влезе техническият директор. Понякога той можеше по този начин да влезе просто да се поздрави (все пак сам започна от дежурните). Запали момчето с кен бира, щрак от телефона, уволнение. Повече бира през нощта не пиха.
Друг път дежурният комутатор пропусна някаква много сериозна авария. Подробностите вече не помня.
И за трети път — вече в края на работата ми там. Условията на труд значително се влошиха, имаше зверска текучка и ужасно извънредно работно време. Хората работеха понякога по 24 часа, след което отиваха да спят 12 часа и отново се връщаха за дежурство. И аз самият работех така, докато здравето ми позволяваше и това се плащаше; след това фактически спряха да плащат извънредни часове (обещаваха стандартно компенсация с отпуск, когато има възможност — но всички знаеха, че никой никога няма да отиде на отпуска), а на дежурствата ни извеждаха почти с заплахи. Една от инженерите не издържа, стана посред смяната и си тръгна завинаги, като по пътя загледа в кабинета на началника на службата и му изпрати много хубави пожелания. Помня имейл разпратен, в който този инженер постфактум беше наречен фашист и предател, във всяка стъпка личеше, как началството беше изгоряло от такова поведение.
Що се отнася до персоналните ми грешки — един случай изразяваше своята необичайност. Отново, нощно дежурство, всичко е тихо, нищо не се случва. На смяната проверяваме мониторинга: уау, до сутринта обработката на данни от комутаторите е паднала, добре, отдавна свети червената лампичка. Цяла нощ гледах на този сигнал — и не го възприемах по някакъв начин. При всичките случаи, че това беше един от най-очевидните и показателни мониторинги, все още не разбирам защо не го видях.
Тук нямаше как да налепя извинения, грешката беше чиста и стотинка, авария от пета категория и напълно вероятно уволнение. След дванадесет часа нощно дежурство ме мъчиха до обяд, принуждавайки ме да пиша обяснения. Тъй като на никого не би повярвал в истината, се наложи да измислям някаква глупост, че заради травма съм изпил обезболяващо и съм заспал. Началникът на службата викаше на мен в кабинета си, общо взето, всичко вървеше към уволнение — но завърши с забележка и депремиране. Награди по това време в Мега не бяхме виждали вече няколко години, така че никаква загуба не понесох.
Спомняйки си за епизода с идването на техдиректора: една нощ в дежурната стая влезе някакъв егоист и започна да вика, че сме незаперени (дежурната стая по принцип не трябва да бъде заключена), че сме тук просто глупаци, и че до утре от нас всички ще очаква обяснения за нашите грешки. Този егоист беше началникът на службата за сигурност, и от него беше ужасяващо. След като си изсипа гнева, супервайзърът изчезна в тъмнината, а на сутринта попитахме нашия началник — какво да правим? „Да изтече от него, бе“ — отговори той, и инцидентът беше приключен.
Как разруших отдела
В онези дни bash.org (тогава още bash.org.ru, а не това, което е сега) беше култов ресурс. Цитатите там се появяваха почти по един на месец, и да имаш СВОЯ! ЦИТАТА!!! НА БАШ!!! беше толкова готино, колкото, да речем, да имаш свой домейн от второ ниво през две хиляди години. Този bash.org беше по-скоро айтишно-аниме, въпреки че беше смешен за всички.
Всяка работна сутрин на най-младото инженерче (тоест моето) започваше с четене на bash.org — тридесет секунди смях преди дванадесет часа мъка.
Веднъж колега ме попита над какво се смея. Показах му какво. Той разпрати линк до отдела.
Работата спря за няколко дни: с удивление установих, че никой от колегите не знаеше за bash до този момент. В дежурната стая се чуваше смях: „Ах-хаха-хаха, да патчваш KDE, ахаха-хаха!“. „Игого-го-го, да потапяш ломовете в живак, бгегегег!“. Работният ден беше загубен, но от друга страна — животът тогава се удължи значително.
Бонус за прочелите до края
Помните, в древни времена имаше такъв популярен виц: „Виждам два диска C в Нортон, мисля — защо ми трябват два? И изтрих един!“. Той много ми напомня на една от любимите ми истории, която не разказвам аз, а на мен. И всеки път е смешно, както в първия път:
18+, но от песента не можеш да изхвърлиш думите
Постскриптум
Тези истории са обработена компилация на някои постове от моя TG-канал. Понякога се случва подобна странност; не намеквам за нищо, но все пак ще оставя.
На всички хубава безфакепна петък!
Източник: habr.com
