Попереднє повідомлення: пост цей суто п'ятничний і більш розважальний, ніж технічний. На вас чекають веселі історії про інженерні факапи, байки з темного боку роботи стільникового оператора та інший легковажний шерех. Якщо я десь щось прикрашу — то тільки для користі жанру, а якщо навру — так усі справи днів настільки минулих, що нікому від того шкоди не буде. Але якщо чіпаєте оком технічну чи ще якусь лажу — поправляйте мене нещадно, я завжди був на боці справедливості.
Увага, починаю без розгону!
Backdoor у двір
У нашому чергуванні на першому поверсі були великі вікна, від цоколя і мало не до стелі. Виходили вони на службове паркування, звідки вранці роз'їжджалися всякі вимірювачі та інші польові співробітники. Паркування ж знаходилося в достатній відстані від парадного та всіх службових входів, та ще за двома шлагбаумами.
Якось вранці до будівлі під'їжджають тоді ще міліцейські машинки, на всіх прохідних встають міліціонери та проводять огляд усіх, хто йде. У службову розсилку прилітає алерт: раптово (дійсно раптово, не як завжди) нагрянула перевірка на ліцензійність софту, доглядатимуть робочі станції. У кого що на комп'ютерах є піратського — треба зносити отпрямща!
Безумовно, все, що стосується операційних систем, офісного та службового софту, то переважно було ліцензоване. Але не все, не завжди і не скрізь; а що собі співробітники наставили на службові ноутбуки — історія зовсім темна. Я кинувся перевіряти машини у своїй зоні відповідальності на піратщину, щось швидко зносячи…
… А в цей час до чергування квапливим і нервовим кроком починають входити інженери, з ноутами та системниками в обіймах. Входять вони через двері, а виходять, хихикаючи від абсурдності ситуації, через вікно: всі прохідні перекрили, а ось про такий бекдор демони правопорядку не додумалися. Так, поки йшла перевірка бухгалтерії (де все було зразково-показово), співробітники витягли все палево.
Минуле - там
Якщо ви зацікавилися і не закрили вкладку — ось вам деяка експозиція того, що відбувається в часі, просторі та обличчях. Я — чудово юний, зелений, як лист щавлю, випускник-айтішник, що влаштувався працювати в інженерну чергучку самарського «Мегафона» (який тоді був ще й зовсім «МСС Поволжя»). Для мене це був перший справжній зіткнення з Технікою з великої літери і Технарями з ще більшою: будучи наймолодшим чортенем у цій пекельній кухні, я із захопленням спостерігав за роботою багатодосвідчених чортів інженерів, безуспішно намагаючись осягнути їхню мудрість. Поки та мудрість не вткнулася в мозкові пори, я міг тільки пиратися в купу різномастих моніторингів, хвилюючись щоразу, коли там з'являлося «червоне».
Якщо хтось із згаданих тут персонажів себе раптом дізнається – привіт вам!
Працює - не чіпай (але чіпай, якщо не працює)
Одним із вищезгаданих надтехнарів був Михайло Басов. За роки роботи в «Мезі» я про нього чув багато хорошого і цікавого в тому дусі, що він стояв чи не біля витоків і запустив купу процесів. Мені з ним поспілкуватися добре не вдалося: познайомилися буквально у відділі кадрів, коли я приніс документи, а він забирав.
Одна із систем моніторингу, з якою ми працювали, була написана Мишком. Я вже не дуже пам'ятаю, що там моніторилося, але знаю, що Мишко написав тимчасове рішення, яке швидко стало постійним. Та й добре: багато з того, що справжні технарі роблять для власних потреб нашвидкуруч, виходить просто чудово. Той моніторинг теж усіх влаштовував, працюючи без будь-якої підтримки та обслуговування, щоправда, ніхто не знав, як.
Через кілька років після Мишиного звільнення моніторинг став показувати порожню сторінку.
Я відразу забив на сполох. Старший зміни забив на сполох. Начальник сектора забив на сполох.
Начальник відділу забив на сполох. Начальник служби забив на сполох. Начальник департаменту брязнув бубонцями. Дзвін почув IT-директор усієї Поволжя, відразу зібравши нараду. Туди він покликав начальника департаменту. Той гаркнув на начальника служби. Той, не розуміючи суті проблеми, покликав начальника відділу. Цей, не втручаючись у подію, покликав начальника сектора, який викликав начальника зміни. Ну, а той перевів на мене стрілку.
Якось підмінившись із чергування, я подався на цю нараду. Сказано було багато слів, був покликаний відповідальний за моніторинги (нічого виразного ми не почули), було згадано, що моніторинг писав Басов, що моніторинг дуже важливий, але ніхто не розуміє і не знає, як він працює… Все звелося до того, що неробочу та незрозумілу систему треба прибирати, а натомість впроваджувати перевірене рішення від перевіреного вендора.
Поки це все говорилося, я випросив у когось ноутбук та ssh-доступ на той сервер. Мені було цікаво подивитися, що за суперкруту систему написав легендарний Басов.
Заходжу, насамперед за звичкою набираю:
df -hКоманда відповідає мені щось на зразок:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% /
Чищу переповнений за роки /var/log, оновлюю моніторинг - все працює. Полагодив!
Нарада зупиняється, грудкається, всі розходяться. На шляху начальник відділу радіє і обіцяє мені премію!
… Замість премії я отримав потім ментальний втиск за те, що ненароком обломив відкат на замовлення системи моніторингу від перевіреного вендора.
Де будиночки живуть
Одним із обов'язків чергових інженерів був контроль електронних ключів доступу до машинних залів. Самі зали мене тоді дуже вражали: ряди стійок, забитих серверним і комутаційним обладнанням, лінії оптоволокна та крос-кабелів (десь ідеально укладені, десь перетворилися на неймовірну грудку спагетті), постійний гул кондиціонерів та фальш-підлоги, під якими було так зручно охолоджувати напої… Входи до залів закупорювалися важкими гермодверями, покликаними забезпечити автоматичне блокування під час пожежі. Вхід та вихід суворо протоколювався під розпис, щоб було відомо, хто і навіщо зараз усередині.
Найбільше в цих залах мені подобалися, звичайно, серверні шафи «супердоміків» — дві HP SuperDome 9000, які забезпечували роботу білінгу. Дві ідентичні ноди, одна завжди була бойовою, а друга — синхронним гарячим резервом. Відмінність з-поміж них було лише у IP-адресах, один був xxx45, інший — xxx46. Обидва ці айпишники знали всі інженери, бо якщо щось на білінгу трапилося — насамперед дивишся, чи видно супербудиночки. Невидимість супербудинок – ахтунг.
Якось уранці подібний ахтунг трапляється. Протягом двох секунд на обох серверах зникають усі служби, білінг хлопається у ніщо. Швидко перевіряємо сервери — пінгуються, але на них реально нічого немає!
Не встигаємо ми навіть почати належний комплекс заходів, як чуємо гучний голос.ВБ'Ю, СТУДЕНТ!В чергування вбігає архіадмін всієї серваків, зриває з полиці електронний ключ від машзала і біжить туди.
Дуже швидко після цього моніторинг приходить у норму.
Сталося ось що: новий співробітник підрядної організації, що конфігурував пачку нових віртуалок, ручками прописав їм послідовні статичні IP-адреси, від xxx1 до xxx100. «Студент» не знав про священні недоторкані адреси, а старожилам і на думку не спадало, що хтось міг на них так зазіхнути.
Послуга «Антиспам»
Ух, нічні чергування! Любив їх і ненавидів, бо це було 50/50: або планові роботи на обладнанні, де ти береш активну участь, сонними мізками та тремтячими руками допомагаючи інженеру, або тиша зі спокоєм. Абоненти сплять, обладнання працює, нічого не ламається, черговий розслаблений.
Чергування йде за планом.
Якось такий північний спокій порушує дзвінок на службовий телефон: привіт, це з Ощадбанку турбують, у нас перестала працювати ваша сімка, з якою сповіщення наші розсилаються.
Адже справа давно була, ще до впровадження IP-підключень до СМС-шлюзу. Тому, щоб Сбер міг надіслати смску зі свого знаменитого номера 900, вони брали надану сімку (швидше за все навіть не одну), встромляли в GSM-модем, так і працювали.
Окей, проблему прийняв і почав копати. Насамперед перевіряю стан сімки в білінгу, та заблокована. Що за біса — поруч червоний напис «НЕ БЛОКУВАТИ» та посилання на наказ генерального архідемона. Ух, прямо цікаво.
Перевіряю причину блокування, роблю брови будиночком і подорожую до сусіднього кабінету, де витріщається в моніторчик дівчинка з фрод-відділу.
"Льоночко, - кажу я їй, - ти навіщо Ощадбанк заблокувала?"
Та в незрозумілих: мовляв, прийшла скарга, що з номера 900 йде спам. Ну я й заблукала, вранці б розібралися.
А ви кажете – абонентські скарги ігноруються!
Сімку назад увімкнули, звичайно.
Дуже страшна історія
Коли я тільки влаштувався на роботу, мені та іншим новачкам провели щось на кшталт ознайомчої екскурсії. Показали обладнання: сервери, кондеї, інвертори, пожежогасіння. Показали базову станцію, що стояла в одному з машзалів для дослідів, пояснивши, що хоча передавачі включаються на мінімальній потужності, краще за екрановані двері в цей час не входити. Пояснили за влаштування мобільної мережі, про харчування основне та резервне, про відмовостійкість і про те, що мережа спроектована так, щоб працювати навіть після атомного бомбардування. Не знаю, чи для червоного слівця це було сказано, чи правда, але в голові це відклалося.
І справді: який би ахтунг іноді не діявся локально, поволзька голосова мережа працювала завжди безперервно. Я не зв'язківець, але в курсі, що обладнання (і базові станції, і клієнтські термінали) розраховане на максимальне виживання «голосу». Чи відключилося харчування на БС? Вона зменшить потужність, перейде на ДГУ/акумулятори, відключить передачу пакетного трафіку, але голос йтиме. Порізали кабель? База перейде на радіоканал, якого вистачить для голосу. Телефон втратив БС? Він збільшить потужність і мацатиме ефір, поки не зачепиться за вишку (або поки не висадить батарею). І Т. Д. і Т. П.
Але одного разу в офісі блимнуло світло, а на вулиці заторохтіли дизель-генератори. Всі кинулися перевіряти ще раз свої залізяки: по IT-частині нічого критичного не трапилося, а ось з моніторингу БС пролунало спантеличене «опаньці». І потім: «хлопці, у нас ВСІ бази лягли, перевірте зв'язок».
Дістаємо мобільники – немає сигналу.
Пробуємо IP-телефонію – на мобільний зв'язок виходу немає.
Мережі немає. Взагалі. Ніде.
Згадавши слова про атомне бомбардування, я підсвідомо кілька секунд чекав, доки до нас докотиться ударна хвиля — іншої причини зникнення мережі чомусь на думку не спало. Було страшно й цікаво одночасно: я якось розумів, що зробити один хрін нічого не встигну. Інші хлопці теж злякалися, ніхто нічого зрозуміти не міг.
Вибухової хвилі не було. Після п'ятисекундного шоку рвонулися до наявного на такий випадок телефону проводової міської мережі, взявшись обдзвонювати регіональні офіси. Міська мережа, на щастя, працювала, але в регіонах підтверджували: вся Самара «мертва», ні залізки не пінгуються, ні додзвон не йде.
Через п'ять хвилин хтось із енергетиків приніс новину: бахнуло десь на електростанції, знеструмило щонайменше всю Самару, можливо — і область. Видихнули; а коли сталося перемикання на резервні потужності, то навіть і вдихнули.
Ще одна страшна (але трохи дурна) історія
Найбільший факап на моїй пам'яті стався під час чергової прямої лінії з нині обнуленим. Тоді саме вводили фішку з відправкою питань смсками, тому до сплеску навантаження на мережу підготувалися заздалегідь: все перевіряли ще раз і підготували, і за цілий тиждень до дня X заборонили будь-які роботи, крім аварійних. Подібний протокол задіяний у будь-яких випадках, коли очікується підвищене навантаження, наприклад, у свята. І для чергових інженерів воно все одно, що вихідний, тому що коли обладнання не чіпають, з ним нічого статися не може, а якщо навіть станеться - всі спеціалісти про всяк випадок заздалегідь сидять в офісі.
Загалом, сидимо, слухаємо національного лідера, ні про що не турбуємось.
З боку комутаторників долинає тихе «Е***ть».
Дивлюся до себе — справді е***ь: відвалилася кампусна мережа.
Через секунду вмирає взагалі все (тоді ще не було мемасика про Наташу і котів, а він у нагоді). Зникає сегмент мережі, пропадає технологічний. З зростаючим жахом намагаємося перевірити, що залишилося в робочому стані, а перевіривши, чи тягнемося до шафки за захованою пляшкою лікувального коньяку: залишилися тільки голосові виклики (я ж казав, вони живучи!), все інше — здохло. Немає інтернету - ні абонентського GPRS, ні на оптиці, яка відводиться декільком субпровайдерам. Не надсилаються СМС. Дупа! Обдзвонюємо регіони — вони мають мережу, але Самару вони не бачать.
Протягом півгодини кінець світу став майже матеріально відчутним. Десять мільйонів людей, у яких раптово все зламалося і які не можуть додзвонитися до кол-центру, тому що в колл-центрі голосові термінали працюють через VOIP.
І це під час виступу найтемнішого правителя! Чергова перемога держдепа та Обами особисто!
Технічники, що чергували, підірвалися з низького старту і відпрацювали дуже чітко: протягом години мережа ожила.
Такий заліт — це не обласний, і навіть не регіональний рівень, про це належить рапортувати до Москви з усіма подробицями та видачею винних. Тому тим, хто брав участь у розслідуванні, заборонили розповідати правду під страхом звільнення, а для ГО склали звіт, повний води та туману, якось виходило, що «воно саме, ніхто не винен».
Що було насправді: в одного з начальників їхали терміни впроваджень та обламувалися премії за них. І начальнику начальника обламувалися, і таке інше; тому натиснули на одного з нових інженерів, наказавши йому провести необхідні мережеві включення «поки що все тихо». Інженер не наважився заперечувати, або хоча б вимагати письмового наказу: це була його перша помилка. Друга — він помилився при віддаленій конфігурації циски, досягнувши рекордних результатів факапом у найкоротші терміни.
Наскільки мені відомо — покарали нікого.
Свято до нас приходить
Свята, як я вже згадував, були для нас завжди особливими днями. У такі дні різко зростає навантаження на мережу, кількість вітальних дзвінків та СМС зашкалює. Не знаю, як зараз, з розвитком інтернет-спілкування, а тоді одного тільки Нового року опсоси знімали дуже суттєву пінку на вітальних дзвінках.
Тому в новорічну ніч в офісі обов'язково чергували інженери всіх підрозділів (а поза офісом — бригади, які готові щемитися крізь кучугури на усунення аварії на базовій станції в селі малі дріщі). Білінгісти, адміни залізничні, сантехніки по софту, мережевики, комутери, сервісники, сапорт підрядників — кожній тварюці по тварюці. І якщо дозволяли умови, то вони тусувалися у нас же в чергуванні, спостерігаючи на наших пристроях моніторингу за сплесками трафіку, що йде слідом за часовими поясами по всьому Поволжі.
Три чи чотири рази за ніч ми зустрічали Новий рік, правда, в цьому було не так святковості, як нервового очікування: чи витримає обладнання наднавантаження, чи не порветься якась ланка складного технічного ланцюжка…
Особливо нервував Сашко, який відповідав за білінг. Він, в принципі, завжди виглядав так, ніби все його життя проходить на оголеному нерві, адже йому доводилося розгрібати все добро, що твориться з білінгом, відповідати за всі косяки, його частіше за інших будили ночами; загалом, я не уявляю, як і чому він працював там, де працював. Може, йому багато грошей платили, або сім'ю тримали в заручниках. Але тієї ночі в мене взагалі було відчуття, що якщо по Саші клацнути нігтем, то від внутрішньої напруги, що скупчилася в ньому, він розсипеться в пил. На такий неприємний випадок у нас є віник, а поки що — працюємо роботу, облизуючись на коньяк, що чекає своєї черги.
Годину за годиною пройшли всі сплески навантаження, всі почали перевіряти ще раз свої системи. Комутер блідне: на одному з регіональних комутаторів зник весь білінговий трафік. А це дані про всі виклики, що пройшли через комутатор; вони пишуться у файлик, який чанками по FTP (кондово, але надійно) викачується на BRT для тарифікації.
Комутер, уявивши, якого обсягу скипидарну клізму йому поставлять за втрату частини новорічної виручки по цілому регіону, аж затремтів. Повернувшись до Сашка, він звернувся до сяйвого пана білінгісту сповненим хвилюючої надії голосом: «Саша, подивися, будь ласка, може BRT встиг викачати тарифікацію? А, ну подивися, будь ласка!».
Сашко пригубив коньяку, закусив його ікорним бутербродом, не поспішаючи прожував і, закочуючи очі від задоволення, зумовленого тим, що одвірок не в нього, відповідав: «Я вже перевірив, файлів нема…».
(Мій чудовий коректор запитала про те, що ж потім сталося з бідним комутером. О, доля його була жахлива: його засудили до тижня чергувань на першій лінії підтримки колл-центру, заборонивши матюкатися. Бр-р-р!)
Киньте камінь, хто безгрішний
За цими історіями може скластися враження, що ні я особисто, ні інші чергові не факапили. Нічого подібного, факапілі, але якось без цікавого епіку та наслідків. Робота вважалася відповідною вчорашнім студентам без мізків і досвіду, взяти з такого співробітника нічого, вигнати за одвірок — так новий не факт, що розумнішим буде. А ось звалювання на «дежурку» своїх косяків було в інженерів окремою спортивною дисципліною: проморгали, не розібралися, не вчасно повідомили, ось їх і карайте. «Дежурка» досконало освоїла науку відмазуватися, виходило далеко не завжди, але всі все розуміли. Тому прилітали — але зазвичай без серйозних наслідків.
Розбираємо черговий заліт на перезмінці.
За кілька років роботи там я можу згадати три випадки, коли з відділу когось звільняли.
Одного разу інженер у нічну зміну вирішив ужаснути пивка, а тут в чергу візьми і зайди технічний директор. Він іноді міг ось так зайти по-простому привітатися (начебто сам з чергових починав). Спалив хлопця з банкою пива, клацнувши на телефон, звільнення. Більше пива ночами не пили.
Інший раз черговий комутаторник якусь страшну аварію проморгав. Подробиць уже не пам'ятаю.
І втретє вже під кінець моєї роботи там. Умови праці дуже сильно просіли, була дика плинність і страшні переробки. Люди працювали іноді добу, потім йшли поспати 12 годин і знову виходили на чергове чергування. Я й сам так працював, поки дозволяло здоров'я, і це оплачувалось; потім переробки оплачувати фактично перестали (стандартно обіцяли компенсацію відгулами, коли буде можливість, але всі розуміли, що ніхто ніколи гуляти не піде), а на чергування виганяли мало не погрозами. В одного інженера не витримала зозуля, він посеред зміни встав з робочого місця і пішов додому назавжди, зазирнувши до кабінету начальника служби, і послав того на три літери. Пам'ятаю поштову розсилку, в якій цього інженера постфактум таврували фашистом і зрадником, у кожному рядку читалося, як у начальства пригоріло від такого вчинку.
Щодо моїх персональних факапів — один випадок своєю незвичністю запам'ятався. Знову ж таки, нічне чергування, все тихо, нічого не відбувається. На перезмінці перевіряємо моніторинг: упс, уночі впала обробка даних із комутаторів, добре так і давно горить червона лампочка. Я всю ніч дивився на цей сигнал — і не сприймав його. При всьому тому, що це був один із найочевидніших і найнаочніших моніторингів, я досі не розумію, чому не бачив.
Тут ніяких відмазок було не наліпити, одвірок чистий і стовідсотковий, аварія п'ятої категорії та цілком ймовірне звільнення. Мене після дванадцятої години нічного чергування до обіду мурижили, змушуючи писати пояснювальні. Оскільки в правду ніхто б не повірив, довелося придумати якийсь белькіт, що я через травму пережер знеболюючого і заснув. Начальник служби кричав на мене у своєму кабінеті, загалом, все йшло до звільнення — але вилилося у догану з депремуванням. Премій до тих часів у Мезі не бачили вже кілька років, тож шкоди ніякої я не зазнав.
Згадуючи епізод із приходом техдира: одного разу якось уночі в чергування забився якийсь жлоб і почав кричати, що ми сидимо незамкнені (черниця не повинна бути замкнена в принципі), що ми тут олені, і що до ранку від усіх нас він чекає пояснювальні про всі наші косяки. Цим жлобом був начальник служби безпеки, і від нього РАЗИЛО. Прорвавшись, начбез звалив у темряву, а вранці ми запитали свого начальника — мовляв, що робити? «Та н***й його шліть» — відповів той, і на цьому інцидент був вичерпаний.
Як я зламав відділ
У ті дні башорг (тоді ще bash.org.ru, а не те, що там зараз) був ресурсом культовим. Цитати там з'являлися майже по парі на місяць, і мати СВОЮ! ЦИТАТУ! НА БАШІ! було так само круто, як, скажімо, свій домен другого рівня року у двохтисячному. Той башорг був якось більш айтішно-анімешний, хоч смішним він був для всіх.
Щоранку наймолодшого інженера (тобто моє) починалося з читання башорга — тридцять секунд сміху перед дванадцятьма годинами страждання.
Одного разу колега запитав мене, над чим це я хихикаю. Я показав йому над чим. Він надіслав посилання по відділу.
Робота стала на пару днів: на мій подив ніхто з колег про баш до того моменту не знав. У чергуванні стояв регіт: «Ах-хаха-хаха, пропатчити KDE, ахаха-хаха!». «Ігого-го-го, топити ломи в ртуті, бгегегег!». Робочого дня було втрачено, з іншого боку — життя тоді продовжили знатно.
Бонус для тих, хто дочитав
Пам'ятаєте, у бородатий час був такий популярний анекдот «Бачу в Нортоні два диски C, думаю — навіщо мені два? Ну і стер один!». Він дуже нагадує одну із моїх улюблених історій, яку розповідаю не я, але мені. І щоразу смішно, як першого:
18+, але з пісні слів не викинеш
Постскриптум
Ці історії – оброблена компіляція деяких постів мого ТГ-каналу. Іноді там проскакує подібна дичина; я ні на що не натякаю, але все ж таки залишу.
Всім хорошій безфакапній п'ятниці!
Джерело: habr.com