Előzetes megjegyzés: ez a bejegyzés pusztán péntek, és inkább szórakoztató, mint technikai. Találhatsz vicces történeteket mérnöki hackelésekről, meséket a mobilkezelő munkájának sötét oldaláról és egyéb komolytalan suhogásról. Ha valamit ékesítek valahol, az csak a műfaj hasznát szolgálja, ha pedig hazudok, akkor ezek mind olyan régmúlt dolgok, hogy senkinek nem ártanak. De ha műszaki hibát vagy más hibát észlel, javítson ki könyörtelenül, én mindig az igazságosság oldalán álltam.
Внимание, начинаю без разгона!
Hátsó ajtó az udvarra
Az első emeleti szolgálati helyiségünkben nagy ablakok voltak, az alaptól és majdnem a mennyezetig. Kimentek a szolgálati parkolóba, ahonnan reggel mindenféle földmérő és egyéb terepi alkalmazott távozott. A parkoló az elejétől és az összes szervizbejárattól kellő távolságra, két sorompó mögött volt.
Как-то утром к зданию подъезжают тогда ещё милицейские машинки, на всех проходных встают милиционеры и проводят досмотр всех уходящих. В служебную рассылку прилетает алерт: внезапно (действительно внезапно, не как обычно) нагрянула проверка на лицензионность софта, будут досматривать рабочие станции. У кого что на компах есть пиратского — надо сносить вотпрямща!
Természetesen minden, ami az operációs rendszerekkel, az irodai és segédszoftverekkel kapcsolatos, többnyire licencelt volt. De nem mindent, nem mindig és nem mindenhol; Ami azt illeti, hogy az alkalmazottak mit telepítettek a céges laptopjaikra, az teljesen sötét történet. Rohantam ellenőrizni a kalózkodási területemen lévő autókat, gyorsan lebontottam valamit...
... És ebben az időben a mérnökök kapkodó és ideges léptekkel kezdenek belépni az ügyeletbe, laptopokkal és rendszermérnökökkel a karjukban. Az ajtón belépnek és kilépnek, vihognak a helyzet abszurditásán, az ablakon: minden bejáratot elzártak, de a törvény és a rend démonai nem gondoltak ilyen hátsó ajtóra. Így a számviteli osztály ellenőrzése közben (ahol minden példaértékű volt), az alkalmazottak mindent kihúztak, ami rossz volt.
Прошлое — там
Если вы заинтересовались и не закрыли вкладку — вот вам некоторая экспозиция происходящего во времени, пространстве и лицах. Я — прекрасно юный, зелёный, как лист щавеля, выпускник-айтишник, устроившийся работать в инженерную дежурку самарского «Мегафона» (который тогда был ещё и вовсе «МСС Поволжье»). Для меня это было первое настоящее соприкосновение с Техникой с большой буквы и Технарями с ещё более большой: будучи самым младшим чертёнком в этой адской кухне, я с восторгом наблюдал за работой многоопытных чертей инженеров, безуспешно пытаясь постичь их мудрость. Пока та мудрость не всочилась в мозговые поры, я мог только пыриться в кучу разномастных мониторингов, волнуясь каждый раз, когда там появлялось «красненькое».
Ha az itt említett szereplők közül bármelyik hirtelen felismeri magát, üdv!
Ha működik, ne érintse meg (de érintse meg, ha nem működik)
Az egyik fent említett szupertechnikus Misha Basov volt. A Megában eltöltött évek alatt sok jót és érdekeset hallottam róla abban a szellemben, hogy szinte az eredetnél állt és egy csomó folyamatot elindított. Nem sikerült rendesen kommunikálnom vele: szó szerint a személyzeti osztályon találkoztunk, amikor én hoztam az iratokat, ő pedig elvitte.
Az egyik megfigyelőrendszert, amellyel dolgoztunk, Misha írta. Nem igazán emlékszem, mit figyeltek ott, de azt tudom, hogy Misha írt egy ideiglenes megoldást, ami gyorsan állandósult. És ez jó: sok minden, amit az igazi technikusok a saját szükségleteikért sietve tesznek, rendben van. Ez a megfigyelés is mindenkinek megfelelt, minden támogatás vagy karbantartás nélkül dolgozott, bár senki sem tudta, hogyan.
Через пару лет после Мишиного увольнения мониторинг стал показывать пустую страницу.
Я сразу забил в набат. Старший смены забил в набат. Начальник сектора забил в набат.
Az osztályvezető riadót fújt. A szolgálat vezetője riadót fújt. Az osztályvezető megkocogtatta a csengőit. Az egész Volga-régió informatikai igazgatója meghallotta a csengetést, és azonnal megbeszélést hívott össze. Ott felhívta az osztályvezetőt. A szolgálat élére ugatott. Nem értve a probléma lényegét, felhívta az osztályvezetőt. Ez nem értve a történteket, felhívta az ágazatvezetőt, aki a műszakvezetőt. Nos, felém fordította a nyilat.
Как-то подменившись с дежурства, я отправился на это совещание. Сказано было много слов, был призван ответственный за мониторинги (ничего внятного мы не услышали), было вспомнено, что мониторинг писал Басов, что мониторинг очень важный, но что никто не понимает и не знает, как он работает… Всё свелось к тому, что нерабочую и непонятную систему надо убирать, а вместо этого внедрять проверенное решение от проверенного вендора.
Miközben mindez elhangzott, könyörögtem valakitől egy laptopért és SSH-hozzáférésért a szerverhez. Érdekelt, hogy a legendás Basov milyen szupermenő rendszert írt.
Amikor bemegyek, először megszokásból beírom:
df -hA parancs valami ilyesmit mond nekem:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% /
Megtisztítom a /var/logot, ami az évek során megtelt, frissítés figyelés - minden működik. Megjavította!
A találkozó megáll, összeomlik, és mindenki szétoszlik. Útközben az osztályvezető örvend, és bónuszt ígér!..
… Вместо премии я получил потом ментальный втык за то, что нечаянно обломил откат на заказ системы мониторинга от проверенного вендора.
Hol laknak a házak?
Az ügyeletes mérnökök egyik feladata a számítógéptermek elektronikus beléptetőkulcsainak ellenőrzése volt. A csarnokok akkoriban nagyon lenyűgöztek: szerverekkel és kapcsolóberendezésekkel megtöltött állványsorok, száloptikás és keresztkábelek sora (néhol tökéletesen lefektetve, másutt hihetetlen spagetticsomóvá változott), az állandó zümmögés klímaberendezések és álpadló, ami alatt kényelmes volt italokat hűteni... A csarnokok bejáratait nehéz, hermetikus ajtókkal zárták le, amelyek tűz esetén automatikus blokkolást biztosítanak. A be- és kilépést szigorúan rögzítették és aláírták, hogy kiderüljön, ki és miért van bent.
Ezekben a szobákban természetesen a „szuperházak” szerverszekrényei tetszettek a legjobban - két HP SuperDome 9000, amely számlázást biztosított. Két egyforma csomópont, az egyik mindig harci csomópont volt, a második pedig egy szinkron készenléti állapot. Csak az IP címekben volt különbség köztük, az egyik xxx45, a másik xxx46. Mindegyik mérnök ismerte mindkét IP-címet, mert ha valami történt a számlázási rendszerben, először meg kell nézni, hogy a szuperházak láthatók-e. A szuperházak láthatatlansága elképesztő.
Как-то утром подобный ахтунг случается. В течение двух секунд на обоих серверах исчезают все службы, биллинг схлопывается в ничто. Быстро проверяем сервера — пингуются, но на них реально ничего нет!
Не успеваем мы даже начать положенный комплекс мероприятий, как слышим громогласный ор "УБЬЮ, СТУДЕНТ!"; в дежурку вбегает архиадмин всея серваков, срывает с полки электронный ключ от машзала и бежит туда.
Ezt követően nagyon gyorsan a monitorozás normalizálódik.
Случилось вот что: новый сотрудник подрядной организации, конфигурировавший пачку новых виртуалок, ручками прописал им последовательные статические айпишники, от x.x.x.1 до x.x.x.100. «Студент» не знал о священных неприкасаемых адресах, а старожилам и в голову не приходило, что кто-то мог на них так покуситься.
Antispam szolgáltatás
Hú, éjszakai műszakok! Szerettem és utáltam őket, mert 50/50 volt: vagy ütemezett munka a berendezésen, ahol aktívan részt veszel, álmos agyú, remegő kézzel segítve a mérnököt, vagy csend és nyugalom. Az előfizetők alszanak, a berendezés működik, semmi sem romlott el, az ügyeletes ellazul.
Дежурство идёт по плану.
Как-то раз такое полночное спокойствие нарушает звонок на служебный телефон: здравствуйте, это из Сбербанка беспокоят, у нас перестала работать ваша симка, с которой оповещения наши рассылаются.
Ez nagyon régen volt, még az SMS-átjáró IP-kapcsolatainak bevezetése előtt. Ezért, hogy a Sber sms-t küldhessen a híres 900-as számáról, elővették a mellékelt SIM-kártyát (valószínűleg többet is), bedugták egy GSM modembe, és így működött.
Oké, elfogadtam a problémát és elkezdtem ásni. Először is megnézem a SIM kártya állapotát a számlázásnál, le van tiltva. Mi a fene - mellette van egy piros felirat: „DO NOT BLOCK” és egy link az általános fődémon parancsára. Hú, ez tényleg érdekes.
Проверяю причину блокировки, делаю брови домиком и путешествую в соседний кабинет, где пялится в мониторчик девочка из фрод-отдела.
– Lenochka – mondom neki –, miért blokkoltad a Sberbankot?
Zavarban van: azt mondják, érkezett egy panasz, hogy a 900-as számról érkezett spam. Hát leblokkoltam, reggel elintézik.
És azt mondod - az előfizetői panaszokat figyelmen kívül hagyják!
Симку обратно включили, конечно.
Nagyon ijesztő történet
Когда я только устроился на работу, мне и другим новичкам провели что-то вроде ознакомительной экскурсии. Показали оборудование: сервера, кондеи, инверторы, пожаротушение. Показали базовую станцию, стоявшую в одном из машзалов для опытов, пояснив, что хотя передатчики включаются на минимальной мощности, лучше за экранированную дверь в это время не входить. Пояснили за устройство мобильной сети, про питание основное и резервное, про отказоустойчивость и про то, что сеть спроектирована так, чтобы работать даже после атомной бомбардировки. Не знаю, для красного словца это было сказано, или правда, но в голове это отложилось.
И действительно: какой бы ахтунг иногда не творился локально, поволжская голосовая сеть работала всегда беспрерывно. Я не связист, но в курсе, что оборудование (и базовые станции, и клиентские терминалы) рассчитано на максимальную выживаемость «голоса». Отключилось питание на БС? Она снизит мощность, перейдёт на ДГУ/аккумуляторы, отключит передачу пакетного трафика, но голос будет идти. Порезали кабель? База перейдёт на радиоканал, которого для голоса хватит. Телефон потерял БС? Он увеличит мощность и будет щупать эфир, пока не зацепится за вышку (или пока не высадит батарею). И т.д., и т.п.
Но однажды в офисе мигнул свет, а на улице затарахтели дизель-генераторы. Все ринулись перепроверять свои железки: по IT-части ничего критичного не случилось, а вот с мониторинга БС раздалось озадаченное «опаньке». И потом: «парни, у нас ВСЕ базы легли, проверьте связь».
Elővesszük a mobiltelefonunkat - nincs jel.
IP-telefóniával próbálkozunk – nincs hozzáférés a mobilkommunikációhoz.
Сети нет. Вообще. Нигде.
Emlékeztem az atombombázásról szóló szavakra, tudat alatt néhány másodpercig vártam, hogy elérjen minket a lökéshullám - valamiért nem tudtam más okot elképzelni a hálózat elvesztésére. Egyszerre volt ijesztő és kíváncsi: valahogy megértettem, hogy nem lesz időm semmire. A többi srác is elképedt, senki sem értett semmit.
Взрывной волны не было. После пятисекундного шока рванулись к имеющемуся на такой вот случай телефону проводной городской сети, принявшись обзванивать региональные офисы. Городская сеть, к счастью, работала, но в регионах подтверждали: вся Самара «мёртвая», ни железки не пингуются, ни дозвон не идёт.
Öt perccel később az egyik energetikus hozta a hírt: valahol tűz ütött ki egy erőműben, ami legalább az egész Szamarát, és valószínűleg a régiót is lekapcsolta. Kilélegzett; és amikor megtörtént a tartalék teljesítményre való váltás, még belélegeztek.
Egy újabb ijesztő (de kicsit hülye) történet
A legnagyobb fakap az emlékezetemben a következő egyenes során történt a most nullázottal. Akkoriban még csak bevezették az SMS-ben történő kérdésküldés funkcióját, így előre felkészültek a hálózat terhelésének megugrására: mindent átellenőriztek és előkészítettek, X. nap előtt egy egész héttel betiltottak minden munkát. kivéve a sürgősségieket. Hasonló protokollt használnak minden olyan esetben, amikor megnövekedett terhelés várható, például ünnepnapokon. Az ügyeletes mérnökök számára pedig egy szabadnap, mert ha nem nyúlnak hozzá a berendezéshez, nem történhet vele semmi, sőt, ha megtörténik, minden szakember minden esetre előre beül az irodába.
Általában ülünk, hallgatunk a nemzeti vezetőre, és nem törődünk semmivel.
A kapcsolótábla kezelőitől halk „F***” hallatszik.
Magamra nézek – ez tényleg „f***”: az egyetemi hálózat leromlott.
Через секунду умирает вообще всё (тогда ещё не было мемасика про Наташу и котов, а он бы пригодился). Пропадает пользовательский сегмент сети, пропадает технологический. С возрастающим ужасом пытаемся проверить, что осталось в рабочем состоянии, а проверив, тянемся к шкафчику за спрятанной бутылкой лечебного коньяка: остались только голосовые вызовы (я ж говорил, они живучи!), всё остальное — сдохло. Нет интернета — ни абонентского GPRS, ни на оптике, которая отводится нескольким субпровайдерам. Не отправляются СМС. Жопа! Обзваниваем регионы — у них сеть есть, но Самару они не видят.
Fél órán belül szinte kézzelfoghatóvá vált a világvége. Tízmillió ember, akiknél hirtelen minden elromlik, és akik nem tudnak bejutni a telefonközpontba, mert a telefonközpont hangtermináljai VOIP-on keresztül működnek.
És ez a legsötétebb uralkodó beszéde közben! Újabb győzelmet aratott a külügyminisztérium és személyesen Obama!
Дежурившие технари подорвались с низкого старта и отработали очень чётко: в течении часа сеть ожила.
Egy ilyen razzia nem regionális, de még csak nem is regionális szintű, állítólag minden részlettel és az elkövetők kiadatásával jelenteni kell Moszkvának. Ezért a nyomozásban részt vevőknek az elbocsátás terhe mellett megtiltották az igazat, és a Polgári Védelem számára készült egy vízzel és köddel teli jelentés, amiből valahogy kiderült, hogy „ez ő maga, senki az a hibás.”
Что было на самом деле: у одного из начальников ехали сроки внедрений и обламывались премии за них. И начальнику начальника обламывались, и так далее; поэтому надавили на одного из новых инженеров, велев ему провести требуемые сетевые включения «пока всё тихо». Инженер не осмелился возражать, или хотя бы потребовать письменный приказ: это была его первая ошибка. Вторая — он ошибся при удалённой конфигурации циски, достигнув рекордных результатов по факапу в кратчайшие сроки.
Насколько известно мне — наказали никого.
Ünnepség a számunkra
Az ünnepek, mint már említettem, mindig is különleges napok voltak számunkra. Ilyen napokon a hálózat terhelése meredeken növekszik, a gratuláló hívások és SMS-ek száma átmegy a tetőn. Nem tudom, hogy van ez most, az internetes kommunikáció fejlődésével, de akkor egyedül újév napján nagyon jelentős büntetést szedtek le az opsók a gratuláló hívásokra.
Поэтому в новогоднюю ночь в офисе обязательно дежурили инженеры всех подразделений (а вне офиса — бригады, готовые щемиться сквозь сугробы на устранение аварии на базовой станции в деревне малые дрищи). Биллингисты, админы железячные, сантехники по софту, сетевики, коммутёры, сервисники, саппорт подрядчиков — каждой твари по твари. И если позволяли условия, то они тусовались у нас же в дежурке, наблюдая на наших устройствах мониторинга за всплесками трафика, идущего вслед за часовыми поясами по всему Поволжью.
Éjszakánként három-négy alkalommal ünnepeltük az újévet, ez azonban nem annyira ünneplés, mint inkább ideges várakozás volt: bírja-e a berendezés a túlterhelést, elszakad-e a bonyolult technikai lánc valamelyik láncszeme...
Sasha, aki a számlázásért volt felelős, különösen ideges volt. Elvileg mindig úgy nézett ki, mintha az egész élete egy nyers idegszálon telt volna, mert neki kellett rendbe tennie a számlázással kapcsolatos minden jót, felelősséget vállalnia minden akadályért, gyakrabban ébresztik fel, mint másokat. éjszaka; általában fogalmam sincs, hogyan és miért dolgozott ott, ahol dolgozott. Talán sok pénzt fizettek neki, vagy a családot túszul ejtették. De aznap este igazából az volt az érzésem, hogy ha egy körömmel rákattansz Sashára, akkor a benne felgyülemlett belső feszültségtől porrá omlik. Ilyen kellemetlen esetre van seprűnk, de közben nekiállunk a munkának, nyaljuk a sorunkra váró konyakot.
Час за часом прошли все всплески нагрузки, все принялись перепроверять свои системы. Коммутёр бледнеет: на одном из региональных коммутаторов пропал весь биллинговый трафик. А это — данные о всех вызовах, прошедших через коммутатор; они пишутся в файлик, который чанками по FTP (кондово, но надёжно) выкачивается на BRT для тарификации.
Коммутёр, представив, какого объёма скипидарную клизму ему поставят за потерю части новогодней выручки по целому региону, аж задрожал. Повернувшись к Саше, он обратился к сиятельному господину биллингисту полным волнительной надежды голосом: «Саша, посмотри пожалуйста, может BRT успел выкачать тарификацию? А, ну посмотри, пожалуйста!».
Саша пригубил коньяку, закусил его икорным бутербродом, не спеша прожевал и, закатывая глаза от удовольствия, обусловленного тем, что косяк не у него, ответствовал: «Я уже проверил, файлов нету…».
(Мой чудесный корректор спросила о том, что же потом стало с бедным коммутёром. О, судьба его была ужасна: его приговорили к неделе дежурств на первой линии поддержки колл-центра, запретив материться. Бр-р-р!)
Dobj követ, aki bűntelen
E történetek alapján az a benyomásom támadhat, hogy sem én személy szerint, sem a többi szolgálatban lévő nem volt felelős. Semmi ilyesmi, szívtak, de valahogy érdekes eposz és következmények nélkül. A tegnapi, ész és tapasztalat nélküli hallgatók számára megfelelőnek tartották a munkát, egy ilyen alkalmazotttól nem lehetett mit elvenni, kirúgták egy közösért - így nem tény, hogy okosabb lesz. De az ügyeletben elkövetett hibáik hibáztatása külön sportág volt a mérnökök számára: eltévesztették a célt, nem jöttek rá, nem értesítették őket időben, ezért megbüntették őket. Az „ügyeletes tiszt” tökéletesen elsajátította a kifogások mesterségét, nem mindig sikerült, de mindenki mindent értett. Ezért berepült - de általában komoly következmények nélkül.
Egy újabb „kudarcot” rendezünk a műszakváltásnál.
Több éves ottani munkám során három esetre emlékszem, amikor valakit elbocsátottak az osztályról.
Однажды инженер в ночную смену решил жахнуть пивка, а тут в дежурку возьми и зайди технический директор. Он иногда мог вот так зайти по-простому поздороваться (вроде как сам с дежурных начинал). Спалил парня с банкой пива, щёлк на телефон, увольнение. Больше пива по ночам не пили.
Другой раз дежурный коммутаторщик какую-то сильно страшную аварию проморгал. Подробностей уже не помню.
És harmadszor - az ottani munkám végén. A munkakörülmények nagyon megromlottak, vad fluktuáció és szörnyű túlórák voltak. Az emberek néha 12 órát dolgoztak, majd XNUMX órát aludtak, és ismét napi szolgálatba álltak. Jómagam így dolgoztam, amíg egészségem engedte, és fizették; aztán tényleg abbahagyták a túlórák fizetését (szokás szerint kompenzációt ígértek szabadsággal, ha lehetett - de mindenki megértette, hogy sétálni soha senki nem megy), és szinte fenyegetéssel kényszerítették ki őket a szolgálatból. Egy mérnök nem bírta a kakukkot, műszak kellős közepén felkelt a munkahelyéről és örökre hazament, útközben benézett a szolgálatvezető irodájába, és küldött neki egy hárombetűs levelet. Emlékszem egy postára, amiben ezt a mérnököt fasisztának és hazaárulónak bélyegezték utólag, minden sorban az volt olvasható, hogyan égették meg a hatóságokat egy ilyen tett.
Касаемо моих персональных факапов — один случай своей необычностью запомнился. Опять же, ночное дежурство, всё тихо, ничего не происходит. На пересменке проверяем мониторинг: упс, ночью упала обработка данных с коммутаторов, хорошо так и давно горит красная лампочка. Я всю ночь смотрел на этот сигнал — и не воспринимал его что ли. При всём том, что это был один из самых очевидных и наглядных мониторингов, я до сих пор не понимаю, почему не видел.
Itt nem lehetett kifogást keresni, az ízület tiszta és száz százalékos volt, ötödik kategóriás baleset és elég valószínű elbocsátás. Tizenkét óra éjszakai szolgálat után ebédig zaklattak, és magyarázó jegyzetek írására kényszerítettek. Mivel senki sem hiszi el az igazságot, ki kellett találnom valami csacsogást, hogy egy sérülés miatt túlzásba vittem a fájdalomcsillapítót és elaludtam. A szolgálatvezető kiabált velem az irodájában, általában minden az elbocsátás felé tartott - de ez megrovásban és bónusz megvonásban járt. Addigra a Mega több éve nem látott bónuszokat, így nem szenvedtem kárt.
Felidézve az epizódot a műszaki igazgató érkezésével: egyik este valami redneck összekuporodott az ügyeletben, és elkezdett kiabálni, hogy zárva ülünk (az ügyeletet elvileg nem szabad bezárni), hogy itt szarvasok vagyunk, és a reggel mindannyiunktól magyarázó megjegyzéseket várt minden hibánkról. Ez a redneck a biztonsági szolgálat vezetője volt, és STOKOTT. Kiabálás után a biztonsági főnök elszaladt a sötétbe, és reggel megkérdeztük a főnökünket: „Mit tegyünk?” „Csárd meg” – válaszolta, és ezzel véget is ért az eset.
Hogyan törtem össze az osztályt
В те дни башорг (тогда ещё bash.org.ru, а не то, что там сейчас где) был ресурсом культовым. Цитаты там появлялись чуть ли не по паре в месяц, и иметь СВОЮ! ЦИТАТУ!!! НА БАШЕ!!! было столь же круто, как, скажем, свой домен второго уровня году в двухтысячном. Тот башорг был как-то больше айтишно-анимешный, хотя смешным он был для всех.
A legfiatalabb mérnök (vagyis az enyém) minden munka reggele bashorg olvasásával kezdődött – harminc másodperc nevetés tizenkét órányi szenvedés előtt.
Egy kolléga egyszer megkérdezte, min röhögök. Megmutattam neki mit. Elküldte a linket az osztályon.
Pár napra leállt a munka: meglepetésemre egyik kollégám sem tudott a bashról addig a pillanatig. Az ügyeletben nevetés hallatszott: „Ah-haha-haha, patch KDE, ahaha-haha!” "Igogo-go-go, fojtsd higanyba a feszítővasakat, bgegegeg!" Egy munkanap elveszett, másrészt jelentősen meghosszabbodott az életük.
Bónusz azoknak, akik befejezik az olvasást
Emlékszel, a szakállas időkben volt egy ilyen népszerű vicc: „Két C meghajtót látok Nortonban, azt hiszem – miért kell nekem kettő? Nos, töröltem egyet!” Nagyon emlékeztet az egyik kedvenc történetemre, amit nem én mesélek, hanem én. És minden alkalommal olyan vicces, mint az első:
18+, de nem tudod kitörölni a szavakat a dalból
utóirat
Эти истории — обработанная компиляция некоторых постов моего ТГ-канала. Иногда там проскакивает подобная дичь; я ни на что не намекаю, но всё же оставлю.
Kellemes, nem fasz pénteket mindenkinek!
Forrás: will.com