Předběžné upozornění: tento příspěvek je čistě páteční a spíše zábavný než technický. Čekají vás zábavné příběhy o inženýrských selháních, historky z temné stránky práce mobilnímu operátora a další lehkomyslné šumy. Pokud někde něco zveličím, tak jen ve prospěch žánru, a pokud zalžu, všechno to jsou záležitosti, které patří do minulosti, takže nikomu to neublíží. Pokud si však všimnete technické nebo jiné chyby, neváhejte mě opravit, vždy jsem stál na straně spravedlnosti.
Pozor, začínám bez rozjezdu!
Backdoor do dvora
Na naší služebně v prvním patře byla velká okna, od soklu téměř až ke stropu. Vedla na služební parkoviště, odkud ráno odjížděly různé měřiče a další terénní pracovníci. Parkoviště bylo dostatečně daleko od hlavního vchodu a všech služebních vstupů, navíc za dvěma závory.
Jednoho rána k budově přijížděly tehdy ještě policejní auta, na všech vrátnicích stáli policisté a prováděli prohlídky všech odcházejících. Na služební rozesílku dorazil alert: náhle (opravdu náhle, ne jako obvykle) přišla kontrola na licencování softwaru, budou prohlížet pracovní stanice. Kdo má na počítačích něco pirátského, musí to okamžitě odstranit!
Samozřejmě, co se týče operačních systémů, kancelářského a firemního softwaru — většinou to bylo licencované. Ale ne všechno, ne vždy a ne všude; a co si zaměstnanci nainstalovali na služební notebooky — to je úplně jiný příběh. Pustil jsem se do kontroly strojů ve své zóně zodpovědnosti na pirátství, něco rychle odstraňoval…
… A v té době do služby spěchali inženýři, s notebooky a systémovými jednotkami v náručí. Vstupovali dveřmi, a vycházeli, smějící se absurdnosti situace, oknem: všechny vchody byly uzavřeny, ale na tento backdoor si démoni práva nevzpomněli. Tak, zatímco probíhala kontrola účetnictví (kde všechno bylo příkladně ukázkové), zaměstnanci všechno nelegální odnesli.
Minulost — tam
Pokud vás to zaujalo a nezavřeli jste kartu – zde je trochu expozice dění v čase, prostoru a postavách. Jsem mladý, zelený jako šťovík, absolvent IT, který začal pracovat na inženýrské směně v samarském "Megafonu" (který tehdy byl ještě "MCC Volha"). Pro mě to bylo první skutečné setkání s Technologií s velkým T a Technikou s ještě větším: jakožto nejmladší čertík v tomto pekelném prostředí jsem s nadšením pozoroval práci zkušených čertů inženýrů, marně se snaže pochopit jejich moudrost. Dokud se ta moudrost nevruhla do mozkových pórů, mohl jsem jen zírat na hromadu různorodých monitorovacích systémů, pokaždé se nervózně ohlížející, když se tam objevilo "červené".
Pokud se některá z postav, které zde byly zmíněny, náhodou pozná – pozdravujte!
Pokud to funguje – nesahají (ale sahají, pokud to nefunguje)
Jedním z těchto nadmíru technických lidí byl Miša Basov. Během let práce v "Měge" jsem o něm slyšel mnoho dobrého a zajímavého v tom smyslu, že stál téměř u samotných základů a spustil spoustu procesů. S ním jsem se pořádně seznámit nedokázal: potkali jsme se doslova na personálním oddělení, když jsem přinesl dokumenty a on je odebíral.
Jeden z monitorovacích systémů, se kterými jsme pracovali, byl napsán Mišou. Už si moc nepamatuji, co se tam monitorovalo, ale vím, že Miša napsal dočasné řešení, které se rychle stalo trvalým. A to je v pořádku: mnoho z toho, co praví technici dělají pro své vlastní potřeby na rychlo, se ukazuje jako skvělé. Ten monitorovací systém také všem vyhovoval, fungoval bez jakékoli podpory a údržby, pravda, nikdo nevěděl jak.
Pár let po Mišově odchodu monitorování začalo zobrazovat prázdnou stránku.
Okamžitě jsem vyhlásil poplach. Vedoucí směny vyhlásil poplach. Vedoucí sektoru vyhlásil poplach.
Vedoucí oddělení dal na poplach. Vedoucí služby dal na poplach. Vedoucí oddělení zazvonil zvonečky. Zvuk uslyšel IT ředitel celého Povolží a okamžitě svolal poradu. Zavolal na ni vedoucí oddělení. Ten zařval na vedoucího služby. Ten, nerozumějící podstatě problému, zavolal vedoucího oddělení. Ten, nechápajíc, co se stalo, zavolal vedoucího sektoru, který přivolal vedoucího směny. No a ten to přehodil na mě.
Jednou, když jsem se vyměnil na směně, vyrazil jsem na tuto poradu. Bylo řečeno mnoho slov, byl povolán odpovědný za monitorování (nic pochopitelného jsme neslyšeli), vzpomnělo se, že monitorování psal Basov, že monitorování je velmi důležité, ale že nikdo nechápe a neví, jak to funguje… Všechno to spělo k tomu, že nefunkční a nepochopitelný systém je třeba odstranit a místo toho implementovat osvědčené řešení od ověřeného dodavatele.
Zatímco se to všechno říkalo, vyprosil jsem si od někoho notebook a ssh přístup na ten server. Zajímalo mě, jaký super úžasný systém napsal legendární Basov.
Vstupuji, první, co dělám zvyku, je napsat:
df -hTým mi odpovídá něco jako:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% / Čistím přeplněný za roky /var/log, aktualizuji monitorování — všechno funguje. Opraveno!
Porada se zastaví, zhuští, všichni se rozcházejí. Po cestě se vedoucí oddělení raduje a slibuje mi prémii!..
… Místo prémie jsem pak dostal mentální výchovu za to, že jsem náhodou zablokoval návrat na systém monitorování od ověřeného dodavatele.
Kde žijí domečky
Jednou z povinností stážistů bylo kontrolovat elektronické přístupové klíče do strojoven. Samotné místnosti mě tehdy velmi fascinovaly: řady skříní plných serverového a komunikačního vybavení, linie optických kabelů a křížových kabelů (někde — dokonale uložené, někde — proměněné v neuvěřitelnou hromadu špaget), stálý hluk klimatizací a falešné podlahy, pod kterými bylo tak pohodlné chladit nápoje… Vchody do místností se uzavíraly těžkými hermetickými dveřmi, které měly zajistit automatickou blokaci při požáru. Vstup a výstup byl přísně protokolován pod podpisem, aby bylo známo, kdo a proč je teď uvnitř.
Nejvíce se mi v těchto prostorách samozřejmě líbily servery „superdomků“ — dva HP SuperDome 9000, které zajišťovaly billing. Dvě identické uzly, jedna vždy byla provozní, zatímco druhá sloužila jako synchronní horká rezerva. Rozdíl mezi nimi byl pouze v IP adresách, jedna byla x.x.x.45, druhá — x.x.x.46. Obě tyto IP adresy znali všichni inženýři, protože pokud se na billingu něco stalo — první, co se dělá, je zkontrolovat, zda jsou superdomky viditelné. Neviditelnost superdomků — to je alarm.
Jednoho rána se něco takového stane. Během dvou sekund na obou serverech zmizí všechny služby, billing se zhroutí do nicoty. Rychle kontrolujeme serveru — pingují, ale ve skutečnosti na nich není nic!
Ani nestačíme začít s plánovanými opatřeními, když slyšíme ohromný výkřik "ZABIJU, STUDENTE!"; do služebny vtrhnul archiadmin všech serverů, popadl elektronický klíč od strojovny a běžel tam.
Velmi rychle poté se monitoring vrátí do normálu.
Stalo se toto: nový zaměstnanec subdodavatelské firmy, který konfiguroval balík nových virtuálek, ručně jim přiřadil sekvenční statické IP adresy od x.x.x.1 do x.x.x.100. „Student“ nevěděl o svatých nedotknutelných adresách a starousedlíkům ani na mysl nepřišlo, že by někdo na ně mohl takto zaútočit.
Služba „Antispam“
Ach, noční směny! Miloval jsem je a zároveň nenáviděl, protože to bylo 50/50: buď plánované údržbové práce na zařízení, kde se aktivně podílíte, s ospalými myšlenkami a třesoucíma se rukama pomáháte inženýrovi, nebo ticho a klid. Odběratelé spí, zařízení funguje, nic se nerozbíjí, dispečer je uvolněný.
Služba probíhá podle plánu.
Jednou v noci toto klidné období naruší telefonát na služební telefon: dobrý den, to volají ze Sberbanky, vaše SIM karta, s níž se rozesílají naše oznámení, přestala fungovat.
To bylo dávno, ještě před zavedením IP připojení k SMS bráně. Proto, aby Sber mohl poslat SMS z jejich slavného čísla 900, brali dodanou SIM kartu (pravděpodobně dokonce více než jednu), zasunuli ji do GSM modemu a takto pracovali.
Dobře, problém jsem přijal a začal pátrat. Jako první kontroluji stav SIM karty v billingovém systému, ta je zablokovaná. Co to má znamenat — vedle červený nápis "NENÍ BLOKOVAT" a odkaz na příkaz generálního archidémona. Uf, zajímavé.
Zkoumám důvod blokace, dělám zamračený obličej a mířím do vedlejší kanceláře, kde se na monitor dívá dívka z oddělení podvodů.
"Leničko," říkám jí, "proč jsi zablokovala Sberbank?"
Ona v úplné nevědomosti: prý přišla stížnost, že z čísla 900 jde spam. No a já jsem to zablokovala, ráno bychom se na to podívali.
A vy říkáte, že se stížnosti od předplatitelů ignorují!
SIM kartu samozřejmě opět zapli.
Velmi strašidelný příběh
Když jsem se teprve nastoupil do práce, nám a dalším nováčkům udělali něco jako uvítací prohlídku. Ukázali nám zařízení: servery, klimatizace, invertory, protipožární ochranu. Ukázali základnovou stanici, která stála v jednom z experimentálních strojních sálů, vysvětlili nám, že i když se vysílače zapínají na minimální výkon, je lepší v tuto chvíli nevstupovat za stíněné dveře. Pověděli nám o zřízení mobilní sítě, o hlavním a záložním napájení, o odolnosti vůči poruchám a o tom, že síť je navržena tak, aby fungovala i po jaderném bombardování. Nevím, zda to bylo řečeno pro dramatický efekt, nebo to byla pravda, ale zůstalo mi to v paměti.
A skutečně: jakýkoli chaos by se tu občas nedělo, povolžská hlasová síť pracovně vždy neustále. Nejsem spojista, ale vím, že zařízení (jak základnové stanice, tak zákaznické terminály) jsou navržena na maximální přežití "hlasu". Odpojí se napájení na B.S.? Sníží výkon, přepne na DGU/akumulátory, vypne přenos paketového provozu, ale hlas poběží. Přestřihli kabel? Základna přejde na radiokanál, který bude pro hlas dostačovat. Telefon ztratil základnu? Zvýší výkon a bude prozkoumávat spectrum, dokud se nezachytí na věž (nebo dokud se nevybíjejí baterie). A tak dále.
Ale jednoho dne v kanceláři se světlo zablýsklo a venku začaly bručet dieselové generátory. Všichni se vrhli znovu zkontrolovat svá zařízení: co se týče IT, nic kritického se nestalo, ale z monitoringu B.S. se ozvalo zmatené „opáčko“. A pak: „kluci, máme VŠECHNY základny dole, zkontrolujte spojení."
Vytahujeme mobilní telefony — není signál.
Zkoušíme IP telefonii — na mobilní spojení není žádný výstup.
Síť není. Vůbec. Nikde.
Vzpomněvši si na slova o atomovém bombardování, podvědomě jsem několik sekund čekal, než k nám dojde tlaková vlna — jiný důvod, proč by síť mohla zmizet, mě nějak nenapadl. Bylo to zároveň děsivé a zvědavé: jaksi jsem chápal, že stejně nic nestihnu. Ostatní kluci byli také zkoprnělí, nikdo nic nechápal.
Tlaková vlna nebyla. Po pětisekundovém šoku jsme se vrhli k telefonu městské pevné sítě, abychom zavolali regionálním kancelářím. Městská síť, naštěstí, fungovala, ale v regionech potvrdili: celé Samara je „mrtvé“, žádné zařízení nereaguje, ani se nedá dovolat.
Po pěti minutách někdo z energetiků přinesl novinku: bouchlo to někde na elektrárně, bez proudu je minimálně celé Samara, možná i oblast. Vydýchli jsme; a když došlo k přepnutí na záložní zdroje — tak jsme dokonce i vydechli.
Další děsivý (ale trochu hloupý) příběh
Největší chyba, kterou si pamatuji, se stala během dalšího přímého přenosu s nyní zrušeným. Tehdy právě zaváděli funkci posílání otázek SMS zprávami, takže jsme se na nárůst zatížení sítě připravili předem: všechno důkladně zkontrolovali a připravili, a celou jednu týden před dnem X zakázali všechny práce kromě havarijních. Takový protokol se nasazuje v jakýchkoli případech, kdy se očekává zvýšené zatížení, například — v průběhu svátků. A pro pohotovostní inženýry je to jedno, co je víkend, protože když se zařízení nedotýká, nemůže se nic stát, a pokud i ano — všichni odborníci na každou náhodu sedí v kanceláři.
Celkově sedíme, posloucháme národního vůdce, nic nás netrápí.
Z druhé strany od přepínačů se ozývá tichá fráze „P***t“.
Sleduji k sobě — opravdu „p***t“: odpadla kampusová síť.
Za sekundu umírá vůbec všechno (tehdy ještě nebyl mem o Natalii a kočkách, ten by se hodil). Ztrácí se uživatelský segment sítě, mizí technologie. S rostoucím hrůzou se snažíme zjistit, co zůstalo v provozuschopném stavu, a po prověření saháme ke skříni pro schovanou láhev léčivého koňaku: zůstaly jen hlasové hovory (říkal jsem, že jsou odolné!), všechno ostatní – chcíplo. Není internet – ani abonentský GPRS, ani optika, která patří několika subposkytovatelům. SMS se nenasílají. To je katastrofa! Obvoláváme regiony – mají tam síť, ale Samara je nevidí.
Během půl hodiny se konec světa stal téměř hmatatelným. Deset milionů lidí, kterým se najednou všechno rozbilo, a kteří se nemohou dovolat do call centra, protože v call centru hlasové terminály fungují přes VOIP.
A to během vystoupení nejtemnějšího vládce! Další vítězství státního departamentu a osobně Obamy!
Technici na směně se rychle vzpamatovali a pracovali velmi precizně: během hodiny síť ožila.
Takový zádrhel to není oblastní, ani regionální úroveň, o takovém je třeba hlásit do Moskvy se všemi podrobnostmi a s uváděním viníků. Proto ti, kdo se podíleli na vyšetřování, byli zakázáni říkat pravdu pod hrozbou vyhazovu, a pro státní orgány byl sepsán report, plný vody a mlhy, podle kterého to jaksi vyšlo, že „se to stalo samo, nikdo není vinen“.
Co se ve skutečnosti stalo: u jednoho z vedoucích se blížily termíny implementací a byly mu zrušeny prémie za ně. A tak vedoucímu vedoucího byly zrušeny, a tak dál; proto zatlačili na jednoho z nových inženýrů, aby provedl požadovaná síťová zařízení „dokud je všechno klidné“. Inženýr si netroufl odporovat, nebo alespoň požadovat písemný příkaz: to byla jeho první chyba. Druhá – chyboval při vzdálené konfiguraci cisky, dosáhl rekordních výsledků v průšvihu během nejkratšího času.
Jak mi je známo – nikoho nepotrestali.
Svátky k nám přicházejí
Svátek, jak jsem již zmínil, byl pro nás vždy výjimečnými dny. V takových dnech se výrazně zvyšuje zatížení sítě, počet gratulačních hovorů a SMS se neúměrně zvyšuje. Nevim, jak je tomu nyní s rozvojem internetové komunikace, ale tehdy v jednu jedinou Silvestrovskou noc operátoři zaznamenali velmi významný nárůst gratulačních hovorů.
Proto byl na Silvestra v kanceláři vždy přítomen inženýr z každého oddělení (a mimo kancelář byli pohotovostní týmy, připravené se probíjet skrz závěje sněhu, aby odstranily havárii na základnové stanici v obci Malé Drišči). Účtovači, správci hardwaru, softwaroví technici, síťoví specialisté, komutátoři, servisní technici, podpora dodavatelů — každý měl svou roli. A pokud to podmínky dovolily, setrvali s námi na pohotovosti a sledovali naše monitorovací zařízení, jak reagují na nárazy provozu jdoucí v souladu s časovými pásmy po celém Povolží.
Třikrát nebo čtyřikrát za noc jsme vítali nový rok, pravda, v tom nebylo tolik slavnostní atmosféry, kolik nervozity: zda zařízení vydrží nadměrné zatížení, zda se nějaký článek složitého technického řetězce nerozpadne…
Zvlášť nervózní byl Saša, který měl na starosti billing. V podstatě vždy vypadal, jako by celý jeho život probíhal na odkrytém nervu, protože musel řešit všechny problémy, které se s billingem děly, odpovídat na všechny chyby, často ho budili v noci; zkrátka si nedokážu představit, jak a proč tam pracoval. Možná mu platili hodně peněz, nebo měl rodinu jako rukojmí. Ale tu noc jsem měl celkově pocit, že pokud na Sašu zaklepu nehtem, tak se z nahromaděného vnitřního napětí rozpadne na prach. Na takový nepříjemný případ máme koště, ale zatím — pracujeme, přičemž se díváme na očekávající koňak.
Hodina za hodinou prošly všechny výkyvy zatížení, všichni začali znovu kontrolovat své systémy. Komutátor zblednul: na jednom z regionálních komutátorů zmizel veškerý billingový provoz. A to jsou data o všech hovorech, které komutátorem prošly; zapisují se do souboru, který se po částech pomocí FTP (je to primitivní, ale spolehlivé) stahuje na BRT pro účely tariface.
Když si operátor představoval, jaké objemy terpentýnové klystýry mu přichystají za ztrátu části novoročního výnosu v celém regionu, až se třásl. Otočil se k Sašovi a oslovil vznešeného pána billingistu plným vzrušené naděje hlasem: „Sašo, podívej se prosím, jestli už BRT vyčerpala tarifaci? No, prosím, podívej se!“.
Saša si lokl koňaku, zakousl ho ikrovým sendvičem, pomalu žvýkal a, zavíraje oči od blaženosti způsobené tím, že problém není u něj, odpověděl: „Už jsem to zkontroloval, žádné soubory nejsou…“.
(Moje úžasná korektorka se ptala, co se stalo s chudákem operátorem. Ó, jeho osud byl hrozný: odsoudili ho k týdnu směn na první linii podpory call centra, přičemž mu zakázali nadávat. Brrr!)
Hoďte kamenem, kdo je bez viny.
Z těchto příběhů by se mohlo zdát, že ani já osobně, ani ostatní služebníci jsme neudělali žádné chyby. Nic podobného, chyby se dělaly, ale nějak bez zajímavého epiku a následků. Práce byla považována za vhodnou pro včerejší studenty bez mozku a zkušeností, od takového zaměstnance nebylo co vzít, vyhodit za chybu — tak nový, není jisté, že bude chytřejší. Avšak svádění svých chyb na „službu“ bylo u inženýrů určitou sportovní disciplínou: zpoždění, nepochopení, pozdní informování, tak je trestejte. „Služba“ perfektně zvládla vědu obhajování, ne vždy to vyšlo, ale všichni rozuměli. Proto co se stalo — ale zpravidla bez vážných následků.
Analyzujeme další „přehmat“ na směnném střídání.
Za několik let práce zde si vzpomínám na tři případy, kdy někoho z oddělení propustili.
Jednou se inženýr na noční směně rozhodl dát si pivo, a v tu dobu do služby vtrhl technický ředitel. Někdy mohl takhle přijít jednoduše pozdravit (jakoby on sám začínal mezi služebníky). Chytil kluka s plechovkou piva, klik na telefon, výpověď. Už se nepilo pivo v noci.
Jinýkrát služební operátor nějakou hodně strašnou nehodu prošvihnul. Podrobnosti už si nepamatuji.
A potřetí – už ke konci mé práce tam. Pracovní podmínky se velmi zhoršily, byl obrovský fluktuace a hrozné přesčasy. Lidé někdy pracovali 24 hodin, pak šli spát na 12 hodin a opět se vraceli na 24hodinovou směnu. I já jsem tak pracoval, dokud mi to zdraví dovolilo a bylo to placené; pak prakticky přestali platit přesčasy (standardně slibovali kompenzaci volnem, když bude příležitost – ale všichni věděli, že nikdo nikdy nevyrazí), a na směny nás vyháněli skoro hrozbami. Jednomu inženýrovi to nevydrželo, vstal uprostřed směny, odešel domů navždy, po cestě nakoukl do kanceláře vedoucího služby a poslal ho do háje. Pamatuji si e-mailovou zprávu, v níž tohoto inženýra zpětně označili za fašistu a zrádce, v každé větě bylo cítit, jak to vedení toto jednání rozčílilo.
Pokud jde o mé osobní chyby – jeden případ si svou neobvyklostí zapamatoval. Opět noční směna, všechno ticho, nic se neděje. Na směnové kontrole kontrolujeme monitoring: ups, v noci došlo k poklesu zpracování dat ze switchů, dobré, že červená kontrolka svítí už dlouho. Celou noc jsem se díval na tento signál – a snad jsem ho nevnímal. I když to byl jeden z nejjasnějších a nejviditelnějších monitoringů, stále nechápu, proč jsem to neviděl.
Tady žádné výmluvy nešlo uvést, byla to čistá a stoprocentní chyba, havárie páté kategorie a velmi pravděpodobné propuštění. Po dvanácti hodinách noční směny mě do oběda máčeli, nutili mě napsat vysvětlení. Protože by nikdo nevěřil pravdě, musel jsem si vymyslet nějakou pohádku, že jsem kvůli zranění přehnal s léky a usnul. Šéf služby na mě křičel ve své kanceláři, celkově to směřovalo k propuštění – ale vyústilo to v napomenutí s poklesem platu. Od té doby už několik let v Megě žádné bonusy neviděli, takže jsem neutrpěl žádnou ztrátu.
Když si vzpomenu na epizodu s příchodem technického ředitele: jednou v noci se do služby nahrnul nějaký chudák a začal křičet, že sedíme nezamknutí (služba by neměla být v zásadě zamčená), že jsme tu idioti a že ráno od nás očekává vysvětlení všech našich chyb. Tím chudákem byl vedoucí bezpečnostní služby a od něj to bylo ZARAZÍ. Pořvav si, vedoucí odešel do tmy, a ráno jsme se zeptali našeho šéfa — co máme dělat? „Pošlete ho do háje“ — odpověděl a tím incident skončil.
Jak jsem zničil oddělení
V těch dnech byl bashorg (tehdy ještě bash.org.ru, a ne to, co je teď) kultovním zdrojem. Citáty se tam objevovaly skoro každé dva měsíce, a mít SVOU! CITÁT!!! NA BASHI!!! bylo stejně cool, jako mít vlastní doménu druhé úrovně v roce 2000. Tenkrát byl bashorg více IT-animovaný, ale byl vtipný pro všechny.
Každé pracovní ráno nejmladšího inženýra (tedy mě) začínalo čtením bashorgu — třicet sekund smíchu před dvanácti hodinami strádání.
Jednou se mě kolega zeptal, čemu se to směju. Ukázal jsem mu, čemu. On rozeslal odkaz po oddělení.
Práce se na pár dní zastavila: k mému překvapení nikdo z kolegů o bash do té doby nevěděl. Ve službě se smáli: „Ach-haha-haha, opravit KDE, haha-haha!“. „Hihihi, utopit klávesy v rtuti, bgegege!“. Pracovní den byl ztracen, na druhou stranu — život jsme si záznamně prodloužili.
Bonus pro ty, kteří četli až do konce
Pamatujete, v dávných časech byl tak populární vtip „Vidím v Nortonovi dva disky C, říkám si — proč dva? Tak jsem jeden smazal!“. To mi velmi připomíná jeden z mých oblíbených příběhů, který nepovídám já, ale někdo jiný. A pokaždé se směju, jako poprvé:
18+, ale z písničky slova nevyhodíš
P.S.
Tyto příběhy jsou zpracovaná kompilace některých příspěvků z mého TG kanálu. Někdy se tam objeví podobná šílenství; nenaznačuji nic, ale se přece jen nechám.
Všem hezký den bez komplikací v pátek!
Zdroj: habr.com
