Predhodno obvestilo: ta objava je izključno petkova in bolj zabavna kot tehnična. Čakajo vas zabavne zgodbe o inženirskih napakah, šale s temne strani dela mobilnega operaterja in drugi lahkotni šumi. Če bom kje kaj prenagljeno prikazal, bo to le za dobrobit žanra, če pa bom kaj zlagal, pa je to posvarjenje dni, ki so minili, zato nikomur ne more škodovati. Če pa opazite kakšno tehnično ali drugo napako, me brez mercy popravite, vedno sem bil na strani pravičnosti.
Pozor, začnem brez razplinja!
Skriven dostop v dvorišče
Naših varnostnikov na prvem nadstropju so bila velika okna, skoraj od kleti do stropa. Gledala so na službeni parkirni prostor, od koder so se vsako jutro odpravili različni merilci in drugi terenski delavci. Parkirišče je bilo dovolj daleč od glavnega vhoda in vseh službenih vhodov, in še za dvema zapornicama.
Nekega jutra ob zgradbi ustavljajo takrat še policijske avtomobile, na vseh vhodih stojijo policisti in pregledujejo vse, ki odhajajo. Na službeno obvestilo prispe alarm: nenadoma (res nenadoma, ne tako kot običajno) je prišla kontrola licenc za programsko opremo, pregledali bodo delovne postaje. Tisti, ki imajo kaj piratskega na računalnikih – morajo takoj odstraniti!
Seveda, kar zadeva operacijske sisteme, pisarniško in službeno programsko opremo – je večinoma bila licencirana. Ampak ne povsod, ne vedno in ne povsod; že to, kaj so si zaposleni naložili na službene prenosnike – je povsem temačna zgodba. Pohitel sem preverjati naprave na svojem področju odgovornosti za piratščino, hitreje sem kar odstranjeval...
... Medtem pa so v varnostno pisarno s hitrimi in nervoznimi koraki začeli vstopati inženirji, s prenosniki in sistemi v objemih. Vstopajo skozi vrata, izstopajo pa, smehljaje se absurdnosti situacije, skozi okno: vsi vhodi so bili zaprti, a o takšnem zadnjem dostopu demoni pravnega reda niso pomislili. Tako so, medtem ko se je izvajal pregled računovodstva (kjer je bilo vse vzorno), zaposleni skrbno skrbeli za vse, kar je bilo sporno.
Preteklost – tam
Če ste zainteresirani in niste zaprli zavihka — tukaj je nekaj vpogleda v dogajanje v času, prostoru in med ljudmi. Jaz sem mlad, zelen, kot list kislice, diplomant IT, ki je začel delati v inženirski dežurni službi samarskega 'Megafona' (ki je takrat še bil 'MCC Volga'). To je bilo zame prvi pravi stik s Tehniko z veliko začetnico in Inženirji z še večjo: kot najmlajši 'pekel' v tej peklenski kuhinji sem z navdušenjem opazoval delo izkušenih 'peklov' inženirjev, ne da bi uspešno spoznal njihovo modrost. Dokler se ta modrost ni vsesila v moje možgane, sem lahko samo buljil v množico raznolikih monitoringa, vsakič z zaskrbljenostjo, ko se je tam pojavilo 'rdeče'.
Če se kdo od omenjenih tukaj prepozna — pozdravljeni!
Deluje — ne dotikaj se (ampak se dotakni, če ne deluje)
Eden od omenjenih superinženirjev je bil Miša Basov. V letih dela v 'Mega' sem od njega slišal veliko dobrega in zanimivega, da je bil skoraj pri izvoru in zagnal kup procesov. Nisem se mogel ustrezno pogovoriti z njim: spoznala sva se dobesedno v kadrovski službi, ko sem prinesel dokumente, on pa jih je prevzel.
Eden od sistemov monitoringa, s katerim smo delali, je napisal Miša. Ne spomnim se dobro, kaj je tam bilo spremljano, a vem, da je Miša napisal začasno rešitev, ki je hitro postala trajna. In to je dobro: veliko tistega, kar pravi inženirji pripravljajo za svoje potrebe na hitro, je res odličnega. Tisti monitoring je tudi vse zadostoval, deloval je brez kakršne koli podpore in vzdrževanja, toda nihče ni vedel, kako.
Dve leti po Mišinem odhodu je monitoring začel prikazovati prazno stran.
Takoj sem opozoril. Glavni dežurni je opozoril. Vodja sektorja je opozoril.
Šef oddelka je pozvonil na alarm. Šef službe je pozvonil na alarm. Šef oddelka je pozvonil na zvončke. Zvok je slišal IT-direktor celotne Volge, ki je takoj sklical sestanek. Vabil je šefa oddelka. Ta je zakričal na šefa službe. Ta, ne razumevši bistva težave, je poklical šefa oddelka. Ta, ne zavedajoč se, kaj se dogaja, je poklical šefa sektorja, ki je poklical šefa izmene. No, ta je preusmeril krivdo name.
Enkrat, ko sem zamenjal dežurstvo, sem se odpravil na ta sestanek. Povedanega je bilo veliko besed, poklican je bil odgovorni za monitoringe (nič pametnega nismo slišali), omenjeno je bilo, da je monitoring napisal Basov, da je monitoring zelo pomemben, vendar da nihče ne razume in ne ve, kako deluje... Vse se je zmanjšalo na to, da je treba odstraniti nerazumljiv in nefunkcionalen sistem ter namesto tega uvajati preverjeno rešitev preverjenega ponudnika.
Medtem ko se je vse to govorilo, sem si izposodil prenosnik in ssh-dostop do tistega strežnika. Zanimalo me je, kaj za supernapreden sistem je napisal legendarni Basov.
Vstopim, najprej po navadi vpišem:
df -hEkipa mi odgovori nekaj takega:
Datotečni sistem Velikost Zasedeno Prosto Uporaba% Pripeto na
/var 10G 10G 0G 100% / Čistim prepolnjen /var/log, posodabljam monitoring — vse deluje. Popravljen!
Sestanek se ustavi, zmečka, vsi se razidejo. Na poti se šef oddelka veseli in mi obljublja bonuse! ..
Namesto bonusa pa sem kasneje dobil mentalni opomin, ker sem nepričakovano podržal prekinitev naročila sistema monitoringa od preverjenega ponudnika.
Kje živijo hišice
Ena izmed nalog dežurnih inženirjev je bila nadzorovanje elektronskih ključev za dostop v strežniške sobe. Same sobe so me takrat zelo navdušile: vrste omaric, napolnjenih s strežniško in komunikacijsko opremo, optična vlakna in prečkani kabli (nekje — popolnoma urejeni, drugje — spremenjeni v neverjetno gromozansko gmoto), nenehno brnenje klimatskih naprav in Lažne talne površine, pod katerimi je bilo tako priročno ohlajevati pijače... Vhodi v sobe so bili zatesnjeni s težkimi hermetičnimi vrati, ki so zagotavljala samodejno zaklepanje v primeru požara. Vhod in izhod sta bila strogo zapisovana pod podpisom, da bi bilo znano, kdo in zakaj je sedaj v notranjosti.
Najbolj so me v teh prostorih seveda navduševali strežniki "superdomov" — dva HP SuperDome 9000, ki sta zagotavljala delovanje obračunskega sistema. Dve identični enoti, ena je bila vedno aktivna, druga pa sinhroni vroči rezerva. Razlika med njima je bila le v IP-naslovih, eden je bil x.x.x.45, drugi — x.x.x.46. Oba teh IP-naslovov so poznali vsi inženirji, ker, če se je kaj zgodilo z obračunskim sistemom — najprej pogledaš, ali so superdomi vidni. Nevidnost superdomov — ahdung.
Nekega jutra se zgodi takšna ahdung. V dveh sekundah na obeh strežnikih izginejo vse storitve, obračunski sistem se zruši v praznino. Hitro preverimo strežnika — pingajo se, ampak na njih res ni nič!
Nismo niti začeli predvidenega kompleksa ukrepov, ko slišimo glasen vrisk "UBIJEM, ŠTUDEN!"; v dežurno sobo vbeži veliki administrator vseh strežnikov, sploh ne da bi se ustavil, vzame elektron ključ iz police in steče tja.Zelo hitro po tem monitoring pride nazaj v normalo.
Zgodilo se je naslednje: nov zaposleni iz pogodbenega podjetja, ki je konfiguriral svež paket novih virtualnih strojev, je ročno dodelil zaporedne statične IP-naslove, od x.x.x.1 do x.x.x.100. „Študent“ ni vedel za svete nedotakljive naslove, stari delavci pa niti pomislili niso, da bi kdo lahko posegel vanje.
Storitev „AntiSpam“
Uff, nočne dežurstva! Ljubil sem jih in sovražil, ker je bilo 50/50: bodisi načrtovana dela na opremi, kjer aktivno sodeluješ, z omedlelimi možgani in trepetajočimi rokami pomagaš inženirju, bodisi tišina s pomirjanjem. Naročniki spijo, oprema deluje, nič se ne pokvari, dežurni se sprosti.
Dežurstvo poteka po načrtu.
Nekega večera to mirno stanje prekine klic na službeni telefon: pozdravljeni, to so iz Sberbanke, moteč, vaša SIM-kartica, s katero se pošiljajo naši obvestila, ne deluje več.
To je bilo že dolgo časa nazaj, še preden so uvedli IP-povezave na SMS-prehod. Zato, da je Sber lahko poslal SMS s svojega znanega številke 900, so vzeli zagotovljeno SIM-kartico (verjetno celo večjo), jo vstavili v GSM-modem in tako delali.
To je bilo že zdavnaj, še pred uvedbo IP povezav na SMS prehod. Zato je Sber za pošiljanje sporočil s svojega znamenitega številke 900 vzel dodeljeno SIM kartico (verjetno celo več kot eno), jo priključil v GSM mode, in tako deloval.
Okay, I accepted the problem and started digging. First, I check the status of the SIM card in billing, which is blocked. What the hell — there's a red note saying “DO NOT BLOCK” next to it and a link to the order from the general archdemon. Wow, this is quite interesting.
I check the reason for the blockage, furrowing my brows and making my way to the next office where a girl from the fraud department is staring at her monitor.
“Lenochka,” I say to her, “why did you block Sberbank?”
She looks puzzled, saying a complaint came in that spam was being sent from the number 900. So I blocked it; we would sort it out in the morning.
And you say — subscriber complaints are ignored!
The SIM was reactivated, of course.
A very scary story
When I first started working, they gave me and the other newcomers something like an introductory tour. They showed the equipment: servers, air conditioners, inverters, fire extinguishing systems. They showed us the base station located in one of the machine halls for experiments, explaining that even though the transmitters are turned on at the minimum power, it’s better not to enter through the shielded door during that time. They explained the structure of the mobile network, about the main and backup power supplies, about fault tolerance and that the network is designed to operate even after a nuclear bombing. I don’t know if it was said for effect or if it was true, but it stuck in my mind.
And indeed: no matter how much chaos sometimes happened locally, the Volga voice network always operated continuously. I’m not a communications specialist, but I know that the equipment (both base stations and client terminals) is designed for maximum survivability of the “voice.” Did the base station lose power? It will reduce its power, switch to a generator/batteries, disable the transmission of packet traffic, but the voice will still go through. Did they cut the cable? The base will switch to a radio channel that’s sufficient for voice. Did the phone lose the base? It will increase power and scan the airwaves until it connects to a tower (or until the battery runs out). And so on and so forth.
But once, the lights flickered in the office, and outside the diesel generators started rumbling. Everyone rushed to double-check their gear: nothing critical happened on the IT side, but from the monitoring of the base stations, a puzzled “wow” was heard. And then: “guys, ALL our bases are down, check the connectivity.”
We take out our mobile phones — there’s no signal.
Preizkušamo IP-telefonijo — mobilna povezava ni na voljo.
Omrežja ni. Na splošno. Nikjer.
Ob spominu na besede o atomski bombardiranju sem podzavestno nekaj sekund čakal, da nas doseže udarna valovna — drugega razloga za izpad omrežja mi nekako ni prišlo na misel. Bilo je strašno in hkrati radovedno: nekako sem razumel, da nič ne bom mogel storiti. Ostali fantje so tudi otrpnili, nihče ni mogel razumeti.
Udarne valove ni bilo. Po petsekundnem šoku smo se pognali k telefonu iz zemeljskega omrežja, da bi klicali regionalne pisarne. Mesto je, na srečo, delovalo, vendar so v regijah potrjevali: celotna Samara je 'mrtva', nobene naprave ne odgovarjajo, ni mogoče poklicati.
Čez pet minut je nekdo iz energetikov prinesel novico: nekje na elektrarni je poči, naredilo je brez električne energije vsaj celotno Samaro, morda pa tudi celotno območje. Zasopli smo; ko je prišlo do preklopa na rezervno moč — smo celo vdihnili.
Še ena strašna (vendar malce neumna) zgodba.
Največji fekap v mojem spominu se je zgodil med eno od neposrednih linij z zdaj že obravnavanim. Takrat so ravno uvedli funkcijo pošiljanja vprašanj preko SMS-ov, zato so se za povečano obremenitev omrežja pripravili vnaprej: vse so preverili in pripravili, ter en teden pred dnem X prepovedali kakršna koli dela, razen nujnih. Podoben protokol se uporablja v vseh primerih, ko se pričakuje povečana obremenitev, na primer — ob praznikih. In za dežurne inženirje je vseeno kot dopust, ker se z opremo ne ukvarjajo, se z njo ne more nič zgoditi, tudi če se kaj zgodi — vsi strokovnjaki so vnaprej za vsak slučaj v pisarni.
Na splošno sedimo, poslušamo nacionalnega voditelja, in ne skrbimo za nič.
S strani preklapljačev se sliši tiho 'J****s'.
Gledam k sebi — resnično 'j****': kampusna omrežna povezava je odpovedala.
Čez sekundo umira vse (takrat še ni bilo mema o Natashi in mačkah, a tisti bi bil koristen). Izgublja se uporabniški segment omrežja, izginja tehnologija. Z naraščajočim strahom poskušamo preveriti, kaj je ostalo v delovnem stanju, in ko to preverimo, se segamo po omarici za skrito steklenico zdravilnega konjaka: ostale so samo glasovne klice (pravi, da so trdoživi!), vse ostalo - je pokvarjeno. Ni interneta - ne v abonentskem GPRS, ne optiki, ki se odvaja več drugim podizvajalcem. SMS-ji ne odhajajo. Katastrofa! Kličejo regije - imajo omrežje, a Samare ne vidijo.
V pol ure je konec sveta postal skoraj materalno otipljiv. Deset milijonov ljudi, ki so nenadoma vse to pokvarili in ne morejo poklicati v klicni center, ker v klicnem centru glasovni terminali delujejo preko VOIP.
In to med nastopom najtemnejšega vladarja! Še ena zmaga državnega oddelka in Obame osebno!
Dežurni tehniki so se odrezali z nizkega štarta in zelo natančno opravili nalogo: v eni uri je omrežje oživelo.
Takšno zatikanje - to ni ravno območje, niti ne regionalna raven, o tem je potrebno poročati v Moskvo z vsemi podrobnostmi in izročitvijo krivcev. Zato so tistim, ki so sodelovali pri preiskavi, prepovedali govoriti resnico pod grožnjo odpovedi, za javnost pa so sestavili poročilo, polno praznih besed in meglic, po katerem je nekako izpadlo, da 'se je to zgodilo samo, nihče ni kriv'.
Kaj se je dejansko zgodilo: pri enem od šefov so bili rok trajanja uvajanja in premije nerealni. In tudi šef šefa je ostal brez njih, in tako naprej; zato so pritisnili na enega od novih inženirjev ter mu ukazali, naj izvede potrebne omrežne povezave 'dokler je vse mirno'. Inženir si ni upal ugovarjati ali zahtevati pisnega ukaza: to je bila njegova prva napaka. Druga - naredil je napako pri oddaljeni konfiguraciji ciske, dosegajoč rekordne rezultate po fiasku v najkrajšem času.
Kolikor vem - nihče ni bil kaznovan.
Praznik prihaja k nam
Prazniki so bili, kot sem že omenil, za nas vedno posebni dnevi. V takšnih dneh se močno poveča obremenitev omrežja, število voščilnih klicev in SMS sporočil pa naraste do neskončnosti. Ne vem, kako je sedaj, z razvojem internetne komunikacije, toda takrat je že samo na novo leto operaterji snemali precejšnje količine voščilnih klicev.
Zato so v novembrski noči v pisarni nujno dežurali inženirji vseh oddelkov (a zunaj pisarne so bile ekipe, pripravljene prečesati snežne zamete, da bi odpravile okvare na osnovni postaji v vasi Male Drišče). Računovodje, sistemski administratorji, programerji, omrežni inženirji, preklopniki, servisniki, podporniki pogodbenikov — vsakdo je imel svoje naloge. In če so pogoji dopuščali, so se družili pri nas v dežurni službi, opazovali naše nadzorne naprave in naraščanje prometa, ki je sledilo časovnim pasovom po celotnem Volga.
Tri ali štirikrat na noč smo praznovali novo leto, v resnici pa je bilo v tem manj prazničnosti in več nervoznega pričakovanja: bo oprema zdržala prenatrpanost, ali se bo pretrgala kakšna povezava v kompleksni tehnični verigi…
Še posebej je bil nervozen Saša, ki je bil odgovoren za obračun. On je načeloma vedno izgledal, kot da njegova celotna жизнь poteka na golih živcih, saj je moral reševati vse težave, ki so se pojavile z obračunom, odgovarjati na vse napake, pogosto so ga budili ponoči; na splošno si ne predstavljam, kako in zakaj je delal tam, kjer je delal. Morda so mu dobro plačali, ali so svojo družino držali kot talca. Toda tiste noči sem imela občutek, da bi ob najmanjšem dotiku z Načelom lahko razpadel v prah zaradi notranjega napetosti, ki se je nabirala v njem. Za tak neprijeten primer imamo metlo, a za zdaj delamo svoje delo, medtem ko se že omamljamo ob čakanju na brandy.
Ura za uro so minili vsi vrhunci obremenitev, vsi so začeli ponovno preverjati svoje sisteme. Preklopnik bledi: na enem izmed regionalnih preklopnikov je izginil ves promet obračuna. To so podatki o vseh klicih, ki so šli skozi preklopnik; shranjujejo se v datoteko, ki se po FTP prenese na BRT za obračun.
Koordinator, predstavljajući si koliki će mu iznos napraviti potpunu novogodišnju odmjeru s gubitkom od jednog dijela regije, čak se i drhtao. Okrenuvši se prema Sashi, obratio se plemenitom gospodaru koji se bavi naplatom punim uzbuđenja i nade: „Sasha, molim te, da li je BRT stigao da izvuče tarifu? A, pa molim te, da pogledam!“.
Sasha je popio gutljaj konjaka, zagrizao ga crnom ribljom paštetom, polako žvačući, i, okrećući oči od užitka, uvjetovanog time što problem nije bio njemu, odgovorio: „Već sam proverio, datoteka nema…”.
(Moj divni korektor je pitao šta se desilo s jadnim koordinatorom. Oh, njegova sudbina je bila strašna: osuđen je na nedelju dežurstva na prvoj liniji podrške call centra, zabranjujući mu da proklinju. Brrr!)
Bacite kamen, ko je bezgrešan.
Na osnovu ovih priča može se steći utisak da ni ja lično niti drugi dežurni nisu imali grešaka. Ništa sličnog, imali smo greške, ali nekako bez zanimljivog epika i posledica. Posao je smatran prikladnim za jučerašnje studente bez mozga i iskustva, nije im se moglo ništa uzeti, otpustiti ih zbog greške — pa nova osoba možda neće biti pametnija. Ali prebacivanje svojih grešaka na ‘dežurnog’ bilo je kod inženjera posebna sportska disciplina: propustili su, nisu se snašli, nisu na vreme obavestili, pa ih kažnjavajte. „Dežurna“ služba je savršeno naučila nauku izvlačenja, uspevalo je daleko od uvek, ali su svi sve razumeli. Stoga su bili kažnjeni — ali, obično, bez ozbiljnih posledica.
Pogledajmo još jedan 'slučaj' na smeni.
Tokom nekoliko godina rada tu mogu se setiti tri slučaja kada je neko iz odeljenja bio otpušten.
Jednom je inženjer na noćnoj smeni odlučio da popije pivo, a tu u dežurnu ulazi tehnički direktor. Ponekad bi mogao tako da uđe da se pozdravi (kao da je i sam počeo među dežurnim). uhvatio je momka s limenkom piva, klik na telefon, otkaz. Više se pivo noću nije pilo.
Drugi put je dežurni koordinator propustio neku veoma strašnu havariju. Detalje se više ne sećam.
In the third instance — towards the end of my time there. Working conditions had deteriorated significantly, there was a high turnover and terrible overtime. People sometimes worked for a whole day, then would sleep for 12 hours and go back for another day shift. I did the same as long as my health allowed and it was paid; later, overtime was virtually no longer compensated (it was usually promised as time off when possible — but everyone understood that no one would ever actually take such leave), and they were practically forced into shifts with threats. One engineer snapped and left his post in the middle of a shift, heading home for good, stopping by the supervisor's office on his way and giving him a piece of his mind. I remember an email thread in which this engineer was labeled a fascist and a traitor post factum, with every line reflecting how upset the management was about his action.
Regarding my personal screw-ups — one incident stood out due to its peculiarity. Again, it was a night shift, everything was quiet, nothing was happening. During the handover, we checked the monitoring: oops, the data processing from switches had dropped overnight, a red light had been blinking for quite some time. I had been staring at this signal all night — yet somehow didn’t perceive it. Despite it being one of the most obvious and clear monitoring signals, I still don't understand why I didn't notice it.
There were no excuses to be made here, it was a clear and undeniable mistake, a category five accident and a very likely dismissal. After twelve hours of a night shift, I was grilled until lunch, forced to write explanations. Since no one would actually believe the truth, I had to come up with some nonsense, claiming I had overdosed on painkillers due to an injury and fell asleep. The department head yelled at me in his office, and in general, it was heading towards dismissal — but it ended up being just a reprimand with a pay cut. Bonuses hadn't been seen in Mega for several years by then, so I didn't suffer any real damage.
Spominjajoč se epizoda z vstopom tehničnega direktorja: nekoč ponoči se je v dežurno sobo vdrla neka oseba in začela kričati, da smo nezaklenjeni (dežurna soba načeloma ne sme biti zaklenjena), da smo tukaj losi, in da do jutra od vseh nas pričakuje pojasnila o vseh naših napakach. Ta oseba je bila vodja varnostne službe in od njega je dišalo. Po tem, ko je zakričal, je vodja odšel v temo, zjutraj pa smo vprašali našega šefa — kaj pa zdaj? "Ja, posredujte mu n***j" — je odgovoril, in s tem se je incident končal.
Kako sem uničil oddelek
V tistih dneh je bil bashorg (takrat še bash.org.ru, in ne tisto, kar je zdaj) kultni vir. Citati so se pojavljali skoraj po dva na mesec in imeti SVOJ! CITAT!!! NA BAŠU!!! je bilo tako kul, kot recimo imeti svoj domen v prvem nadstropju v dveh tisočih. Tisti bashorg je bil bolj IT-anjimeški, čeprav je bil smešen za vse.
Vsako delovno jutro najmlajši inženir (to je bilo moje) se je začelo z branjem bashorga — trideset sekund smeha pred dvanajstimi urami trpljenja.
Nekega dne me je kolega vprašal, nad čim se smejim. Pokazal sem mu, nad čem. Poslal je povezavo po oddelku.
Delo je stalo za nekaj dni: presenetilo me je, da nihče od kolegov o bashu do takrat ni vedel. V dežurni sobi se je slišal smeh: "Ah-haha-haha, popraviti KDE, ahaha-haha!". "Igogo-go-go, potapljati kladiva v živo srebro, bgegegege!". Delovni dan je bil izgubljen, a po drugi strani — življenje smo si takrat podaljšali.
Bonus za tiste, ki so prebrali do konca
Se spomnite, v bradastih časih je bil tak priljubljen vic "Vidim v Nortonu dva diska C, mislim — zakaj imam dva? No in enega sem izbrisal!". To zelo spominja na eno izmed mojih najljubših zgodb, ki je ne pripovedujem jaz, ampak meni. In vsakič je smešno, kot prvič:
18+, toda iz pesmi besed ne moreš izpustiti
P.S.
Te zgodbe so obdelana kompilacija nekaterih objav iz mojega TGA kanala. Včasih se tam pojavi podobna norost; ne namigujem na nič, ampak vseeno puščam.
Vsem želim dobro brezproblemno petek!
Izvor: habr.com
