Förhandsinformation: detta är strikt ett fredagsinlägg, och mer underhållande än tekniskt. Ni kan förvänta er roliga historier om tekniska missöden, berättelser från den mörka sidan av att arbeta för en mobiloperatör och annat lättsinnigt prasslande. Om jag förskönar något någonstans, kommer det bara att vara till förmån för genren, och om jag ljuger, då är allt detta så långt gånget att det inte kommer att skada någon. Men om ni upptäcker ett tekniskt eller annat skit, rätta mig skoningslöst, jag har alltid varit på rättvisans sida.
Observera, jag startar utan acceleration!
Bakdörr till gården
Vårt tjänsterum på första våningen hade stora fönster, från källaren nästan upp till taket. De hade utsikt över serviceparkeringen, varifrån alla möjliga besiktningsmän och annan fältpersonal gick på morgnarna. Parkeringen låg på ett avsevärt avstånd från ytterdörren och alla serviceingångar, och bakom två bommar.
En morgon kör polisbilar, som då fortfarande var i bruk, fram till byggnaden, poliser står vid alla kontrollpunkter och genomsöker alla som går ut. En varning kommer in i tjänstens e-postlista: plötsligt (riktigt plötsligt, inte som vanligt) har en kontroll av programvarulicenser anlänt, arbetsstationer kommer att inspekteras. Alla som har piratkopierat material på sina datorer måste tas ner omedelbart!
Naturligtvis var allt som rörde operativsystem, kontors- och serviceprogramvara mestadels licensierat. Men inte allt, inte alltid och inte överallt; och vad anställda installerade på sina servicebärbara datorer är en helt mörk historia. Jag skyndade mig att kontrollera maskinerna inom mitt ansvarsområde för piratkopiering och demolerade snabbt något...
... Och just nu börjar ingenjörerna gå in i arbetsrummet med hastiga och nervösa steg, med bärbara datorer och systemenheter i famnen. De går in genom dörren och ut, fnissande åt situationens absurditet, genom fönstret: alla passager var blockerade, men lagens och ordningens demoner tänkte inte på en sådan bakdörr. Så, medan redovisningsavdelningen kontrollerades (där allt var exemplariskt), drog de anställda fram alla varningssignaler.
Det förflutna finns där
Om du är intresserad och inte har stängt fliken, här är en redogörelse för vad som händer i tid, rum och människor. Jag är en vacker ung, grön som ett syrablad, en IT-utexaminerad som fick ett jobb i ingenjörstjänstrummet på Samara Megafon (som då fortfarande var MSS Povolzhye). För mig var detta den första riktiga kontakten med teknologi med stort T och tekniknördar med ett ännu större: som den yngsta djävulen i detta helvetes kök tittade jag med förtjusning på arbetet av erfarna ingenjörsdjävlar och försökte utan framgång förstå deras visdom. Tills den visdomen sipprade in i hjärnans porer kunde jag bara stirra på en hög med brokig övervakning och bli upphetsad varje gång något "rött" dök upp där.
Om någon av karaktärerna som nämns här plötsligt känner igen sig – hej på er!
Om det fungerar, rör det inte (men rör det om det inte fungerar)
En av de ovan nämnda superteknikerna var Misha Basov. Under åren jag arbetade på Mega hörde jag mycket bra och intressant om honom, som att han nästan var i uppstartsfasen och hade lanserat en massa processer. Jag fick inte chansen att prata ordentligt med honom: vi träffades bokstavligen talat på HR-avdelningen, när jag kom med dokument och han tog emot dem.
Ett av övervakningssystemen vi arbetade med skrevs av Misha. Jag minns inte riktigt vad som övervakades där, men jag vet att Misha skrev en tillfällig lösning som snabbt blev permanent. Och det är bra: mycket av det riktiga tekniknördar gör för sina egna behov i all hast visar sig vara helt okej. Den övervakningen passade också alla, och fungerade utan support eller underhåll, även om ingen visste hur.
Ett par år efter att Misha fick sparken började övervakningen visa ett blankt blad.
Jag slog omedelbart larm. Skiftledaren slog larm. Sektorchefen slog larm.
Avdelningschefen ringde larmet. Servicechefen ringde larmet. Avdelningschefen ringde med sina klockor. IT-chefen för hela Volga-regionen hörde ringningen och kallade omedelbart till ett möte. Han kallade dit avdelningschefen. Han skällde på servicechefen. Han, som inte förstod problemets kärna, ringde avdelningschefen. Han, som inte förstod vad som hade hänt, ringde sektorschefen, som ringde skiftchefen. Och han pekade finger åt mig.
En gång, efter att ha bytt tjänst, gick jag till det här mötet. Mycket ord sades, personen som ansvarar för övervakningen tillkallades (vi hörde inget begripligt), det erinrades om att övervakningen skrevs av Basov, att övervakning är mycket viktigt, men att ingen förstår och inte vet hur det fungerar... Allt kom ner till att det icke-fungerande och obegripliga systemet måste tas bort, och istället måste en beprövad lösning från en beprövad leverantör implementeras.
Medan allt detta sades bad jag någon om en bärbar dator och SSH-åtkomst till den servern. Jag var intresserad av att se vilket supercoolt system den legendariske Basov hade skrivit.
Jag går in och det första jag gör av gammal vana är att skriva:
df -hTeamet svarar mig med något i stil med:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% / Jag rensar /var/log som har varit full i flera år, uppdaterar övervakningen — allt fungerar. Fixade det!
Mötet avbryts, det rasar ihop sig, alla skingras. På vägen jublar avdelningschefen och lovar mig en bonus!..
... Istället för en bonus fick jag senare en mental tillrättavisning för att jag av misstag brutit en återställning av en beställning av ett övervakningssystem från en betrodd leverantör.
Där husen bor
En av de jourhavande ingenjörernas uppgifter var att kontrollera de elektroniska nycklarna för åtkomst till maskinrummen. Rummen själva imponerade på mig då: rader av rack fyllda med server- och växelutrustning, fiberoptiska ledningar och korskablar (vissa perfekt utlagda, andra förvandlades till en otrolig spaghettiklump), det konstanta surret från luftkonditioneringsapparater och golv, under vilka det var så bekvämt att kyla drycker... Ingångarna till rummen var förseglade med tunga hermetiska dörrar, utformade för att ge automatisk blockering vid brand. In- och utgång registrerades och signerades noggrant, så att man visste vem som var inne och varför.
Det jag gillade mest i dessa hallar var förstås serverskåpen i "superdomerna" – två HP SuperDome 9000, som stod för faktureringen. Två identiska noder, en var alltid i strid, och den andra var en synkron hot standby. Den enda skillnaden mellan dem var IP-adresserna, en var xxx45, den andra var xxx46. Alla ingenjörer kände till båda dessa IP-adresser, för om något hände med faktureringen var det första man gjorde att kontrollera om superdomerna var synliga. Superdomernas osynlighet är en katastrof.
En morgon inträffar en liknande katastrof. Inom två sekunder försvinner alla tjänster på båda servrarna, och faktureringen kollapsar i ingenting. Låt oss snabbt kolla. server — de pingar, men det finns faktiskt ingenting på dem!
Innan vi ens hinner påbörja de obligatoriska aktiviteterna hör vi ett högt rop:JAG SKA DÖDA DIG, STUDENT!"; ärkeadministratören för alla servrar springer in i arbetsrummet, sliter den elektroniska nyckeln till maskinrummet från hyllan och springer dit.
Mycket snabbt efter detta återgår övervakningen till det normala.
Det som hände var följande: en nyanställd hos entreprenören, som konfigurerade ett gäng nya virtuella maskiner, tilldelade dem manuellt statiska IP-adresser i rad, från xxx1 till xxx100. "Studenten" kände inte till de heliga, orörbara adresserna, och det föll aldrig de gamla invånarna in att någon kunde inkräkta på dem på det sättet.
Antispamtjänst
Åh, nattskift! Jag älskade dem och hatade dem, för det var 50/50: antingen schemalagt arbete på utrustningen, där man aktivt deltar, med sömniga hjärnor och darrande händer som hjälper ingenjören, eller lugn och ro. Prenumeranterna sover, utrustningen fungerar, ingenting går sönder, jourhavande befälet är avslappnat.
Tjänsten går enligt plan.
En dag bryts en sådan midnattsfrid av ett samtal på arbetstelefonen: hej, det här ringer Sberbank, ditt SIM-kort, från vilket våra aviseringar skickas, har slutat fungera.
Detta var länge sedan, innan IP-anslutningar till SMS-gatewayen infördes. För att Sber skulle kunna skicka ett SMS från sitt berömda nummer 900 tog de därför det medföljande SIM-kortet (troligtvis inte bara ett), kopplade in det i GSM-modemet och arbetade så.
Okej, jag accepterade problemet och började gräva. Först och främst kontrollerade jag SIM-kortets status i fakturan, det är blockerat. Vad i helvete - det finns en röd inskription "BLOCKERA INTE" bredvid och en länk till generalärkedemonens ordning. Wow, det här är verkligen intressant.
Jag kollar orsaken till blockeringen, rynkar på ögonbrynen och reser till nästa kontor, där en tjej från bedrägeriavdelningen stirrar på skärmen.
”Lenochka”, säger jag till henne, ”varför blockerade du Sberbank?”
Hon var förvirrad: de sa att det fanns ett klagomål om att skräppost kom från nummer 900. Nåväl, jag blockerade det, de skulle ha åtgärdat det på morgonen.
Och du säger att prenumerantklagomål ignoreras.
SIM-kortet var såklart påslaget igen.
En mycket skrämmande historia
När jag började arbeta fick jag och andra nykomlingar något i stil med en introduktionsrundtur. De visade oss utrustningen: servrar, luftkonditioneringsapparater, växelriktare, brandsläckningssystem. De visade oss basstationen, som stod i ett av maskinrummen för experiment, och förklarade att även om sändarna slås på med minimal effekt är det bättre att inte gå in genom den skärmade dörren just nu. De förklarade mobilnätets struktur, huvud- och reservströmförsörjningen, feltoleransen och att nätverket är utformat för att fungera även efter ett atombombangrepp. Jag vet inte om detta sades för sakens skull, eller om det var sant, men det fastnade i mitt huvud.
Och sannerligen: oavsett vad för skit som ibland händer lokalt, fungerade Volgas röstnät alltid utan avbrott. Jag är ingen kommunikationsspecialist, men jag vet att utrustningen (både basstationer och klientterminaler) är konstruerad för maximal överlevnad av "röst". Är strömförsörjningen till basstationen avbruten? Den kommer att minska strömmen, byta till dieselgenerator/batterier, stänga av överföringen av pakettrafik, men rösten kommer att gå igenom. Är kabeln avskuren? Basstationen kommer att byta till radiokanalen, vilket räcker för röst. Har telefonen tappat basstationen? Den kommer att öka strömmen och kommer att sondera luften tills den får kontakt med tornet (eller tills den tömmer batteriet). Och så vidare, och så vidare.
Men en dag flimrade lamporna på kontoret, och dieselgeneratorer började skramla utanför. Alla skyndade sig för att kontrollera sin hårdvara igen: inget kritiskt hade hänt på IT-avdelningen, men ett förbryllat "oj då" hördes från BS-övervakningen. Och sedan: "killar, ALLA våra databaser är nere, kontrollera anslutningen."
Vi tar fram våra mobiltelefoner – det finns ingen täckning.
Vi provar IP-telefoni – det finns ingen tillgång till mobilkommunikation.
Det finns inget nätverk. Alls. Ingenstans.
När jag kom ihåg orden om atombombningen väntade jag omedvetet i några sekunder tills chockvågen nådde oss – av någon anledning kom jag inte att tänka på någon annan anledning till förlusten av nätverket. Det var skrämmande och märkligt på samma gång: Jag förstod på något sätt att jag ändå inte skulle ha tid att göra någonting. De andra killarna var också förstummade, ingen kunde förstå någonting.
Det fanns ingen tryckvåg. Efter en fem sekunder lång chock rusade de till den fasta stadstelefonen som var tillgänglig för ett sådant tillfälle och började ringa regionala kontor. Stadsnätet fungerade lyckligtvis, men i regionerna bekräftade de: hela Samara var "dött", varken hårdvaran plingade eller uppringningen fungerade.
Fem minuter senare kom en av kraftingenjörerna med nyheten: det hördes en smäll någonstans vid ett kraftverk, vilket gjorde att åtminstone hela Samara, möjligen hela regionen, blev strömlös. Vi drog en lättnadens suck; och när övergången till reservkapacitet skedde, drog vi till och med inandningen.
Ännu en läskig (men lite dum) historia
Det största missödet jag kan minnas inträffade under en annan direktlinje med den nu nollställda användaren. Vid den tiden introducerade de precis funktionen med att skicka frågor via SMS, så de förberedde sig för den kraftiga belastningen på nätverket i förväg: de dubbelkollade och förberedde allt, och en hel vecka före dagen X förbjöd de allt arbete utom akuta sådana. Ett liknande protokoll används i alla fall när ökad belastning förväntas, till exempel på helgdagar. Och för de jourhavande ingenjörerna är det detsamma som en ledig dag, eftersom när utrustningen inte vidrörs kan ingenting hända med den, och även om det händer sitter alla specialister på kontoret i förväg för säkerhets skull.
I allmänhet sitter vi, lyssnar på den nationella ledaren och oroar oss inte för någonting.
Ett tyst "F***" hörs från växeltelefonisterna.
Jag tittar på mig själv – det är verkligen “jävla”: campusnätverket har fallit av.
En sekund senare dör allt (det fanns inget meme om Natasha och katter på den tiden, men det hade varit praktiskt). Användarsegmentet av nätverket försvinner, det teknologiska försvinner. Med växande skräck försöker vi kontrollera vad som fortfarande fungerar, och efter att ha kontrollerat sträcker vi oss efter den gömda flaskan med medicinsk konjak i skåpet: bara röstsamtal återstår (vad jag sa ju, de är ihärdiga!), allt annat är dött. Det finns inget internet - varken abonnent-GPRS eller på optiken, som är tilldelad flera underleverantörer. SMS skickas inte. Asså! Vi ringer regionerna - de har ett nätverk, men de ser inte Samara.
Inom en halvtimme blev världens undergång nästan påtaglig. Tio miljoner människor vars liv plötsligt kollapsade och som inte kunde nå callcentret eftersom callcentrets röstterminaler kördes på VoIP.
Och detta under den mörkaste härskarens tal! Ännu en seger för utrikesdepartementet och Obama personligen!
Teknikerna i tjänst började agera mycket effektivt: inom en timme återuppstod nätverkets liv.
En sådan förbifart är inte på provinsiell eller ens regional nivå, den ska rapporteras till Moskva med alla detaljer och de skyldiga. Därför förbjöds de som deltog i utredningen att berätta sanningen under hot om avsked, och för civilförsvaret upprättade de en rapport full av vatten och dimma, enligt vilken det på något sätt visade sig att "de gjorde det själva, ingen är skyldig".
Vad som faktiskt hände: en av cheferna missade implementeringsdeadlines och gick miste om bonusar för dem. Och chefens chef gick miste om det, och så vidare; så de satte press på en av de nya ingenjörerna och beordrade honom att utföra de nödvändiga nätverksanslutningarna "medan allt är tyst". Ingenjören vågade inte invända, eller ens kräva en skriftlig order: detta var hans första misstag. Det andra - han gjorde ett misstag under fjärrkonfigurationen av Cisco och uppnådde rekordresultat i kaos på kortast möjliga tid.
Såvitt jag vet blev ingen straffad.
Firande kommer till oss
Helger, som jag redan nämnt, har alltid varit speciella dagar för oss. På sådana dagar ökar nätverksbelastningen kraftigt, antalet gratulationssamtal och SMS skjuter i höjden. Jag vet inte hur det är nu, med utvecklingen av internetkommunikation, men på den tiden, bara på nyår, skummade operatörerna av en mycket betydande mängd grädde på gratulationssamtal.
Därför var ingenjörer från alla avdelningar alltid i tjänst på kontoret på nyårsafton (och utanför kontoret fanns det team redo att ta sig fram genom snödrivor för att åtgärda en olycka vid basstationen i byn Malye Drishchi). Faktureringsagenter, hårdvaruadministratörer, mjukvaruinstallatörer, nätverkare, växlar, servicetekniker, entreprenörssupport – en varelse för varje varelse. Och om förhållandena tillät hängde de i vårt arbetsrum och övervakade trafikstörningar i våra övervakningsenheter efter tidszoner i hela Volgaregionen.
Tre eller fyra gånger per kväll firade vi nyår, även om det inte var så mycket ett firande som en nervös förväntan: skulle utrustningen klara överbelastningen, skulle någon länk i den komplexa tekniska kedjan brista…
Sasha, som ansvarade för faktureringen, var särskilt nervös. Han såg alltid ut som om hela hans liv hade gått åt på en nervös nerv, eftersom han var tvungen att städa upp all röra som hade hänt med faktureringen, stå till svars för alla missöden, han väcktes oftare på natten än andra; generellt kan jag inte föreställa mig hur och varför han arbetade där han arbetade. Kanske betalade de honom mycket pengar, eller så hölls hans familj som gisslan. Men den natten hade jag en känsla av att om man slog Sasha med en nagel, skulle han smula sönder till damm av den inre spänning som hade samlats inom honom. För en sådan obehaglig händelse har vi en kvast, men för tillfället arbetar vi och slickar oss om läpparna på konjaken och väntar på sin tur.
Timme efter timme, när alla belastningsstötar passerade, började alla kontrollera sina system igen. Växeln försvann: all faktureringstrafik försvann på en av de regionala växlarna. Och detta är data om alla samtal som passerade genom växeln; de skrivs till en fil, som laddas ner i bitar via FTP (hårt, men pålitligt) till BRT för fakturering.
Växeltelefonisten, som föreställde sig mängden terpentinlavemang han skulle få för att ha förlorat en del av nyårsintäkterna för hela regionen, darrade till och med. Han vände sig till Sasha och tilltalade den berömde gentlemannen som fakturerade med en röst full av orolig hopp: "Sasha, snälla titta, kanske BRT lyckades pumpa ut tariffen? Jaha, snälla titta!"
Sasha tog en klunk konjak, sköljde ner den med en kaviarsmörgås, tuggade långsamt och himlade med ögonen av njutning över att det inte var hans smörgås. Han svarade: ”Jag har redan kollat, det finns inga filer…”
(Min underbara korrekturläsare frågade vad som hände med den stackars växeloperatören. Åh, hans öde var hemskt: han dömdes till en veckas tjänstgöring i första linjen av callcentersupporten, förbjuden att svära. Brrr!)
Kasta stenen mot den som är utan synd
Dessa berättelser kan ge intrycket av att varken jag personligen eller de andra tjänstgörande befälen misslyckades. Inget sådant, vi misslyckades, men på något sätt utan några intressanta episka konsekvenser. Jobbet ansågs lämpligt för gårdagens studenter utan hjärna och erfarenhet, det fanns inget att ta från en sådan anställd, att avskeda för ett misslyckande - så det var inte ett faktum att den nya skulle vara smartare. Men att skylla på "tjänstgörande" för sina misslyckanden var en separat sportdisciplin för ingenjörer: de blinkade, listade inte ut det, meddelade inte i tid, så straffade dem. "Tjänsten" hade bemästrat konsten att hitta på ursäkter till perfektion, det fungerade inte alltid, men alla förstod allt. Så det flög - men som regel utan allvarliga konsekvenser.
Vi analyserar en annan "flyg" under ett skiftbyte.
Under de flera år jag arbetade där kan jag minnas tre fall där någon blev avskedad från avdelningen.
En dag bestämde sig en ingenjör på nattskiftet för att ta en öl, och då kom den tekniske chefen in i jourrummet. Ibland tittade han bara in för att säga hej (det verkar som om han började som vakthavande befäl). Han ertappade killen med en burk öl, tryckte på telefonen och avskedade. De drack inte öl på natten längre.
En annan gång missade växeltelefonisten i tjänst någon riktigt hemsk olycka. Jag minns inte detaljerna.
Och tredje gången – redan mot slutet av mitt arbete där. Arbetsförhållandena hade försämrats mycket, det var en vild personalomsättning och fruktansvärd övertid. Folk arbetade ibland en dag, gick sedan och la sig i 12 timmar och gick tillbaka till tjänst i XNUMX timmar. Jag arbetade själv så, så länge min hälsa tillät och det var betalt; sedan slutade de praktiskt taget betala för övertid (de lovade vanligtvis kompensation med ledighet när det var möjligt – men alla förstod att ingen någonsin skulle gå på promenad), och de drev ut folk ur tjänst nästan med hot. En ingenjörs gök stod inte ut, han reste sig från sin arbetsplats mitt i sitt skift och gick hem för alltid, stannade till vid chefens kontor på vägen och sa åt honom att dra åt helvete. Jag minns en e-postlista där den här ingenjören i efterhand stämplades som fascist och förrädare, varje rad visade hur cheferna brändes av en sådan handling.
När det gäller mina personliga missöden, så har jag ett fall som stack ut i minnet för sin ovanlighet. Återigen, nattskiftet, allt är tyst, ingenting händer. Under skiftbytet kontrollerar vi övervakningen: hoppsan, databehandlingen från växlarna föll under natten, tur att det röda ljuset har lyst länge. Jag tittade på den här signalen hela natten - och uppfattade den inte, eller något. Trots att detta var en av de mest uppenbara och visuella övervakningarna, förstår jag fortfarande inte varför jag inte såg den.
Här fanns inga ursäkter att hitta på, ett rent och 100%-igt missöde, en olycka av kategori 5 och en mycket sannolik uppsägning. Efter tolv timmars natttjänst höll de mig på helspänn fram till lunchtid och tvingade mig att skriva förklarande anteckningar. Eftersom ingen ville tro på sanningen var jag tvungen att hitta på något babbel om att jag hade överdoserat smärtstillande medel på grund av en skada och somnat. Chefen för tjänsten skrek åt mig på sitt kontor, kort sagt, allt gick mot uppsägning – men det resulterade i en tillrättavisning och ett avdrag på bonusarna. Vid det laget hade Mega inte sett bonusar på flera år, så jag led ingen skada.
Jag minns händelsen med den tekniske chefens ankomst: en natt kom någon idiot in i tjänsten och började skrika att vi satt olåsta (tjänsten borde i princip inte vara låst), att vi var idioter här, och att han på morgonen väntade sig förklaringar från oss alla till alla våra misstag. Den här idioten var säkerhetschefen, och han STÄNKTE. Efter att ha skrikit sig mätt sprang säkerhetschefen iväg ut i mörkret, och på morgonen frågade vi vår chef - typ, vad skulle vi göra? "Dra åt helvete", svarade han, och det var slutet på händelsen.
Hur jag bröt avdelningen
På den tiden var bashorg (då bash.org.ru, inte vad det är nu) en kultbaserad resurs. Citat dök upp där nästan ett par gånger i månaden, och att ha DITT EGET! CITAT!!! PÅ BASH!!! var lika coolt som att, säg, ha sin egen andradomän år 2000. Den bashorg-filen var på något sätt mer IT-anime, även om den var rolig för alla.
Varje arbetsmorgon för den yngste ingenjören (det vill säga mig) började med att läsa bashorg – trettio sekunders skratt innan tolv timmars lidande.
En dag frågade en kollega mig vad jag fnissade åt. Jag visade honom vad det var. Han skickade länken runt på avdelningen.
Arbetet upphörde i ett par dagar: till min förvåning visste ingen av mina kollegor om festen förrän då. Det skrattade i jourrummet: "Ah-haha-haha, patcha KDE, ahaha-haha!" "Igogo-go-go, dränk kofoten i kvicksilver, bgegegeg!" En arbetsdag gick förlorad, å andra sidan förlängde de sina liv avsevärt.
Bonus för de som läser till slutet
Kom ihåg att det förr i tiden fanns ett så populärt skämt: "Jag ser två C-enheter i Norton, jag tänker - varför behöver jag två? Tja, jag raderade en!" Det påminner starkt om en av mina favorithistorier, som berättas inte av mig, utan för mig. Och varje gång är det roligt, som den första:
18+, men man kan inte ta bort orden ur en sång
postscript
De här berättelserna är en bearbetad sammanställning av några av inläggen på min TG-kanal. Ibland finns det en del galna saker där; jag antyder ingenting, men Jag lämnar det ändå.
Ha en trevlig knullfri fredag allihopa!
Källa: will.com
