Preliminärt meddelande: det här inlägget är enbart fredag och mer underhållande än tekniskt. Du hittar roliga berättelser om tekniska hacks, berättelser från den mörka sidan av en mobiloperatörs arbete och annat oseriöst prasslande. Om jag förskönar något någonstans är det bara för genrens fördel, och om jag ljuger, då är allt detta saker från dagar så länge sedan att det inte skadar någon. Men om du upptäcker ett tekniskt fel eller något annat misstag, rätta mig skoningslöst, jag har alltid stått på rättvisans sida.
OBS, jag börjar utan att överklocka!
Bakdörr till gården
I vårt vaktrum på första våningen fanns stora fönster, från basen och nästan till taket. De gick ut till serviceparkeringen, varifrån alla möjliga lantmätare och andra fältanställda gick på morgonen. Parkeringsplatsen var belägen på tillräckligt avstånd från fronten och alla serviceingångar och bakom två bommar.
En morgon, vid den tiden, körde polisbilar fram till byggnaden, poliser stod vid alla entréer och sökte igenom alla som gick. En varning kommer till den officiella e-postlistan: plötsligt (helt plötsligt, inte som vanligt) har en kontroll av mjukvarulicenser kommit och arbetsstationer kommer att inspekteras. Alla som har något piratkopierat på sina datorer måste rivas direkt!
Naturligtvis var allt relaterat till operativsystem, kontor och verktygsprogram mestadels licensierat. Men inte allt, inte alltid och inte överallt; När det gäller vad anställda installerade på sina företags bärbara datorer, det är en helt mörk historia. Jag skyndade mig för att kontrollera bilarna i mitt ansvarsområde för piratkopiering, snabbt demolerade något...
... Och vid den här tiden börjar ingenjörer gå in i tjänstgöringsrummet med hastiga och nervösa steg, med bärbara datorer och systemingenjörer i famnen. De går in genom dörren och går ut, fnissande åt det absurda i situationen, genom fönstret: alla ingångar var blockerade, men lag och ordnings demoner tänkte inte på en sådan bakdörr. Så medan redovisningsavdelningen granskades (där allt var exemplariskt) drog de anställda ut allt som var fel.
Det förflutna finns där
Om du är intresserad och inte har stängt fliken så kommer här lite utläggning av vad som händer i tid, rum och personer. Jag är en vackert ung, grön, som ett syrablad, IT-examinerad, som fick jobb i ingenjörsdisken på Samara Megafon (som då också var MSS Povolzhye). För mig var detta den första riktiga kontakten med Teknik med stort T och Tekniker med ett ännu större: eftersom jag var den yngsta lilla djävulen i detta helvetiska kök, såg jag med förtjusning arbetet av mycket erfarna djävulsingenjörer, utan framgång försöka förstå deras visdom. Tills den visdomen sipprade in i porerna i min hjärna kunde jag bara peta runt i en massa olika övervakningar, oroande varje gång "rött" dök upp där.
Om någon av karaktärerna som nämns här plötsligt känner igen sig, hej då!
Om det fungerar, rör det inte (men rör det om det inte fungerar)
En av superteknikerna som nämndes ovan var Misha Basov. Under åren som jag jobbade på Mega hörde jag mycket bra och intressant om honom i andan att han nästan stod vid ursprunget och startade en massa processer. Jag lyckades inte kommunicera med honom ordentligt: vi träffades bokstavligen på personalavdelningen när jag tog med dokumenten och han tog bort dem.
Ett av övervakningssystemen vi arbetade med skrevs av Misha. Jag minns inte riktigt vad som övervakades där, men jag vet att Misha skrev en tillfällig lösning, som snabbt blev permanent. Och det är bra: mycket av det som riktiga tekniker gör för sina egna behov i all hast blir bra. Den övervakningen passade också alla, arbetade utan stöd eller underhåll, även om ingen visste hur.
Ett par år efter Mishas uppsägning började övervakningen visa en tom sida.
Jag slog genast larm. Skiftövervakaren slog larm. Chefen för sektorn slog larm.
Avdelningschefen slog larm. Chefen för tjänsten slog larm. Avdelningschefen ringde i klockorna. IT-direktören för hela Volga-regionen hörde ringsignalen och kallade omedelbart till ett möte. Där ringde han avdelningschefen. Han skällde mot tjänstens chef. Han, som inte förstod kärnan i problemet, ringde avdelningschefen. Den här, som inte förstod vad som hade hänt, ringde chefen för sektorn, som ringde skiftchefen. Nåväl, han vände pilen mot mig.
På något sätt, efter att ha ändrat mig från plikt, gick jag till det här mötet. Många ord sades, övervakningsansvarig kallades in (vi hörde inget begripligt), man kom ihåg att Basov skrev om övervakning, att övervakning är väldigt viktigt, men att ingen förstår eller vet hur det fungerar ... Allt kom på att ett icke fungerande och obegripligt system skulle tas bort, och istället skulle en beprövad lösning från en beprövad leverantör implementeras.
Medan allt detta sades bad jag någon om en bärbar dator och SSH-åtkomst till den servern. Jag var intresserad av att se vilken typ av supercoolt system den legendariske Basov skrev.
När jag går in är det första jag gör av vana att skriva:
df -hKommandot säger mig något i stil med:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% /
Jag rensar /var/log, som har blivit full med åren, uppdaterar övervakning - allt fungerar. Fixade det!
Mötet stannar, kollapsar och alla skingras. På vägen jublar avdelningschefen och lovar mig en bonus!..
... Istället för en bonus fick jag senare ett mentalt slag för att jag av misstag misslyckades med att beställa ett övervakningssystem från en pålitlig leverantör.
Var bor husen?
En av tjänstgörande ingenjörers uppgifter var att kontrollera elektroniska nycklar till datorrummen. Hallarna i sig imponerade väldigt mycket på mig då: rader av ställ fyllda med server- och växlingsutrustning, linjer av fiberoptik och tvärkablar (på vissa ställen perfekt lagda, på andra förvandlades till en otrolig spagettiklump), det ständiga brummandet av luftkonditioneringsapparater och falska golv under vilka det var så bekvämt att kyla drinkar... Entréerna till hallarna var tätade med tunga hermetiska dörrar, designade för att säkerställa automatisk blockering i händelse av brand. In- och utpassering registrerades strikt och signerades, så att man skulle veta vem som var inne och varför.
Det jag gillade mest i dessa rum, naturligtvis, var serverskåpen i "superhusen" - två HP SuperDome 9000, som gav fakturering. Två identiska noder, en var alltid en stridsnod, och den andra var en synkron hot standby. Skillnaden mellan dem var bara i IP-adresser, den ena var xxx45, den andra var xxx46. Alla ingenjörer kände till båda dessa IP-adresser, för om något hände på faktureringssystemet är det första du gör att titta för att se om superhusen är synliga. Osynligheten av superhus är fantastisk.
En morgon händer något sådant. Inom två sekunder försvinner alla tjänster på båda servrarna och faktureringen kollapsar till ingenting. Vi kollar snabbt servrarna - de plingar, men det finns verkligen ingenting på dem!
Innan vi ens hinner påbörja de nödvändiga åtgärderna hör vi ett högt rop "DÖDA, STUDENT!"; ärkeadministratören för alla servrar springer in i tjänstgöringsrummet, river av den elektroniska nyckeln till turbinrummet från hyllan och springer dit.
Mycket snabbt efter detta återgår övervakningen till det normala.
Detta är vad som hände: en ny anställd i en kontraktsorganisation, som konfigurerade ett paket med nya virtuella maskiner, tilldelade dem manuellt successiva statiska IP-adresser, från xxx1 till xxx100. "Studenten" kände inte till de heliga orörliga adresserna, och det föll aldrig gammaldags in att någon kunde inkräkta på dem på det sättet.
Antispam-tjänst
Wow, nattskift! Jag älskade dem och hatade dem, för det var 50/50: antingen schemalagt arbete med utrustningen, där du tar en aktiv del, hjälper ingenjören med sömniga hjärnor och darrande händer, eller tystnad och lugn. Prenumeranterna sover, utrustningen fungerar, ingenting är trasigt, vakthavaren är avslappnad.
Tjänsten går enligt plan.
En dag störs detta midnattslugn av ett samtal till kontorstelefonen: hej, det är från Sberbank som de stör dig, ditt SIM-kort, som våra varningar skickas med, har slutat fungera.
Detta var länge sedan, redan innan introduktionen av IP-anslutningar till SMS-gatewayen. Därför, så att Sber kunde skicka ett SMS från sitt berömda 900-nummer, tog de det medföljande SIM-kortet (förmodligen mer än ett), kopplade in det till ett GSM-modem, och det var så det fungerade.
Okej, jag accepterade problemet och började gräva. Först och främst kollar jag statusen på SIM-kortet vid fakturering, det är blockerat. Vad fan - bredvid den finns en röd inskription "BLOCKERA INTE" och en länk till den allmänna ärkedemonens ordning. Wow, det är verkligen intressant.
Jag kollar orsaken till blockeringen, gör ett hus på mina ögonbryn och reser till nästa kontor, där en tjej från bedrägeriavdelningen stirrar på monitorn.
"Lenochka," säger jag till henne, "varför blockerade du Sberbank?"
Hon är förvirrad: de säger att ett klagomål kom om att spam kom från nummer 900. Tja, jag blockerade det, de skulle reda ut det på morgonen.
Och du säger - abonnentklagomål ignoreras!
De slog på SIM-kortet igen, förstås.
En väldigt skrämmande historia
När jag först fick ett jobb fick jag och andra nybörjare något i stil med en orienteringstur. De visade utrustningen: servrar, luftkonditioneringsapparater, växelriktare, brandsläckning. De visade basstationen som stod i ett av testrummen för experiment och förklarade att även om sändarna är påslagna med minimal effekt, är det bättre att inte gå in i den skärmade dörren just nu. De förklarade mobilnätets struktur, om huvud- och reservkraften, om feltolerans och om det faktum att nätverket är designat för att fungera även efter en atombomb. Jag vet inte om detta sas för att säga det eller om det var sant, men det fastnade i mitt huvud.
Och faktiskt: oavsett vilken typ av galna saker som hände lokalt, fungerade Volga-röstnätverket alltid kontinuerligt. Jag är ingen kommunikationsspecialist, men jag vet att utrustningen (både basstationer och klientterminaler) är designad för maximal "röst"-överlevnadsförmåga. Har strömmen till BS slocknat? Det kommer att minska strömmen, byta till dieselgeneratorset/batterier, stänga av överföringen av pakettrafik, men rösten kommer att fortsätta. Har du klippt av kabeln? Basen kommer att byta till en radiokanal som räcker för rösten. Har telefonen tappat BS? Han kommer att öka kraften och sondera luften tills han hakar fast i tornet (eller tills han tömmer batteriet). Etc.
Men en dag flimrade lamporna på kontoret och dieselgeneratorer mullrade på gatan. Alla skyndade sig för att kontrollera sin hårdvara igen: inget kritiskt hände i IT-delen, men från BS-övervakningen var det ett förbryllat "awk". Och sedan: "killar, ALLA våra baser är nere, kontrollera anslutningen."
Vi tar fram våra mobiltelefoner - det finns ingen signal.
Vi provar IP-telefoni - det finns ingen tillgång till mobil kommunikation.
Det finns inget nätverk. Alls. Ingenstans.
När jag kom ihåg orden om atombombningen, väntade jag undermedvetet i flera sekunder på att chockvågen skulle nå oss - av någon anledning kunde jag inte komma på någon annan anledning till förlusten av nätverket. Det var skrämmande och nyfiket på samma gång: jag förstod på något sätt att jag inte skulle ha tid att göra någonting. Resten av killarna var också förstummade, ingen kunde förstå någonting.
Det var ingen sprängvåg. Efter en chock på fem sekunder rusade vi till den trådbundna stadsnätstelefonen som var tillgänglig för just ett sådant fall, och började ringa regionkontor. Lyckligtvis fungerade stadsnätverket, men i regionerna bekräftade de: hela Samara är "död", varken hårdvaran plingar eller ringer.
Fem minuter senare kom en av kraftingenjörerna med nyheten: det brann någonstans i ett kraftverk som bröt strömmen till åtminstone hela Samara, och möjligen regionen. Utandas; och när övergången till reservkraft skedde, andades de till och med in.
Ännu en skrämmande (men lite dum) historia
Den största fakapen i mitt minne inträffade under nästa raka linje med den nu nollställda. Då hade de precis infört en funktion med att skicka frågor via SMS, så de förberedde sig på en ökning av belastningen på nätet i förväg: de dubbelkollade och förberedde allt, och en hel vecka före dag X förbjöd de allt arbete förutom akuta. Ett liknande protokoll används i alla fall när ökad belastning förväntas, till exempel på helgdagar. Och för vakthavande ingenjörer är det samma som en ledig dag, för när utrustningen inte rörs kan ingenting hända med den, och även om det händer sitter alla specialister på kontoret i förväg för säkerhets skull.
I allmänhet sitter vi, lyssnar på den nationella ledaren och oroar oss inte för någonting.
Ett tyst "F***" kommer från växeloperatörerna.
Jag tittar på mig själv - det är verkligen "f***": campusnätverket har fallit av.
På en sekund dör allt (på den tiden fanns det inget meme om Natasha och katter, men det hade varit användbart). Användarsegmentet av nätverket försvinner, och det tekniska segmentet försvinner. Med växande fasa försöker vi kontrollera vad som återstår i funktionsdugligt skick, och efter att ha kontrollerat sträcker vi oss mot skåpet efter en dold flaska medicinsk konjak: bara röstsamtal kvarstår (jag sa ju, de är sega!), allt annat är dött. . Det finns inget internet - varken abonnent GPRS eller fiber, som är allokerat till flera underleverantörer. SMS skickas inte. Röv! Vi kallar regionerna - de har ett nätverk, men de ser inte Samara.
Inom en halvtimme blev världens undergång nästan påtaglig. Tio miljoner människor som plötsligt har allt trasigt och som inte kan ta sig fram till callcentret eftersom röstterminalerna i callcentret fungerar via VOIP.
Och detta under den mörkaste härskarens tal! Ännu en seger för utrikesdepartementet och Obama personligen!
Jourhavande tekniker hoppade in från en låg start och arbetade mycket effektivt: inom en timme vaknade nätverket till liv.
En sådan razzia är inte en regional, eller ens en regional nivå, den är tänkt att rapporteras till Moskva med alla detaljer och utlämningen av förövarna. Därför förbjöds de som deltog i utredningen att säga sanningen under smärta av uppsägning, och en rapport komponerades för Civilförsvaret, full av vatten och dimma, av vilken det på något sätt visade sig att ”det är sig självt, ingen är skyldig."
Vad hände egentligen: en av cheferna fick ont om tid för implementeringar och förlorade bonusar för dem. Och de bröt av chefens chef, och så vidare; Därför satte de press på en av de nya ingenjörerna och sa åt honom att utföra de nödvändiga nätverksanslutningarna "medan allt är tyst." Ingenjören vågade inte invända, eller ens kräva en skriftlig order: detta var hans första misstag. För det andra gjorde han ett misstag när han konfigurerade Cisco på distans, och uppnådde rekordresultat för fakap på kortast möjliga tid.
Så vitt jag vet blev ingen straffad.
Firande kommer till oss
Semester, som jag redan nämnt, har alltid varit speciella dagar för oss. Sådana dagar ökar belastningen på nätet kraftigt, antalet gratulationssamtal och SMS går genom taket. Jag vet inte hur det är nu, med utvecklingen av internetkommunikation, men bara på nyårsdagen tog opsos en mycket betydande straff för gratulationssamtal.
Därför, på nyårsafton, var ingenjörer från alla avdelningar alltid i tjänst på kontoret (och utanför kontoret fanns team redo att tränga igenom snödrivorna för att eliminera olyckan vid basstationen i byn lilla drischi). Faktureringsspecialister, hårdvaruadministratörer, mjukvarurörmokare, nätverksspecialister, växlare, servicetekniker, supportentreprenörer - varje varelse har en varelse. Och om förhållandena tillät det, hängde de i vårt vaktrum och såg på våra övervakningsenheter hur trafikökningarna följde tidszoner i hela Volga-regionen.
Tre eller fyra gånger per kväll firade vi det nya året, men detta var inte så mycket festlighet som nervös förväntan: kommer utrustningen att stå emot överbelastningen, kommer någon länk i den komplexa tekniska kedjan att gå sönder...
Sasha, som var ansvarig för faktureringen, var särskilt nervös. Han såg i princip alltid ut som om hela hans liv spenderades på en rå nerv, eftersom han var tvungen att reda ut alla bra saker som hände med fakturering, ansvara för alla jambs, han väcktes oftare än andra på natten; i allmänhet har jag ingen aning om hur eller varför han jobbade där han jobbade. Kanske fick han mycket pengar, eller så hölls familjen som gisslan. Men den kvällen hade jag faktiskt en känsla av att om du klickade på Sasha med en nagel, då från den inre spänningen som samlades i honom, skulle han smula till damm. För ett sådant obehagligt fall har vi en kvast, men under tiden går vi till jobbet och slickar konjaken som väntar på vår tur.
Timme efter timme gick alla belastningsstegringar, alla började kontrollera sina system igen. Växeln bleknar: all faktureringstrafik har försvunnit på en av regionväxlarna. Och detta är data om alla samtal som passerade genom switchen; de skrivs till en fil, som laddas upp i bitar via FTP (förlåt, men tillförlitligt) till BRT för laddning.
Kommutatorn, som föreställde sig volymen terpentinlavemang han skulle få för förlusten av en del av nyårsintäkterna för hela regionen, började darra. Han vände sig till Sasha och vände sig till den illustrerade Mr. Billing Officer med en röst full av spännande hopp: "Sasha, snälla titta, kanske BRT lyckades sänka tullarna? Åh, titta, snälla!"
Sasha tog en klunk konjak, mellanmålade en kaviarsmörgås, tuggade den långsamt och rullade ögonen av nöje på grund av det faktum att han inte hade jointen, svarade: "Jag har redan kollat, det finns inga filer ... ”.
(Min underbara korrekturläsare frågade vad som hände med den stackars växlaren. Åh, hans öde var fruktansvärt: han dömdes till en veckas tjänst på första raden av callcentersupport, förbjudet att svära. Brrr!)
Kasta en sten som är syndfri
Utifrån dessa berättelser kan man få intrycket att varken jag personligen eller de andra i tjänst var ansvariga. Inget sådant, de sög, men på något sätt utan ett intressant epos och konsekvenser. Jobbet ansågs lämpligt för gårdagens studenter utan hjärna och erfarenhet, det fanns inget att ta från en sådan anställd, de skulle sparka ut honom för en joint - så det är inte ett faktum att han kommer att bli smartare. Men att skylla på sina misstag i tjänsten var en separat idrottsdisciplin för ingenjörer: de missade målet, fattade inte det, meddelade dem inte i tid, så straffa dem. "Jourhavaren" hade perfekt bemästrat konsten att komma med ursäkter; det gick inte alltid, men alla förstod allt. Därför flög den in - men som regel utan allvarliga konsekvenser.
Vi reder ut ett annat "misslyckande" vid skiftbyte.
Under flera års arbete där kan jag minnas tre fall då någon fick sparken från avdelningen.
En dag bestämde sig en ingenjör på nattskiftet för att dricka öl och då kom tekniska direktören in i tjänstgöringsrummet och kom in. Ibland kunde han komma in så här och helt enkelt säga hej (det är som att han började med vakthavande befäl). Jag brände en kille med en burk öl, klickade på telefonen, sköt. Vi drack inte mer öl på natten.
En annan gång missade den tjänstgörande växeln en mycket fruktansvärd olycka. Jag kommer inte ihåg detaljerna längre.
Och tredje gången - i slutet av mitt arbete där. Arbetsförhållandena föll väldigt mycket, det var en vild omsättning och fruktansvärd övertid. Folk arbetade ibland i 12 timmar, somnade sedan i XNUMX timmar och gick återigen i daglig tjänst. Själv jobbade jag så här så länge min hälsa tillät och det var betalt; då slutade de faktiskt betala för övertid (standard utlovade de ersättning med ledighet när det var möjligt - men alla förstod att ingen någonsin skulle gå på promenad), och de tvingades ut ur tjänst nästan med hot. En ingenjör kunde inte stå ut med göken, han reste sig från sin arbetsplats mitt i sitt skift och gick hem för alltid, på vägen tittade han in på tjänstechefens kontor och skickade honom ett brev på tre brev. Jag minns ett utskick där denna ingenjör stämplades som fascist och förrädare i efterhand, i varje rad lästes det hur myndigheterna brändes av en sådan handling.
När det gäller mina personliga fakaps, stack en incident ut i mitt sinne för dess ovanlighet. Återigen natttjänst, allt är tyst, ingenting händer. Vid skiftbyte kontrollerar vi övervakningen: oj, databehandlingen från växlarna föll ner på natten, det är bra att den röda lampan har tänts länge. Jag tittade på den här signalen hela natten och uppfattade den inte eller något. Trots att detta var en av de mest uppenbara och visuella övervakningarna förstår jag fortfarande inte varför jag inte såg den.
Det fanns inga ursäkter att göra här, skarven var ren och hundra procent, en femte kategori olycka och ganska troligt avsked. Efter tolv timmars natttjänst fram till lunch trakasserade de mig och tvingade mig att skriva förklarande anteckningar. Eftersom ingen skulle tro på sanningen var jag tvungen att komma på något slags babbel om att jag på grund av en skada överanvänt värktabletten och somnade. Chefen för tjänsten skrek åt mig på sitt kontor, generellt sett var allt på väg mot uppsägning - men det resulterade i en tillrättavisning och fråntagande av bonusar. Vid den tiden hade Mega inte sett bonusar på flera år, så jag led ingen skada.
Minns avsnittet med den tekniska direktörens ankomst: en natt kurrade sig någon redneck i tjänsterummet och började skrika att vi satt olåst (jouren ska i princip inte vara låst), att vi var rådjur här, och att vi kl. morgon förväntade han sig av oss alla förklarande anteckningar om alla våra misstag. Den här redneck var chef för säkerhetstjänsten, och han STOKED. Efter att ha skrikit sprang säkerhetschefen in i mörkret och på morgonen frågade vi vår chef: "Vad ska vi göra?" "Skruva på honom", svarade han, och det var slutet på händelsen.
Hur jag slog sönder avdelningen
På den tiden var bashorg (då fortfarande bash.org.ru, och inte vad det är nu) en kultresurs. Citat dök upp där nästan ett par i månaden, och har DIN EGEN! CITAT!!! PÅ STICKET!!! var lika coolt som att säg att ha en egen andranivådomän år XNUMX. Den bashorgen var på något sätt mer IT-anime, även om den var rolig för alla.
Varje arbetsmorgon för den yngsta ingenjören (det vill säga min) började med att läsa bashorg - trettio sekunders skratt före tolv timmars lidande.
En kollega frågade mig en gång vad jag fnissade om. Jag visade honom vad. Han skickade länken runt avdelningen.
Arbetet stannade i ett par dagar: till min förvåning visste ingen av mina kollegor om bash förrän i det ögonblicket. Det skrattades i vaktrummet: "Ah-haha-haha, patch KDE, ahaha-haha!" "Igogo-go-go, dränka kofotarna i kvicksilver, bgegegeg!" En arbetsdag gick förlorad, men å andra sidan förlängdes deras liv avsevärt.
Bonus för den som läst klart
Kom ihåg att det på skäggiga tider var ett så populärt skämt: "Jag ser två C-enheter i Norton, tror jag - varför behöver jag två? Nåväl, jag raderade en!" Den påminner mycket om en av mina favorithistorier, som inte berättas av mig, utan av mig. Och varje gång är den lika rolig som den första:
18+, men du kan inte radera orden från låten
postscript
Dessa berättelser är en bearbetad sammanställning av några inlägg från min TG-kanal. Ibland glider liknande spel igenom där; Jag antyder ingenting, men Jag lämnar det ändå.
Ha en skön fredag allihopa!
Källa: will.com