Voorlopige waarschuwing: deze post is puur voor vrijdag en meer ontspannend dan technisch. Je kunt leuke verhalen verwachten over engineering blunders, anekdotes van de schimmige kant van werken bij een mobiele operator en andere luchtige dingen. Mocht ik ergens iets mooier voorstellen dan het is, dan enkel voor de kunst, en als ik zou liegen, zou dat over zaken zijn die zo lang geleden zijn, dat niemand er last van heeft. Maar als je iets technisch of anderszins verkeerds ziet, verbeter me dan genadeloos, ik sta altijd aan de kant van de rechtvaardigheid.
Let op, ik begin zonder inleiding!
Achterdeur in de binnenplaats
In onze post van de wacht op de eerste verdieping waren er grote ramen, van de plint tot bijna aan het plafond. Ze gaven uit op de personeel parkeerplaats, van waaruit 's ochtends allerlei meetapparatuur en andere veldmedewerkers vertrokken. De parkeerplaats was goed verwijderd van de hoofdingang en alle personeelsingangen, en bovendien achter twee slagbommen.
Op een morgen komen daar nog politieauto's aanrijden, bij alle in- en uitgangen staan politieagenten en ze controleren iedereen die naar buiten gaat. Een alert komt binnen in de personeelsmail: plotseling (echt plotseling, niet zoals gebruikelijk) is er een controle op de licenties van de software, ze zullen de werkstations inspecteren. Iedereen die nog iets illegaals op zijn computer heeft, moet dat direct verwijderen!
Zonder twijfel was alles wat met besturingssystemen, kantoor- en bedrijfsoftware te maken had, grotendeels gelicentieerd. Maar niet alles, niet altijd en niet overal; en wat de medewerkers op hun zakelijke laptops hebben gezet, is een heel ander verhaal. Ik begon de machines onder mijn verantwoordelijkheid te controleren op pirated software, iets snel verwijderend...
... Terwijl op dat moment de ingenieurs met haastige en nerveuze stappen de wachtkamer binnenkomen, met laptops en systeemsystemen in hun armen. Ze komen binnen via de deur, maar gaan lachend om de absurditeit van de situatie via het raam weer naar buiten: alle doorgangen waren afgesloten, maar zo'n achterdeur hadden de handhavers van de wet niet bedacht. Terwijl de controle van de boekhouding plaatsvond (waar alles voorbeeldig was), haalden de medewerkers alles wat verdacht was er gewoon uit.
Het verleden — daar
Als u geïnteresseerd bent en de tabblad niet heeft gesloten, hier is een beetje uitleg over wat er gebeurt in tijd, ruimte en personen. Ik ben een schitterende jonge, groene IT-afgestudeerde, die aan de slag is gegaan bij de technische dienst van het Samara 'MegaFon' (dat toen nog de 'MCC Volga' was). Voor mij was dit de eerste echte aanraking met Technologie met een hoofdletter en Technici met nog een hoofdletter: als het jongste schepsel in deze helse keuken, observeerde ik enthousiast het werk van de zeer ervaren ingenieurs, terwijl ik tevergeefs probeerde hun wijsheid te doorgronden. Totdat die wijsheid mijn hersens tot zich nam, kon ik alleen maar staren naar een berg verschillende monitoringtools, elke keer nerveus als er iets 'roods' verscheen.
Als een van de genoemde personages zichzelf ineens herkent – hallo daar!
Als het werkt – laat het met rust (maar als het niet werkt, raak het aan)
Een van de eerder genoemde supertechnici was Misha Basov. In de jaren dat ik bij 'Mega' werkte, hoorde ik veel goede en interessante dingen over hem, dat hij bijna bij de oorsprong stond en een hoop processen opstartte. Ik had niet de kans om goed met hem te praten: we ontmoetten elkaar letterlijk op de personeelsafdeling, toen ik documenten bracht en hij ze kwam ophalen.
Een van de monitoringsystemen waarmee we werkten, was geschreven door Misha. Ik herinner me niet goed meer wat er gemonitord werd, maar ik weet dat Misha een tijdelijke oplossing schreef die al snel permanent werd. En dat is prima: veel van wat echte technici snel voor eigen gebruik doen, is gewoon geweldig. Die monitoring beviel ook iedereen, het werkte zonder enige ondersteuning of onderhoud, hoewel niemand wist hoe.
Een paar jaar na Misha's vertrek begon de monitoring een lege pagina te tonen.
Ik sloeg meteen alarm. De ploegleider sloeg alarm. De sectiechef sloeg alarm.
De afdelingshoofd luidde de alarmbel. De diensthoofd luidde de alarmbel. De directeur van de afdeling rinkelde met de belletjes. De IT-directeur van heel de Wolga streek hierop bijeen op een vergadering. Hij nodigde de directeur van de afdeling uit. Deze riep de diensthoofd toe. Deze, zonder het probleem te begrijpen, riep het afdelingshoofd. Deze, nog steeds in de lucht, riep de sectorhoofd, die de ploegleider liet oproepen. En die wees de schuld naar mij.
Al geruime tijd verstopte ik me tijdens de dienst en ging ik naar deze vergadering. Er werd veel gepraat, de verantwoordelijke voor de monitoring werd opgeroepen (we hoorden niks zinnigs), het werd herinnerd dat Basov de monitoring schreef, dat de monitoring erg belangrijk is, maar dat niemand begrijpt hoe het werkt... Het kwam erop neer dat het niet-functionerende en onduidelijke systeem moest worden verwijderd, en in plaats daarvan een bewezen oplossing van een betrouwbare leverancier zou moeten worden geïmplementeerd.
Terwijl dit alles werd gezegd, kreeg ik van iemand een laptop en ssh-toegang tot die server. Ik was benieuwd naar het super-coole systeem dat de legendarische Basov had geschreven.
Ik log in, en als gewoonlijk typ ik gelijk:
df -hHet systeem antwoordt me met iets als:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% / Ik maak de volgelopen /var/log schoon, update de monitoring – alles werkt. Gerepareerd!
De vergadering stopt, wordt chaotisch, iedereen gaat weer uiteen. Onderweg is de afdelingshoofd blij en belooft me een bonus! ..
… In plaats van een bonus kreeg ik later een mentale uitbrander omdat ik per ongeluk het afschrijven van de bestelling voor het monitoringsysteem van een betrouwbare leverancier had verknald.
Waar de huisjes wonen
Een van de verantwoordelijkheden van de dienstdoende ingenieurs was het toezicht op de elektronische toegangssleutels tot de machinehallen. De hallen maakten toen een grote indruk op me: rijen rekken vol met servers en netwerkapparatuur, lijnen van glasvezel en cross-kabels (soms perfect gelegd, soms veranderd in een ongelooflijke kluwen spaghetti), het constante geronk van airconditioners en false floors, waar het zo handig was om drankjes koel te houden... De ingangen naar de hallen werden afgesloten met zware hermetische deuren, die automatisch moesten vergrendelen bij brand. In- en uitgangen werden strikt geregistreerd tegen handtekening, zodat bekend was wie en waarom er nu binnen was.
Wat ik het meest leuk vond aan deze ruimtes, waren natuurlijk de serverkasten van de "superdome" - twee HP SuperDome 9000's die verantwoordelijk waren voor de facturering. Twee identieke nodes, waarvan er altijd één operationeel was en de andere een synchroon warm reserve. Het enige verschil tussen hen was de IP-adressen; de ene was x.x.x.45 en de andere x.x.x.46. Alle ingenieurs wisten deze IP's, want als er iets met de facturering gebeurde, was het eerst en vooral kijken of de superdome's zichtbaar waren. De onzichtbaarheid van de superdome's - dat was alarm.
Op een ochtend gebeurt er zo'n alarm. Binnen twee seconden verdwijnen alle diensten op beide servers, de facturering stort in elkaar. We controleren snel. de server — ze zijn pingbaar, maar er is echt niets op!
We hebben nog geen kans om de voorgeschreven reeks maatregelen te starten, of we horen een luide schreeuw: "IK ZAL JE DODEN, STUDENT!"; de chief admin van alle servers stormt de ruimte binnen, grijpt de elektronische sleutel van de machinekamer van de plank en rent daarheen.
Kort hierna komt de monitoring snel weer op gang.
Wat er gebeurd is: een nieuwe medewerker van het aannemingsbedrijf, die een aantal nieuwe virtuele machines configureerde, had handmatig opeenvolgende statische IP-adressen ingesteld van x.x.x.1 tot x.x.x.100. De "student" wist niets van de heilige onaanraakbare adressen, en bij de oude rotten kwam het niet op om te denken dat iemand zo zou kunnen inbreken.
De dienst "Antispam"
Oh, nachtelijke diensten! Ik hield ervan en haatte ze tegelijkertijd, omdat het 50/50 was: of geplande werkzaamheden aan de apparatuur, waar je met slaperige hersenen en trillende handen de ingenieur hielp, of stilte met rust. De abonnees slapen, de apparatuur werkt, er gaat niets kapot, de dienstdoende is ontspannen.
De dienst verloopt volgens plan.
Op een gegeven moment verstoort een telefoontje op de zakelijke telefoon deze middernachtelijke rust: hallo, dit is van Sberbank, we maken ons zorgen, uw simkaart waarmee onze meldingen worden verzonden werkt niet meer.
Dit was al een tijd geleden, nog voordat IP-verbindingen met de SMS-gateway werden geïmplementeerd. Daarom, zodat Sber een SMS kon verzenden vanaf hun beroemde nummer 900, gebruikten ze de verstrekte simkaart (waarschijnlijk zelfs meer dan één), stopten die in een GSM-modem en zo werkten ze.
Oké, ik heb het probleem geaccepteerd en ben begonnen met graven. Eerst controleer ik de status van de simkaart in de billing, deze is geblokkeerd. Wat de hel — ernaast staat een rode tekst ‘NIET BLOKKEREN’ en een link naar de opdracht van de generale archidemon. Hm, interessant.
Ik controleer de reden van blokkering, frons mijn wenkbrauwen en ga naar het kantoor ernaast, waar een meisje van de fraudedivisie naar haar scherm staart.
‘Lenochka,’ zeg ik tegen haar, ‘waarom heb je de Sberbank geblokkeerd?’
Zij kijkt verward: er is een klacht ingekomen dat er spam van nummer 900 komt. Dus ik heb het geblokkeerd, we zouden het 's ochtends wel uitzoeken.
En jullie zeggen dat de klachten van abonnees worden genegeerd!
De simkaart is natuurlijk weer geactiveerd.
Een zeer angstaanjagend verhaal
Toen ik net begon te werken, kregen ik en andere nieuwkomers een soort kennismakingstocht. We kregen de apparatuur te zien: servers, airco’s, omvormers, brandblussystemen. We zagen een basisstation dat in een van de machineshallen voor experimenten stond, met de mededeling dat, hoewel de zenders op minimale kracht werken, het beter is om op dat moment niet door de afgeschermde deur te gaan. Ze legden het apparaat van het mobiele netwerk uit, de hoofdzakelijke en reservevoeding, de fouttolerantie en dat het netwerk zo is ontworpen dat het zelfs na een nucleaire aanval blijft functioneren. Ik weet niet of dit als een reden was genoemd of de waarheid was, maar het bleef me bij.
En inderdaad: wat er ook lokaal soms gaande was, het spraaknetwerk in de Wolga-regio werkte altijd continu. Ik ben geen verbindingsspecialist, maar ik weet dat de apparatuur (zowel basisstations als cliëntterminals) ontworpen is voor maximale overlevingskansen van ‘stem’. Is de stroom voor het BS uitgevallen? Het verlaagt het vermogen, schakelt over naar dieselgeneratoren / accu's, schakelt de overdracht van pakketverkeer uit, maar de stem blijft doorgaan. Kabel gesneden? De basis schakelt over naar radiofrequentie, die voldoende is voor spraak. Heeft de telefoon het BS verloren? Het verhoogt het vermogen en zoekt naar ether tot het verbinding maakt met een toren (of totdat de batterij leeg is). Enzovoort, enzovoort.
Maar op een dag flitste het licht op kantoor, en buiten bromden de dieselgeneratoren. Iedereen snelde om zijn spullen te controleren: voor IT was er niets kritiek, maar van de monitoring van het BS kwam een verontruste ‘oh’. En daarna: ‘jongens, al onze basisstations zijn uitgevallen, controleer de verbinding.’
We halen onze mobiele telefoons tevoorschijn — er is geen signaal.
We are trying IP telephony — there is no mobile connection at all.
There is no network. At all. Nowhere.
Recalling the words about the atomic bombing, I subconsciously waited for a few seconds for the shockwave to reach us — for some reason, no other explanation for the network outage came to mind. It was both frightening and curious: I somehow understood that there was nothing I could do anyway. The other guys were also stunned, nobody could understand anything.
There was no shockwave. After the five seconds of shock, we rushed to the landline phone we had for such emergencies, starting to call regional offices. Fortunately, the city network was working, but in the regions, they confirmed: all of Samara is 'dead,' no devices respond to pings, and it's impossible to make a call.
After five minutes, someone from the energy company brought news: something exploded at the power station, cutting power to at least all of Samara, possibly the entire region. We exhaled; and when the switch to backup power happened — we even inhaled.
Another scary (but somewhat foolish) story
The biggest screw-up in my memory happened during another live Q&A with the now-diminished. At that time, they were just introducing the feature for sending questions via SMS, so they prepared in advance for the surge in network load: everything was double-checked and set up, and for an entire week before day X, all work was banned except for emergency tasks. Such a protocol is activated in any cases where increased load is anticipated, for example — during holidays. And for the on-call engineers, it doesn’t matter that it is a weekend, because when the equipment isn’t touched, nothing can go wrong, and even if something goes wrong — all specialists are already in the office just in case.
In general, we sat and listened to the national leader, worrying about nothing.
From the switchboard operators comes a quiet 'F***.'
I look to my side — indeed 'f***': the campus network has dropped.
Binnen een seconde is alles voorbij (op dat moment was er nog geen meme over Natasha en katten, en die zou van pas zijn gekomen). Het gebruikerssegment van het netwerk verdwijnt, de technologie ook. Met groeiende horror proberen we te controleren wat er nog werkt, en als we dat hebben gedaan, reiken we naar de kast voor de verstopte fles geneeskrachtige cognac: er zijn alleen nog spraakoproepen (ik zei het, ze zijn taai!), alles andere is gestorven. Geen internet – geen abonnements-GPRS, geen glasvezel naar de verschillende subleveranciers. SMS'jes kunnen niet worden verzonden. Het is een ramp! We bellen de regio's – zij hebben netwerk, maar zien Samara niet.
In een halfuur werd het einde van de wereld bijna tastbaar. Tien miljoen mensen bij wie plotseling alles kapot ging en die niet kunnen doorbellen naar het callcenter, omdat de spraakterminals in het callcenter via VOIP werken.
En dat tijdens de toespraak van de meest duistere heerser! Weer een overwinning voor de overheid en persoonlijk voor Obama!
De ingeschakelde technici schoten als een raket uit de startblokken en werkten zeer efficiënt: binnen een uur kwam het netwerk weer tot leven.
Zo'n blunder is niet van lokaal of zelfs regionaal niveau, daar moet je rapport over uitbrengen in Moskou met alle details en aanwijsbare schuldigen. Daarom werd aan degenen die betrokken waren bij het onderzoek verboden de waarheid te vertellen onder dreiging van ontslag, en voor de overheid werd een rapport samengesteld, vol met vage en onsamenhangende informatie, waarin het leek alsof „het vanzelf gebeurde, niemand was schuldig“.
Wat er werkelijk gebeurde: bij één van de managers dreigden de deadlines voor implementaties te verlopen en viel het bonusgeld weg. En de manager van die manager had dezelfde problemen, enzovoort; daarom werd er druk uitgeoefend op een van de nieuwe ingenieurs, met de opdracht de vereiste netwerkverbindingen „te leggen terwijl alles rustig is“. De ingenieur durfde geen bezwaar te maken, of tenminste om een schriftelijk bevel te vragen: dat was zijn eerste fout. Zijn tweede fout was een vergissing bij de remote configuratie van de Cisco, waarbij hij in recordtijd een enorme fail op zijn naam schreef.
Voor zover ik weet – heeft niemand gestraft.
Het feest komt naar ons toe
Feestdagen waren, zoals ik al eerder noemde, altijd bijzondere dagen voor ons. Op zulke dagen neemt de belasting op het netwerk sterk toe, het aantal feestelijke telefoontjes en sms'jes is overweldigend. Ik weet niet hoe het nu is, met de ontwikkeling van internetcommunicatie, maar toen in één enkele oudejaarsnacht de operators een aanzienlijke stijging zagen in het aantal feestelijke telefoongesprekken.
Daarom was het op oudejaarsavond absoluut noodzakelijk dat ingenieurs van alle afdelingen aanwezig waren op kantoor (en buiten kantoor - ploegen gereed om door de sneeuw te worstelen om storingen op het basissstation in het dorp te verhelpen). Billing-specialisten, hardwarebeheerders, software-technici, netwerkbeheerders, schakelaars, service medewerkers, ondersteuning van aannemers - voor ieder wat wils. En als de omstandigheden het toelieten, dan waren ze bij ons in de meldkamer, kijkend naar onze monitoringsapparatuur die de verkeerspieken volgde die met de tijdzones door heel de Wolga-regio gingen.
Drie of vier keer per nacht vierden we het nieuwe jaar, maar eerlijk gezegd was er niet zozeer feestelijkheid, maar eerder nerveuze afwachting: zou de apparatuur de overbelasting aan kunnen, zou er geen schakel in de ingewikkelde technische keten breken...
Sasha, die verantwoordelijk was voor billing, was vooral nerveus. Hij zag er in principe altijd uit alsof zijn leven zich op een bloot zenuw uiteinde afspeelde, want hij moest alle ellende die met billing te maken had oplossen, verantwoordelijk zijn voor alle fouten, en hij werd 's nachts vaker dan anderen wakker gebeld; kortom, ik kan me niet voorstellen hoe en waarom hij daar werkte. Misschien kreeg hij veel geld of hielden ze zijn familie als gijzelaar. Maar die nacht had ik echt het gevoel dat als je met een nagel tegen Sasha klikte, hij door de opgebouwde interne spanning in stof zou uit elkaar vallen. Voor zo'n onaangenaam geval hebben we een bezem, maar voor nu - we voeren ons werk uit, verlangend naar de wachtende cognac.
Uur na uur passeerden alle verkeerspieken en iedereen begon zijn systemen te controleren. De schakelaar kleurde bleek: op een van de regionale schakelaars was al het billingverkeer verdwenen. En dat zijn de gegevens van alle gesprekken die door de schakelaar zijn gegaan; ze worden opgeslagen in een bestand dat in blokken via FTP (simpel, maar betrouwbaar) naar BRT wordt gehaald voor facturering.
De switcher, zich voorstellen wat voor volume aan terpentijnen en klysma's hij zou krijgen voor het verliezen van een deel van de jaarwisseling-inkomsten van een hele regio, begon te beven. Zich tot Sasha wendend, richtte hij zich met een stem vol hoop tot de geëerde billing-specialist: "Sasha, kijk alsjeblieft, misschien heeft BRT de tarificatie al kunnen uittrekken? Ah, kijk alsjeblieft!".
Sasha nam een slok cognac, nam een hap van zijn caviaarbroodje, kauwde langzaam en, terwijl hij zijn ogen van genot rolde omdat de blunder niet bij hem lag, antwoordde: "Ik heb al gecontroleerd, er zijn geen bestanden...".
(Mijn geweldige corrector vroeg wat er daarna met de arme switcher was gebeurd. Oh, zijn lot was vreselijk: hij werd veroordeeld tot een week diensten op de eerste lijn van de klantenservice, met het verbod om te vloeken. Brrr!)
Wie zonder zonde is, werpe de eerste steen
Aan deze verhalen kan de indruk ontstaan dat noch ik persoonlijk, noch andere commissieleden ooit fouten hebben gemaakt. Niets daarvan, we maakten fouten, maar zonder interessante epiek en gevolgen. Het werk werd als geschikt beschouwd voor pas afgestudeerden zonder hersens en ervaring, er viel niets te halen bij zo'n werknemer, als je hem voor een fout ontsloeg — de nieuwe is niet zeker slimmer. Maar het afschuiven van je fouten op de 'dienst' was voor de ingenieurs een aparte sportdiscipline: over het hoofd gezien, niet begrepen, niet tijdig geïnformeerd, dat was hun straf. De 'dienst' had de wetenschap van afschuiven perfect beheerst, het lukte niet altijd, maar iedereen begreep het. Daarom kwamen er klachten — maar meestal zonder ernstige gevolgen.
We bespreken weer een 'blunder' tijdens de ploegwissel.
In de paar jaar dat ik daar werkte, kan ik me drie gevallen herinneren waarin iemand uit de afdeling werd ontslagen.
Een keer besloot een ingenieur tijdens de nachtdienst een biertje te drinken, en toen kwam de technische directeur zomaar de dienst binnen. Hij kon soms op die manier binnenkomen voor een casual begroeting (schijnbaar was hij zelf uit de dienst begonnen). Hij betrapte de jongen met een blik bier, klik op de telefoon, ontslag. Sindsdien werd er 's nachts geen bier meer gedronken.
Een andere keer had de dienstdoende switcher een heel ernstige storing gemist. De details herinner ik me al niet meer.
En de derde keer - al aan het einde van mijn tijd daar. De arbeidsomstandigheden waren echt verslechterd, er was een enorme personeelsverloop en verschrikkelijke overuren. Mensen werkten soms 24 uur, gingen dan 12 uur slapen en kwamen weer aan de beurt voor een nachtdienst. Ikzelf heb ook zo gewerkt, zolang mijn gezondheid het toeliet en het betaald werd; daarna stopten ze feitelijk met het betalen van overuren (standaard beloofden ze compensatie met vrije tijd wanneer dat mogelijk was - maar iedereen wist dat niemand ooit die tijd zou nemen), en je werd bijna met bedreigingen naar de diensten gestuurd. Bij een ingenieur bezweek de geest, hij stond halverwege een dienst op van zijn werkplek en ging voor altijd naar huis, onderweg even langs het kantoor van de dienstchef om hem met drie woorden te groeten. Ik herinner me een e-mail, waarin deze ingenieur achteraf als fascist en verrader werd bestempeld, en in elke regel was te zien hoe het management zich ergerde over zo'n daad.
Wat betreft mijn persoonlijke blunders - één geval viel door zijn eigenaardigheid op. Opnieuw een nachtdienst, alles was rustig, er gebeurde niets. Tijdens de wisseling controleren we het monitoringsysteem: oeps, 's nachts viel de gegevensverwerking van de switches uit, er brandde al een tijdje een rood lampje. Ik keek de hele nacht naar dit signaal - en ik registreerde het blijkbaar niet. Ondanks dat dit een van de meest voor de hand liggende en duidelijke monitoring systemen was, begrijp ik nog steeds niet waarom ik het niet zag.
Hier kon ik geen excuses voor verzinnen, het was een pure en honderd procent blunder, een ramp van de vijfde categorie en een vrij waarschijnlijk ontslag. Na twaalf uur nachtdienst werden ik tot de middag gekweld, geforceerd om verklaringen te schrijven. Aangezien niemand de waarheid zou geloven, moest ik iets verzinnen, dat ik door een blessure te veel pijnstillers had ingenomen en in slaap was gevallen. De dienstchef schreeuwde tegen me in zijn kantoor, over het algemeen liep alles uit op ontslag - maar het resulteerde in een berisping met een salarisverlaging. In die tijd hadden we al jaren geen bonussen meer gezien bij Mega, dus ik had geen schade geleden.
Terugdenkend aan het moment met de technische directeur: op een nacht kwam er een of andere kerel binnen in de dienstkamer en begon te schreeuwen dat we onbeveiligd zaten (de dienstkamer mag eigenlijk nooit gesloten zijn), dat we hier als schapen waren, en dat hij tegen de ochtend van ons allemaal een verklaring verwachtte voor al onze blunders. Die vent was de chef van de beveiligingsdienst, en zijn woede was overweldigend. Na zijn geschreeuw verdween de baas in de duisternis, en 's ochtends vroegen we onze manager wat we moesten doen. "Stuur hem naar de hel" was zijn antwoord, en daarmee was het incident afgesloten.
Hoe ik de afdeling verbroken heb
In die dagen was bashorg (toen nog bash.org.ru, en niet wat het nu is) een cultbron. Citaten verschenen daar bijna elke maand, en het hadden om een eigen! CITATE!!! OP BASH!!! te hebben was net zo cool als, laten we zeggen, een tweede niveau domein in het jaar 2000. Die bashorg was meer IT- en anime-gerelateerd, maar het was voor iedereen grappig.
Elke werkdag begon voor de jongste ingenieur (oftewel ik) met het lezen van bashorg — dertig seconden lachen voor twaalf uur lijden.
Op een dag vroeg een collega me waar ik zo om moest lachen. Ik toonde hem wat het was. Hij verspreidde de link naar de afdeling.
Het werk stond een paar dagen stil: tot mijn verbazing wist niemand van mijn collega's van bash voor dat moment. In de dienstkamer klonk het gelach: "Ach-haha-haha, KDE patchen, haha-haha!". "Igogo-go-go, hamers verdrinken in kwik, bgegege!". De werkdag was verloren, maar aan de andere kant — zo verlengden ze toen hun leven aanzienlijk.
Bonus voor degenen die hebben doorgelezen
Herinner je je dat populaire mopje uit de oude doos, "Ik zie twee schijven op Norton C, denk waarom heb ik er twee? Dus ik verwijderde er een!" Het doet me denken aan een van mijn favoriete verhalen, dat ik niet vertel, maar dat mij verteld wordt. En het is elke keer weer zo grappig als de eerste keer:
18+, maar uit een lied haal je geen woorden weg
Postscriptum
Deze verhalen zijn een bewerkte compilatie van enkele berichten van mijn TG-kanaal. Soms komt er zo'n soort gekte voorbij; ik wil niets insinueren, maar laat ik toch achter.
Iedereen een fijne vrijdag zonder problemen!
Bron: habr.com
