Прелиминарно обавештење: овај пост је искључиво петак и више забаван него технички. Наћи ћете смешне приче о инжењерским хаковима, приче са мрачне стране рада мобилног оператера и друге неозбиљне шуштање. Ако нешто улепшам негде, то је само у корист жанра, а ако лажем, онда су све то ствари од давнина да то никоме неће наудити. Али ако ухватите техничку грешку или неку другу грешку, исправите ме немилосрдно, увек сам био на страни правде.
Пажња, почињем без оверклока!
Задња врата у двориште
У нашој дежурној просторији на првом спрату били су велики прозори, од основе и скоро до плафона. Изашли су на сервисни паркинг, одакле су ујутру отишли свакакви геодети и остали теренски службеници. Паркинг се налазио на довољној удаљености од предњег и свих службених улаза, а иза две баријере.
Једног јутра, у то време, полицијски аутомобили су се довезли до зграде, полицајци су стајали на свим улазима и претресали све који су излазили. Упозорење стиже на званичну мејлинг листу: изненада (заиста изненада, не као обично) је стигла провера лиценцирања софтвера и радне станице ће бити прегледане. Свако ко има нешто пиратско на својим рачунарима треба одмах да буде уништен!
Наравно, углавном је лиценцирано све што се тиче оперативних система, канцеларијског и услужног софтвера. Али не све, не увек и не свуда; Што се тиче онога што су запослени инсталирали на лаптопове своје компаније, то је потпуно мрачна прича. Појурио сам да проверим аутомобиле у мојој зони одговорности за пиратерију, брзо демолирајући нешто...
... И у ово време, инжињери почињу да ужурбаним и нервозним корацима улазе у дежурну собу, са лаптоповима и системским инжењерима у рукама. Улазе кроз врата и излазе, кикоћући се апсурдности ситуације, кроз прозор: сви улази су били блокирани, али демони реда и закона нису помислили на таква задња врата. Дакле, док се вршила ревизија рачуноводства (где је све било за пример), запослени су извлачили све што није у реду.
Прошлост је ту
Ако сте заинтересовани и нисте затворили картицу, ево малог излагања шта се дешава у времену, простору и личностима. Ја сам прелепа млада, зелена, као кисељак, дипломирана информатичарка, која се запослила у инжењерском бироу Самара Мегафона (који је тада био и МСС Поволзхие). За мене је ово био први прави контакт са технологијом са великим Т и техничарима са још већим: као најмлађи мали ђаво у овој пакленој кухињи, са одушевљењем сам посматрао рад веома искусних ђаволских инжињера, безуспешно покушавајући да схвати њихов мудрости. Док се та мудрост није увукла у поре мог мозга, могао сам само да чачкам у гомилу разних праћења, бринући се сваки пут када би се „црвено“ појавило тамо.
Ако се неко од овде поменутих ликова изненада препозна, здраво!
Ако ради, не дирајте га (али додирујте ако не ради)
Један од горе поменутих супертехничара био је Миша Басов. Током година рада у Меги чуо сам много добрих и занимљивих ствари о њему у духу да је стајао скоро на почетку и покренуо гомилу процеса. Нисам успео да комуницирам са њим како треба: срели смо се буквално у кадровској служби, када сам донео документе и он их је однео.
Један од система за праћење са којима смо радили написао је Миша. Не сећам се баш шта се тамо пратило, али знам да је Миша написао привремено решење, које је брзо постало трајно. И то је добро: много од онога што прави техничари раде за своје потребе у журби испада сасвим добро. То праћење је такође одговарало свима, радећи без икакве подршке и одржавања, иако нико није знао како.
Неколико година након Мишиног отпуштања, мониторинг је почео да показује празну страницу.
Одмах сам огласио аларм. Надзорник смене је огласио аларм. Начелник сектора је огласио узбуну.
Шеф одељења је огласио узбуну. Начелник службе је огласио узбуну. Шеф одељења је звонио својим звонима. ИТ директор целог Волга региона чуо је звоњаву и одмах сазвао састанак. Тамо је позвао начелника одељења. Лајао је на чело службе. Он је, не схватајући суштину проблема, позвао начелника одељења. Овај је, не схватајући шта се догодило, позвао шефа сектора, који је позвао шефа смене. Па, окренуо је стрелу на мене.
Некако, прешавши са дужности, отишао сам на овај састанак. Речено је доста речи, позвана особа одговорна за праћење (ништа разумљиво нисмо чули), остало је упамћено да је Басов писао о мониторингу, да је праћење веома важно, али да нико не разуме нити зна како то функционише. ... Све се свело на то да треба уклонити нефункционалан и неразумљив систем, а уместо њега имплементирати проверено решење провереног продавца.
Док се све ово причало, молио сам некога за лаптоп и ССХ приступ том серверу. Занимало ме је да видим какав је супер кул систем написао легендарни Басов.
Када уђем, прва ствар коју урадим по навици је да откуцам:
df -hКоманда ми каже нешто попут:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% /
Чистим /вар/лог, који се годинама напунио, ажурирам праћење - све ради. Поправио то!
Састанак престаје, руши се и сви се разилазе. Успут се радује шеф одељења и обећава ми бонус!..
... Уместо бонуса, касније сам добио ментални ударац јер сам случајно пропустио да наручим систем за надзор од добављача од поверења.
Где живе куће?
Једна од дужности дежурних инжењера била је контрола електронских кључева за приступ рачунарским просторијама. Саме сале су ме тада веома импресионирале: редови рекова испуњени серверском и комутаторском опремом, линије оптичких влакана и унакрсних каблова (на неким местима савршено положени, на другим претворени у невероватну груду шпагета), непрестано брујање клима-уређаји и лажни подови испод којих је било тако згодно хладити пиће... Улази у ходнике су били запечаћени тешким херметичким вратима, дизајнираним да обезбеде аутоматско блокирање у случају пожара. Улазак и излазак су били строго евидентирани и потписани, како би се знало ко је и зашто унутра.
Оно што ми се највише допало у овим просторијама су, наравно, серверски ормарићи „супер кућа“ – два ХП СуперДоме 9000, који су обезбеђивали наплату. Два идентична чвора, један је увек био борбени чвор, а други је био синхрони хот стандби. Разлика између њих била је само у ИП адресама, једна је била ккк45, друга је била ккк46. Сви инжењери су знали обе ове ИП адресе, јер ако се нешто деси на систему наплате, прво што урадите је да погледате да ли су супер куће видљиве. Невидљивост супер кућа је невероватна.
Једног јутра догоди се нешто овако. У року од две секунде, све услуге нестају на оба сервера, а наплата пада у ништавило. Брзо проверавамо сервере - пингују, али на њима заиста нема ништа!
Пре него што уопште стигнемо да започнемо са потребним мерама, чујемо гласан повик "УБИЈ, СТУДЕНТЕ!“; архи-администратор свих сервера трчи у дежурну собу, ишчупа са полице електронски кључ од собе са турбинама и бежи тамо.
Врло брзо након овога, праћење се враћа у нормалу.
Ево шта се десило: нови запослени у уговорној организацији, који је конфигурисао пакет нових виртуелних машина, ручно им је доделио узастопне статичке ИП адресе, од ккк1 до ккк100. „Ученик” није знао за свете недодирљиве адресе, а староседеоцима није пало на памет да би неко могао да им тако упадне.
Антиспам услуга
Вау, ноћне смене! Волео сам их и мрзео, јер је било 50/50: или планирани рад на опреми, где активно учествујеш, помажеш инжењеру са поспаним мозгом и дрхтавим рукама, или тишина и смиреност. Претплатници спавају, опрема ради, ништа није покварено, дежурни је опуштен.
Дежурство се одвија по плану.
Једног дана ову поноћну тишину наруши позив на службени телефон: хало, сметају вам из Сбербанке, престала је да ради ваша СИМ картица са којом се шаљу наша упозорења.
То је било давно, чак и пре увођења ИП конекција на СМС гатеваи. Дакле, да би Сбер могао да пошаље СМС са свог чувеног броја 900, узели су обезбеђену СИМ картицу (највероватније више од једне), укључили је у ГСМ модем и тако је функционисало.
У реду, прихватио сам проблем и почео да копам. Пре свега, проверавам статус СИМ картице у наплати, она је блокирана. Шта дођавола - поред њега је црвени натпис „НЕ БЛОКИРАЈ“ и веза са наредбом општег архдемона. Вау, то је заиста занимљиво.
Проверавам разлог блокаде, правим кућицу на обрвама и путујем у следећу канцеларију, где девојка из одељења за преваре буљи у монитор.
„Леночка“, кажем јој, „зашто си блокирала Сбербанку?“
Она је збуњена: кажу да је стигла жалба да са броја 900 долази спам. Па блокирао сам, ујутро би то средили.
А ви кажете – жалбе претплатника се игноришу!
Поново су укључили СИМ картицу, наравно.
Веома страшна прича
Када сам први пут добио посао, мени и другим новајлијама је дато нешто попут оријентацијског обиласка. Показали су опрему: сервере, клима уређаје, инверторе, гашење пожара. Показали су базну станицу која је стајала у једној од просторија за тестирање за експерименте, уз објашњење да иако су предајници укључени на минималну снагу, боље је у овом тренутку не улазити на врата са екраном. Објаснили су структуру мобилне мреже, о главном и резервном напајању, о толеранцији кварова и о томе да је мрежа дизајнирана да ради и након атомске бомбе. Не знам да ли је ово речено да бих то рекао или је истина, али ми је остало у глави.
И заиста: без обзира какве су се лудости дешавале на локалном нивоу, гласовна мрежа Волге је увек радила непрекидно. Нисам стручњак за комуникације, али знам да је опрема (и базне станице и клијентски терминали) дизајнирана за максималну преживљавање „гласа“. Да ли је нестало струје за БС? Смањиће снагу, прећи на дизел агрегат/батерије, искључити пренос пакетног саобраћаја, али ће се глас наставити. Да ли си пресекао кабл? База ће се пребацити на радио канал који је довољан за глас. Телефон изгубио БС? Он ће повећати снагу и испитати ваздух док се не закачи на торањ (или док не испразни батерију). итд.
Али једног дана су светла у канцеларији затреперила, а дизел агрегати су тутњали на улици. Сви су пожурили да поново провере свој хардвер: ништа критично се није догодило у ИТ делу, али из БС мониторинга чуло се збуњено „авк“. И онда: „Момци, СВЕ наше базе су у квару, проверите везу.
Вадимо мобилне телефоне - нема сигнала.
Покушавамо ИП телефонију - нема приступа мобилним комуникацијама.
Нема мреже. Уопште. Нигде.
Сећајући се речи о атомском бомбардовању, подсвесно сам чекао неколико секунди да ударни талас стигне до нас – из неког разлога нисам могао да се сетим другог разлога за губитак мреже. Било је застрашујуће и радознало у исто време: некако сам схватио да нећу имати времена да урадим било шта. Остали момци су такође били запањени, нико ништа није могао да разуме.
Није било експлозије. После петосекундног шока, пожурили смо до жичаног телефона градске мреже који је био доступан управо за такав случај, и почели да зовемо регионалне канцеларије. Градска мрежа је, на срећу, функционисала, али у регионима су потврдили: цела Самара је „мртва“, ни хардвер не пингује, нити бира.
Пет минута касније, један од енергетских инжењера је донео вест: негде у електрани је избио пожар, који је прекинуо струју најмање целој Самари, а можда и региону. Издахнуо; а када је дошло до преласка на резервну снагу, чак су и удахнули.
Још једна страшна (али помало глупа) прича
Највећи факап у мом сећању десио се током следеће праве линије са сада нултом. Тада су тек увели функцију са слањем питања СМС-ом, па су се унапред припремили за повећање оптерећења мреже: све су проверили и припремили, а целу недељу пре дана Кс забранили су сваки рад осим хитних. Сличан протокол се користи у свим случајевима када се очекује повећано оптерећење, на пример, на празницима. А за дежурне инжењере то је исто као слободан дан, јер када се опрема не дира, ништа јој се не може десити, а и да се деси, сви специјалисти седе унапред у канцеларији за сваки случај.
Углавном, седимо, слушамо националног лидера и ништа не бринемо.
Тихо "Ф***" долази од оператера централе.
Гледам себе - стварно је "јеботе": мрежа кампуса је отпала.
У секунди све умире (у то време није било мема о Наташи и мачкама, али би било корисно). Кориснички сегмент мреже нестаје, а технолошки сегмент нестаје. Са све већим ужасом покушавамо да проверимо шта је остало у реду, а након провере посежемо за ормарићем за скривеном флашом лековитог коњака: остају само гласовни позиви (рекох вам, жилави су!), све остало је мртво. . Не постоји интернет – ни претплатнички ГПРС, ни фибер, који је додељен неколико подпровајдера. СМС се не шаље. Дупе! Зовемо регионе - они имају мрежу, али не виде Самару.
У року од пола сата, смак света постао је готово опипљив. Десет милиона људи којима је одједном све покварено и који не могу да дођу до кол центра јер говорни терминали у кол центру раде преко ВОИП-а.
И то за време говора најмрачнијег владара! Још једна победа Стејт департмента и Обаме лично!
Дежурни техничари су ускочили из ниског старта и радили веома ефикасно: за сат времена мрежа је оживела.
Оваква рација није регионалног, па чак ни регионалног нивоа, она би требало да буде пријављена Москви са свим детаљима и изручењем починилаца. Стога је онима који су учествовали у истрази забрањено да говоре истину под претњом отказа, а за Цивилну одбрану је састављен записник, пун воде и магле, из којег се некако испоставило да је „сама сама, нико је крив.”
Шта се заправо догодило: једном од шефова је понестајало времена за имплементацију и губио је бонусе за њих. И разбили су газду, и тако даље; Стога су извршили притисак на једног од нових инжењера, рекавши му да изврши потребне мрежне везе „док је све тихо“. Инжењер се није усудио да приговори, па чак ни да захтева писмену наредбу: ово је била његова прва грешка. Друго, направио је грешку када је даљински конфигурисао Цисцо, постигавши рекордне резултате за факап у најкраћем могућем року.
Колико ја знам, нико није кажњен.
Празник нам долази
Празници су, као што сам већ поменуо, за нас увек били посебни дани. У таквим данима, оптерећење мреже нагло расте, број честитки и СМС-а пролази кроз кров. Не знам како је сада, са развојем интернет комуникације, али тада су само на Нову годину опсови скинули веома значајну казну на честитке.
Због тога су у новогодишњој ноћи у канцеларији увек дежурали инжењери из свих одељења (а ван канцеларије су биле екипе спремне да прогурају снежне наносе како би отклонили несрећу на базној станици у селу Мали дришчи). Специјалисти за наплату, администратори хардвера, софтверски водоинсталатери, стручњаци за мреже, прекидачи, сервисни техничари, извођачи подршке - свако створење има створење. И ако су услови дозвољавали, дружили су се у нашој дежурној просторији, посматрајући на нашим уређајима за праћење пораста саобраћаја пратећи временске зоне широм Волге.
Дочекивали смо Нову годину три-четири пута у ноћи, међутим, ово није било толико весеље колико нервозно ишчекивање: да ли ће опрема издржати преоптерећење, да ли ће нека карика у сложеном техничком ланцу пукнути...
Посебно је нервозан био Саша, који је био задужен за наплату. Он је, у принципу, увек изгледао као да му је цео живот провео на суровом живцу, јер је морао да среди све добре ствари које се дешавају са наплатом, да одговара за све џемове, будио се чешће од других. ноћу; генерално, немам појма како и зашто је радио тамо где је радио. Можда је плаћен много новца, или је породица држана као талац. Али те ноћи сам генерално имао осећај да ако ноктом кликнеш на Сашу, онда ће се он од унутрашње напетости накупљене у њему распасти у прашину. За тако непријатан случај имамо метлу, али се у међувремену бацимо на посао, лижемо коњак који чека на ред.
Сат за сатом, пролазили су сви скокови оптерећења, сви су почели поново да проверавају своје системе. Прекидач бледи: сав саобраћај наплате је нестао на једном од регионалних прекидача. А ово су подаци о свим позивима који су прошли кроз комутатор; они су уписани у датотеку, која се отпрема у деловима преко ФТП-а (извините, али поуздано) на БРТ ради наплате.
Комутатор, замишљајући количину терпентинског клистирања који ће му дати за губитак дела новогодишњег прихода за цео регион, поче да дрхти. Окренувши се Саши, обратио се славном господину обрачунском службенику гласом пуним узбудљиве наде: „Саша, погледај молим те, можда је БРТ успео да смањи тарифе? О, види, молим те!”
Саша је отпио гутљај коњака, грицнуо сендвич са кавијаром, полако га жвакао и, преврћући очима од задовољства због чињенице да није имао џоинт, одговорио: „Већ сам проверио, нема фајлова... ”.
(Мој дивни лектор је питао шта се десило са јадним прекидачем. Ох, његова судбина је била страшна: осуђен је на недељу дана дежурства на првој линији подршке позивног центра, забрањено му је да псује. Бррр!)
Баци камен који је безгрешан
На основу ових прича може се стећи утисак да ни ја лично ни други дежурни нисмо били одговорни. Ништа од тога, срање су, али некако без занимљиве епопеје и последица. Посао се сматрао прикладним за јучерашње студенте без мозга и искуства, таквом раднику није било шта да се узме, избацили би га за џоинт - тако да није чињеница да ће бити паметнији. Али окривљавање за своје грешке на дужности била је посебна спортска дисциплина за инжењере: промашили су циљ, нису схватили, нису их обавестили на време, па их казните. „Дежурни“ је савршено савладао вештину прављења, није увек ишло, али су сви све разумели. Стога је улетео - али, по правилу, без озбиљних последица.
Решавамо још један „неуспех“ при промени смене.
За неколико година рада ту могу да се сетим три случаја када је неко добио отказ са ресора.
Једног дана је инжењер у ноћној смени одлучио да попије пиво, а онда је технички директор ушао у дежурну и ушао. Понекад је могао овако да уђе и једноставно се поздрави (као да је почео са дежурним). Спалио сам типа конзервом пива, кликнуо на телефон, отпустио. Ноћу више нисмо пили пиво.
Други пут је дежурни оператер промашио неку веома страшну несрећу. Не сећам се више детаља.
И трећи пут - на крају мог рада тамо. Услови за рад су веома поклекнули, било је дивље флуктуације и страшних прековремених сати. Људи су некада радили и по 12 сата, па спавали по XNUMX сати и опет ишли на дневне дужности. И сам сам овако радио све док ми је здравље дозвољавало и било је плаћено; онда су заправо престали да плаћају прековремени рад (стандардно су обећавали надокнаду са слободним временом када је то било могуће - али су сви разумели да нико никада неће ићи у шетњу), и скоро уз претње су били отерани са дужности. Један инжењер није издржао кукавицу, устао је са радног места усред смене и отишао кући заувек, успут је завирио у канцеларију шефа службе и послао му писмо од три писма. Сећам се једног маила у коме је овај инжењер накнадно жигосан као фашиста и издајник, у сваком реду је читано како је власт спаљена таквим чином.
Што се тиче мојих личних факапа, један инцидент ми је остао упамћен по својој необичности. Опет ноћно дежурство, све је тихо, ништа се не дешава. Приликом промене смене проверавамо праћење: упс, ноћу је пала обрада података са прекидача, добро је да је црвено светло дуго упаљено. Гледао сам у овај сигнал целе ноћи и нисам га приметио или тако нешто. Упркос чињеници да је ово био један од најочигледнијих и највизуелнијих праћења, још увек не разумем зашто га нисам видео.
Ту се није требало правдати, џоинт је био чист и сто посто, несрећа пете категорије и врло вероватно отказ. После дванаест сати ноћног дежурства до ручка, малтретирали су ме и терали да напишем објашњења. Пошто нико не би веровао у истину, морао сам да смислим некакво брбљање да сам, због повреде, претерао са леком против болова и заспао. Шеф службе је урлао на мене у својој канцеларији, генерално, све је ишло ка отказу – али је резултирало укором и одузимањем бонуса. До тада Мега већ неколико година није видела бонусе, тако да нисам претрпео никакву штету.
Сећајући се епизоде са доласком техничког директора: једне ноћи се неки сељак нагурао у дежурну и почео да виче да седимо откључани (дежурна у принципу не би требало да буде закључана), да смо овде јелени и да јутро је очекивао од свих нас објашњења о свим нашим грешкама. Овај сељак је био шеф службе обезбеђења, и он је СОКИНГ. Након урлања, шеф обезбеђења је побегао у мрак, а ујутру смо питали нашег шефа: „Шта да радимо?“ „Јеби га“, одговорио је и то је био крај инцидента.
Како сам разбио одељење
У то време, башорг (тада још басх.орг.ру, а не оно што је сада) је био култни ресурс. Цитати су се тамо појављивали скоро пар месечно, и имајте СВОЈЕ! КУОТЕ!!! ОН ТХЕ БАСХ!!! било кул као, рецимо, имати сопствени домен другог нивоа XNUMX. године. Тај башорг је био некако више ИТ-аниме, мада је свима било смешно.
Свако радно јутро најмлађег инжењера (односно мог) почињало је читањем башорга – тридесет секунди смеха пре дванаест сати патње.
Једном ме колега питао чему се кикоћем. Показао сам му шта. Послао је везу по одељењу.
Радови су стали на пар дана: на моје изненађење, нико од мојих колега до тог тренутка није знао за басх. У дежурној просторији се зачуо смех: „А-хаха-хаха, закрпи КДЕ, ахаха-хаха!” „Игого-го-го, утопи пајсере у живу, бгегегег!“ Изгубљен је радни дан, али им је са друге стране живот значајно продужен.
Бонус за оне који заврше читање
Сетите се, у време брадата је био тако популаран виц: „Видим два Ц драјва у Нортону, помислим – зашто су ми потребна два? Па, једну сам избрисао!“ Веома подсећа на једну од мојих омиљених прича, коју не причам ја, већ ја. И сваки пут је смешно као и први:
18+, али не можете да избришете речи из песме
пс.
Ове приче су обрађена компилација неких постова са мог ТГ канала. Понекад се слична игра ту провуче; Не наговештавам ништа, али Свеједно ћу то оставити.
Угодан петак свима!
Извор: ввв.хабр.цом