Прелиминарна најава: овој пост е чисто петок, и повеќе забавен отколку технички. Ќе најдете смешни приказни за инженерски хакови, приказни од темната страна на работата на мобилниот оператор и други несериозни шушкања. Ако некаде украсам нешто, тоа е само во корист на жанрот, а ако лажам, тогаш сето тоа се работи од многу одамна што нема да му наштети на никого. Но, ако фатите техничка грешка или некоја друга грешка, исправете ме безмилосно, јас секогаш сум бил на страната на правдата.
Внимание, почнувам без оверклокување!
Задна врата во дворот
Во нашата дежурна соба на првиот кат имаше големи прозорци, од основата и речиси до таванот. Излегоа на сервисниот паркинг, од каде изутрината заминаа секакви геодети и други вработени на терен. Паркингот се наоѓаше на доволно растојание од предниот и сите сервисни влезови, а зад две бариери.
Едно утро, во тоа време, полициските автомобили дојдоа до зградата, полицајци стоеја на сите влезови и ги претресуваа сите што заминуваа. Пристигнува предупредување во официјалната мејлинг листа: одеднаш (навистина ненадејно, не како обично) дојде проверка за лиценцирање софтвер и работните станици ќе бидат проверени. Секој што има нешто пиратски на своите компјутери треба веднаш да биде уништен!
Се разбира, сè што е поврзано со оперативни системи, канцелариски и комунален софтвер беше главно лиценцирано. Но, не сè, не секогаш и не секаде; Што се однесува до тоа што вработените инсталирале на лаптопите на нивната компанија, тоа е сосема мрачна приказна. Побрзав да ги проверам автомобилите во мојата област на одговорност за пиратерија, брзо рушејќи нешто...
... И во тоа време, инженерите почнуваат да влегуваат во дежурната соба со избрзани и нервозни чекори, со лаптопи и системски инженери во раце. Влегуваат низ вратата и излегуваат, кикотејќи се на апсурдноста на ситуацијата, низ прозорецот: сите влезови беа блокирани, но демоните на редот и законот не помислија на таква задна врата. Така, додека се вршеше ревизија на сметководството (каде што се беше примерно), вработените извадија се што не беше во ред.
Минатото е таму
Доколку сте заинтересирани и не сте го затвориле табот, еве неколку експозиции за тоа што се случува во времето, просторот и личностите. Јас сум прекрасно млад, зелен, како лист од киселица, дипломиран ИТ кој се вработи во инженерското биро на Самара Мегафон (кој тогаш беше и МСС Поволжје). За мене ова беше првиот вистински контакт со технологијата со големо Т и Техничари со уште поголем: како најмладиот мал ѓавол во оваа пеколна кујна, со задоволство ја гледав работата на високоискусните ѓаволски инженери, неуспешно обидувајќи се да ги сфатам нивните мудрост. Сè додека таа мудрост не навлезе во порите на мојот мозок, можев да ѕиркам само во еден куп разновидни мониторинг, загрижувајќи се секогаш кога „црвеното“ ќе се појави таму.
Ако некој од ликовите споменати овде одеднаш се препознае, здраво за вас!
Ако работи, не допирајте го (но допирајте го ако не работи)
Еден од супер-техничари споменати погоре беше Миша Басов. Со текот на годините на работа во Мега, слушнав многу добри и интересни работи за него во духот дека тој стоеше речиси на почетокот и започна еден куп процеси. Не успеав да комуницирам со него правилно: се сретнавме буквално во одделот за персонал, кога ги донесов документите и тој ги однесе.
Еден од системите за следење со кои работевме беше напишан од Миша. Навистина не се сеќавам што се следеше таму, но знам дека Миша напиша привремено решение, кое брзо стана трајно. И добро е: голем дел од она што вистинските техничари го прават за своите потреби набрзина, излегува сосема добро. Тој мониторинг исто така одговараше на сите, работејќи без никаква поддршка и одржување, иако никој не знаеше како.
Неколку години по отпуштањето на Миша, мониторингот почна да покажува празна страница.
Веднаш вклучив аларм. Надзорникот на смената го вклучи алармот. Раководителот на секторот алармираше.
Раководителот на одделението го вклучи алармот. Шефот на службата го вклучи алармот. Шефот на одделението ги ѕвонеше камбаните. Директорот на ИТ на целиот регион на Волга го слушна ѕвонењето и веднаш свика состанок. Таму го повикал раководителот на одделот. Лаеше на чело на службата. Тој, не разбирајќи ја суштината на проблемот, го повика раководителот на одделот. Овој, не разбирајќи што се случило, го повикал раководителот на секторот, кој го повикал менаџерот на смена. Па, тој ја сврте стрелката кон мене.
Некако, откако се сменив од должност, отидов на овој состанок. Се кажаа многу зборови, повикан е одговорниот за мониторинг (не слушнавме ништо разбирливо), се сети дека Басов пишувал за мониторингот, дека мониторингот е многу важен, но дека никој не разбира и не знае како функционира ... Се се сведуваше на тоа дека треба да се отстрани неработен и неразбирлив систем, а наместо тоа да се имплементира докажано решение од докажан продавач.
Додека се зборуваше сето ова, молев некого за лаптоп и SSH пристап до тој сервер. Ме интересираше каков супер кул систем напишал легендарниот Басов.
Кога влегувам, првото нешто што го правам од навика е типот:
df -hКомандата ми кажува нешто како:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% /
Чистам /var/log, кој стана полн со годините, ажурирам мониторинг - се работи. Поправи го!
Средбата престанува, пропаѓа и сите се разотидуваат. Попатно, раководителот на одделението се радува и ми ветува бонус!..
... Наместо бонус, подоцна добив ментален удар затоа што случајно не успеав да нарачам систем за следење од доверлив продавач.
Каде живеат куќите?
Една од должностите на дежурните инженери беше да ги контролираат електронските клучеви за пристап до компјутерските простории. Самите сали тогаш многу ме импресионираа: редови на лавици исполнети со сервер и опрема за префрлување, линии од оптички влакна и вкрстени кабли (на некои места совршено поставени, на други претворени во неверојатна грутка шпагети), постојаното брмчење на климатизери и лажни подови под кои беше толку погодно да се ладат пијалоци... Влезовите во салите беа затворени со тешки херметички врати, дизајнирани да обезбедат автоматско блокирање во случај на пожар. Влезот и излезот беа строго евидентирани и потпишани, за да се знае кој и зошто е внатре.
Она што најмногу ми се допадна во овие простории, се разбира, беа серверските кабинети на „супер куќите“ - два HP SuperDome 9000, кои обезбедуваа наплата. Два идентични јазли, едниот секогаш беше борбен јазол, а вториот беше синхроно жешко мирување. Разликата меѓу нив беше само во IP адресите, едната беше x.x.x.45, другата беше x.x.x.46. Сите инженери ги знаеја двете овие IP адреси, бидејќи ако нешто се случи на системот за наплата, првото нешто што правите е да погледнете дали се видливи супер куќите. Невидливоста на супер куќите е неверојатна.
Едно утро се случува вакво нешто. Во рок од две секунди, сите услуги исчезнуваат на двата сервери, а наплатата пропаѓа во ништо. Брзо ги проверуваме серверите - пингуваат, но навистина нема ништо на нив!
Пред да имаме време да го започнеме потребниот сет на мерки, слушаме силен извик “УБИЈ УЧЕНИЧЕ!„; администраторот на сите сервери трча во дежурната просторија, го откинува електронскиот клуч во просторијата за турбина од полицата и трча таму.
Многу брзо после ова, мониторингот се враќа во нормала.
Еве што се случи: нов вработен во договорна организација, кој конфигурирал пакет нови виртуелни машини, рачно им доделил последователни статични IP адреси, од x.x.x.1 до x.x.x.100. „Студентот“ не знаел за светите недопирливи адреси, а на олдтајмерите не им паднало на памет дека некој може така да ги посегне.
Антиспам услуга
Леле, ноќни смени! Ги сакав и ги мразев, бидејќи беше 50/50: или закажана работа на опремата, каде што активно учествуваш, помагајќи му на инженерот со сонлив мозок и растреперени раце, или тишина и смиреност. Претплатниците спијат, опремата работи, ништо не е скршено, дежурниот е опуштен.
Дежурството се одвива според планот.
Еден ден, оваа полноќна смиреност е нарушена со повик до службениот телефон: здраво, од Сбербанк ви пречат, вашата SIM картичка, со која се испраќаат нашите предупредувања, престана да работи.
Ова беше многу одамна, дури и пред воведувањето на IP конекции на СМС портата. Затоа, за да може Сбер да испрати СМС од својот познат број 900, тие ја зедоа дадената СИМ-картичка (најверојатно повеќе од една), ја приклучија во GSM модем и така функционираше.
Добро, го прифатив проблемот и почнав да копам. Најпрво го проверувам статусот на сим картичката при наплата, блокирана е. Што по ѓаволите - до него има црвен натпис „НЕ БЛОКИРАЈ“ и врска до редот на генералниот архидемон. Леле, тоа е навистина интересно.
Ја проверувам причината за блокирањето, правам куќа на веѓите и патувам до соседната канцеларија, каде девојка од одделот за измами зјапа во мониторот.
„Леночка“, ѝ велам, „зошто ја блокираше Сбербанк?
Таа е збунета: велат дека дошла поплака дека доаѓа спам од бројот 900. Па јас го блокирав, сабајле ќе го средеа.
А вие велите - поплаките на претплатниците се игнорираат!
Се разбира, повторно ја вклучија SIM картичката.
Многу страшна приказна
Кога првпат се вработив, мене и на другите почетници добивме нешто како турнеја за ориентација. Ја покажаа опремата: сервери, клима уреди, инвертери, гаснење пожар. Тие ја покажаа базната станица што стоеше во една од просториите за тестирање за експерименти, објаснувајќи дека иако предавателите се вклучени со минимална моќност, подобро е да не влегувате во заштитната врата во овој момент. Тие ја објаснија структурата на мобилната мрежа, за главната и резервната моќност, за толеранцијата на грешки и за фактот дека мрежата е дизајнирана да работи дури и по атомска бомба. Не знам дали ова е кажано за да го кажам или дали е вистина, но ми се заглави во главата.
И навистина: без разлика какви луди работи се случуваа локално, гласовната мрежа Волга секогаш работеше континуирано. Јас не сум специјалист за комуникации, но знам дека опремата (и базните станици и терминалите на клиентите) е дизајнирана за максимална „гласовна“ опстанок. Дали снемало струја на БС? Ќе ја намали моќноста, ќе се префрли на дизел генератор/батерии, ќе го исклучи преносот на пакет сообраќај, но гласот ќе продолжи. Дали го пресековте кабелот? Основата ќе се префрли на радио канал што е доволен за гласот. Телефонот изгубил БС? Тој ќе ја зголеми моќноста и ќе го испита воздухот додека не се закачи на кулата (или додека не ја испразни батеријата). итн.
Но, еден ден светлата во канцеларијата трепкаа, а дизел генераторите почнаа да татнеат по улицата. Сите побрзаа да го проверат својот хардвер двапати: ништо критично не се случи во одделот за ИТ, но од мониторингот на БС имаше збунето „непрашање“. А потоа: „момци, сите ни се бази, проверете ја врската“.
Ги вадиме мобилните - нема сигнал.
Се обидуваме со IP телефонија - нема пристап до мобилни комуникации.
Нема мрежа. Воопшто. Никаде.
Сеќавајќи се на зборовите за атомското бомбардирање, потсвесно чекав неколку секунди ударниот бран да стигне до нас - поради некоја причина не можев да смислам друга причина за губење на мрежата. Беше страшно и љубопитно во исто време: некако разбрав дека нема да имам време да направам ништо. И останатите момци беа занемени, никој ништо не можеше да разбере.
Немаше експлозивен бран. По шок од пет секунди, побрзавме до телефонот со жична градска мрежа достапен токму за таков случај и почнавме да се јавуваме во регионалните канцеларии. Градската мрежа, за среќа, работеше, но во регионите потврдија: цела Самара е „мртва“, ниту хардверот не ѕвони ниту бира.
Пет минути подоцна, еден од енергетските инженери ја донесе веста: имало пожар некаде во електрана, при што е исклучена струјата барем на цела Самара, а можеби и на регионот. Издишан; а кога се случи префрлувањето на резервна моќност, тие дури и вдишуваа.
Уште една страшна (но малку глупава) приказна
Најголемиот факап во моето сеќавање се случи при следната права линија со сега нула. Во тоа време, тие штотуку воведоа функција со испраќање прашања преку СМС, па однапред се подготвија за пораст на оптоварувањето на мрежата: повторно проверуваа и подготвуваа сè, а цела недела пред денот X забранија секаква работа. освен итни. Сличен протокол се користи во секој случај кога се очекува зголемено оптоварување, на пример, на празници. А за дежурните инженери тоа е исто како слободен ден, бидејќи кога не се допира опремата, ништо не може да ѝ се случи, па дури и да се случи, сите специјалисти однапред седат во канцеларијата за секој случај.
Во принцип, седиме, го слушаме националниот лидер и не се грижиме за ништо.
Тивко „F***“ доаѓа од операторите на разводната табла.
Се гледам себеси - навистина е „f***“: мрежата на кампусот падна.
За секунда, сè умира (тогаш немаше мем за Наташа и мачки, но ќе беше корисно). Корисничкиот сегмент од мрежата исчезнува, а технолошкиот сегмент исчезнува. Со растечки ужас, се обидуваме да провериме што останува во работна состојба, и откако проверивме, посегнуваме по кабинетот за скриено шише со лековит коњак: остануваат само гласовните повици (ви реков, тие се истрајни!), сè друго е мртво . Нема Интернет - ниту претплатнички GPRS, ниту оптички влакна, кои се доделени на неколку подпровајдери. СМС не се испраќаат. Задник! Ги нарекуваме регионите - тие имаат мрежа, но не ја гледаат Самара.
За половина час крајот на светот стана речиси опиплив. Десет милиони луѓе на кои ненадејно им е скршено сè и кои не можат да стигнат до телефонскиот центар бидејќи гласовните терминали во центарот за повици работат преку VOIP.
И ова за време на говорот на најтемниот владетел! Уште една победа за Стејт департментот и лично Обама!
Дежурните техничари скокнаа од слаб почеток и работеа многу ефикасно: за еден час мрежата оживеа.
Ваквата рација не е регионално, па дури ни регионално ниво, треба да се пријави во Москва со сите детали и екстрадиција на сторителите. Затоа, на оние кои учествуваа во истрагата им беше забрането да ја кажуваат вистината под болка од отказ, а за Цивилната одбрана беше составен извештај, полн со вода и магла, од кој некако излезе дека „само е, никој е виновна“.
Што всушност се случи: на еден од шефовите му истекуваше времето за имплементации и губеше бонуси за нив. И го откинаа шефот на шефот и така натаму; Затоа, тие извршиле притисок врз еден од новите инженери, велејќи му да ги изврши потребните мрежни врски „додека сè е тивко“. Инженерот не се осмели да се спротивстави, па дури и да побара писмена наредба: ова беше неговата прва грешка. Второ, направи грешка при конфигурирање на Cisco од далечина, постигнувајќи рекордни резултати за fakap во најкус можен рок.
Колку што знам никој не е казнет.
Празникот ни доаѓа
Празниците, како што веќе напоменав, отсекогаш биле посебни денови за нас. Во такви денови, оптоварувањето на мрежата нагло се зголемува, бројот на честитки и СМС минува низ покривот. Не знам како е сега, со развојот на Интернет-комуникацијата, но тогаш само на Нова Година, опсосите зедоа многу значајна казна за честитки.
Затоа, на новогодишната ноќ, во канцеларијата секогаш дежураа инженери од сите одделенија (а надвор од канцеларијата имаше тимови подготвени да протуркаат низ снежните наноси за да ја елиминираат несреќата на базната станица во селото мали дриши). Специјалисти за наплата, администратори на хардвер, софтверски водоводџии, специјалисти за мрежа, преклопници, сервисери, изведувачи за поддршка - секое суштество има суштество. И ако условите дозволуваа, тие се дружеа во нашата дежурна просторија, гледајќи на нашите уреди за следење како се зголемува сообраќајот по временските зони низ регионот на Волга.
Три или четири пати во ноќта ја прославувавме Новата година, но ова не беше толку веселба колку нервозно исчекување: дали опремата ќе го издржи преоптоварувањето, дали ќе се скрши некоја алка во сложениот технички синџир...
Саша, кој беше задолжен за наплата, беше особено нервозен. Тој, во принцип, секогаш изгледаше како цел живот да е поминат на сиров нерв, затоа што мораше да ги среди сите добри работи што се случуваа со наплатата, да одговара за сите џамови, го будеа почесто од другите. ноќе; генерално немам поим како и зошто работел таму каде што работел. Можеби му биле платени многу пари, или семејството било во заложништво. Но, таа вечер всушност имав чувство дека ако кликнеш на Саша со нокт, тогаш од внатрешната напнатост собрана во него, тој ќе се урне во прашина. За ваков непријатен случај имаме метла, но во меѓувреме се фаќаме за работа, лижејќи го коњакот што ни чека ред.
Од час по час, сите пренапони на оптоварувањето поминаа, сите почнаа повторно да ги проверуваат своите системи. Прекинувачот бледне: целиот сообраќај за наплата исчезна на еден од регионалните прекинувачи. И ова се податоци за сите повици што поминале низ прекинувачот; тие се напишани во датотека, која се поставува на парчиња преку FTP (за жал, но сигурно) на BRT за полнење.
Комутаторот, замислувајќи ја количината на терпентинска клизма што ќе му ја дадат за губење на дел од новогодишните приходи за целиот регион, почна да трепери. Свртувајќи се кон Саша, со глас полн со возбудлива надеж му се обрати на славниот г-дин Службеник за наплата: „Саша, те молам види, можеби БРТ успеа да ги намали тарифите? О, погледнете, ве молам!“
Саша испи голтка коњак, гризна сендвич со кавијар, полека го џвака и превртувајќи ги очите од задоволство поради тоа што го нема џоинтот, одговори: „Веќе проверив, нема досиеја... “.
(Мојот прекрасен коректор праша што се случи со кутриот менувач. О, неговата судбина беше страшна: тој беше осуден на еднонеделна должност на првата линија за поддршка на центарот за повици, му беше забрането да пцуе. Бррр!)
Фрли камен кој е безгрешен
Врз основа на овие приказни, може да се добие впечаток дека ниту јас лично, ниту другите дежурни сме одговорни. Ништо од типот, цицаа, но некако без интересна епопеја и последици. Работата се сметаше за погодна за довчерашните студенти без мозок и искуство, немаше што да се земе од таков вработен, ќе го избркаа за џоинт - па не е факт дека ќе биде попаметен. Но, обвинувањето за нивните грешки на должност беше посебна спортска дисциплина за инженерите: тие ја промашија целта, не сфатија, не ги известија на време, па казнете ги. „Дежурниот службеник“ совршено ја совладал уметноста на изговори; тоа не секогаш успевало, но сите разбирале сè. Затоа, полета - но, по правило, без сериозни последици.
Расчистуваме уште еден „неуспех“ при промена на смената.
Во текот на неколку години работа таму, можам да се сетам на три случаи кога некој беше отпуштен од одделот.
Еден ден еден инженер во ноќна смена решил да пие пиво, а потоа техничкиот директор влегол во дежурната соба и влегол. Понекогаш можеше да влезе вака и едноставно да се поздрави (како да почнал со дежурните службеници). Запалив дечко со лименка пиво, кликнав на телефонот, пукав. Не пиевме повеќе пиво ноќе.
Друг пат, дежурниот оператор на разводната табла пропушти многу страшна несреќа. Повеќе не се сеќавам на деталите.
И трет пат - на крајот од мојата работа таму. Условите за работа многу се намалија, имаше див промет и страшни прекувремени часови. Луѓето понекогаш работеа 12 часа, потоа спијат XNUMX часа и повторно одеа на дневна должност. Јас самиот работев вака додека ми дозволуваше здравјето и ми беше платено; тогаш тие всушност престанаа да плаќаат за прекувремена работа (стандардно ветуваа компензација со слободно време кога е можно - но сите разбраа дека никој никогаш нема да оди на прошетка), и беа принудени да излезат од должност речиси со закани. Еден инженер не можеше да ја поднесе кукавицата, стана од работното место на сред смена и си отиде дома засекогаш, по пат погледна во канцеларијата на шефот на службата и му испрати писмо со три писма. Се сеќавам на една пошта во која овој инженер беше означен како фашист и предавник по фактот, во секој ред се читаше како властите се запалени од таков чин.
Во однос на моите лични факапи, една случка ми се издвојуваше по својата необичност. Повторно ноќна дежурство, се е тивко, ништо не се случува. При промена на смената го проверуваме мониторингот: упс, обработката на податоците од прекинувачите падна ноќе, добро е што црвеното светло е вклучено долго време. Го гледав овој сигнал цела ноќ и не го забележав или нешто слично. И покрај фактот дека ова беше едно од најочигледните и визуелни мониторинг, сè уште не разбирам зошто не го видов.
Тука немаше оправдувања, џоинтот беше чист и сто проценти, несреќа од петта категорија и сосема веројатно отказ. По дванаесет часа ноќна должност до ручек, ме малтретираа и ме принудија да пишувам објаснувачки белешки. Бидејќи никој не би поверувал во вистината, морав да смислам некој вид на џагор што, поради повреда, прекумерно го употребив лекот против болки и заспав. Шефот на службата ми се развика во неговата канцеларија, генерално, сè одеше кон отказ - но тоа резултираше со опомена и одземање на бонуси. Дотогаш Мега немаше видено бонуси веќе неколку години, па јас не претрпев никаква штета.
Сеќавајќи се на епизодата со пристигнувањето на техничкиот директор: една вечер некој црвенка се стутка во дежурната соба и почна да вика дека седиме отклучени (дежурната соба во принцип не треба да биде заклучена), дека сме тука елени и дека од утро очекуваше од сите нас објаснувачки белешки за сите наши грешки. Овој црнец беше началник на службата за обезбедување, а тој СТОКИ. Откако извика, шефот на обезбедувањето истрча во темнината, а утрото го прашавме нашиот шеф: „Што да правиме?“ „Зафркни го“, одговори тој, и тоа беше крајот на инцидентот.
Како го скршив одделот
Во тие денови, башорг (тогаш сè уште bash.org.ru, а не како што е сега) беше култен ресурс. Цитати се појавија таму речиси неколку месечно, и имајте СВОИ! ЦИТАТ!!! НА БАШ!!! беше толку кул како, да речеме, да имате свој домен од второ ниво во 2000 година. Тој башорг беше некако повеќе ИТ-аниме, иако на сите им беше смешен.
Секое работно утро на најмладиот инженер (т.е. моето) започнуваше со читање башорг - триесет секунди смеење пред дванаесет часа страдање.
Еднаш еден колега ме праша за што се смеам. Му покажав што. Тој ја испрати врската низ одделот.
Работата запре неколку дена: на мое изненадување, никој од моите колеги до тој момент не знаеше за баш. Во дежурната соба се слушаше смеа: „Ах-хаха-хаха, закрпи KDE, ахаха-хаха!“ „Игого-оди-оди, удави ги стапчињата во жива, бгегегег! Изгубен е работен ден, но од друга страна значително им се продолжи животот.
Бонус за оние кои ќе завршат со читање
Запомнете, во времето со брада имаше толку популарна шега: „Гледам два погони C во Нортон, мислам - зошто ми требаат два? Па, избришав еден!“ Многу потсетува на една од моите омилени приказни, која не ја раскажувам јас, туку јас. И секој пат е смешно како првиот:
18+, но не можете да ги избришете зборовите од песната
Postscript
Овие приказни се обработена компилација на некои објави од мојот канал TG. Понекогаш слична игра се провлекува таму; Не навестувам ништо, но Во секој случај ќе го оставам.
Имајте убав петок на сите!
Извор: www.habr.com