Предварителна бележка: тази публикация е чисто петъчна и е по-забавна, отколкото техническа. Ще намерите забавни истории за инженерни хакове, истории от тъмната страна на работата на клетъчен оператор и други несериозни шумолене. Ако някъде украся нещо, то е само в полза на жанра, а ако излъжа, значи всичко това са неща от толкова отдавна, че няма да навредят на никого. Но ако хванете техническа грешка или друга грешка, поправете ме безмилостно, винаги съм бил на страната на справедливостта.
Внимание, започвам без овърклок!
Задна врата към двора
В нашата дежурна на първия етаж имаше големи прозорци, от основата и почти до тавана. Излязоха на сервизния паркинг, откъдето сутринта тръгнаха всякакви геодезисти и други служители на терен. Паркингът беше разположен на достатъчно разстояние от предния и всички служебни входове и зад две бариери.
Една сутрин по това време полицейски коли дойдоха до сградата, полицаи стояха на всички входове и претърсваха всеки, който излизаше. В официалния пощенски списък пристига предупреждение: внезапно (наистина внезапно, не както обикновено) дойде проверка за лицензиране на софтуер и работните станции ще бъдат проверени. Всеки, който има нещо пиратско на компютрите си, трябва да бъде унищожен веднага!
Разбира се, всичко свързано с операционни системи, офис и помощен софтуер беше предимно лицензирано. Но не всичко, не винаги и не навсякъде; Що се отнася до това, което служителите са инсталирали на фирмените си лаптопи, това е напълно тъмна история. Втурнах се да проверя колите в моята зона на отговорност за пиратство, бързо съборих нещо...
... И в това време инженерите започват да влизат в дежурната с припряни и нервни стъпки, с лаптопи и системни инженери в ръце. Влизат през вратата и излизат, кикотейки се на абсурдността на ситуацията, през прозореца: всички входове бяха блокирани, но демоните на закона и реда не се сетиха за такава задна врата. И така, докато се ревизираше счетоводството (където всичко беше образцово), служителите извадиха всичко нередно.
Миналото е там
Ако се интересувате и не сте затворили раздела, ето малко изложение на случващото се във времето, пространството и лицата. Аз съм красиво млад, зелен, като лист от киселец, завършил ИТ, който получи работа в инженерното бюро на Самарския Мегафон (което тогава също беше MSS Povolzhye). За мен това беше първият реален досег с Технология с главно Т и Техници с още по-голямо: като най-младото дяволче в тази адска кухня, наблюдавах с наслада работата на много опитни дяволски инженери, безуспешно опитващи се да разберат тяхната мъдрост. Докато тази мъдрост не се просмука в порите на мозъка ми, можех само да ровя в куп разнообразни мониторинги, тревожейки се всеки път, когато там се появи „червено“.
Ако някой от героите, споменати тук, изведнъж се разпознае, здравейте на вас!
Ако работи, не го докосвайте (но го докосвайте, ако не работи)
Един от споменатите по-горе супертехнари беше Миша Басов. През годините на работа в Мега чух много добри и интересни неща за него в духа на това, че той стоеше почти в началото и стартира куп процеси. Не успях да общувам с него правилно: срещнахме се буквално в отдела по персонала, когато донесох документите и той ги отнесе.
Една от системите за мониторинг, с които работихме, беше написана от Миша. Не помня какво се наблюдаваше там, но знам, че Миша е написал временно решение, което бързо стана постоянно. И това е добре: много от това, което истинските техници правят за собствените си нужди набързо, се оказват добре. Това наблюдение също устройваше всички, работейки без никаква поддръжка или поддръжка, въпреки че никой не знаеше как.
Няколко години след уволнението на Миша мониторингът започна да показва празна страница.
Веднага алармирах. Началникът на смяна алармира. Алармира началникът на сектора.
Началникът на отделението алармира. Началникът на службата алармирал. Началникът на отделението дрънкаше със звънците. ИТ директорът на целия регион Волга чу звъненето и веднага свика среща. Там се обадил на завеждащия отдела. Излая началника на службата. Той, без да разбира същността на проблема, се обади на началника на отдела. Този, като не разбрал какво се е случило, се обадил на началника на сектора, който извикал началника на смяната. Е, той обърна стрелата към мен.
Някак си, сменяйки дежурството, отидох на тази среща. Изговориха се много думи, извикаха отговорника за мониторинга (не чухме нищо разбираемо), запомни се, че Басов е писал за мониторинг, че мониторингът е много важен, но никой не разбира и не знае как работи ... Всичко се свеждаше до това, че трябва да се премахне неработеща и неразбираема система и вместо това да се внедри доказано решение от доказан доставчик.
Докато всичко това се казваше, помолих някого за лаптоп и SSH достъп до този сървър. Беше ми интересно да видя каква супер готина система е написал легендарният Басов.
Когато вляза, първото нещо, което правя по навик, е да напиша:
df -hКомандата ми казва нещо като:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% /
Чистя /var/log, който се напълни през годините, актуализирам мониторинга - всичко работи. Поправих го!
Срещата спира, пропада и всички се разотиват. Пътьом шефът на отдела се радва и ми обещава премия!..
... Вместо бонус, по-късно получих психически удар, защото случайно не успях да поръчам система за мониторинг от доверен доставчик.
Къде живеят къщите?
Едно от задълженията на дежурните инженери беше да контролират електронните ключове за достъп до компютърните зали. Самите зали тогава ме впечатлиха много: редове стелажи, пълни със сървърно и комутационно оборудване, линии от оптични влакна и кръстосани кабели (на места идеално положени, на други превърнати в невероятна буца спагети), непрекъснатото бръмчене на климатици и фалшиви подове, под които беше толкова удобно да се охлаждат напитки... Входовете на залите бяха затворени с тежки херметични врати, предназначени да осигурят автоматично блокиране в случай на пожар. Влизането и излизането се записваше стриктно и подписваше, за да се знае кой и защо е вътре.
Това, което най-много ми хареса в тези стаи, разбира се, бяха сървърните шкафове на „супер къщите“ - два HP SuperDome 9000, които осигуряваха таксуване. Два идентични възела, единият винаги е бил боен възел, а вторият е бил синхронен горещ резерв. Разликата между тях беше само в IP адресите, единият беше xxx45, другият беше xxx46. Всички инженери знаеха и двата IP адреса, защото ако нещо се случи в системата за таксуване, първото нещо, което правите, е да погледнете дали супер къщите се виждат. Невидимостта на супер къщите е невероятна.
Една сутрин се случва нещо подобно. В рамките на две секунди всички услуги изчезват и на двата сървъра и таксуването се срива в нищото. Бързо проверяваме сървърите - пингват, но наистина няма нищо на тях!
Преди дори да имаме време да започнем необходимия набор от мерки, чуваме силен вик "УБИЙ, УЧЕНИЧЕ!"; архадминистраторът на всички сървъри изтича в дежурната стая, откъсва електронния ключ към турбинната зала от рафта и бяга там.
Много бързо след това наблюдението се връща към нормалното.
Ето какво се случи: нов служител на договаряща организация, който конфигурираше пакет от нови виртуални машини, им присвои ръчно последователни статични IP адреси от xxx1 до xxx100. „Студентът” не знаеше за свещените недосегаеми адреси и на старите хора не им хрумна, че някой може да посегне на тях така.
Антиспам услуга
Леле нощни смени! Обичах ги и ги мразех, защото беше 50/50: или планирана работа по оборудването, където участваш активно, помагайки на инженера със заспали мозъци и треперещи ръце, или тишина и спокойствие. Абонатите спят, техниката работи, нищо не е счупено, дежурният е спокоен.
Дежурството върви по план.
Един ден това среднощно спокойствие е нарушено от обаждане на служебния телефон: здравейте, от Сбербанк ви безпокоят, вашата SIM карта, с която се изпращат нашите сигнали, е спряла да работи.
Това беше много отдавна, дори преди въвеждането на IP връзки към SMS шлюза. Следователно, за да може Sber да изпрати SMS от известния си номер 900, те взеха предоставената SIM карта (най-вероятно повече от една), включиха я в GSM модем и така работи.
Добре, приех проблема и започнах да ровя. Първо проверявам състоянието на SIM картата в таксуването, тя е блокирана. Какво, по дяволите - до него има червен надпис „НЕ БЛОКИРАЙ“ и връзка към заповедта на общия архидемон. Уау, това е наистина интересно.
Проверявам причината за блокирането, правя къщичка на веждите си и пътувам към съседния офис, където момиче от отдела за измами се взира в монитора.
"Леночка", казвам й, "защо блокира Сбербанк?"
Тя е объркана: казват, че е дошло оплакване, че спам идва от номер 900. Е, блокирах го, на сутринта щяха да го оправят.
А вие казвате - жалбите на абонати се игнорират!
Включиха отново SIM картата, разбира се.
Много страшна история
Когато за първи път получих работа, аз и други новобранци получихме нещо като ориентировъчна обиколка. Те показаха оборудването: сървъри, климатици, инвертори, пожарогасители. Те показаха базовата станция, която стоеше в една от тестовите стаи за експерименти, като обясниха, че въпреки че предавателите са включени на минимална мощност, е по-добре да не влизате през екранираната врата в този момент. Те обясниха структурата на мобилната мрежа, за основното и резервното захранване, за отказоустойчивостта и за това, че мрежата е проектирана да работи и след атомна бомба. Не знам дали това беше казано, за да го кажа, или беше истина, но се запечата в главата ми.
И наистина: каквито и луди неща да се случиха на местно ниво, гласовата мрежа на Волга винаги работеше непрекъснато. Не съм специалист по комуникации, но знам, че оборудването (както базови станции, така и клиентски терминали) е проектирано за максимална „гласова“ оцеляване. Прекъсна ли захранването на BS? Ще намали мощността, ще превключи към дизелов генератор/батерии, ще изключи предаването на пакетен трафик, но гласът ще продължи. Срязахте ли кабела? Базата ще превключи на радиоканал, който е достатъчен за гласа. Телефонът загуби BS? Той ще увеличи мощността и ще изследва въздуха, докато не се закачи за кулата (или докато изтощи батерията). и т.н.
Но един ден светлините в офиса примигнаха и дизеловите генератори изръмжаха на улицата. Всички се втурнаха да проверят отново своя хардуер: нищо критично не се случи в ИТ частта, но от мониторинга на BS имаше озадачено „неудобство“. И след това: „момчета, ВСИЧКИ наши бази не работят, проверете връзката.“
Вадим мобилните телефони - няма сигнал.
Пробваме IP телефония - няма достъп до мобилни комуникации.
Няма мрежа. Изобщо. Никъде.
Спомняйки си думите за атомната бомбардировка, подсъзнателно изчаках няколко секунди ударната вълна да достигне до нас - по някаква причина не можах да измисля друга причина за загубата на мрежата. Беше страшно и любопитно в същото време: някак си разбрах, че няма да имам време да направя нищо. Останалите момчета също бяха изумени, никой нищо не разбираше.
Нямаше взривна вълна. След петсекунден шок се втурнахме към жичния телефон на градската мрежа, наличен точно за такъв случай, и започнахме да звъним в регионалните служби. Градската мрежа, за щастие, работи, но в регионите потвърдиха: цяла Самара е „мъртва“, нито хардуерът пингва, нито набира.
Пет минути по-късно един от енергетиците донесе новината: някъде в електроцентрала е имало пожар, прекъснал тока поне на цяла Самара, а може би и на региона. Издишано; и когато се случи превключването към резервна мощност, те дори вдишваха.
Още една страшна (но малко глупава) история
Най-големият fakap в паметта ми се случи по време на следващата права линия с вече нуляваната. По това време те току-що бяха въвели функция с изпращане на въпроси чрез SMS, така че се подготвиха за скок в натоварването на мрежата предварително: провериха и подготвиха всичко и цяла седмица преди ден X забраниха всякаква работа с изключение на спешните. Подобен протокол се използва във всички случаи, когато се очаква повишено натоварване, например по празници. А за дежурните инженери е като почивен ден, защото когато оборудването не се пипа, нищо не може да му се случи, а дори и да се случи, всички специалисти седят предварително в офиса за всеки случай.
Като цяло седим, слушаме националния лидер и не се тревожим за нищо.
Тихото „F***“ идва от операторите на централата.
Гледам се - наистина е "по дяволите": мрежата на кампуса е паднала.
За секунда всичко умира (по това време нямаше мем за Наташа и котки, но би било полезно). Потребителският сегмент от мрежата изчезва и технологичният сегмент изчезва. С нарастващ ужас се опитваме да проверим какво остава в изправност и след като проверихме, посягаме към шкафа за скрита бутилка медицински коняк: остават само гласови повиквания (Казах ви, те са упорити!), всичко останало е мъртво . Няма интернет - нито абонатен GPRS, нито фибър, който е разпределен на няколко поддоставчици. SMS не се изпращат. дупе! Обаждаме се на регионите - те имат мрежа, но не виждат Самара.
След половин час краят на света стана почти осезаем. Десет милиона души, на които внезапно всичко се поврежда и които не могат да се свържат с кол центъра, защото гласовите терминали в кол центъра работят чрез VOIP.
И това по време на речта на най-тъмния владетел! Още една победа за Държавния департамент и лично за Обама!
Дежурните техници се включиха от нисък старт и заработиха много ефективно: за час мрежата оживя.
Такова нападение не е регионално или дори регионално ниво, предполага се, че трябва да бъде докладвано на Москва с всички подробности и екстрадирането на извършителите. Затова на участвалите в разследването е забранено да казват истината под страх от уволнение, а за Гражданска защита е съставен доклад, пълен с вода и мъгла, от който някак си излиза, че „сама тя, никой е виновен.“
Какво всъщност се случи: на един от шефовете му изтичаше време за внедрявания и губеше бонуси за тях. И те счупиха шефа на шефа и така нататък; Затова те оказват натиск върху един от новите инженери, като му казват да извърши необходимите мрежови връзки, „докато всичко е тихо“. Инженерът не посмя да възрази или дори да поиска писмена заповед: това беше първата му грешка. Второ, той направи грешка при дистанционното конфигуриране на Cisco, постигайки рекордни резултати за fakap за възможно най-кратко време.
Доколкото знам, няма наказани.
Празник идва при нас
Празниците, както вече споменах, винаги са били специални дни за нас. В такива дни натоварването на мрежата се увеличава рязко, броят на поздравителните обаждания и SMS минава през покрива. Не знам как е сега, с развитието на интернет комуникацията, но тогава само на Нова година opsos свали много значително наказание за поздравителни обаждания.
Затова в навечерието на Нова година инженери от всички отдели винаги дежуриха в офиса (а извън офиса имаше екипи, готови да прокарат снежните преспи, за да отстранят аварията в базовата станция в село Малки дрисчи). Специалисти по таксуване, хардуерни администратори, софтуерни водопроводчици, мрежови специалисти, превключватели, сервизни техници, изпълнители на поддръжка - всяко същество има същество. И ако условията позволяваха, те се мотаеха в нашата дежурна стая, наблюдавайки на нашите устройства за наблюдение нарастването на трафика, следвайки часовите зони в целия регион на Волга.
Три-четири пъти на вечер празнувахме Нова година, но това не беше толкова празник, колкото нервно очакване: ще издържи ли техниката на претоварването, ще се скъса ли някоя брънка от сложната техническа верига...
Саша, който отговаряше за фактурирането, беше особено нервен. Той по принцип винаги изглеждаше така, сякаш целият му живот е бил прекаран в суров нерв, защото трябваше да подреди всички добри неща, които се случваха с фактурирането, да отговаря за всички задръствания, той се събуждаше по-често от другите през нощта; общо взето нямам идея как и защо е работил там където е работил. Може би са му били платени много пари или семейството е било държано като заложник. Но онази вечер наистина имах чувството, че ако щракнеш с нокът върху Саша, то от вътрешното напрежение, натрупано в него, той ще се разпадне на прах. За такъв неприятен случай имаме метла, но междувременно се захващаме за работа, облизвайки коняка, който чака своя ред.
Час след час всички скокове на натоварване преминаха, всеки започна да проверява отново системите си. Превключвателят става блед: целият трафик за таксуване е изчезнал на един от регионалните превключватели. И това са данни за всички разговори, преминали през комутатора; те се записват във файл, който се качва на части през FTP (съжалявам, но надеждно) към BRT за таксуване.
Комутаторът, като си представи обема терпентинова клизма, която ще му дадат за загубата на част от новогодишните приходи за целия регион, започна да трепери. Обръщайки се към Саша, той се обърна към знаменития г-н служител по фактуриране с глас, пълен с вълнуваща надежда: „Саша, моля вижте, може би BRT е успял да намали тарифите? О, вижте, моля ви!“
Саша отпи глътка коняк, хапна сандвич с хайвер, дъвче го бавно и въртейки очи от удоволствие поради факта, че няма джойнт, отговори: „Вече проверих, няма файлове... ”.
(Моят прекрасен коректор попита какво се е случило с горкия превключвател. О, съдбата му беше ужасна: той беше осъден на една седмица дежурство на първа линия в центъра за поддръжка, забранено му да псува. Бррр!)
Хвърли камък, който е безгрешен
От тези разкази може да се направи впечатление, че нито аз лично, нито другите дежурни сме носили отговорност. Нищо подобно, гадни са, но някак без интересен епос и последствия. Работата се смяташе за подходяща за вчерашни студенти без мозък и опит, нямаше какво да се вземе от такъв служител, щяха да го изгонят за съвместно - така че не е факт, че той ще бъде по-умен. Но за инженерите обвиняването на грешките им по време на дежурство беше отделна спортна дисциплина: пропуснаха целта, не разбраха, не ги уведомиха навреме, така че ги наказахте. „Дежурният“ беше овладял отлично изкуството да се извинява, не винаги работеше, но всички разбираха всичко. Следователно той долетя - но, като правило, без сериозни последствия.
Отстраняваме поредния „провал“ при смяната на смените.
За няколко години работа там си спомням три случая, когато някой беше уволнен от отдела.
Един ден инженер от нощна смяна реши да пие бира и тогава техническият директор влезе в дежурната и влезе. Понякога можеше да влезе така и просто да каже здрасти (все едно е започнал с дежурните). Изгорих едно момче с кутийка бира, щраках на телефона, стрелях. Вечерта не пихме повече бира.
Друг път дежурната централа пропусна някаква много ужасна авария. Вече не помня подробности.
И третият път – в края на работата ми там. Условията на работа се влошиха много, имаше диво текучество и ужасен извънреден труд. Хората понякога работеха 12 часа, след това лягаха да спят XNUMX часа и отново отиваха на ежедневно дежурство. Аз самият работех така, докато здравето ми позволяваше и беше платено; тогава всъщност спряха да плащат за извънреден труд (стандартно обещаха компенсация с отпуск, когато е възможно - но всички разбраха, че никой никога няма да излезе на разходка), и бяха принудени да напуснат дежурствата почти със заплахи. Един инженер не издържа на кукувицата, стана от работното си място по средата на смяната си и се прибра завинаги, по пътя погледна в кабинета на началника на службата и му изпрати писмо с три писма. Спомням си един мейл, в който този инженер беше обявен за фашист и предател постфактум, на всеки ред се четеше как властта е изгорена от подобно деяние.
Що се отнася до моите лични fakaps, една случка се открои в съзнанието ми със своята необичайност. Отново нощно дежурство, всичко е тихо, нищо не се случва. При смяна на смените проверяваме мониторинга: опа, обработката на данни от превключвателите падна през нощта, добре е, че червената светлина свети дълго време. Гледах този сигнал цяла нощ и не го усетих или нещо подобно. Въпреки факта, че това беше едно от най-очевидните и визуални наблюдения, все още не разбирам защо не го видях.
Тук нямаше оправдания, ставата беше чиста и стопроцентова, злополука пета категория и доста вероятно уволнение. След дванадесет часа нощно дежурство до обяд ме тормозеха и ме караха да пиша обяснителни записки. Тъй като никой нямаше да повярва на истината, трябваше да измисля някакво бърборене, че поради нараняване съм прекалил с обезболяващото и съм заспал. Началникът на службата ми се развика в кабинета си, общо взето всичко вървеше към уволнение - но се стигна до порицание и лишаване от бонуси. По това време Mega не беше виждал бонуси от няколко години, така че не претърпях никакви щети.
Спомням си епизода с пристигането на техническия директор: една вечер някакво седло се скупчи в дежурната и започна да вика, че седим отключени (дежурната по принцип не трябва да се заключва), че тук сме елени и че до сутрин той очакваше от всички нас обяснителни бележки за всички наши грешки. Този седло беше началник на службата за сигурност и се НАПАЛИ. След като се развика, шефът на охраната избяга в тъмнината, а на сутринта попитахме шефа: „Какво да правим?“ „Майната му“, отвърна той и това беше краят на инцидента.
Как разбих отдела
В онези дни bashorg (тогава все още bash.org.ru, а не това, което е сега) беше култов ресурс. Цитати се появиха там почти няколко на месец и имате СВОИ СОБСТВЕНИ! ЦИТАТ!!! НА БАШ!!! беше толкова готино, колкото, да речем, да имате собствен домейн от второ ниво през XNUMX г. Този башорг беше някак по-скоро IT-аниме, макар че беше забавен за всички.
Всяка работна сутрин на най-младия инженер (т.е. моя) започваше с четене на башорг - тридесет секунди смях преди дванадесет часа страдание.
Един колега ме попита веднъж за какво се кикотя. Показах му какво. Той изпрати връзката из отдела.
Работата спря за няколко дни: за моя изненада никой от колегите ми не знаеше за bash до този момент. В дежурната се чу смях: „А-ха-ха-ха, пач KDE, ахах-хаха!“ „Игого-го-го, удавете лостовете в живак, бгегегег!“ Загубен е един работен ден, но за сметка на това животът им е значително удължен.
Бонус за тези, които дочетат
Спомнете си, в брадатите времена имаше такава популярна шега: „Виждам два C диска в Norton, мисля - защо ми трябват два? Е, изтрих една!“ Много напомня на една моя любима приказка, която не е разказана от мен, а от мен. И всеки път е смешно като първия:
18+, но не можете да изтриете думите от песента
послепис
Тези истории са обработена компилация от някои публикации от моя TG канал. Понякога подобна игра се промъква и там; Нищо не намеквам, но Все пак ще го оставя.
Приятен петък без прецакване на всички!
Източник: www.habr.com