初步通知：這篇文章純粹是星期五的，娛樂性多於技術性。 您會發現有關工程駭客的有趣故事、行動電信商工作陰暗面的故事以及其他無聊的故事。 如果我在某個地方進行修飾，那隻是為了該類型的利益，如果我撒謊，那麼所有這些都是很久以前的事情了，不會傷害任何人。 但如果你發現技術錯誤或其他錯誤，請毫不留情地糾正我，我一直站在正義一邊。
注意，我開始不超頻！
後門通往院子
我們一樓的值班室有大窗戶，從底部一直到天花板。 他們走到服務停車場，早上各種測量員和其他現場員工都從那裡離開。 停車場距離前面和所有服務入口有足夠的距離，並位於兩個障礙物後面。
一天早上，當時，警車開到了大樓，警察站在所有入口處對所有離開的人進行搜查。 官方郵件清單中出現了一條警報：突然（真的突然，不是像平常那樣）進行了軟體許可檢查，並且將檢查工作站。 電腦上有盜版的，必須立即拆除！
當然，與作業系統、辦公室和實用軟體相關的所有內容大多都是經過許可的。 但不是一切，不是總是，也不是無所不在； 至於員工在辦公室筆記型電腦上安裝了什麼，那是一個完全黑暗的故事。 我趕緊檢查我負責的盜版區域內的汽車，很快就拆掉了一些東西…
……而這個時候，工程師們開始邁著匆忙而緊張的步伐進入值班室，懷裡抱著筆記型電腦和系統工程師。 他們從門進出，透過窗戶咯咯地笑著這種荒唐的情況：所有的入口都被封鎖了，但治安惡魔卻沒有想到有這樣的後門。 因此，當會計部門接受審計時（一切都是模範的），員工排除了所有錯誤的地方。
過去就在那裡
如果您有興趣並且還沒有關閉該選項卡，這裡有一些關於時間、空間和人物上正在發生的事情的闡述。 我是一位年輕漂亮、青春活力、像栗色葉子一樣的 IT 畢業生，在 Samara Megafon（當時也是 MSS Povolzhye）的工程部門找到了一份工作。 對我來說，這是第一次真正接觸大寫的技術和更大的技術人員：作為這個地獄廚房中最年輕的小惡魔，我高興地看著經驗豐富的魔鬼工程師的工作，但沒有成功地試圖理解他們的想法。智慧。 直到這種智慧滲入我的大腦毛孔之前，我只能在一堆各種各樣的監控中摸索，每當「紅色」出現時我就擔心。
如果這裡提到的任何一個角色突然認出了自己，那麼向你問好！
如果有效，請不要觸摸它（如果不起作用，請觸摸它）
米沙·巴索夫（Misha Basov）就是上面提到的超級技術人員之一。 在 Mega 工作的這些年裡，我聽到了很多關於他的好消息和有趣的事情，他幾乎站在了最初的位置，啟動了一系列流程。 我沒能與他進行適當的溝通：我們實際上是在人事部門見面的，當時我帶來了文件，他把它們拿走了。
我們使用的監控系統之一是由 Misha 編寫的。 我不太記得那裡監控了什麼，但我知道 Misha 寫了一個臨時解決方案，很快就變成了永久性解決方案。 這很好：真正的技術人員為了自己的需求而匆忙做的很多事情都很好。 這種監控也適合每個人，在沒有任何支援或維護的情況下工作，儘管沒有人知道如何進行。
米莎被解僱幾年後，監視器開始顯示空白頁面。
我立刻拉響了警報。 值班班長拉響了警報。 該部門負責人拉響了警報。
部門負責人拉響了警報。 服務負責人拉響了警報。 部門領導按了鈴聲。 整個伏爾加地區的IT主管聽到鈴聲，立即召開會議。 在那裡，他打電話給部門主管。 他對服務負責人咆哮。 他不明白問題的本質，打電話給部門主管。 這個人不明白發生了什麼事，給部門主管打電話，部門主管又打電話給值班經理。 好吧，他把箭轉向我了。
不知怎麼的，我換了班級去參加了這個會議。 說了很多話，把負責監控的人叫了進來（我們沒有聽到任何可以理解的東西），記得巴索夫寫過關於監控的文章，監控很重要，但沒有人理解或知道它是如何運作的...這一切都歸結於這樣一個事實：應該刪除不起作用且難以理解的系統，而應該實施來自經過驗證的供應商的經過驗證的解決方案。
說了這麼多之後，我請求某人提供一台筆記型電腦並透過 SSH 存取該伺服器。 我很想看看傳奇人物巴索夫寫了什麼樣的超酷系統。
當我進去時，我習慣性做的第一件事就是輸入：
df -h該命令告訴我類似的訊息：
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% /
我清理多年來已滿的/var/log，更新監控 - 一切正常。 修復！
會議停止，崩潰，大家散去。 一路上，部門領導欣喜若狂，還許諾給我獎金！...
……後來，我並沒有得到獎金，而是因為意外地未能從值得信賴的供應商那裡訂購監控系統而受到精神打擊。
房子住哪裡？
值班工程師的職責之一是控制電腦室的電子存取金鑰。 當時的大廳給我留下了非常深刻的印象：一排排的機架裝滿了伺服器和交換設備，光纖和交叉電纜線（在一些地方完美地鋪設，在另一些地方變成了令人難以置信的意大利麵條團），持續不斷的嗡嗡聲空調和假地板，在下面可以方便地冷卻飲料……大廳的入口被厚重的氣密門密封，旨在確保發生火災時自動封鎖。 進出都有嚴格的記錄和簽名，以便知道誰在裡面以及為什麼在裡面。
當然，這些房間裡我最喜歡的是「超級房子」的伺服器機櫃——兩台HP SuperDome 9000，提供計費功能。 兩個相同的節點，一個永遠是作戰節點，第二個是同步熱備。 它們之間的差異僅在於IP位址，一個是xxx45，另一個是xxx46。 所有工程師都知道這兩個 IP 位址，因為如果計費系統發生問題，您要做的第一件事就是查看超級房屋是否可見。 超級房屋的隱形性令人驚嘆。
一天早上，發生了這樣的事。 兩秒鐘之內，兩台伺服器上的所有服務都消失了，計費也化為烏有。 我們快速檢查伺服器 - 它們 ping 通，但實際上什麼都沒有！
在我們還來不及開始採取必要的措施之前，我們就聽到一聲大聲喊叫“殺了，學生！」；所有伺服器的首席管理員跑進值班室，從架子上扯下渦輪室的電子鑰匙並跑到那裡。
此後很快，監控就恢復正常。
所發生的事情是這樣的：合約組織的一名新員工正在配置一組新虛擬機，手動為它們分配了連續的靜態 IP 位址，從 xxx1 到 xxx100。 「學生」不知道神聖不可觸及的地址，老前輩也沒有想到有人會這樣侵犯他們。
反垃圾郵件服務
哇，上夜班了！ 我愛他們又恨他們，因為這是 50/50 的關係：要么在設備上進行預定的工作，你積極參與，幫助昏昏欲睡的大腦和顫抖的雙手的工程師，要么保持沉默和平靜。 使用者正在睡覺，設備正在工作，沒有任何損壞，值班人員很放鬆。
任務正在按計劃進行。
有一天，這種午夜的平靜被辦公室的一通電話打破了：您好，是俄羅斯聯邦儲蓄銀行打來的，他們正在打擾您，您用於發送警報的 SIM 卡已停止工作。
這是很久以前的事了，甚至在 SMS 網關引入 IP 連線之前。 因此，為了讓 Sber 能夠從其著名的 900 號碼發送短信，他們拿走了提供的 SIM 卡（很可能不止一張），將其插入 GSM 調製解調器，這就是它的工作原理。
好吧，我接受了這個問題並開始挖掘。 首先，我在帳單中檢查SIM卡的狀態，它被阻止了。 到底是什麼——旁邊有一個紅色銘文「請勿阻擋」和一個指向大惡魔將軍命令的連結。 哇，這真的很有趣。
我檢查了封鎖的原因，眉毛上畫了一個房子，然後前往下一個辦公室，那裡有一個來自反詐欺部門的女孩盯著監視器。
“萊諾奇卡，”我告訴她，“你為什麼封鎖俄羅斯聯邦儲蓄銀行？”
她很困惑：他們說有人投訴垃圾郵件來自 900。 嗯，我屏蔽了，他們早上就會解決。
你說－訂閱者的投訴被忽略了！
當然，他們重新打開了 SIM 卡。
一個非常可怕的故事
當我第一次找到工作時，我和其他新手都接受了類似迎新之旅的安排。 他們展示了設備：伺服器、空調、逆變器、滅火器。 他們展示了位於其中一間測試室中的基地台進行實驗，並解釋說，雖然發射器以最小功率打開，但此時最好不要進入屏蔽門。 他們解釋了行動網路的結構、主電源和備用電源、容錯能力，以及網路設計為即使在原子彈爆炸後也能正常運作的事實。 我不知道這是為了說而說的還是真的，但這句話深深地印在了我的腦海裡。
確實：無論當地發生了什麼樣的瘋狂事情，伏爾加語音網路始終持續運作。 我不是通訊專家，但我知道設備（基地台和客戶端終端）是為最大程度的「語音」生存能力而設計的。 BS 的電源斷了嗎？ 它將減少功率，切換到柴油發電機組/電池，關閉資料包流量的傳輸，但語音將繼續。 你剪斷電纜了嗎？ 底座將切換到足以播放語音的無線電頻道。 手機丟了BS？ 他將增加功率並探測空氣，直到他掛在塔上（或直到他耗盡電池）。 ETC。
但有一天，辦公室裡的燈光忽明忽暗，街上的柴油發電機轟隆隆作響。 大家趕緊重新檢查自己的硬體：IT部分沒有發生任何嚴重的事情，但BS監控卻出現了令人困惑的「awk」。 然後：“夥計們，我們所有的基地都癱瘓了，請檢查連接。”
我們拿出手機——沒有訊號。
我們正在嘗試 IP 電話 - 無法存取行動通訊。
沒有網路。 完全沒有。 無處。
想起原子彈爆炸的那句話，我下意識地等待了幾秒鐘，直到衝擊波到達我們身邊——不知為什麼，我想不出還有什麼其他原因會導致網絡丟失。 這既令人恐懼又令人好奇：我不知何故明白我沒有時間做任何事。 其餘幾人也是一臉的愕然，沒有一個人聽得懂。
沒有衝擊波。 經過五秒鐘的震驚後，我們衝向專門針對這種情況的有線城市網路電話，開始打電話給地區辦事處。 幸運的是，城市網路可以正常工作，但在他們確認的地區：整個薩馬拉都「死機」了，硬體既不能執行 ping 操作，也不能撥號。
五分鐘後，一名電力工程師帶來了消息：一家發電廠某處發生火災，至少切斷了整個薩馬拉乃至整個地區的電力供應。 呼氣； 當切換到備用電源時，他們甚至吸了一口氣。
另一個可怕（但有點愚蠢）的故事
我記憶中最大的錯誤發生在下一條直線與現在歸零的直線上。 當時他們剛剛推出了短信發送問題的功能，所以他們提前做好了網絡負載激增的準備：他們仔細檢查並準備了一切，並且在X天之前整整一周他們禁止了任何工作除緊急情況外。 在任何預計負載會增加的情況下（例如假日），都會使用類似的協議。 而對於值班的工程師來說，就跟休息一天一樣，因為設備不碰的時候，是不可能出事的，而且就算出事了，所有的專家都提前坐在辦公室里以防萬一。
一般來說，我們坐著聽國家領導人的話，什麼都不用擔心。
總機接線生發出一聲輕柔的「F***」聲。
我看看自己，真是「臥槽」：校園網路斷線了。
一秒鐘，一切都死了（當時還沒有關於娜塔莎和貓的迷因，但它會很有用）。 網路的用戶部分消失了，技術部分也消失了。 隨著恐懼的增加，我們試圖檢查仍然處於工作狀態的東西，檢查完畢後，我們伸手去櫃子裡拿一瓶隱藏的藥用乾邑白蘭地：只剩下語音通話（我告訴過你，它們很頑強！），其他一切都死了。 沒有網路－既沒有用戶 GPRS，也沒有光纖，光纖被分配給幾個子供應商。 簡訊不發送。 屁股！ 我們稱這些地區為——他們有網絡，但他們看不到薩馬拉。
半小時之內，世界末日幾乎觸手可及。 一千萬人突然一切都壞了，無法接通呼叫中心，因為呼叫中心的語音終端透過 VOIP 運作。
這是在最黑暗的統治者的演講中！ 國務院和歐巴馬個人的又一次勝利！
值班技術人員從低起點開始工作，工作效率非常高：一個小時內網路就恢復正常了。
這樣的攻擊不是地區性的，甚至不是地區性的，應該向莫斯科報告所有細節並引渡肇事者。 因此，參與調查的人被禁止說出真相，否則將被解僱，並為民防部門撰寫了一份充滿水和迷霧的報告，從中不知何故發現「是它自己，沒有人」都是罪魁禍首。 」
實際發生的情況是：一位老闆沒有足夠的時間來實施，並且失去了獎金。 他們與老闆的老闆決裂，等等； 因此，他們向一名新工程師施加壓力，告訴他「趁一切安靜的時候」進行所需的網路連接。 工程師不敢反對，甚至不敢要求書面命令：這是他的第一個錯誤。 其次，他在遠端配置Cisco時犯了一個錯誤，在最短的時間內為fakap取得了創紀錄的成績。
據我所知，沒有人受到懲罰。
假期向我們走來
正如我已經提到的，假期對我們來說一直都是特別的日子。 在這樣的日子裡，網路負載急劇增加，祝賀電話和簡訊數量激增。 我不知道現在怎麼樣了，隨著網路通訊的發展，但僅在元旦這一天，opsos就在賀電上取消了非常重大的懲罰。
因此，除夕夜，各部門的工程師始終在辦公室值班（辦公室外也有隊伍準備推雪堆，消除小德里斯基村基地台的事故）。 計費專家、硬體管理員、軟體水管工、網路專家、交換器、服務技術人員、支援承包商 - 每個生物都有一個生物。 如果條件允許，他們會在我們的值班室閒逛，透過我們的監視器設備觀察伏爾加河地區各個時區的交通流量激增。
每晚三、四次慶祝新年，但與其說是喜慶，不如說是緊張的期待：設備能否承受超載，複雜技術鏈中的某個環節會不會斷裂…
負責計費的薩沙尤其緊張。 原則上，他總是看起來好像他的一生都在緊張中度過，因為他必須整理帳單中發生的所有好事，負責所有門框，他比其他人更頻繁地被吵醒晚上; 總的來說，我不知道他如何或為何在他工作的地方工作。 也許他得到了很多錢，或者家人被扣為人質。 但那天晚上我確實有種感覺，如果你用指甲點擊薩沙，那麼他內心積聚的張力就會化成粉末。 對於這種不愉快的情況，我們有一把掃帚，但同時我們開始工作，舔著等待輪到我們的白蘭地。
一小時又一小時，所有的負載激增都過去了，每個人都開始重新檢查他們的系統。 交換器變得蒼白：所有計費流量都在其中一台區域交換器上消失了。 這是有關透過交換機的所有呼叫的資料； 它們被寫入一個文件，該文件透過 FTP（抱歉，但可靠）分塊上傳到 BRT 進行計費。
換向者想像整個地區新年收入的部分損失將給他多少松節油灌腸劑，他開始顫抖。 他轉向薩沙，用充滿激動希望的聲音對著名的計費官員先生說：「薩沙，請看，也許BRT設法降低了關稅？ 哦，請看一下！”
薩沙喝了一口乾邑白蘭地，吃了一塊魚子醬三明治，慢慢咀嚼著，因為沒有大麻煙，高興地翻了個白眼，回答道：「我已經查過了，沒有檔案…」 」。
（我出色的校對員問那個可憐的轉接員發生了什麼事。哦，他的命運很可怕：他被判在呼叫中心支持第一線工作一周，禁止說髒話。Brrr！）
丟一塊石頭誰是無罪的
根據這些故事，人們可能會覺得我個人和其他值班人員都沒有責任。 沒有那樣的事情，他們很糟糕，但不知何故沒有有趣的史詩和後果。 這份工作被認為適合昨天那些沒有頭腦和經驗的學生，這樣的員工沒有什麼可拿的，他們會把他踢出去——所以他不會更聰明並不是事實。 但對工程師來說，責備自己在值班時犯下的錯誤是一項單獨的體育紀律：他們沒有達到目標，沒有弄清楚，沒有及時通知他們，所以懲罰他們。 「值班官」完美地掌握了找藉口的藝術；雖然並不總是有效，但每個人都明白一切。 因此，它飛了進來——但通常不會造成嚴重後果。
我們正在解決換班時的另一個「失敗」問題。
在那裡工作的幾年裡，我記得三起有人被部門解僱的案例。
有一天，一位值夜班的工程師決定喝啤酒，然後技術總監就走進值班室走了進來。 有時他可以這樣進來，簡單地打個招呼（就像他從值班人員開始一樣）。 我用一罐啤酒燒傷了一個人，按下電話，開火了。 晚上我們沒有再喝啤酒。
還有一次，值班總機接線員錯過了一場非常可怕的事故。 我已經不記得細節了。
第三次是在我在那裡工作結束時。 工作條件急劇惡化，人員流動率很高，加班時間也很糟。 人們有時會工作 12 小時，然後睡 XNUMX 小時，然後再進行日常工作。 我自己就是這樣工作的，只要我的健康狀況允許，而且有報酬； 然後他們實際上停止支付加班費（通常他們承諾在可能的情況下提供休假補償 - 但每個人都明白沒有人會去散步），他們幾乎在威脅下被迫停職。 一位工程師受不了這種杜鵑聲，他在輪班期間從工作場所起身，永遠回家了，途中他參觀了服務主管的辦公室，給他發了一封三封信。 我記得一封電子郵件中，這位工程師事後被貼上了法西斯和叛徒的標籤，每一行都寫著當局如何被這種行為燒死。
關於我個人的錯誤，有一件事情因其不同尋常而在我腦海中留下深刻的印象。 又是夜班，一切都很安靜，什麼事都沒有發生。 換班時查看監控：哎呀，晚上交換器數據處理掉線了，還好紅燈長亮了。 我整晚都盯著這個訊號，但沒有察覺到它什麼的。 儘管這是最明顯、最直觀的監控之一，但我仍然不明白為什麼我沒有看到它。
這裡沒有任何藉口，聯合是純粹的，百分之百的，第五類事故，很可能被解僱。 經過十二個小時的夜班直到午餐，他們騷擾我並強迫我寫解釋說明。 由於沒有人相信真相，我只好胡言亂語，因為受傷，我過度使用止痛藥並睡著了。 服務主管在他的辦公室裡對我大喊大叫，總的來說，一切都朝著解僱的方向發展——但這導致了譴責和剝奪獎金。 那時Mega已經好幾年沒看到獎金了，所以我並沒有受到任何傷害。
還記得技術總監到來時的那一幕：有一天晚上，一些鄉巴佬擠在值班室裡，開始大喊大叫，說我們沒上鎖（值班室原則上不應該上鎖），說我們是這裡的鹿，說我們是鹿。早上他希望我們所有人都能對我們所有的錯誤做出解釋性說明。 這個鄉巴佬是安全部門的負責人，他很興奮。 保安隊長大喊一聲後就跑進黑暗裡了，早上我們問老闆：“我們該怎麼辦？” 「管他的，」他回答，事件就這樣結束了。
我是如何打破這個部門的
在那些日子裡，bashorg（當時仍然是 bash.org.ru，而不是現在的樣子）是一種狂熱的資源。 幾乎每個月都會出現幾個報價，並且擁有您自己的報價！ 引用！！！ 狂歡！！！ 就像 XNUMX 年擁有自己的二級域名一樣酷。 那個 bashorg 在某種程度上更像是 IT 動漫，儘管它對每個人來說都很有趣。
最年輕的工程師（也就是我的）的每個早晨工作都是從閱讀 bashorg 開始的——在十二個小時的痛苦之前三十秒的笑聲。
有一次，一位同事問我在笑什麼。 我給他看了什麼。 他將連結發送給了整個部門。
工作停了幾天：令我驚訝的是，直到那一刻我的同事才知道 bash。 值班室傳來一陣笑聲：“啊哈哈哈哈，打補丁KDE，啊哈哈哈哈！” “哥哥哥哥，把撬棍淹沒在水銀裡吧，哥哥哥哥！” 雖然損失了一個工作日，但另一方面，他們的壽命卻大大延長了。
讀完的人有獎勵
請記住，在大鬍子時代有這樣一個流行的笑話：「我在諾頓中看到兩個 C 驅動器，我想 - 為什麼我需要兩個？ 好吧，我刪掉了一個！” 這很讓人想起我最喜歡的故事之一，這個故事不是我自己講的，而是我自己講的。 每次都和第一次一樣有趣：
18+，但你無法刪除歌曲中的歌詞
後記
這些故事是對我的 TG 頻道的一些帖子進行處理後的彙編。 有時類似的遊戲會從那裡溜走； 我並不是暗示什麼，但是 無論如何我都會留下它。
祝大家有個愉快的星期五！
來源： www.habr.com