server<\/a> \u2014 pingabili, ma su di loro non c'\u00e8 davvero nulla!<\/p>\nNon facciamo nemmeno in tempo a iniziare il complesso di attivit\u00e0 previsto, che gi\u00e0 sentiamo un chiasso assordante.UCCIDER\u00d2, STUDENTE!<\/b>; nella sala di controllo irrompe l'archi-amministratore di tutti i server, afferra dalla mensola la chiave elettronica della sala macchine e corre l\u00ec.<\/p>\n
Molto rapidamente dopo, il monitoraggio ritorna alla normalit\u00e0.<\/p>\n
Ecco cosa \u00e8 successo: un nuovo dipendente dell'azienda appaltatrice, configurando un pacchetto di nuove macchine virtuali, ha manualmente assegnato loro indirizzi IP statici sequenziali, da x.x.x.1 a x.x.x.100. \"Studente\" non conosceva gli indirizzi sacri e intoccabili, e agli anziani del posto non venne nemmeno in mente che qualcuno potesse osare incombere su di essi.<\/p>\n
Servizio \"Antispam\"<\/h4>\n \nAh, le notti di turno! Le amavo e le odiavo, perch\u00e9 era un 50\/50: o lavori pianificati sull'hardware, dove partecipavi attivamente, con il cervello sonnolento e le mani tremanti ad aiutare l'ingegnere, oppure silenzio e tranquillit\u00e0. Gli abbonati dormono, l'hardware funziona, nulla si rompe, il turno \u00e8 rilassato.<\/p>\n
Il turno procede secondo il piano.<\/i><\/p>\n
Una notte, una calma notturna viene disturbata da una chiamata al telefono di servizio: buongiorno, siamo da Sberbank, la tua SIM, da cui vengono inviate le nostre notifiche, ha smesso di funzionare.<\/p>\n
Era passato molto tempo, ancora prima dell'implementazione delle connessioni IP con il gateway SMS. Pertanto, affinch\u00e9 Sber potesse inviare un SMS dal suo famoso numero 900, utilizzavano la SIM fornita (probabilmente anche pi\u00f9 di una), la collegavano a un modem GSM, e cos\u00ec funzionava.<\/p>\n
Ok, ho accettato il problema e ho iniziato a indagare. Prima di tutto controllai lo stato della SIM nella fatturazione, risulta bloccata. Che diavolo \u2014 accanto c'era la scritta rossa \"NON BLOCCARE\" e un link all'ordine dell'archidemone generale. Uhm, interessante.<\/p>\n
Controllo il motivo del blocco, alzo le sopracciglia e mi dirigo nell'ufficio accanto, dove una ragazza del dipartimento frodi sta guardando il monitor.<\/p>\n
\"Lenka,\" le dico, \"perch\u00e9 hai bloccato Sberbank?\"<\/p>\n
Lei \u00e8 confusa: ha ricevuto una lamentela che dal numero 900 viene inviato spam. Cos\u00ec ho bloccato, ci siamo capiti al mattino.<\/p>\n
E voi dite che le lamentele degli abbonati vengono ignorate!<\/p>\n
La SIM \u00e8 stata riattivata, ovviamente.<\/p>\n
Una storia molto spaventosa<\/h4>\n \nQuando ho iniziato a lavorare, \u00e8 stata organizzata una sorta di visita introduttiva per me e per altri nuovi dipendenti. Ci hanno mostrato l'attrezzatura: server, condizionatori, inverter, sistemi di spegnimento incendi. Hanno mostrato una stazione base situata in una delle sale macchine per esperimenti, spiegando che, anche se i trasmettitori sono attivi a potenza minima, \u00e8 meglio non entrare in quel momento attraverso la porta schermata. Hanno spiegato il funzionamento della rete mobile, l'alimentazione principale e di riserva, la tolleranza ai guasti e che la rete \u00e8 progettata per funzionare anche dopo un bombardamento atomico. Non so se sia stata detta per enfatizzare, o se sia vero, ma mi \u00e8 rimasta impressa nella mente.<\/p>\n
E davvero: per quanto possa accadere un disastro locale, la rete vocale del Volga ha sempre funzionato senza interruzioni. Non sono un tecnico delle telecomunicazioni, ma so che l'attrezzatura (sia le stazioni base che i terminali client) \u00e8 progettata per massimizzare la sopravvivenza della 'voce'. \u00c8 saltata l'alimentazione della stazione base? Ridurr\u00e0 la potenza, passer\u00e0 a generatori diesel\/accumulatori, disattiver\u00e0 la trasmissione di traffico dati, ma la voce continuer\u00e0 a funzionare. Se viene tagliato il cavo? La base passer\u00e0 a un canale radio, sufficiente per la voce. Se il telefono perde la stazione base? Aumenter\u00e0 la potenza e cercher\u00e0 il segnale finch\u00e9 non si collega a una torre (o finch\u00e9 non esaurisce la batteria). E cos\u00ec via.<\/p>\n
Ma un giorno, in ufficio, \u00e8 lampeggiata la luce e fuori si sono messi a ronzare i generatori diesel. Tutti si sono precipitati a controllare le proprie attrezzature: dal punto di vista IT non era successo nulla di critico, ma dal monitoraggio della stazione base si \u00e8 sentito un attonito 'oddio'. E poi: 'ragazzi, abbiamo TUTTE le basi inattive, controllate la connessione'.
Proviamo la telefonia IP \u2014 niente connessione mobile.<\/p>\n
Non c'\u00e8 rete. Affatto. Da nessuna parte.<\/p>\n
Ricordando le parole sul bombardamento atomico, ho aspettato subconscientemente per alcuni secondi che ci raggiungesse l'onda d'urto \u2014 non mi veniva in mente nessun'altra ragione per la perdita di rete. Ero spaventato e curioso allo stesso tempo: capivo che non avrei avuto modo di fare nulla. Anche gli altri ragazzi erano stupiti, nessuno riusciva a capire cosa stesse succedendo.<\/p>\n
Non c'era onda d'urto. Dopo cinque secondi di shock ci siamo precipitati verso il telefono della rete telefonica fissa, preparandoci a contattare gli uffici regionali. La rete fissa, per fortuna, funzionava, ma nelle regioni confermavano: tutta Samara \u00e8 'morta', nessun dispositivo risponde, nessuna chiamata va a buon fine.<\/p>\n
Dopo cinque minuti qualcuno degli elettricisti ha portato la notizia: \u00e8 esploso qualcosa in una centrale elettrica, lasciando senza corrente almeno tutta Samara, forse anche la regione. Abbiamo tirato un sospiro di sollievo; e quando \u00e8 avvenuto il passaggio alle fonti di riserva \u2014 abbiamo anche respirato.<\/p>\n
Un'altra storia spaventosa (ma un po' sciocca)<\/h4>\n \nIl pi\u00f9 grande fallimento che ricordo \u00e8 avvenuto durante una linea diretta con l'attuale presidente. Allora stavamo introducendo la funzione di invio domande tramite SMS, quindi ci siamo preparati in anticipo per l'aumento del carico sulla rete: abbiamo controllato tutto e preparato, e per un'intera settimana prima del giorno X abbiamo vietato qualsiasi lavoro che non fosse di emergenza. Questo protocollo viene attivato in qualsiasi caso in cui ci si aspetti un aumento del carico, per esempio durante le festivit\u00e0. E per gli ingegneri di guardia \u00e8 lo stesso di un giorno festivo, perch\u00e9 quando l'attrezzatura non viene toccata, non pu\u00f2 succedere nulla, e se anche succede - tutti gli specialisti per sicurezza sono gi\u00e0 in ufficio.<\/p>\n
In generale, siamo seduti, ascoltando il leader nazionale, senza preoccuparci di nulla.<\/p>\n
Dalla parte dei tecnici, si sente un mormorio 'C***o'.<\/p>\n
Guardo verso il mio computer \u2014 davvero 'c***o': la rete del campus \u00e8 andata gi\u00f9.<\/p>\n
In un attimo, tutto muore (allora non c'era il meme su Natasha e i gatti, altrimenti sarebbe stato utile). Scompare il segmento della rete degli utenti, scompare quello tecnologico. Con crescente paura cerchiamo di controllare cosa \u00e8 rimasto in funzione, e dopo averlo fatto, ci tuffiamo nel ripostiglio per prendere la bottiglia di cognac che avevamo nascosto: sono rimasti solo le chiamate vocali (ve l'ho detto, sono resistenti!), tutto il resto \u00e8 morto. Non c'\u00e8 internet \u2014 n\u00e9 GPRS per gli abbonati, n\u00e9 fibra ottica, che viene fornita a vari subfornitori. Non vengono inviati SMS. Situazione critica! Chiamiamo le regioni \u2014 loro hanno rete, ma non vedono Samara.<\/p>\n
Nel giro di mezz'ora, la fine del mondo \u00e8 diventata quasi tangibile. Dieci milioni di persone, che all'improvviso hanno tutto rotto e non possono contattare il call center, perch\u00e9 nei call center i terminali vocali lavorano tramite VOIP.<\/p>\n
E tutto questo mentre parlava il governante pi\u00f9 oscuro! Un'altra vittoria del Dipartimento di Stato e di Obama in persona!<\/p>\n
I tecnici di guardia si sono attivati velocemente e hanno lavorato molto bene: in meno di un'ora la rete \u00e8 tornata in vita.<\/p>\n
Un errore di tale portata non \u00e8 di competenza regionale, ma deve essere segnalato a Mosca con tutti i dettagli e l'individuazione dei colpevoli. Per questo motivo, a coloro che hanno partecipato all'indagine \u00e8 stato vietato di raccontare la verit\u00e0 sotto minaccia di licenziamento; e per le autorit\u00e0 \u00e8 stato redatto un rapporto pieno di vaghezze e ambiguit\u00e0, dove sembrava che \"sia successo tutto da solo, senza colpevoli\".<\/p>\n
La verit\u00e0 \u00e8 che uno dei dirigenti stava affrontando scadenze urgenti riguardo alle implementazioni, e le relative commissioni stava perdendo. Cos\u00ec come il suo superiore e cos\u00ec via; perci\u00f2 hanno fatto pressione su uno dei nuovi ingegneri, ordinandogli di effettuare le necessarie connessioni di rete \"finch\u00e9 tutto \u00e8 tranquillo\". L'ingegnere non si \u00e8 sentito in grado di protestare, n\u00e9 di richiedere un ordine scritto: questo \u00e8 stato il suo primo errore. Il secondo \u00e8 stato commettere un errore durante la configurazione remota di un Cisco, raggiungendo risultati record in termini di guasti in brevissimo tempo.<\/p>\n
Per quanto ne so, nessuno \u00e8 stato punito.<\/p>\n
La festa sta arrivando da noi.<\/h4>\n \nLe festivit\u00e0, come ho gi\u00e0 accennato, sono sempre stati giorni speciali per noi. In queste giornate, il carico sulla rete cresce drasticamente, e il numero di chiamate e messaggi di auguri supera ogni limite. Non so come sia ora, con lo sviluppo della comunicazione su internet, ma allora, solo durante il Capodanno, i fornitori di servizi telefonici registravano un aumento considerevole di chiamate di auguri.<\/p>\n
Pertanto, la notte di Capodanno, ingegneri di tutti i settori dovevano essere presenti in ufficio (e fuori ufficio, squadre pronte a faticare attraverso le nevicate per risolvere guasti nelle stazioni base nei villaggi). Billing specialist, amministratori hardware, tecnici software, esperti di rete, operatori di commutazione, servizi, supporto di appaltatori \u2014 ognuno al suo posto. E se le condizioni lo permettevano, si radunavano nel nostro centro di monitoraggio, osservando i picchi di traffico sulle nostre apparecchiature che seguivano i fusi orari in tutta la regione del Volga. <\/p>\n
Tre o quattro volte a notte festeggiavamo il Capodanno, anche se c'era meno spirito festivo e pi\u00f9 attesa nervosa: riuscir\u00e0 l'attrezzatura a sopportare il sovraccarico? Si romper\u00e0 qualche anello della complessa catena tecnica\u2026<\/p>\n
Ora dopo ora passarono tutti i picchi di carico e ognuno ricontrollava i propri sistemi. L'operatore di commutazione impallidisce: sul commutatore regionale manca tutto il traffico di billing. Questo significa dati su tutte le chiamate che sono passate attraverso il commutatore; vengono memorizzati in un file che, a pezzi, viene scaricato tramite FTP su BRT per la tariffazione.<\/p>\n
L'operatore di commutazione, rendendosi conto del volume di ritorsioni che avrebbe subito per la perdita di parte dell'incasso di Capodanno in tutto il regione, trem\u00f2. Rivolgendosi a Sasha, si rivolse a lui con una voce piena di speranza: \"Sasha, per favore, controlla se BRT \u00e8 riuscito a scaricare la tariffazione? Dai, controlla per favore!\".<\/p>\n
Sasha ha assaporato un sorso di cognac, lo ha accompagnato con un panino con caviale, masticandolo con calma e, chiudendo gli occhi per il piacere dato dal fatto che il problema non fosse suo, ha risposto: \u00abHo gi\u00e0 controllato, non ci sono file...\u00bb.<\/p>\n
(La mia meravigliosa correttore mi ha chiesto cosa fosse successo dopo a quel povero operatore di commutazione. Oh, la sua sorte fu orribile: fu condannato a una settimana di turno alla prima linea di supporto del call center, con divieto di bestemmiare. Brrrr!)<\/p>\n
Chi \u00e8 senza peccato scagli la prima pietra.<\/h4>\n \nDa queste storie potrebbe sembrare che n\u00e9 io n\u00e9 gli altri turnisti abbiamo mai commesso errori. Niente affatto, abbiamo fatto errori, ma in modo meno epico e senza conseguenze interessanti. Il lavoro era considerato adatto a neolaureati senza cervello e esperienza, e da un tale dipendente non c'era molto da aspettarsi: licenziarlo per un errore non garantiva un nuovo assunto pi\u00f9 capace. Ma la pratica di addebitare gli errori alla \"guardia\" era una disciplina sportiva a parte per gli ingegneri: non hanno prestato attenzione, non hanno capito, non hanno avvisato in tempo, quindi punirli. La \"guardia\" ha perfettamente imparato l'arte di giustificarsi; non sempre funzionava, ma tutti capivano. Quindi, si ricevevano conseguenze \u2014 ma di solito senza gravi effetti.<\/p>\n
Analizziamo un'altra \"frittata\" durante il cambio di turno.<\/i><\/p>\n
Negli anni in cui ho lavorato l\u00ec, ricordo tre episodi in cui qualcuno \u00e8 stato licenziato dal reparto.
Un'altra volta, un tecnico di guardia ha trascurato un'emergenza davvero grave. Non ricordo pi\u00f9 i dettagli.<\/p>\n
E l'ultima volta \u2014 verso la fine della mia esperienza l\u00ec. Le condizioni di lavoro erano notevolmente peggiorate, c'era un'alta rotazione del personale e superlavoro pazzesco. Le persone lavoravano a volte per ventiquattro ore, poi si prendevano dodici ore di sonno e tornavano al turno di guardia. Anch'io ho fatto cos\u00ec finch\u00e9 la salute me lo ha permesso e finch\u00e9 veniva pagato; poi hanno smesso di pagare gli straordinari (standardmente promettevano compensazioni con giorni di riposo, quando ci sarebbe stata l'opportunit\u00e0 \u2014 ma tutti sapevano che nessuno mai sarebbe andato a riposarsi), e ci costringevano a lavorare con minacce. Un ingegnere non ha retto e durante il turno si \u00e8 alzato dal posto di lavoro e se ne \u00e8 andato per sempre, facendo tappa dal capo del servizio e mandandolo a quel paese. Ricordo una email in cui quell'ingegnere \u00e8 stato etichettato come fascista e traditore, ogni riga mostrava quanto il management fosse arrabbiato con quel gesto.<\/p>\n
Riguardo ai miei errori personali \u2014 un episodio per la sua stranezza \u00e8 rimasto impresso. Ancora un turno di notte, tutto tranquillo, niente di strano. Durante il cambio di turno controlliamo il monitoraggio: ops, \u00e8 sceso il trattamento dei dati dai commutatori, la lucina rossa \u00e8 accesa da un po'. Ho guardato quel segnale tutta la notte \u2014 e non lo percepivo. Nonostante fosse uno dei monitoraggi pi\u00f9 evidenti e chiari, ancora non capisco perch\u00e9 non l'abbia visto.
Ricordando l'episodio con l'arrivo del direttore tecnico: una notte, un individuo maleducato si \u00e8 presentato in ufficio e ha iniziato a urlare che stavamo seduti con la porta aperta (in effetti l'ufficio non dovrebbe essere chiuso), che siamo degli stupidi e che al mattino si aspettava spiegazioni da noi riguardo ai nostri errori. Quel maleducato era il capo della sicurezza, e ci ha colpito. Dopo aver urlato, se n'\u00e8 andato nell'oscurit\u00e0, e al mattino abbiamo chiesto al nostro capo \u2014 e noi? \u00abMandalo affanculo\u00bb \u2014 rispose, e cos\u00ec l'incidente si chiuse.<\/p>\n
Come ho distrutto un dipartimento<\/h4>\n \nA quei tempi, bash.org (allora ancora bash.org.ru, non quello che c'\u00e8 ora) era un sito cult. Le citazioni apparivano quasi una o due al mese, ed avere una PROPRIA CITAZIONE!!! SU BASH!!! era altrettanto figo quanto avere un proprio dominio di secondo livello nel 2000. Quel bash.org era pi\u00f9 legato all'IT e all'anime, anche se faceva ridere per tutti.<\/p>\n
Ogni mattina lavorativa, il pi\u00f9 giovane ingegnere (cio\u00e8 io) iniziava leggendo bash.org \u2014 trenta secondi di risate prima di dodici ore di sofferenza.<\/p>\n
Una volta un collega mi ha chiesto cosa stavo ridendo. Gli ho mostrato di cosa si trattava. Ha inviato il link al dipartimento.<\/p>\n
Il lavoro si \u00e8 fermato per un paio di giorni: con mia sorpresa, nessuno dei colleghi sapeva prima di bash. Nella sala di guardia c'era una risata: \u00abAh-hahaha, \u00e8 necessario patchare KDE, ahaha-haha!\u00bb. \u00abAh-ha-ha, affondare le masse nel mercurio, blablabla!\u00bb. Il giorno lavorativo \u00e8 andato perso, ma dall'altro lato \u2014 ci siamo allungati la vita.<\/p>\n
Bonus per chi \u00e8 arrivato fino a qui<\/h4>\n \nRicordate, nei tempi antichi, c'era una barzelletta popolare: \u00abVedo due dischi C in Norton, penso: perch\u00e9 ho due? E cos\u00ec ne ho cancellato uno!\u00bb. \u00c8 molto simile a una delle mie storie preferite, che non racconto io, ma mi riguarda. E ogni volta \u00e8 divertente come la prima volta:<\/p>\n
18+, ma da una canzone non si possono togliere le parole<\/b>Post scriptum<\/h4>\n
\nQueste storie sono una compilazione elaborata di alcuni post del mio canale Telegram. A volte ci saltano fuori cose simili; non insisto, ma un link<\/a><\/noindex> lo lascer\u00f2.<\/p>\nA tutti una buona giornata senza errori!habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0435: \u043f\u043e\u0441\u0442 \u044d\u0442\u043e\u0442 \u0441\u0443\u0433\u0443\u0431\u043e \u043f\u044f\u0442\u043d\u0438\u0447\u043d\u044b\u0439, \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0430\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439, \u0447\u0435\u043c \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439. \u0412\u0430\u0441 \u0436\u0434\u0443\u0442 \u0432\u0435\u0441\u0451\u043b\u044b\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043e\u0431 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0445 \u0444\u0430\u043a\u0430\u043f\u0430\u0445, \u0431\u0430\u0439\u043a\u0438 \u0441 \u0442\u0451\u043c\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u043e\u0442\u043e\u0432\u043e\u0433\u043e \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430 \u0438 \u043f\u0440\u043e\u0447\u0438\u0439 \u043b\u0435\u0433\u043a\u043e\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u0448\u043e\u0440\u043e\u0445. \u0415\u0441\u043b\u0438 \u044f \u0433\u0434\u0435-\u0442\u043e \u0447\u0442\u043e-\u0442\u043e \u043f\u0440\u0438\u0443\u043a\u0440\u0430\u0448\u0443 \u2014 \u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u044b \u0436\u0430\u043d\u0440\u0430, \u0430 \u0435\u0441\u043b\u0438 \u043d\u0430\u0432\u0440\u0443 \u2014 \u0442\u0430\u043a \u0432\u0441\u0451 \u044d\u0442\u043e \u0434\u0435\u043b\u0430 \u0434\u043d\u0435\u0439 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043d\u0443\u0432\u0448\u0438\u0445, \u0447\u0442\u043e \u043d\u0438\u043a\u043e\u043c\u0443 \u043e\u0442 \u0442\u043e\u0433\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":90526,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-90525","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t