Aviso previo: esta publicación é puramente venres, e máis entretida que técnica. Atoparás historias divertidas sobre trucos de enxeñería, contos do lado escuro do traballo dun operador de telefonía móbil e outros ruximentos frívolos. Se embelezo algo nalgún lugar, é só para o beneficio do xénero, e se minto, entón todas estas son cousas de días atrás que non prexudicarán a ninguén. Pero se detectas un erro técnico ou algún outro erro, corríxeme sen piedade, sempre estiven do lado da xustiza.
Atención, estou empezando sen overclock!
Porta traseira para o xardín
No noso cuarto de servizo do primeiro andar había grandes ventás, desde a base e case ata o teito. Saíron ao aparcadoiro de servizo, de onde saían pola mañá todo tipo de topógrafos e outros empregados de campo. O aparcadoiro estaba situado a suficiente distancia da fronte e de todas as entradas de servizo, e detrás de dúas barreiras.
Unha mañá, a esa hora, os coches policiais dirixíronse ata o edificio, os policías puxéronse en todas as entradas e rexistraron a todos os que saían. Chega unha alerta na lista de correo oficial: de súpeto (de súpeto, non como é habitual) chegou unha comprobación de licenza de software e inspeccionaranse as estacións de traballo. Calquera persoa que teña algo pirateado nos seus ordenadores debe ser demolido de inmediato.
Por suposto, todo o relacionado cos sistemas operativos, o software de oficina e de utilidade estaba maioritariamente licenciado. Pero non todo, nin sempre nin en todas partes; En canto ao que os empregados instalaron nos seus portátiles da empresa, esa é unha historia completamente escura. Corrín a revisar os coches da miña área de responsabilidade en materia de piratería, demolendo rapidamente algo...
... E neste momento, os enxeñeiros comezan a entrar na sala de traballo con pasos precipitados e nerviosos, con ordenadores portátiles e enxeñeiros de sistemas nos seus brazos. Entran pola porta e saen, rindo ante o absurdo da situación, pola fiestra: todas as entradas estaban bloqueadas, pero os demos da lei e da orde non pensaron nesa porta traseira. Así, mentres o departamento de contabilidade estaba sendo auditado (onde todo era exemplar), os empregados sacaron todo o que estaba mal.
O pasado está aí
Se estás interesado e non pechaches a pestana, aquí tes algunha exposición do que está a suceder no tempo, no espazo e nas persoas. Son un moi novo, verde, como unha folla de alazán, graduado en TI, que conseguiu un traballo na mesa de enxeñaría do Samara Megafon (que entón tamén era MSS Povolzhye). Para min, este foi o primeiro contacto real coa Tecnoloxía cunha T maiúscula e os Técnicos cunha aínda máis grande: sendo o diaño máis novo desta cociña infernal, observaba con deleite o traballo de enxeñeiros diaños moi experimentados, intentando sen éxito comprender o seu sabedoría. Ata que esa sabedoría se filtrou nos poros do meu cerebro, só podía meter unha chea de monitores variados, preocupándome cada vez que aparecía "vermello".
Se algún dos personaxes mencionados aquí se recoñece de súpeto, ola para ti!
Se funciona, non o toques (pero tócalo se non funciona)
Un dos super-técnicos mencionados anteriormente foi Misha Basov. Ao longo dos anos de traballo en Mega, escoitei moitas cousas boas e interesantes sobre el co espírito de que estaba case nas orixes e lanzou unha morea de procesos. Non conseguín comunicarme con el correctamente: xuntámonos literalmente no departamento de persoal, cando trouxen os documentos e el levounos.
Un dos sistemas de monitorización cos que traballamos foi escrito por Misha. Realmente non recordo o que se controlou alí, pero sei que Misha escribiu unha solución temporal, que rapidamente se fixo permanente. E é bo: gran parte do que fan os verdadeiros técnicos polas súas propias necesidades con présa resulta ben. Aquela vixilancia tamén lle conviña a todos, traballando sen ningún tipo de apoio nin mantemento, aínda que ninguén sabía como.
Un par de anos despois do despedimento de Misha, o seguimento comezou a mostrar unha páxina en branco.
Inmediatamente dei a voz de alarma. O xefe de quenda deu a voz de alarma. O xefe do sector deu a voz de alarma.
O xefe do departamento deu a voz de alarma. O xefe do servizo deu a voz de alarma. O xefe do departamento fixo tintinear as súas campás. O director de TI de toda a rexión do Volga escoitou o toque e inmediatamente convocou unha reunión. Alí chamou ao xefe do departamento. Ladrou ao xefe do servizo. El, sen entender a esencia do problema, chamou ao xefe do departamento. Este, sen entender o que pasara, chamou ao xefe do sector, quen chamou ao xefe de quenda. Ben, el virou a frecha sobre min.
Dalgunha maneira, cambiando de deber, fun a esta reunión. Dixéronse moitas palabras, chamouse á persoa responsable da vixilancia (non escoitamos nada intelixible), lembrouse que Basov escribiu sobre a vixilancia, que a vixilancia é moi importante, pero que ninguén entende nin sabe como funciona. ... Todo se reduce ao feito de que se debe eliminar un sistema que non funciona e incomprensible e, no seu lugar, debe implementarse unha solución comprobada dun provedor comprobado.
Mentres se dicía todo isto, pedínlle a alguén un ordenador portátil e acceso SSH a ese servidor. Interesábame ver que tipo de sistema súper xenial escribiu o lendario Basov.
Cando entro, o primeiro que fago por costume é escribir:
df -hO comando dime algo así como:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% /
Limpo /var/log, que se encheu co paso dos anos, actualizo o seguimento: todo funciona. Arranxado!
A reunión detense, derrúbase e todos se dispersan. Polo camiño, o xefe do departamento alégrase e prométeme un extra!...
... En lugar dunha bonificación, máis tarde recibín un golpe mental por non encargar accidentalmente un sistema de vixilancia a un provedor de confianza.
Onde viven as casas?
Un dos deberes dos enxeñeiros de garda era controlar as chaves electrónicas de acceso ás aulas de informática. Os propios salóns impresionáronme moito daquela: filas de racks cheos de equipos de servidor e de conmutación, liñas de fibra óptica e cables cruzados (nalgúns lugares perfectamente colocados, noutros convertidos nun incrible bulto de espaguetes), o constante zumbido de aires acondicionados e falsos pisos baixo os que era tan conveniente refrescar bebidas... As entradas aos salóns estaban seladas con pesadas portas herméticas, pensadas para garantir o bloqueo automático en caso de incendio. A entrada e a saída foron rigorosamente rexistradas e asinadas, para que se soubese quen estaba dentro e por que.
O que máis me gustou nestas salas, por suposto, foron os armarios de servidores das "supercasas": dous HP SuperDome 9000, que proporcionaban facturación. Dous nodos idénticos, un era sempre un nodo de combate e o segundo era un modo de espera sincrónico. A diferenza entre eles só estaba nos enderezos IP, un era xxx45, o outro era xxx46. Todos os enxeñeiros coñecían estes dous enderezos IP, porque se ocorreu algo no sistema de facturación, o primeiro que fas é mirar se as supercasas están visibles. A invisibilidade das supercasas é incrible.
Unha mañá sucede algo así. En dous segundos, todos os servizos desaparecen en ambos os servidores e a facturación cae na nada. Comprobamos rapidamente os servidores: fan un ping, pero realmente non hai nada neles.
Antes de que teñamos tempo de comezar o conxunto de medidas necesarias, escoitamos un forte berro "MATAR, ESTUDANTE!"; o archi-administrador de todos os servidores corre á sala de traballo, arrinca a chave electrónica da sala de turbinas do estante e corre alí.
Moi rapidamente despois disto, o seguimento volve á normalidade.
Isto foi o que pasou: un novo empregado dunha organización contratante, que estaba a configurar un paquete de novas máquinas virtuais, asignoulles manualmente direccións IP estáticas sucesivas, de xxx1 a xxx100. O "estudante" non sabía sobre os enderezos sagrados intocables, e aos vellos nunca se lles ocorreu que alguén puidese invadirlles así.
Servizo antispam
Vaia, quendas de noite! Encantábaas e detestábaas, porque era 50/50: ou traballo programado no equipamento, onde participas activamente, axudando ao enxeñeiro con cerebros adormecidos e mans trementes, ou silencio e calma. Os abonados están durmindo, o equipo funciona, nada está roto, o oficial de servizo está relaxado.
O deber vai segundo o previsto.
Un día, esta calma da medianoite vese perturbada por unha chamada ao teléfono da oficina: ola, están molestándoche desde Sberbank, a túa tarxeta SIM, coa que se envían as nosas alertas, deixou de funcionar.
Isto foi hai moito tempo, mesmo antes da introdución das conexións IP á pasarela de SMS. Por iso, para que Sber puidese enviar unha SMS dende o seu famoso número 900, colleron a tarxeta SIM que se lle proporcionaba (o máis probable é máis dunha), enchufárono a un módem GSM e así funcionaba.
Vale, aceptei o problema e comecei a cavar. En primeiro lugar, comprobo o estado da tarxeta SIM na facturación, está bloqueada. Que diaños - ao seu carón hai unha inscrición vermella "NON BLOQUEAR" e unha ligazón á orde do archidemo xeral. Vaia, iso é moi interesante.
Comprobo o motivo do bloqueo, fágome unha casa nas cellas e viaxo ata a seguinte oficina, onde unha rapaza do departamento de fraude mira para o monitor.
"Lenochka", dígolle, "por que bloqueaches Sberbank?"
Está confusa: din que chegou unha queixa de que chegaba spam do número 900. Pois bloqueeino, solucionaríano pola mañá.
E dis: as queixas dos subscritores son ignoradas!
Volveron a activar a tarxeta SIM, por suposto.
Unha historia de moito medo
Cando conseguín un traballo, a min e a outros novatos ofrecéronme algo así como unha visita de orientación. Mostraron os equipos: servidores, aire acondicionado, inversores, extinción de incendios. Mostraron a estación base que se atopaba nunha das salas de probas para os experimentos, explicando que aínda que os transmisores están acendidos á mínima potencia, é mellor non entrar pola porta blindada neste momento. Eles explicaron a estrutura da rede móbil, sobre a potencia principal e de reserva, sobre a tolerancia a fallos e sobre o feito de que a rede está deseñada para funcionar mesmo despois dunha bomba atómica. Non sei se isto se dixo por dicilo ou se era certo, pero quedoume na cabeza.
E de feito: sen importar que tipo de loucuras acontecesen localmente, a rede de voz do Volga sempre funcionou continuamente. Non son un especialista en comunicacións, pero sei que o equipo (tanto as estacións base como os terminais do cliente) está deseñado para a máxima supervivencia de "voz". Apagause a alimentación da BS? Reducirá a potencia, cambiará ao grupo electróxeno diésel/baterías, desactivará a transmisión de tráfico de paquetes, pero a voz continuará. Cortaches o cable? A base cambiará a unha canle de radio que sexa suficiente para a voz. Perdeu o teléfono BS? Aumentará a potencia e probará o aire ata que se enganche á torre (ou ata que esgote a batería). Etc.
Pero un día as luces da oficina parpadearon e os xeradores de gasóleo retumaron na rúa. Todo o mundo se apresurou a revisar o seu hardware: non pasou nada crítico na parte de TI, pero a partir da vixilancia de BS produciuse un "inquieto" desconcertado. E despois: "Chicos, TODAS as nosas bases están caidas, comprobe a conexión".
Sacamos os nosos teléfonos móbiles - non hai sinal.
Estamos probando a telefonía IP: non hai acceso ás comunicacións móbiles.
Non hai rede. En todo. En ningunha parte.
Recordando as palabras sobre o bombardeo atómico, agardei inconscientemente durante varios segundos a que a onda de choque chegase a nós; por algún motivo, non se me ocorreu ningún outro motivo para a perda da rede. Daba medo e curioso ao mesmo tempo: dalgún xeito entendín que non tería tempo de facer nada. O resto dos rapaces tamén estaban pasmados, ninguén podía entender nada.
Non houbo onda expansiva. Despois dun choque de cinco segundos, corremos ao teléfono da rede urbana con cable dispoñible para tal caso e comezamos a chamar ás oficinas rexionais. A rede da cidade, afortunadamente, funcionou, pero nas rexións confirmaron: todo Samara está "morto", nin o hardware está pingando nin marcando.
Cinco minutos máis tarde, un dos enxeñeiros eléctricos deu a noticia: houbo un incendio nalgún lugar dunha central eléctrica, cortando a luz polo menos a toda Samara, e posiblemente a rexión. Exhalado; e cando se produciu o cambio á enerxía de reserva, mesmo respiraron.
Outra historia de medo (pero un pouco estúpida).
O fakap máis grande da miña memoria ocorreu durante a seguinte liña recta coa que agora está a cero. Daquela, acababan de introducir unha función de envío de preguntas por SMS, polo que se prepararon con antelación para un aumento da carga na rede: comprobárono e preparárono todo, e unha semana enteira antes do día X prohibiron calquera traballo. agás as de emerxencia. Un protocolo similar úsase en todos os casos nos que se espera un aumento da carga, por exemplo, en vacacións. E para os enxeñeiros de garda é o mesmo que un día libre, porque cando non se toca o equipo non lle pode pasar nada e, aínda que ocorra, todos os especialistas sentan na oficina con antelación por se acaso.
En xeral, sentamos, escoitamos ao líder nacional e non nos preocupamos por nada.
Un tranquilo "F***" vén dos operadores da centralita.
Mírome a min mesmo: é realmente "f***": a rede do campus caeu.
Nun segundo, todo morre (daquela non había ningún meme sobre Natasha e os gatos, pero sería útil). O segmento de usuarios da rede desaparece e o segmento tecnolóxico. Con horror crecente, tentamos comprobar o que está en estado de funcionamento e, unha vez comprobado, chegamos ao armario para buscar unha botella escondida de coñac medicinal: só quedan as chamadas de voz (xa vos dixen, son tenaces!), todo o demais está morto. . Non hai Internet, nin GPRS de abonado nin fibra, que se asigna a varios subprovedores. Non se envían SMS. Cu! Chamamos ás rexións: teñen unha rede, pero non ven a Samara.
En media hora, o fin do mundo fíxose case tanxible. Dez millóns de persoas que de súpeto teñen todo roto e que non poden acceder ao call center porque os terminais de voz do call center funcionan a través de VOIP.
E isto durante o discurso do gobernante máis escuro! Outra vitoria para o Departamento de Estado e Obama persoalmente!
Os técnicos de garda puxéronse desde un arranque baixo e traballaron de forma moi eficiente: nunha hora a rede cobrou vida.
Tal redada non é un nivel rexional, nin sequera rexional, suponse que debe informarse a Moscova con todos os detalles e a extradición dos autores. Por iso, aos que participaron na investigación prohibíronlle dicir a verdade baixo pena de despedimento, e redactouse un informe para Protección Civil, cheo de auga e néboa, do que dalgún xeito se desprendeu que “é ela mesma, ninguén é a culpa".
O que pasou en realidade: un dos xefes estaba quedando sen tempo para as implementacións e estaba perdendo bonos para eles. E romperon o xefe do xefe, etc; Por iso, presionaron a un dos novos enxeñeiros, dicíndolle que fixese as conexións de rede necesarias "mentres todo estea tranquilo". O enxeñeiro non se atreveu a opoñerse, nin sequera a esixir unha orde por escrito: este foi o seu primeiro erro. En segundo lugar, cometeu un erro ao configurar o Cisco de forma remota, logrando resultados récord para fakap no menor tempo posible.
Que eu saiba, ninguén foi castigado.
As vacacións chegan ata nós
As vacacións, como xa comentei, sempre foron días especiais para nós. Nestes días, a carga na rede aumenta drasticamente, o número de chamadas de felicitación e SMS pasa polo teito. Non sei como está agora, co desenvolvemento da comunicación por Internet, pero entón só o día de Ano Novo, os opsos quitaron unha sanción moi importante nas chamadas de felicitación.
Polo tanto, na véspera de Ano Novo, enxeñeiros de todos os departamentos estaban sempre de servizo na oficina (e fóra da oficina había equipos preparados para atravesar os ventisqueros para eliminar o accidente na estación base da aldea de drischi). Especialistas en facturación, administradores de hardware, fontaneiros de software, especialistas en redes, conmutadores, técnicos de servizo, contratistas de apoio: cada criatura ten unha criatura. E se as condicións o permitían, colgaban no noso cuarto de servizo, observando nos nosos dispositivos de vixilancia os aumentos do tráfico seguindo os fusos horarios en toda a rexión do Volga.
Tres ou catro veces por noite celebrabamos o Ano Novo, pero non era tanto festividade como expectación nerviosa: aguantará o equipo a sobrecarga, romperá algún elo da complexa cadea técnica...
Sasha, que se encargaba da facturación, estaba especialmente nerviosa. El, en principio, sempre semellaba que a súa vida enteira pasase dun nervio crudo, porque tiña que resolver todas as cousas boas que estaban a pasar coa facturación, ser o responsable de todas as xambas, espertábase máis a miúdo que outros. Á noite; en xeral, non teño nin idea de como nin por que traballou onde traballaba. Quizais lle pagaron moito diñeiro, ou a familia estaba a ser refén. Pero esa noite en xeral tiven a sensación de que se premebas en Sasha cunha uña, entón pola tensión interna acumulada nel, el se desmoronaría en po. Para un caso tan desagradable, temos vasoira, pero mentres tanto poñémonos mans á obra, lambendo o coñac que agarda a nosa quenda.
Hora tras hora, todos os aumentos de carga pasaron, todos comezaron a revisar os seus sistemas. O interruptor pálido: todo o tráfico de facturación desapareceu nun dos interruptores rexionais. E estes son datos sobre todas as chamadas que pasaron polo interruptor; escríbense nun ficheiro, que se carga en anacos a través de FTP (perdón, pero de forma fiable) a BRT para a carga.
O conmutador, imaxinando o volume de enema de trementina que lle darían pola perda de parte dos ingresos de ano novo para toda a rexión, comezou a tremer. Dirixíndose a Sasha, dirixiuse ao ilustre Sr. Oficial de Facturación cunha voz chea de esperanza emocionante: "Sasha, mira, quizais BRT conseguiu desinflar as tarifas? Oh, mira, por favor!"
Sasha deu un grolo de coñac, merendou un bocadillo de caviar, mastigouno lentamente e, botando os ollos de pracer por non ter o porro, respondeu: “Xa comprobei, non hai arquivos... ".
(O meu marabilloso corrector preguntou que lle pasou ao pobre cambiador. Oh, o seu destino foi terrible: foi condenado a unha semana de servizo na primeira liña de apoio ao centro de chamadas, prohibido xurar. Brrr!)
Tire unha pedra que estea sen pecado
En base a estas historias, pódese ter a impresión de que nin eu persoalmente nin as demais persoas de servizo fomos responsables. Nada dese tipo, apestaban, pero dalgún xeito sen unha epopea e consecuencias interesantes. O traballo considerouse axeitado para os estudantes de onte sen cerebro e experiencia, non había nada que quitar a un empregado deste tipo, expulsaríano por unha articulación, polo que non é un feito que sexa máis intelixente. Pero botarlle a culpa aos seus erros ao servizo era unha disciplina deportiva separada para os enxeñeiros: perderon a marca, non o decataron, non lles avisaron a tempo, así que castigalos. O "oficial de servizo" dominaba perfectamente a arte de poñer desculpas; non sempre funcionaba, pero todo o mundo o entendía todo. Polo tanto, voou, pero, por regra xeral, sen consecuencias graves.
Estamos solucionando outro "fracaso" no cambio de quenda.
Durante varios anos de traballo alí, lembro tres casos nos que alguén foi despedido do departamento.
Un día un enxeñeiro da quenda de noite decidiu beber cervexa, e entón o director técnico entrou na sala de garda e entrou. Ás veces podía entrar así e simplemente saudar (é coma se comezase cos oficiais de servizo). Queimei a un tipo cunha lata de cervexa, premei no teléfono, disparei. Non tomamos máis cervexa pola noite.
Noutra vez, a centralita de servizo perdeu un accidente moi terrible. Xa non lembro os detalles.
E a terceira vez - ao final do meu traballo alí. As condicións laborais caeron moito, houbo unha rotación salvaxe e terribles horas extras. A xente ás veces traballaba durante 12 horas, despois ía durmir durante XNUMX horas e volveu a traballar diariamente. Eu mesmo traballei así mentres a miña saúde o permitía e se pagase; entón deixaron de pagar as horas extras (normalmente prometían compensar con tempo libre cando era posible, pero todos entendían que ninguén iría nunca a pasear), e foron obrigados a saír do deber case con ameazas. Un enxeñeiro non aguantaba o cuco, ergueuse do seu posto de traballo no medio da súa quenda e marchou para a casa para sempre, de camiño mirou para o despacho do xefe do servizo e envioulle unha carta de tres cartas. Lembro un correo no que este enxeñeiro foi tachado de fascista e traidor despois do feito, en cada liña líase como se queimaban as autoridades por tal acto.
Respecto dos meus fakaps persoais, un incidente destacou na miña mente pola súa inusualidade. De novo, servizo nocturno, todo está tranquilo, non pasa nada. No cambio de quenda comprobamos a vixilancia: vaia, o procesamento de datos dos interruptores caeu pola noite, é bo que a luz vermella leva moito tempo acesa. Mirei este sinal toda a noite e non o percibín ou algo así. A pesar de que este foi un dos monitores máis evidentes e visuais, aínda non entendo por que non o vin.
Aquí non había desculpas, a xunta foi pura e ao cento por cento, accidente de quinta categoría e despedimento bastante probable. Despois de doce horas de servizo nocturno ata o xantar, acosáronme e obrigáronme a escribir notas explicativas. Como ninguén crería a verdade, tiven que facer algún balbuceo que, por mor dunha lesión, abusei do analxésico e quedei durmido. O xefe do servizo gritoume no seu despacho, en xeral, todo ía cara ao despedimento, pero resultou nunha reprimenda e privación de bonificacións. Nese momento, Mega levaba varios anos sen ver bonos, polo que non sufrín ningún dano.
Lembrando o episodio coa chegada do director técnico: unha noite uns vermillos acurrucáronse na sala de garda e comezou a berrar que estabamos sentados desbloqueados (a sala de garda non debería estar pechada en principio), que eramos cervos aquí, e que polo mañá esperaba de todos nós notas explicativas sobre todos os nosos erros. Este redneck era o xefe do servizo de seguridade, e emocionou. Despois de gritar, o xefe de seguridade saíu correndo á escuridade e pola mañá preguntamos ao noso xefe: "Que debemos facer?" "Fóralle", respondeu el, e ese foi o final do incidente.
Como rompei o departamento
Naqueles tempos, bashorg (daquela aínda bash.org.ru, e non o que é agora) era un recurso de culto. As citas apareceron alí case un par ao mes, e teñen as túas! CITA!!! NO BASH!!! foi tan xenial como, por exemplo, ter o teu propio dominio de segundo nivel en XNUMX. Ese bashorg era dalgún xeito máis TI-anime, aínda que era divertido para todos.
Cada mañá de traballo do enxeñeiro máis novo (é dicir, o meu) comezaba coa lectura de bashorg: trinta segundos de risa antes de doce horas de sufrimento.
Unha vez un compañeiro preguntoume de que estaba rindo. Mostreille o que. Enviou a ligazón polo departamento.
O traballo parou un par de días: para a miña sorpresa, ningún dos meus compañeiros sabía de bash ata ese momento. Houbo risas na sala de garda: "Ah-haha-haha, parche KDE, ahaha-haha!" "Igogo-go-go, afoga as palancas no mercurio, bgegegeg!" Perdeuse unha xornada de traballo, pero, por outra banda, prolongouse significativamente a súa vida.
Bonificación para os que rematen de ler
Lembre, nos tempos barbudos había unha broma tan popular: "Vexo dúas unidades C en Norton, creo - por que necesito dúas? Ben, borrei un!" Lembra moito a unha das miñas historias favoritas, que non a contan eu, senón eu. E cada vez é tan divertido como a primeira:
18+, pero non podes borrar as palabras da canción
Postscript
Estas historias son unha compilación procesada dalgunhas publicacións da miña canle TG. Ás veces, un xogo semellante deslízase por alí; Non estou insinuando nada, pero Deixareino igualmente.
Que teñades un bo venres sen carallo a todos!
Fonte: www.habr.com