Notificación previa: este post es estrictamente de viernes y más entretenido que técnico. Te esperan historias divertidas sobre fracasos ingenieriles, anécdotas del lado oscuro de trabajar con un operador de telefonía móvil y otros murmullos livianos. Si embellezco algo en algún lugar, será solo por el bien del género, y si miento, son cosas del pasado tan lejanas que a nadie le harán daño. Pero si tu ojo atrapa algún error técnico o de otro tipo, corrígeme sin piedad, siempre he estado del lado de la justicia.
¡Atención, empiezo sin preámbulos!
Puerta trasera al patio
En nuestra sala de descanso en el primer piso había unas ventanas grandes, desde el zócalo hasta casi el techo. Daban a un estacionamiento de servicio, del cual por la mañana salían varios medidores y otros empleados de campo. Este estacionamiento estaba lo suficientemente alejado de la entrada principal y de todas las entradas de servicio, además de estar detrás de dos barreras.
Una mañana, entonces, llegan unos coches policiales, se colocan policías en todas las entradas y realizan un registro de todos los que salen. Un alerta llega a la circulación interna: de repente (realmente de repente, no como de costumbre) ha llegado una inspección de la legalidad del software, se van a revisar las estaciones de trabajo. Quien tenga algo pirata en sus computadoras, ¡tiene que eliminarlo de inmediato!
Sin duda, todo lo que respecta a sistemas operativos, software de oficina y herramientas de trabajo estaba mayormente licenciado. Pero no todo, no siempre y no en todas partes; y lo que los empleados habían instalado en sus laptops de trabajo es una historia completamente oscura. Me lancé a revisar las máquinas bajo mi responsabilidad por piratería, eliminando rápidamente algunas cosas...
...Y en ese momento, con pasos apresurados y nerviosos, comienzan a entrar ingenieros con laptops y unidades de sistema en brazos. Entran por la puerta, pero salen, riendo de lo absurdo de la situación, por la ventana: todas las entradas estaban bloqueadas, pero sobre esta puerta trasera, los demonios de la ley no habían pensado. Así que, mientras se realizaba la revisión de contabilidad (donde todo era ejemplar), los empleados se deshicieron de todo lo comprometedor.
El pasado está allá
Si te ha interesado y no has cerrado la pestaña, aquí tienes una pequeña introducción sobre lo que está ocurriendo en el tiempo, el espacio y entre las personas. Yo soy un joven brillante, verde como una hoja de acedera, un graduado en TI que comenzó a trabajar en el turno de ingeniería de "MegaFon" en Samara (que en ese momento era aún "MCC Volga"). Para mí, fue el primer verdadero contacto con la Técnica con mayúscula y con los Técnicos con aún más mayúscula: siendo el más joven en este infierno de trabajo, observaba con entusiasmo las hazañas de los ingenieros experimentados, tratando en vano de comprender su sabiduría. Mientras esa sabiduría no se filtrara en mis neuronas, solo podía mirar un montón de monitores variados, preocupándome cada vez que aparecía algo "rojo".
¡Hola a todos los mencionados que de repente se reconozcan aquí!
Si funciona, no lo toques (pero tócalo si no funciona)
Uno de los súper técnicos mencionados anteriormente era Misha Basov. Durante mis años en "Mega", escuché muchas cosas buenas e interesantes sobre él, en el sentido de que estuvo casi en los orígenes y lanzó un montón de procesos. No tuve la oportunidad de hablar con él adecuadamente: nos conocimos literalmente en el departamento de recursos humanos, cuando yo traje documentos y él estaba recogiendo los suyos.
Uno de los sistemas de monitoreo con los que trabajamos fue escrito por Misha. Ya no recuerdo muy bien qué se estaba monitoreando, pero sé que Misha escribió una solución temporal que rápidamente se volvió permanente. Y es bueno: mucho de lo que los verdaderos técnicos hacen para sus propias necesidades de manera apresurada resulta ser simplemente maravilloso. Ese monitoreo también satisfacía a todos, funcionando sin ningún tipo de soporte ni mantenimiento, aunque nadie sabía cómo.
Un par de años después de la salida de Misha, el monitoreo empezó a mostrar una página en blanco.
De inmediato hice sonar la alarma. El líder del turno hizo sonar la alarma. El jefe del sector hizo sonar la alarma.
El jefe del departamento sonó la alarma. El jefe de servicio sonó la alarma. El director del departamento hizo sonar las campanas. El director de TI de toda la región escuchó el sonido y convocó inmediatamente una reunión. Allí invitó al jefe del departamento. Este gritó al jefe de servicio. Este, sin entender el problema, llamó al jefe del departamento. Este, sin comprender lo que había sucedido, llamó al jefe de sector, quien llamó al jefe de turno. Y ese desvió la culpa hacia mí.
Un día, al reemplazarme durante el turno, asistí a esta reunión. Se dijeron muchas palabras, se convocó al responsable de los monitoreos (no escuchamos nada claro), se recordó que el monitoreo lo hizo Basov, que el monitoreo es muy importante, pero que nadie entiende ni sabe cómo funciona... Todo se redujo a que había que eliminar un sistema ineficaz y confuso y, en su lugar, implementar una solución probada de un proveedor confiable.
Mientras todo esto se decía, logré pedir prestado un portátil y acceso ssh a ese servidor. Tenía curiosidad por ver qué tipo de super sistema había escrito el legendario Basov.
Entré y, por costumbre, escribí:
df -hEl sistema me responde algo como:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% / Limpié el /var/log que había estado lleno durante años, actualicé el monitoreo — todo funciona. ¡Lo reparé!
La reunión se detiene, se descompone, todos se dispersan. Por el camino, el jefe del departamento se alegra y me promete una bonificación…
… En lugar de la bonificación, luego recibí una reprimenda mental por haber arruinado accidentalmente el retroceso del pedido del sistema de monitoreo de un proveedor confiable.
Dónde viven las casitas
Una de las responsabilidades de los ingenieros de turno era controlar las llaves electrónicas de acceso a las salas de máquinas. Las salas me impresionaban mucho en ese momento: filas de racks llenos de equipo de servidores y de conmutación, líneas de fibra óptica y cables cruzados (en algunos lugares — perfectamente colocados, en otros — convertidos en un increíble ovillo de espaguetis), el constante zumbido de los aires acondicionados y los suelos elevados, debajo de los cuales era tan conveniente enfriar bebidas… Las entradas a las salas estaban bloqueadas por pesadas puertas herméticas, diseñadas para garantizar el bloqueo automático en caso de incendio. La entrada y salida se registraban estrictamente con firma, para saber quién y por qué estaba dentro en ese momento.
Lo que más me gustaba de estas salas eran, por supuesto, los armarios de servidores de los «Superdomos» — dos HP SuperDome 9000 que soportaban el sistema de facturación. Dos nodos idénticos, uno siempre operativo y el otro como respaldo caliente sincrónico. La única diferencia entre ellos eran las direcciones IP, uno era x.x.x.45 y el otro x.x.x.46. Todos los ingenieros conocían estas direcciones, porque si algo sucedía en la facturación, lo primero que hacías era verificar si los superdomos estaban visibles. La invisibilidad de los superdomos — ¡alarmante!
Una mañana, ocurre un evento alarmante. En cuestión de dos segundos, todos los servicios en ambos servidores desaparecen y la facturación se desmorona en la nada. Rápidamente comprobamos servidores — responden al ping, ¡pero en realidad no hay nada en ellos!
No hemos tenido tiempo ni para iniciar el conjunto de medidas necesarias, cuando escuchamos un grito potente: "¡TE MATO, ESTUDIANTE!"; el administrador supremo de todos los servidores irrumpe en la sala, agarra la llave electrónica del cuarto de máquinas de la estantería y corre hacia allí.
Muy rápidamente después de esto, el monitoreo vuelve a la normalidad.
Esto es lo que pasó: un nuevo empleado de la organización contratada, que configuraba un montón de nuevas máquinas virtuales, asignó manualmente direcciones IP estáticas secuenciales, desde x.x.x.1 hasta x.x.x.100. El «Estudiante» desconocía las direcciones sagradas e intocables, y a los veteranos ni se les pasó por la cabeza que alguien podría atreverse a usarlas.
El servicio «Antispam»
¡Ah, las guardias nocturnas! Las amaba y las odiaba, porque era un 50/50: o trabajos de mantenimiento programados en el equipo, donde participabas activamente, ayudando al ingeniero con cerebros somnolientos y manos temblorosas, o silencio y tranquilidad. Los abonados duermen, el equipo funciona, nada se rompe, el de guardia está relajado.
La guardia sigue según lo planeado.
Una vez, esa calma de medianoche se interrumpe por una llamada al teléfono de trabajo: hola, nos llaman de Sberbank, nuestra tarjeta SIM, desde la cual se envían las notificaciones, ha dejado de funcionar.
Esto fue hace mucho tiempo, incluso antes de la implementación de conexiones IP al gateway SMS. Por lo tanto, para que Sber pudiera enviar un mensaje desde su famoso número 900, utilizaban la tarjeta SIM proporcionada (probablemente incluso más de una), la insertaban en un módem GSM y así funcionaban.
Está bien, he aceptado el problema y he comenzado a investigar. Primero reviso el estado de la tarjeta SIM en la facturación, está bloqueada. ¿Qué demonios? — al lado hay un aviso en rojo que dice «NO BLOQUEAR» y un enlace a la orden del gran archidemonio. Vaya, esto es realmente interesante.
Estoy verificando la razón del bloqueo, frunzco el ceño y me dirijo a la oficina de al lado, donde una chica del departamento de fraude está mirando la pantalla.
«Lena», le digo, «¿por qué bloqueaste Sberbank?»
Ella, confundida, dice que ha llegado una queja de que del número 900 se está enviando spam. Así que lo bloqueé, en la mañana resolveremos.
¡Y ustedes dicen que las quejas de los abonados se ignoran!
Por supuesto, activaron la SIM de nuevo.
Una historia muy aterradora.
Cuando recién comencé a trabajar, nos hicieron una especie de tour introductorio a mí y a otros nuevos. Nos mostraron el equipo: servidores, aires acondicionados, inversores, sistemas de extinción de incendios. Nos enseñaron la estación base que estaba en una de las salas de máquinas para experimentos, explicando que aunque los transmisores se encienden a mínima potencia, es mejor no entrar por la puerta blindada durante ese tiempo. Nos explicaron sobre la estructura de la red móvil, sobre la alimentación principal y de reserva, sobre la tolerancia a fallos y que la red está diseñada para funcionar incluso después de un bombardeo nuclear. No sé si esto se dijo por efecto dramático o es verdad, pero se quedó grabado en mi mente.
Y de hecho: por más caos que a veces suceda localmente, la red de voz en Volga siempre ha funcionado sin interrupciones. No soy especialista en telecomunicaciones, pero sé que el equipo (tanto las estaciones base como los terminales de los clientes) está diseñado para maximizar la supervivencia de la «voz». ¿Se apagó la alimentación en la estación base? Reducirá la potencia, pasará a generadores diésel/ baterías, desactivará la transmisión de tráfico de datos, pero la voz seguirá funcionando. ¿Cortaron el cable? La base pasará a canal de radio, suficiente para la voz. ¿El teléfono perdió la conexión con la base? Aumentará la potencia y buscará señal hasta encontrar una torre (o hasta que se agote la batería). Y así sucesivamente.
Pero una vez en la oficina, se apagó la luz y afuera comenzaron a sonar los generadores diésel. Todos se apresuraron a verificar su equipo: en cuanto a IT, no pasó nada crítico, pero desde el monitoreo de la estación base se escuchó un desconcertante «vaya». Y luego: «chicos, todas nuestras bases cayeron, verifiquen la conexión».
Sacamos los móviles — no hay señal.
Probamos la telefonía IP: no hay salida a la red móvil.
No hay conexión. En absoluto. En ninguna parte.
Recordando las palabras sobre el bombardeo atómico, inconscientemente esperé durante unos segundos a que la onda de choque nos alcanzara; no se me ocurrió ninguna otra razón para la pérdida de la red. Era aterrador y curioso al mismo tiempo: entendía que no podría hacer nada de todos modos. Los demás chicos también estaban aturdidos, nadie podía entender nada.
No hubo onda expansiva. Después de cinco segundos de shock, corrimos al teléfono de la red pública que teníamos para este tipo de casos, comenzando a llamar a las oficinas regionales. La red de la ciudad, por suerte, funcionaba, pero en las regiones confirmaban: toda Samara está 'muerta', no hay señales del hardware, ni se puede llamar.
Después de cinco minutos, uno de los técnicos trajo la noticia: hubo una explosión en alguna central eléctrica, cortando la electricidad en toda Samara, posiblemente en la región también. Respiramos aliviados; y cuando se realizó el cambio a las fuentes de energía de reserva, incluso respiramos profundamente.
Otra historia aterradora (pero un poco tonta)
El mayor fiasco que recuerdo ocurrió durante otra línea directa con el ahora anulado. En ese momento, justo estaban introduciendo la opción de enviar preguntas por SMS, así que se prepararon con antelación para el aumento de carga en la red: lo revisaron todo y prepararon, y durante toda una semana antes del día X prohibieron cualquier trabajo que no fuera de emergencia. Este protocolo se emplea en cualquier caso en que se espera un aumento de carga, por ejemplo, durante las festividades. Y para los ingenieros de guardia, no importa que sea día festivo, porque cuando no tocan el equipo, nada puede suceder, y si sucede, todos los especialistas, por si acaso, ya están en la oficina.
En general, estamos sentados, escuchando al líder nacional, sin preocuparnos por nada.
Desde el lado de los conmutadores se escucha un susurro: '¡Joder!'.
Miro hacia mi dirección: efectivamente, '¡joder!': la red del campus se cayó.
En un segundo, todo muere (en ese momento aún no existía el meme sobre Natasha y los gatos, pero habría sido útil). Desaparece el segmento de usuarios en la red, desaparece la tecnología. Con creciente horror, intentamos verificar qué queda en funcionamiento, y al comprobarlo, nos acercamos al armario en busca de la botella escondida de coñac medicinal: solo quedan las llamadas de voz (¡te lo dije, son resistentes!), todo lo demás ha fallado. No hay Internet, ni GPRS de los abonados, ni en la fibra óptica que se destina a varios subproveedores. No se envían SMS. ¡Es un desastre! Llamamos a las regiones: ellos tienen red, pero no ven a Samara.
En media hora, el fin del mundo se volvió casi materialmente palpable. Diez millones de personas, a las que repentinamente se les rompió todo y que no pueden comunicarse con el centro de atención telefónica, porque en el centro de atención, los terminales de voz funcionan a través de VOIP.
¡Y eso durante la intervención del gobernante más oscuro! ¡Otra victoria del Departamento de Estado y de Obama en persona!
Los técnicos de guardia se lanzaron desde la línea de salida y trabajaron con gran precisión: en una hora, la red revivió.
Tal fallo no es de nivel provincial, ni siquiera regional, de esto se debe informar a Moscú con todos los detalles y nombrando a los responsables. Por eso, a los que participaron en la investigación se les prohibió contar la verdad bajo amenaza de despido, y para el gobierno redactaron un informe lleno de vaguedades, en el que parecía que "sucedió solo, nadie es culpable".
Lo que realmente sucedió: a uno de los jefes se le acercaban los plazos de implementación y se le frustraban las bonificaciones por ello. Y al jefe del jefe también se le frustraban, y así sucesivamente; por eso presionaron a uno de los nuevos ingenieros, ordenándole realizar las conexiones de red requeridas "mientras todo esté tranquilo". El ingeniero no se atrevió a protestar, o al menos a exigir una orden por escrito: ese fue su primer error. El segundo fue equivocarse al configurar el Cisco de forma remota, logrando récords de fracaso en un tiempo récord.
Hasta donde yo sé, no castigaron a nadie.
La fiesta llega a nosotros
Las fiestas, como ya mencioné, siempre han sido días especiales para nosotros. En tales días, la carga en la red aumenta drásticamente, la cantidad de llamadas y mensajes de felicitación se desborda. No sé cómo es ahora, con el desarrollo de la comunicación por internet, pero en un solo Año Nuevo, los operadores cobraban una tarifa considerable por las llamadas de felicitación.
Por eso, en la noche de Año Nuevo, siempre había ingenieros de todos los departamentos de guardia en la oficina (y fuera de la oficina, brigadas listas para atravesar los montones de nieve para solucionar cualquier avería en la estación base en el pueblo de pequeñas dificultades). Facturadores, administradores de hardware, técnicos de software, especialistas de red, conmutadores, personal de servicio, soporte de contratistas — cada uno tenía su tarea. Y si las condiciones lo permitían, se quedaban con nosotros en la sala de guardia, observando en nuestros dispositivos de monitoreo los picos de tráfico que seguían las zonas horarias en todo el Volga.
Tres o cuatro veces en la noche celebramos el Año Nuevo, aunque en esto había más ansiedad que festividad: ¿aguantaría el equipo la sobrecarga, se rompería algún eslabón en la complicada cadena técnica...?
Particularmente nervioso estaba Sasha, encargado de la facturación. Él, en principio, siempre se veía como si toda su vida transcurriera en un nervio expuesto, ya que tenía que lidiar con todo lo que sucedía en la facturación, asumir la responsabilidad de todos los errores, y a menudo lo despertaban por la noche; en general, no me imagino cómo y por qué trabajaba donde trabajaba. Tal vez le pagaban mucho dinero, o mantenían a su familia como rehén. Pero esa noche tuve la sensación de que si le daba un pequeño toque, con toda la tensión interna acumulada, se desharía en polvo. En caso de que eso sucediera, tenemos una escoba, pero por ahora, seguimos trabajando, mirando el aguardiente que espera su turno.
Hora tras hora, todos los picos de carga pasaron, todos comenzaron a revisar sus sistemas. El conmutador se pone pálido: en uno de los conmutadores regionales, se ha perdido todo el tráfico de facturación. Y eso significa datos sobre todas las llamadas que han pasado a través del conmutador; se escriben en un archivo que se descarga por bloques mediante FTP (rudimentario, pero confiable) en el BRT para la tarificación.
El conmutador, al imaginar el volumen de un enema de trementina que le pondrían por la pérdida de parte de los ingresos de Año Nuevo en toda la región, se estremeció. Volviéndose hacia Sasha, se dirigió al honorable caballero de facturación con una voz llena de esperanzadora ansiedad: «Sasha, por favor revisa, ¿tal vez BRT logró extraer la tarificación? Ah, por favor, míralo».
Sasha dio un sorbo de coñac, lo acompañó con un sándwich de caviar, lo masticó despacio y, poniendo los ojos en blanco de placer por el hecho de que el problema no era suyo, respondió: «Ya he comprobado, no hay archivos...».
(Mi maravilloso corrector preguntó qué había sido del pobre conmutador. Oh, su destino fue terrible: lo condenaron a una semana de turnos en la primera línea de apoyo del call center, prohibiéndole hablar groserías. ¡Brrr!)
Tiren la primera piedra, los que estén sin pecado.
Con estas historias, se podría pensar que ni yo ni otros de turno hemos cometido errores. Nada de eso, cometimos errores, pero sin la épica interesante ni consecuencias. El trabajo era considerado adecuado para estudiantes recientes sin cerebro ni experiencia; no había nada que sacar de un empleado así, despedirlo por un error — no era seguro que el nuevo fuera más inteligente. Pero pasarle a «la guardia» los errores era una disciplina deportiva distinta entre los ingenieros: dejaron pasar, no se dieron cuenta, no avisaron a tiempo, así que había que castigarles. «La guardia» dominó a la perfección el arte de evadir responsabilidades; no siempre funcionaba, pero todos comprendían. Así que llegaban problemas — pero, por lo general, sin consecuencias graves.
Analizando otro «fallo» durante el cambio de turno.
En mis años de trabajo allí, puedo recordar tres casos en los que despidieron a alguien del departamento.
Una vez, un ingeniero en el turno de noche decidió tomar una cerveza, y de repente entró el director técnico a la guardia. A veces podía entrar de manera casual a saludar (parece que él mismo había comenzado como guardia). Pilló al chico con la lata de cerveza, clic en el teléfono, despido. Desde entonces, no se volvió a beber cerveza por la noche.
Otra vez, un conmutador de guardia dejó pasar un accidente realmente grave. Ya no recuerdo los detalles.
Y la tercera vez — ya al final de mi trabajo allí. Las condiciones laborales habían empeorado mucho, había una alta rotación y cuentas de horas extra terribles. La gente trabajaba a veces veinticuatro horas, luego se iba a dormir doce horas y volvían a salir para otro turno de veinticuatro horas. Yo mismo también trabajé así, mientras mi salud lo permitía y se pagaba; luego dejaron de pagar las horas extra (solían prometer compensación con días libres cuando hubiera oportunidad — pero todos sabían que nunca nadie se iría de vacaciones), y nos obligaban a cubrir turnos casi a la fuerza. Un ingeniero no pudo soportarlo y, a mitad del turno, se levantó de su puesto y se fue a casa para siempre, pasando por la oficina del jefe del departamento y enviándolo a la porra. Recuerdo un correo en el que este ingeniero fue etiquetado a posteriori como fascista y traidor, en cada línea se leía lo enfurecido que estaba el jefe por tal acción.
En cuanto a mis propios errores, un caso se me quedó grabado por su singularidad. De nuevo, turno nocturno, todo tranquilo, no ocurre nada. En el cambio de turno revisamos el monitoreo: ups, de repente cayó el procesamiento de datos de los conmutadores, hace tiempo que la luz roja está encendida. Pasé toda la noche mirando esa señal — y no la percibí, ¿o qué? A pesar de que era uno de los monitoreos más obvios y evidentes, todavía no entiendo por qué no lo vi.
Aquí no había manera de excusarse, fue un error limpio y cien por ciento despreciable, un accidente de quinta categoría y un despido muy probable. Después de doce horas de turno nocturno, me estuvieron martillando hasta la tarde, obligándome a escribir explicaciones. Como nadie creería la verdad, tuve que inventar alguna tontería, que debido a una lesión me comí un montón de analgésicos y me quedé dormido. El jefe del departamento me gritaba en su oficina; en general, todo iba hacia el despido — pero terminó en una reprimenda con un descuento de mi sueldo. En esos tiempos en Mega, ya no habíamos visto premios durante varios años, así que no padecí ningún daño.
Recordando el episodio de la llegada del jefe de tecnología: una noche, algún avaro se metió en la sala de guardia y comenzó a gritar que estábamos sentados sin estar asegurados (la sala de guardia no debería estar cerrada en principio), que éramos unos tontos, y que por la mañana esperaba explicaciones de todos nosotros sobre nuestros errores. Ese avaro era el jefe del servicio de seguridad, y era algo sorprendente. Después de gritar, el jefe se fue a la oscuridad, y por la mañana le preguntamos a nuestro jefe — ¿qué debemos hacer? 'Mándalo al diablo', respondió él, y con esto se cerró el incidente.
Cómo rompí el departamento
En aquellos días, bash.org (entonces todavía bash.org.ru, y no lo que es ahora) era un recurso de culto. Las citas aparecían casi un par al mes, y tener TU! ¡CITA! EN BASH! era tan genial como, digamos, tener tu dominio de segundo nivel en el año dos mil. Ese bash.org era más orientado a IT y anime, aunque era gracioso para todos.
Cada mañana laboral de la ingenierita más joven (es decir, la mía) comenzaba con la lectura de bash.org: treinta segundos de risa antes de doce horas de sufrimiento.
Una vez, un colega me preguntó por qué me reía. Le mostré de qué. Él envió el enlace por el departamento.
El trabajo se detuvo durante un par de días: para mi sorpresa, nadie en el departamento sabía de bash hasta ese momento. Hubo risas en la sala de guardia: '¡Ah-haha, parchar KDE, haha!'. '¡Jajajaja, hundir troncos en mercurio, bgegege!'. Se perdió un día laboral, pero por otro lado, al menos se alargó la vida.
Un bono para quienes lleguen hasta aquí
Recuerden, en tiempos antiguos había un chiste popular que decía: 'Veo dos discos C en Norton, pienso — ¿para qué necesito dos? Y borro uno'. Se parece mucho a una de mis historias favoritas, que no cuento yo, sino que me cuentan. Y es igual de graciosa cada vez que la escucho.
18+, pero de la canción no se pueden quitar las palabras.
Postscriptum
Estas historias son una compilación editada de algunas publicaciones de mi canal de TG. A veces aparece una locura similar; no insinúo nada, pero No obstante, lo dejaré.
¡Que todos tengan un viernes sin problemas!
Fuente: habr.com
