servidores<\/a> \u2014 responden al ping, \u00a1pero en realidad no hay nada en ellos!<\/p>\nNo tenemos tiempo ni siquiera para comenzar el conjunto de actividades previsto, cuando escuchamos el estruendoso grito\u00a1TE MATO, ESTUDIANTE!<\/b>; el administrador supremo de todos los servidores irrumpe en la sala, arranca de la estanter\u00eda la llave electr\u00f3nica del cuarto de m\u00e1quinas y corre hacia all\u00ed.<\/p>\n
Muy r\u00e1pidamente despu\u00e9s de esto, el monitoreo vuelve a la normalidad.<\/p>\n
Esto es lo que pas\u00f3: un nuevo empleado de la organizaci\u00f3n contratada, que configuraba un mont\u00f3n de nuevas m\u00e1quinas virtuales, asign\u00f3 manualmente direcciones IP est\u00e1ticas secuenciales, desde x.x.x.1 hasta x.x.x.100. El \u00abEstudiante\u00bb desconoc\u00eda las direcciones sagradas e intocables, y a los veteranos ni se les pas\u00f3 por la cabeza que alguien podr\u00eda atreverse a usarlas.<\/p>\n
El servicio \u00abAntispam\u00bb<\/h4>\n \n\u00a1Ah, las guardias nocturnas! Las amaba y las odiaba, porque era un 50\/50: o trabajos de mantenimiento programados en el equipo, donde participabas activamente, ayudando al ingeniero con cerebros somnolientos y manos temblorosas, o silencio y tranquilidad. Los abonados duermen, el equipo funciona, nada se rompe, el de guardia est\u00e1 relajado.<\/p>\n
La guardia sigue seg\u00fan lo planeado.<\/i><\/p>\n
Una vez, esa calma de medianoche se interrumpe por una llamada al tel\u00e9fono de trabajo: hola, nos llaman de Sberbank, nuestra tarjeta SIM, desde la cual se env\u00edan las notificaciones, ha dejado de funcionar.<\/p>\n
Esto fue hace mucho tiempo, incluso antes de la implementaci\u00f3n de conexiones IP al gateway SMS. Por lo tanto, para que Sber pudiera enviar un mensaje desde su famoso n\u00famero 900, utilizaban la tarjeta SIM proporcionada (probablemente incluso m\u00e1s de una), la insertaban en un m\u00f3dem GSM y as\u00ed funcionaban.<\/p>\n
Est\u00e1 bien, he aceptado el problema y he comenzado a investigar. Primero reviso el estado de la tarjeta SIM en la facturaci\u00f3n, est\u00e1 bloqueada. \u00bfQu\u00e9 demonios? \u2014 al lado hay un aviso en rojo que dice \u00abNO BLOQUEAR\u00bb y un enlace a la orden del gran archidemonio. Vaya, esto es realmente interesante.<\/p>\n
Estoy verificando la raz\u00f3n del bloqueo, frunzco el ce\u00f1o y me dirijo a la oficina de al lado, donde una chica del departamento de fraude est\u00e1 mirando la pantalla.<\/p>\n
\u00abLena\u00bb, le digo, \u00ab\u00bfpor qu\u00e9 bloqueaste Sberbank?\u00bb<\/p>\n
Ella, confundida, dice que ha llegado una queja de que del n\u00famero 900 se est\u00e1 enviando spam. As\u00ed que lo bloque\u00e9, en la ma\u00f1ana resolveremos.<\/p>\n
\u00a1Y ustedes dicen que las quejas de los abonados se ignoran!<\/p>\n
Por supuesto, activaron la SIM de nuevo.<\/p>\n
Una historia muy aterradora.<\/h4>\n \nCuando reci\u00e9n comenc\u00e9 a trabajar, nos hicieron una especie de tour introductorio a m\u00ed y a otros nuevos. Nos mostraron el equipo: servidores, aires acondicionados, inversores, sistemas de extinci\u00f3n de incendios. Nos ense\u00f1aron la estaci\u00f3n base que estaba en una de las salas de m\u00e1quinas para experimentos, explicando que aunque los transmisores se encienden a m\u00ednima potencia, es mejor no entrar por la puerta blindada durante ese tiempo. Nos explicaron sobre la estructura de la red m\u00f3vil, sobre la alimentaci\u00f3n principal y de reserva, sobre la tolerancia a fallos y que la red est\u00e1 dise\u00f1ada para funcionar incluso despu\u00e9s de un bombardeo nuclear. No s\u00e9 si esto se dijo por efecto dram\u00e1tico o es verdad, pero se qued\u00f3 grabado en mi mente.<\/p>\n
Y de hecho: por m\u00e1s caos que a veces suceda localmente, la red de voz en Volga siempre ha funcionado sin interrupciones. No soy especialista en telecomunicaciones, pero s\u00e9 que el equipo (tanto las estaciones base como los terminales de los clientes) est\u00e1 dise\u00f1ado para maximizar la supervivencia de la \u00abvoz\u00bb. \u00bfSe apag\u00f3 la alimentaci\u00f3n en la estaci\u00f3n base? Reducir\u00e1 la potencia, pasar\u00e1 a generadores di\u00e9sel\/ bater\u00edas, desactivar\u00e1 la transmisi\u00f3n de tr\u00e1fico de datos, pero la voz seguir\u00e1 funcionando. \u00bfCortaron el cable? La base pasar\u00e1 a canal de radio, suficiente para la voz. \u00bfEl tel\u00e9fono perdi\u00f3 la conexi\u00f3n con la base? Aumentar\u00e1 la potencia y buscar\u00e1 se\u00f1al hasta encontrar una torre (o hasta que se agote la bater\u00eda). Y as\u00ed sucesivamente.<\/p>\n
Pero una vez en la oficina, se apag\u00f3 la luz y afuera comenzaron a sonar los generadores di\u00e9sel. Todos se apresuraron a verificar su equipo: en cuanto a IT, no pas\u00f3 nada cr\u00edtico, pero desde el monitoreo de la estaci\u00f3n base se escuch\u00f3 un desconcertante \u00abvaya\u00bb. Y luego: \u00abchicos, todas nuestras bases cayeron, verifiquen la conexi\u00f3n\u00bb.
Probamos la telefon\u00eda IP: no hay salida a la red m\u00f3vil.<\/p>\n
No hay conexi\u00f3n. En absoluto. En ninguna parte.<\/p>\n
Recordando las palabras sobre el bombardeo at\u00f3mico, inconscientemente esper\u00e9 durante unos segundos a que la onda de choque nos alcanzara; no se me ocurri\u00f3 ninguna otra raz\u00f3n para la p\u00e9rdida de la red. Era aterrador y curioso al mismo tiempo: entend\u00eda que no podr\u00eda hacer nada de todos modos. Los dem\u00e1s chicos tambi\u00e9n estaban aturdidos, nadie pod\u00eda entender nada.<\/p>\n
No hubo onda expansiva. Despu\u00e9s de cinco segundos de shock, corrimos al tel\u00e9fono de la red p\u00fablica que ten\u00edamos para este tipo de casos, comenzando a llamar a las oficinas regionales. La red de la ciudad, por suerte, funcionaba, pero en las regiones confirmaban: toda Samara est\u00e1 'muerta', no hay se\u00f1ales del hardware, ni se puede llamar.<\/p>\n
Despu\u00e9s de cinco minutos, uno de los t\u00e9cnicos trajo la noticia: hubo una explosi\u00f3n en alguna central el\u00e9ctrica, cortando la electricidad en toda Samara, posiblemente en la regi\u00f3n tambi\u00e9n. Respiramos aliviados; y cuando se realiz\u00f3 el cambio a las fuentes de energ\u00eda de reserva, incluso respiramos profundamente.<\/p>\n
Otra historia aterradora (pero un poco tonta)<\/h4>\n \nEl mayor fiasco que recuerdo ocurri\u00f3 durante otra l\u00ednea directa con el ahora anulado. En ese momento, justo estaban introduciendo la opci\u00f3n de enviar preguntas por SMS, as\u00ed que se prepararon con antelaci\u00f3n para el aumento de carga en la red: lo revisaron todo y prepararon, y durante toda una semana antes del d\u00eda X prohibieron cualquier trabajo que no fuera de emergencia. Este protocolo se emplea en cualquier caso en que se espera un aumento de carga, por ejemplo, durante las festividades. Y para los ingenieros de guardia, no importa que sea d\u00eda festivo, porque cuando no tocan el equipo, nada puede suceder, y si sucede, todos los especialistas, por si acaso, ya est\u00e1n en la oficina.<\/p>\n
En general, estamos sentados, escuchando al l\u00edder nacional, sin preocuparnos por nada.<\/p>\n
Desde el lado de los conmutadores se escucha un susurro: '\u00a1Joder!'.<\/p>\n
Miro hacia mi direcci\u00f3n: efectivamente, '\u00a1joder!': la red del campus se cay\u00f3.<\/p>\n
En un segundo, todo muere (en ese momento a\u00fan no exist\u00eda el meme sobre Natasha y los gatos, pero habr\u00eda sido \u00fatil). Desaparece el segmento de usuarios en la red, desaparece la tecnolog\u00eda. Con creciente horror, intentamos verificar qu\u00e9 queda en funcionamiento, y al comprobarlo, nos acercamos al armario en busca de la botella escondida de co\u00f1ac medicinal: solo quedan las llamadas de voz (\u00a1te lo dije, son resistentes!), todo lo dem\u00e1s ha fallado. No hay Internet, ni GPRS de los abonados, ni en la fibra \u00f3ptica que se destina a varios subproveedores. No se env\u00edan SMS. \u00a1Es un desastre! Llamamos a las regiones: ellos tienen red, pero no ven a Samara.<\/p>\n
En media hora, el fin del mundo se volvi\u00f3 casi materialmente palpable. Diez millones de personas, a las que repentinamente se les rompi\u00f3 todo y que no pueden comunicarse con el centro de atenci\u00f3n telef\u00f3nica, porque en el centro de atenci\u00f3n, los terminales de voz funcionan a trav\u00e9s de VOIP.<\/p>\n
\u00a1Y eso durante la intervenci\u00f3n del gobernante m\u00e1s oscuro! \u00a1Otra victoria del Departamento de Estado y de Obama en persona!<\/p>\n
Los t\u00e9cnicos de guardia se lanzaron desde la l\u00ednea de salida y trabajaron con gran precisi\u00f3n: en una hora, la red revivi\u00f3.<\/p>\n
Tal fallo no es de nivel provincial, ni siquiera regional, de esto se debe informar a Mosc\u00fa con todos los detalles y nombrando a los responsables. Por eso, a los que participaron en la investigaci\u00f3n se les prohibi\u00f3 contar la verdad bajo amenaza de despido, y para el gobierno redactaron un informe lleno de vaguedades, en el que parec\u00eda que \"sucedi\u00f3 solo, nadie es culpable\".<\/p>\n
Lo que realmente sucedi\u00f3: a uno de los jefes se le acercaban los plazos de implementaci\u00f3n y se le frustraban las bonificaciones por ello. Y al jefe del jefe tambi\u00e9n se le frustraban, y as\u00ed sucesivamente; por eso presionaron a uno de los nuevos ingenieros, orden\u00e1ndole realizar las conexiones de red requeridas \"mientras todo est\u00e9 tranquilo\". El ingeniero no se atrevi\u00f3 a protestar, o al menos a exigir una orden por escrito: ese fue su primer error. El segundo fue equivocarse al configurar el Cisco de forma remota, logrando r\u00e9cords de fracaso en un tiempo r\u00e9cord.<\/p>\n
Hasta donde yo s\u00e9, no castigaron a nadie.<\/p>\n
La fiesta llega a nosotros<\/h4>\n \nLas fiestas, como ya mencion\u00e9, siempre han sido d\u00edas especiales para nosotros. En tales d\u00edas, la carga en la red aumenta dr\u00e1sticamente, la cantidad de llamadas y mensajes de felicitaci\u00f3n se desborda. No s\u00e9 c\u00f3mo es ahora, con el desarrollo de la comunicaci\u00f3n por internet, pero en un solo A\u00f1o Nuevo, los operadores cobraban una tarifa considerable por las llamadas de felicitaci\u00f3n.<\/p>\n
Por eso, en la noche de A\u00f1o Nuevo, siempre hab\u00eda ingenieros de todos los departamentos de guardia en la oficina (y fuera de la oficina, brigadas listas para atravesar los montones de nieve para solucionar cualquier aver\u00eda en la estaci\u00f3n base en el pueblo de peque\u00f1as dificultades). Facturadores, administradores de hardware, t\u00e9cnicos de software, especialistas de red, conmutadores, personal de servicio, soporte de contratistas \u2014 cada uno ten\u00eda su tarea. Y si las condiciones lo permit\u00edan, se quedaban con nosotros en la sala de guardia, observando en nuestros dispositivos de monitoreo los picos de tr\u00e1fico que segu\u00edan las zonas horarias en todo el Volga. <\/p>\n
Tres o cuatro veces en la noche celebramos el A\u00f1o Nuevo, aunque en esto hab\u00eda m\u00e1s ansiedad que festividad: \u00bfaguantar\u00eda el equipo la sobrecarga, se romper\u00eda alg\u00fan eslab\u00f3n en la complicada cadena t\u00e9cnica...?<\/p>\n
Hora tras hora, todos los picos de carga pasaron, todos comenzaron a revisar sus sistemas. El conmutador se pone p\u00e1lido: en uno de los conmutadores regionales, se ha perdido todo el tr\u00e1fico de facturaci\u00f3n. Y eso significa datos sobre todas las llamadas que han pasado a trav\u00e9s del conmutador; se escriben en un archivo que se descarga por bloques mediante FTP (rudimentario, pero confiable) en el BRT para la tarificaci\u00f3n.<\/p>\n
El conmutador, al imaginar el volumen de un enema de trementina que le pondr\u00edan por la p\u00e9rdida de parte de los ingresos de A\u00f1o Nuevo en toda la regi\u00f3n, se estremeci\u00f3. Volvi\u00e9ndose hacia Sasha, se dirigi\u00f3 al honorable caballero de facturaci\u00f3n con una voz llena de esperanzadora ansiedad: \u00abSasha, por favor revisa, \u00bftal vez BRT logr\u00f3 extraer la tarificaci\u00f3n? Ah, por favor, m\u00edralo\u00bb.<\/p>\n
Sasha tom\u00f3 un sorbo de co\u00f1ac, lo acompa\u00f1\u00f3 con un bocadillo de caviar, mastic\u00f3 despacio y, cerrando los ojos de placer por el hecho de que no era su problema, respondi\u00f3: \u00abYa he revisado, no hay archivos...\u00bb.<\/p>\n
(Mi maravilloso corrector pregunt\u00f3 qu\u00e9 hab\u00eda sido del pobre conmutador. Oh, su destino fue terrible: lo condenaron a una semana de turnos en la primera l\u00ednea de apoyo del call center, prohibi\u00e9ndole hablar groser\u00edas. \u00a1Brrr!)<\/p>\n
Tiren la primera piedra, los que est\u00e9n sin pecado.<\/h4>\n \nCon estas historias, se podr\u00eda pensar que ni yo ni otros de turno hemos cometido errores. Nada de eso, cometimos errores, pero sin la \u00e9pica interesante ni consecuencias. El trabajo era considerado adecuado para estudiantes recientes sin cerebro ni experiencia; no hab\u00eda nada que sacar de un empleado as\u00ed, despedirlo por un error \u2014 no era seguro que el nuevo fuera m\u00e1s inteligente. Pero pasarle a \u00abla guardia\u00bb los errores era una disciplina deportiva distinta entre los ingenieros: dejaron pasar, no se dieron cuenta, no avisaron a tiempo, as\u00ed que hab\u00eda que castigarles. \u00abLa guardia\u00bb domin\u00f3 a la perfecci\u00f3n el arte de evadir responsabilidades; no siempre funcionaba, pero todos comprend\u00edan. As\u00ed que llegaban problemas \u2014 pero, por lo general, sin consecuencias graves.<\/p>\n
Analizando otro \u00abfallo\u00bb durante el cambio de turno.<\/i><\/p>\n
En mis a\u00f1os de trabajo all\u00ed, puedo recordar tres casos en los que despidieron a alguien del departamento.
Otra vez, un conmutador de guardia dej\u00f3 pasar un accidente realmente grave. Ya no recuerdo los detalles.<\/p>\n
Y la tercera vez \u2014 ya al final de mi trabajo all\u00ed. Las condiciones laborales hab\u00edan empeorado mucho, hab\u00eda una alta rotaci\u00f3n y cuentas de horas extra terribles. La gente trabajaba a veces veinticuatro horas, luego se iba a dormir doce horas y volv\u00edan a salir para otro turno de veinticuatro horas. Yo mismo tambi\u00e9n trabaj\u00e9 as\u00ed, mientras mi salud lo permit\u00eda y se pagaba; luego dejaron de pagar las horas extra (sol\u00edan prometer compensaci\u00f3n con d\u00edas libres cuando hubiera oportunidad \u2014 pero todos sab\u00edan que nunca nadie se ir\u00eda de vacaciones), y nos obligaban a cubrir turnos casi a la fuerza. Un ingeniero no pudo soportarlo y, a mitad del turno, se levant\u00f3 de su puesto y se fue a casa para siempre, pasando por la oficina del jefe del departamento y envi\u00e1ndolo a la porra. Recuerdo un correo en el que este ingeniero fue etiquetado a posteriori como fascista y traidor, en cada l\u00ednea se le\u00eda lo enfurecido que estaba el jefe por tal acci\u00f3n.<\/p>\n
En cuanto a mis propios errores, un caso se me qued\u00f3 grabado por su singularidad. De nuevo, turno nocturno, todo tranquilo, no ocurre nada. En el cambio de turno revisamos el monitoreo: ups, de repente cay\u00f3 el procesamiento de datos de los conmutadores, hace tiempo que la luz roja est\u00e1 encendida. Pas\u00e9 toda la noche mirando esa se\u00f1al \u2014 y no la percib\u00ed, \u00bfo qu\u00e9? A pesar de que era uno de los monitoreos m\u00e1s obvios y evidentes, todav\u00eda no entiendo por qu\u00e9 no lo vi.
Recordando el episodio de la llegada del jefe de tecnolog\u00eda: una noche, alg\u00fan avaro se meti\u00f3 en la sala de guardia y comenz\u00f3 a gritar que est\u00e1bamos sentados sin estar asegurados (la sala de guardia no deber\u00eda estar cerrada en principio), que \u00e9ramos unos tontos, y que por la ma\u00f1ana esperaba explicaciones de todos nosotros sobre nuestros errores. Ese avaro era el jefe del servicio de seguridad, y era algo sorprendente. Despu\u00e9s de gritar, el jefe se fue a la oscuridad, y por la ma\u00f1ana le preguntamos a nuestro jefe \u2014 \u00bfqu\u00e9 debemos hacer? 'M\u00e1ndalo al diablo', respondi\u00f3 \u00e9l, y con esto se cerr\u00f3 el incidente.<\/p>\n
C\u00f3mo romp\u00ed el departamento<\/h4>\n \nEn aquellos d\u00edas, bash.org (entonces todav\u00eda bash.org.ru, y no lo que es ahora) era un recurso de culto. Las citas aparec\u00edan casi un par al mes, y tener TU! \u00a1CITA! EN BASH! era tan genial como, digamos, tener tu dominio de segundo nivel en el a\u00f1o dos mil. Ese bash.org era m\u00e1s orientado a IT y anime, aunque era gracioso para todos.<\/p>\n
Cada ma\u00f1ana laboral de la ingenierita m\u00e1s joven (es decir, la m\u00eda) comenzaba con la lectura de bash.org: treinta segundos de risa antes de doce horas de sufrimiento.<\/p>\n
Una vez, un colega me pregunt\u00f3 por qu\u00e9 me re\u00eda. Le mostr\u00e9 de qu\u00e9. \u00c9l envi\u00f3 el enlace por el departamento.<\/p>\n
El trabajo se detuvo durante un par de d\u00edas: para mi sorpresa, nadie en el departamento sab\u00eda de bash hasta ese momento. Hubo risas en la sala de guardia: '\u00a1Ah-haha, parchar KDE, haha!'. '\u00a1Jajajaja, hundir troncos en mercurio, bgegege!'. Se perdi\u00f3 un d\u00eda laboral, pero por otro lado, al menos se alarg\u00f3 la vida.<\/p>\n
Un bono para quienes lleguen hasta aqu\u00ed<\/h4>\n \nRecuerden, en tiempos antiguos hab\u00eda un chiste popular que dec\u00eda: 'Veo dos discos C en Norton, pienso \u2014 \u00bfpara qu\u00e9 necesito dos? Y borro uno'. Se parece mucho a una de mis historias favoritas, que no cuento yo, sino que me cuentan. Y es igual de graciosa cada vez que la escucho.<\/p>\n
18+, pero de la canci\u00f3n no se pueden quitar las palabras.<\/b>Postscriptum<\/h4>\n
\nEstas historias son una compilaci\u00f3n editada de algunas publicaciones de mi canal de TG. A veces aparece una locura similar; no insin\u00fao nada, pero dejo aqu\u00ed un enlace.<\/a><\/noindex> No obstante, lo dejar\u00e9.<\/p>\n\u00a1Que todos tengan un viernes sin problemas!habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0435: \u043f\u043e\u0441\u0442 \u044d\u0442\u043e\u0442 \u0441\u0443\u0433\u0443\u0431\u043e \u043f\u044f\u0442\u043d\u0438\u0447\u043d\u044b\u0439, \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0430\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439, \u0447\u0435\u043c \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439. \u0412\u0430\u0441 \u0436\u0434\u0443\u0442 \u0432\u0435\u0441\u0451\u043b\u044b\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043e\u0431 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0445 \u0444\u0430\u043a\u0430\u043f\u0430\u0445, \u0431\u0430\u0439\u043a\u0438 \u0441 \u0442\u0451\u043c\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u043e\u0442\u043e\u0432\u043e\u0433\u043e \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430 \u0438 \u043f\u0440\u043e\u0447\u0438\u0439 \u043b\u0435\u0433\u043a\u043e\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u0448\u043e\u0440\u043e\u0445. \u0415\u0441\u043b\u0438 \u044f \u0433\u0434\u0435-\u0442\u043e \u0447\u0442\u043e-\u0442\u043e \u043f\u0440\u0438\u0443\u043a\u0440\u0430\u0448\u0443 \u2014 \u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u044b \u0436\u0430\u043d\u0440\u0430, \u0430 \u0435\u0441\u043b\u0438 \u043d\u0430\u0432\u0440\u0443 \u2014 \u0442\u0430\u043a \u0432\u0441\u0451 \u044d\u0442\u043e \u0434\u0435\u043b\u0430 \u0434\u043d\u0435\u0439 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043d\u0443\u0432\u0448\u0438\u0445, \u0447\u0442\u043e \u043d\u0438\u043a\u043e\u043c\u0443 \u043e\u0442 \u0442\u043e\u0433\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":90526,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-90525","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t