Aviso prévio: esta postagem é puramente de sexta-feira e mais divertida do que técnica. Você encontrará histórias engraçadas sobre falhas de engenharia, contos do lado obscuro do trabalho com operadores móveis e outras travessuras leves. Se eu embelezar algo, será apenas para o bem do gênero, e se eu mentir, tudo isso remonta a dias tão distantes que não causará dano a ninguém. Mas se você notar algum erro técnico ou qualquer outro deslize — corrija-me sem piedade, sempre estive do lado da justiça.
Atenção, começando sem mais delongas!
Backdoor no pátio
Na nossa cabine no primeiro andar, havia janelas grandes, que iam do pé direito até quase o teto. Elas davam para o estacionamento de funcionários, de onde pela manhã saíam diversos medidores e outros funcionários de campo. O estacionamento estava a uma boa distância da entrada principal e de todas as entradas de serviço, além de estar atrás de dois portões.
Certa manhã, carros da polícia ainda eram vistos chegando ao edifício, policiais estendiam-se em todos os portões e realizavam a inspeção de todos os que saíam. Um alerta chegava à lista de distribuição interna: surpreendentemente (realmente surpreendentemente, não como de costume) uma verificação de licenciamento de software estava ocorrendo, as estações de trabalho seriam inspecionadas. Quem tivesse software pirata nos computadores — tinha que remover imediatamente!
Sem dúvida, tudo que envolvia sistemas operacionais, software de escritório e de serviço — na maior parte, estava licenciado. Mas nem tudo, nem sempre e nem em todos os lugares; e o que os funcionários instalaram em seus laptops de trabalho — é uma história bem obscura. Eu comecei a verificar as máquinas sob minha responsabilidade quanto a pirataria, removendo algo rapidamente...
... E nesse meio tempo, os engenheiros começaram a entrar correndo e nervosos na cabine, com laptops e desktops nos braços. Eles entravam pela porta, mas saíam, rindo da absurdidade da situação, pela janela: todos os portões estavam fechados, e os demônios da lei não haviam pensado nesse backdoor. Assim, enquanto a fiscalização da contabilidade (onde tudo era exemplar) acontecia, os funcionários foram capazes de remover todo o material comprometedor.
O passado — está lá
Se você se interessou e não fechou a aba — aqui está uma introdução sobre o que está acontecendo no tempo, no espaço e nas pessoas. Eu sou um jovem promissor, verde como uma folha de azedinha, formado em TI, que conseguiu um trabalho na sala de engenharia do "Megafon" de Samara (que na época ainda era "MCC Volga"). Para mim, foi o primeiro verdadeiro contato com a Técnica com letra maiúscula e com os Técnicos com ainda mais maiúsculas: sendo o mais novo 'diabo' nesta cozinha infernal, observava com entusiasmo o trabalho de experientes 'diabos' engenheiros, tentando em vão compreender sua sabedoria. Enquanto essa sabedoria não penetrava nos meus poros cerebrais, eu podia apenas olhar para uma pilha de monitores variados, preocupando-me toda vez que aparecia algo 'vermelho'.
Se algum dos personagens mencionados aqui se reconhecer — olá para você!
Funciona — não mexa (mas mexa se não funcionar)
Um dos supertécnicos mencionados acima era Misha Basov. Ao longo dos anos trabalhando na 'Mega', ouvi muitas coisas boas e interessantes sobre ele, do tipo que ele estava quase nas origens e lançou muitos processos. Não consegui conversar com ele de forma mais profunda: nos conhecemos apenas no departamento de pessoal, quando eu trouxe documentos e ele estava pegando os dele.
Um dos sistemas de monitoramento com os quais trabalhamos foi escrito pelo Misha. Eu já não me lembro muito bem do que estava sendo monitorado, mas sei que o Misha escreveu uma solução temporária que rapidamente se tornou permanente. E ainda bem: muitas vezes, o que os verdadeiros técnicos fazem para suas próprias necessidades às pressas, acaba saindo simplesmente perfeito. Esse monitoramento também agradava a todos, funcionando sem qualquer apoio ou manutenção, embora ninguém soubesse como.
Uns dois anos após a demissão do Misha, o monitoramento começou a mostrar uma página em branco.
Imediatamente, eu soei o alarme. O chefe de turno soou o alarme. O chefe de setor soou o alarme.
O chefe do departamento soou o alarme. O chefe do serviço também soou o alarme. O chefe do departamento fez soar os sinos. O diretor de TI de toda a região do Volga ouviu e imediatamente convocou uma reunião. Ele chamou o chefe do departamento. Este gritou com o chefe do serviço. O chefe do serviço, sem entender o problema, chamou o chefe do departamento. Este, sem entender o que estava acontecendo, chamou o chefe da seção, que convocou o chefe da equipe. E este transferiu a culpa para mim.
Certa vez, trocando de turno, fui para essa reunião. Foram ditas muitas palavras, foi convocado o responsável pelos monitoramentos (não ouvimos nada claro), foi mencionado que o monitoramento foi feito pelo Basov, que era muito importante, mas que ninguém entende como funciona... Tudo se resumiu ao fato de que o sistema ineficaz e incompreensível deve ser removido, e em seu lugar deve ser implantada uma solução confiável de um fornecedor respeitável.
Enquanto tudo isso era dito, consegui um laptop e acesso SSH ao servidor de alguém. Eu estava curioso para ver que sistema incrível o lendário Basov tinha feito.
Entro, a primeira coisa que faço por hábito é digitar:
df -hA equipe me responde algo como:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% / Limpei o /var/log que transbordou ao longo dos anos, atualizei o monitoramento — tudo funciona. Consertei!
A reunião para, se desfeita, todos se dispersam. No caminho, o chefe do departamento fica feliz e me promete uma bonificação!..
… Em vez da bonificação, recebi depois uma reprimenda mental por ter acidentalmente interrompido o retorno do pedido do sistema de monitoramento de um fornecedor respeitável.
Onde os pequenos alojamentos residem
Uma das responsabilidades dos engenheiros de plantão era o controle dos chaves eletrônicas de acesso às salas de máquinas. As salas me impressionavam muito na época: filas de racks cheios de servidores e equipamentos de comutação, linhas de fibra ótica e cabos cruzados (em alguns lugares — perfeitamente organizados, em outros — transformados em um incrível emaranhado de espaguete), o constante zumbido dos climatizadores e os pisos elevados, sob os quais era tão conveniente resfriar as bebidas... As entradas das salas eram bloqueadas por portas herméticas pesadas, projetadas para garantir o bloqueio automático em caso de incêndio. A entrada e a saída eram rigorosamente registradas com assinatura, para que se soubesse quem estava e para que estava lá dentro.
O que mais gostei nessas salas foram, claro, os armários de servidores dos "superdomínios" — dois HP SuperDome 9000, que garantiam o funcionamento da cobrança. Duas nodos idênticas, uma sempre em operação, e a outra como um backup quente e síncrono. A única diferença entre elas eram os endereços IP, um era x.x.x.45, o outro — x.x.x.46. Todos os engenheiros conheciam esses dois IPs, porque se algo acontecesse na cobrança — a primeira coisa que se olhava era se os superdomínios estavam visíveis. A invisibilidade dos superdomínios — um alerta.
Certa manhã, tal alerta acontece. Em questão de dois segundos, todos os serviços em ambos os servidores desaparecem, e a cobrança colapsa em nada. Checamos rapidamente. servidor — eles respondem ao ping, mas na verdade não há nada neles!
Mal conseguimos começar o conjunto de ações adequado, quando ouvimos um grito estrondoso: "VOU MATAR, ESTUDANTE!"; o super administrador de todos os servidores irrompe na sala de monitoramento, pega a chave eletrônica do armário e corre para lá.
Pouco depois disso, o monitoramento retorna ao normal.
Aconteceu o seguinte: um novo funcionário da empresa contratada, ao configurar um monte de novas máquinas virtuais, atribuiu manualmente a eles endereços IP estáticos sequenciais, de x.x.x.1 a x.x.x.100. O "Estudante" não sabia dos endereços sagrados e intocáveis, e os veteranos nunca pensaram que alguém pudesse se atrever a mexer neles.
Serviço "Antispam"
Ah, os plantões noturnos! Amava-os e os odiava, porque eram 50/50: ou eram trabalhos planejados nos equipamentos, onde você participava ativamente, ajudando o engenheiro com a mente sonolenta e as mãos tremendo, ou era silêncio e calma. Os assinantes dormem, o equipamento funciona, nada quebra, o plantonista relaxa.
O plantão segue conforme o planejado.
Certa vez, tal tranquilidade da meia-noite é interrompida por uma ligação no telefone do escritório: alô, aqui é do Sberbank, estamos preocupados, nosso chip, com o qual nossos avisos são enviados, parou de funcionar.
Isso foi há muito tempo, antes da implementação das conexões IP para o gateway de SMS. Portanto, para que o Sber pudesse enviar mensagens de seu famoso número 900, eles pegavam o chip fornecido (provavelmente nem era um só), o colocavam em um modem GSM e funcionavam assim.
Tudo bem, aceitei o problema e comecei a investigar. Primeiro, verifico o estado do chip no sistema de cobrança, e ele está bloqueado. Que diabos — ao lado, está escrito a vermelho "NÃO BLOQUEAR" e há um link para a ordem do grande arquidemônio. Uau, isso é realmente interessante.
Vou checar a razão do bloqueio, arqueio as sobrancelhas e me dirijo ao escritório ao lado, onde uma moça do departamento de fraudes está fixando o olhar no monitor.
"Lenochka," eu digo a ela, "por que você bloqueou o Sberbank?"
Ela está confusa: diz que recebeu uma reclamação de que o número 900 estava enviando spam. Então eu bloqueei, de manhã resolveríamos.
E você diz — as reclamações dos assinantes são ignoradas!
O chip foi desbloqueado, é claro.
Uma história muito assustadora.
Quando eu comecei a trabalhar, fizeram algo como uma excursão introdutória para mim e outros novatos. Mostraram o equipamento: servidores, condicionadores, inversores, sistema de combate a incêndios. Mostraram a estação base, que estava em uma das salas de máquinas para experimentos, explicando que, embora os transmissores sejam acionados em potência mínima, é melhor não entrar durante esse tempo na porta blindada. Explicaram sobre a estrutura da rede móvel, sobre a alimentação principal e de reserva, sobre a redundância e que a rede é projetada para funcionar mesmo após uma bombardearia atômica. Não sei se isso foi dito apenas para efeito dramático, ou se é verdade, mas isso ficou na minha cabeça.
E de fato: não importa o quão caótico fosse o ambiente local, a rede de voz do Volga sempre funcionou de forma contínua. Eu não sou um especialista em telecomunicações, mas sei que o equipamento (tanto as estações base quanto os terminais dos clientes) é projetado para a máxima resiliência da "voz". A alimentação da estação base caiu? Ela reduzirá a potência, passará para geradores ou baterias de reserva, desligará a transmissão de tráfego de pacotes, mas a voz continuará fluindo. O cabo foi cortado? A base mudará para o canal de rádio, que é suficiente para voz. O telefone perdeu a estação base? Ele aumentará a potência e buscará sinais até se conectar a uma torre (ou até que a bateria acabe). E assim por diante.
Mas um dia, a luz piscou no escritório, e do lado de fora, os geradores a diesel começaram a funcionar. Todos correram para verificar seus equipamentos: nada crítico ocorreu na parte de TI, mas do monitoramento da estação base, ouviu-se um "opa" surpreso. E então: "pessoal, todas as nossas bases foram derrubadas, verifiquem a conexão."
Pegamos os celulares — sem sinal.
Testamos a telefonia IP — não há saída para a comunicação móvel.
Não há rede. De forma alguma. Em lugar nenhum.
Lembrando das palavras sobre a bombardeio atômico, subconscientemente esperei alguns segundos enquanto a onda de choque chegava até nós — de alguma forma, não pensei em outra razão para a queda da rede. Estava assustado e curioso ao mesmo tempo: eu entendia que, de qualquer jeito, não conseguiria fazer nada a tempo. Os outros também estavam atordoados, ninguém conseguia entender nada.
Não houve onda de explosão. Após cinco segundos de choque, corremos para o telefone da rede fixa, que tinha sido preparado para uma situação como essa, e começamos a entrar em contato com os escritórios regionais. A rede urbana, felizmente, estava funcionando, mas nas regiões confirmaram: toda Samara está 'morta', nenhum equipamento respondeu, e não conseguimos fazer nenhuma chamada.
Após cinco minutos, alguém dos eletricistas trouxe a notícia: houve uma explosão em alguma usina, deixando pelo menos toda Samara sem energia, possivelmente a região inteira. Respirámos aliviados; e quando a transferência para as fontes de energia reserva ocorreu — até conseguimos respirar.
Mais uma história assustadora (mas um tanto boba)
O maior fiasco que me lembro aconteceu durante mais uma linha direta com o agora anulado. Naquela época, estavam introduzindo a funcionalidade de enviar perguntas por mensagem de texto, então nos preparamos antecipadamente para o aumento da carga na rede: checamos tudo e, uma semana antes do dia X, proibimos qualquer trabalho, exceto os emergenciais. Esse protocolo é acionado em quaisquer casos de expectativa de carga elevada, como feriados. E para os engenheiros de plantão, isso é igual a um dia de folga, porque quando o equipamento não é tocado, nada pode acontecer, e se acontecer — todos os especialistas ficam preparados no escritório.
No geral, estamos sentados, ouvindo o líder nacional, sem nos preocupar com nada.
Do lado dos comutadores, ouve-se um murmurinho de 'P***'.
Olho para o meu lado — realmente 'p***': a rede do campus caiu.
Em um segundo, tudo morre (naquela época, ainda não existia o meme da Natasha e dos gatos, que teria sido útil). O segmento de usuários da rede desaparece, a tecnologia desaparece. Com crescente horror, tentamos verificar o que ainda está funcionando e, ao confirmarmos, estendemos a mão para o armário em busca da garrafa escondida de conhaque terapêutico: sobraram apenas chamadas de voz (eu disse, elas são resistentes!), tudo o mais - morreu. Não há internet - nem GPRS de assinante, nem fibra óptica, que é fornecida a vários subprovedores. SMS não são enviados. Uma catástrofe! Ligamos para as regiões - eles têm rede, mas não conseguem ver Samara.
Em meia hora, o fim do mundo tornou-se quase tangível. Dez milhões de pessoas que de repente tudo parou e que não conseguem ligar para o call center, porque no call center os terminais de voz funcionam via VOIP.
E isso durante a apresentação do governante super obscuro! Outra vitória do departamento de Estado e de Obama pessoalmente!
Os técnicos de plantão deram o limite e atuaram com muita precisão: em uma hora, a rede voltou à vida.
Esse tipo de falha não é de nível regional ou até estadual, esse tipo de coisa deve ser reportado a Moscovo com todos os detalhes e a identificação dos culpados. Portanto, aqueles que participaram da investigação foram proibidos de contar a verdade sob pena de demissão, e para a administração foi elaborado um relatório cheio de clichês e obscuridades, onde de alguma forma parecia que 'aconteceu por conta própria, ninguém é culpado'.
O que realmente aconteceu: um dos chefes estava com prazos apertados para implementações e as bonificações por isso estavam ameaçadas. E o chefe do chefe também, e assim por diante; por isso, pressionaram um dos novos engenheiros, mandando-o realizar as exigências da rede 'enquanto tudo está tranquilo'. O engenheiro não ousou objetar, ou pelo menos exigir uma ordem por escrito: esse foi seu primeiro erro. O segundo - ele cometeu um erro ao configurar remotamente o Cisco, alcançando resultados recordes de fiasco em um curto espaço de tempo.
Pelo que sei - ninguém foi punido.
A festa está chegando até nós
As I mentioned, holidays have always been special days for us. On such days, the network load rises sharply, and the number of congratulatory calls and SMS messages skyrockets. I don't know how it is now with the development of online communication, but back then, during just one New Year, the operators took a significant profit from congratulatory calls.
That’s why on New Year's Eve, engineers from all departments were always on duty in the office (while outside, teams were ready to brave the snowdrifts to fix emergencies at the base station in the small village). Billing specialists, hardware admins, software engineers, network engineers, switch operators, service technicians, and contractor support teams—everyone had their role. If conditions allowed, they would hang out in our duty room, watching our monitoring devices for spikes in traffic following the time zones across the Volga region.
Three or four times throughout the night, we welcomed the New Year, although it was less about celebration and more about anxious anticipation: would the equipment withstand the overload, would any link in that complex technical chain break…
Sasha, who was in charge of billing, was particularly anxious. He always looked as if his life was spent on a raw nerve, having to sort out all the troubles going on with billing, taking responsibility for all the mistakes, and getting woken up more than the others at night; I can’t imagine how or why he worked where he did. Maybe they paid him a lot of money, or perhaps his family was being held hostage. But that night, I had the impression that if someone were to snap their fingers at Sasha, he would crumble into dust from all the internal tension he had built up. For such unpleasant situations, we have a broom, but for now, we keep working, eyeing the cognac waiting for its turn.
Hour by hour, all traffic spikes passed, and everyone began double-checking their systems. The switch operator went pale: all billing traffic had disappeared from one of the regional switches. And this means data on all calls that have gone through the switch; they are written to a file that is being pulled by FTP in chunks (primitive, but reliable) onto the BRT for billing.
O comutador, pensando na quantidade de infusão de terebentina que lhe seria aplicada pela perda de parte da receita de Natal de toda uma região, ficou tremendo. Virando-se para Sasha, dirigiu-se ao senhor billing com uma voz cheia de esperançosa ansiedade: "Sasha, por favor, veja se o BRT conseguiu processar a tarifação? Ah, veja, por favor!".
Sasha degustou um pouco de conhaque, comeu um sanduíche de caviar, mastigou devagar e, arregalando os olhos de prazer por não ter cometido o erro, respondeu: "Eu já verifiquei, não há arquivos...".
(Minha maravilhosa corretora perguntou o que aconteceu depois com o pobre comutador. Oh, o destino dele foi horrível: ele foi condenado a uma semana de plantão na primeira linha de suporte do call center, proibido de xingar. Brrr!)
Atire a primeira pedra quem for sem pecado
Com essas histórias, pode-se ter a impressão de que nem eu pessoalmente, nem outros plantonistas cometeram erros. Nada disso, erramos, mas de uma forma sem um épico interessante e consequências. O trabalho era considerado adequado para recém-formados sem cérebro e experiência, não havia nada a tirar deste tipo de funcionário, demitir por um erro – e o novo nem sempre seria mais inteligente. Mas jogar a culpa da sua própria irresponsabilidade no plantão era uma disciplina esportiva separada entre os engenheiros: ignoraram, não entenderam, não informaram a tempo, então era isso que os puníamos. A "plantão" dominou totalmente a arte de se desviar, nem sempre funcionava, mas todos entendiam tudo. Então, as consequências chegavam – mas, geralmente, sem repercussões sérias.
Analisamos mais um "erro" durante a troca de turno.
Em vários anos de trabalho lá, posso lembrar de três casos em que alguém foi demitido do departamento.
Uma vez, um engenheiro na equipe da noite decidiu tomar uma cerveja, e o diretor técnico entrou no plantão. Ele às vezes podia entrar assim, simplesmente para cumprimentar (parece que ele mesmo começou como plantonista). Pegou o cara com uma lata de cerveja, clique no telefone, demissão. Ninguém mais bebeu cerveja à noite.
Outra vez, o comutador de plantão perdeu uma falha realmente séria. Já não lembro os detalhes.
E na terceira vez — já no final do meu trabalho lá. As condições de trabalho caíram muito, havia uma enorme rotatividade e horas extras aterradoras. As pessoas trabalhavam às vezes por 24 horas, depois iam dormir 12 horas e voltavam para o turno de 24 horas. Eu também fiz isso enquanto a saúde permitisse e era pago por isso; depois pararam de pagar pelas horas extras (normalmente prometiam uma compensação com folgas, quando houvesse oportunidade — mas todos sabiam que ninguém realmente iria tirar folga), e para os plantões quase que se usavam ameaças. Um dos engenheiros não aguentou e, no meio do turno, se levantou do seu posto de trabalho e foi embora para casa para sempre, passando pelo escritório do chefe do departamento, e mandando-o para aquele lugar. Lembro de um e-mail em que esse engenheiro foi chamado de fascista e traidor, e em cada linha se percebia como a gerência estava irritada com tal atitude.
Quanto aos meus erros pessoais — um caso em particular se destacou pela sua peculiaridade. Novamente, era um plantão noturno, tudo calmo, nada acontecendo. Durante a troca de turno, verificamos o monitoramento: ups, durante a noite o processamento de dados dos switches caiu, uma luz vermelha boa e acesa há bastante tempo. Olhei para esse sinal a noite toda — e não consegui percebê-lo. Apesar de ser um dos monitoramentos mais óbvios e visíveis, ainda não entendo por que não o vi.
Aqui não havia como inventar desculpas, o erro era claro e cem por cento, uma catástrofe de quinta categoria e um possível desligamento. Depois de doze horas de plantão noturno, me enrolaram até a hora do almoço, obrigando-me a escrever explicações. Como ninguém acreditaria na verdade, tive que inventar alguma desculpa, dizendo que eu, devido a uma lesão, tomei um excesso de analgésicos e adormeci. O chefe do departamento gritou comigo em seu escritório, no geral, tudo estava caminhando para a demissão — mas acabou em uma advertência com redução de remuneração. Naquela época, não víamos bônus na Mega há vários anos, então não sofri nenhum prejuízo.
Lembrando o episódio da chegada do chefe de tecnologia: uma vez, durante a noite, um sujeito qualquer entrou na nossa sala de plantão e começou a gritar que estávamos desprotegidos (a sala de plantão não deve estar trancada, na verdade), que éramos uns lerdos e que até pela manhã ele esperava explicações de todos nós sobre nossos erros. Esse sujeito era o chefe de segurança, e o seu tom era de arrepiar. Depois de gritar, ele saiu na escuridão e, pela manhã, perguntamos ao nosso chefe — o que devemos fazer? "Mande-o à merda" — respondeu ele, e o incidente foi resolvido.
Como eu quebrei o departamento
Naqueles dias, o Bashorg (na época ainda bash.org.ru, e não o que é agora) era um recurso cult. As citações apareciam quase uma ou duas por mês, e ter SUA! CITAÇÃO!!! NO BASH!!! era tão legal quanto ter um domínio de segundo nível em 2000. O Bashorg daquela época era de alguma forma mais voltado para TI e anime, embora fosse engraçado para todos.
Cada manhã de trabalho do mais jovem engenheiro (ou seja, a minha) começava com a leitura do Bashorg — trinta segundos de risadas antes de doze horas de sofrimento.
Uma vez, um colega me perguntou do que eu estava rindo. Eu mostrei a ele. Ele espalhou o link por todo o departamento.
O trabalho parou por alguns dias: para minha surpresa, ninguém dos colegas sabia sobre o Bash até aquele momento. Na sala de plantão, havia risadas: "Ah-haha-haha, vamos patchar o KDE, hahaha-haha!". "Rindo, vamos afundar lâminas em mercúrio, hehe!". O dia de trabalho foi perdido, mas, por outro lado, a vida se prolongou consideravelmente naquela época.
Bônus para quem leu até aqui
Vocês lembram, nos velhos tempos, havia uma piada popular: "Vejo no Norton dois discos C, e penso — por que eu precisaria de dois? Então apaguei um!". Isso me lembra uma das minhas histórias favoritas, que não é contada por mim, mas por alguém. E é engraçado toda vez, como da primeira vez:
18+, mas não se pode tirar palavras de uma canção
Pós-escrito
Essas histórias são uma compilação processada de algumas postagens do meu canal no TG. Às vezes aparece uma loucura assim; eu não estou insinuando nada, mas Ainda assim.
Desejo a todos uma boa sexta-feira sem estresse!
Fonte: habr.com
