Aviso prévio: este post é puramente de sexta-feira e é mais divertido do que técnico. Você encontrará histórias engraçadas sobre hacks de engenharia, contos do lado negro do trabalho de uma operadora de celular e outros rumores frívolos. Se eu embelezar algo em algum lugar, é apenas para o benefício do gênero, e se eu mentir, então tudo isso são coisas de dias tão antigos que não farão mal a ninguém. Mas se você detectar algum erro técnico ou algum outro erro, corrija-me sem piedade, sempre estive do lado da justiça.
Atenção, estou iniciando sem overclock!
Porta dos fundos para o quintal
Em nossa sala de serviço, no primeiro andar, havia grandes janelas, desde a base até quase o teto. Saíram para o estacionamento de serviço, de onde saíam pela manhã todos os tipos de agrimensores e demais funcionários de campo. O estacionamento estava localizado a uma distância suficiente da frente e de todas as entradas de serviço, e atrás de duas barreiras.
Certa manhã, naquele horário, carros da polícia chegaram ao prédio, policiais pararam em todas as entradas e revistaram todos que saíam. Um alerta chega na lista de discussão oficial: de repente (de repente, não como de costume), uma verificação de licenciamento de software chegou e as estações de trabalho serão inspecionadas. Qualquer pessoa que tenha algo pirateado em seus computadores precisa ser demolida imediatamente!
Claro, tudo relacionado a sistemas operacionais, software de escritório e utilitários era em sua maioria licenciado. Mas nem tudo, nem sempre e nem em todo lugar; Quanto ao que os funcionários instalam nos laptops da empresa, é uma história completamente sombria. Corri para verificar os carros da minha área de responsabilidade por pirataria, demolindo algo rapidamente...
... E nesse momento, os engenheiros começam a entrar na sala de plantão com passos apressados e nervosos, com laptops e engenheiros de sistemas nos braços. Eles entram pela porta e saem, rindo do absurdo da situação, pela janela: todas as entradas estavam bloqueadas, mas os demônios da lei e da ordem não pensaram em tal porta dos fundos. Assim, enquanto o departamento de contabilidade era auditado (onde tudo era exemplar), os funcionários retiravam tudo que havia de errado.
O passado está aí
Se você se interessou e ainda não fechou a aba, aqui fica uma exposição do que está acontecendo no tempo, no espaço e nas pessoas. Sou um jovem lindamente jovem, verde, como uma folha de azeda, formado em TI, que conseguiu um emprego no escritório de engenharia do Samara Megafon (que na época também era MSS Povolzhye). Para mim, este foi o primeiro contato real com Tecnologia com T maiúsculo e Técnicos com T maiúsculo ainda maior: sendo o diabinho mais jovem desta cozinha infernal, observei com deleite o trabalho de engenheiros diabólicos altamente experientes, tentando sem sucesso compreender seus sabedoria. Até que essa sabedoria penetrasse nos poros do meu cérebro, eu só conseguia fuçar em vários monitoramentos variados, me preocupando cada vez que “vermelho” aparecia ali.
Se algum dos personagens mencionados aqui de repente se reconhecer, olá para você!
Se funcionar, não toque (mas toque se não funcionar)
Um dos supertécnicos mencionados acima foi Misha Basov. Ao longo dos anos de trabalho na Mega, ouvi muitas coisas boas e interessantes sobre ele, no espírito de que ele esteve quase nas origens e lançou vários processos. Não consegui me comunicar direito com ele: nos conhecemos literalmente no departamento de pessoal, quando trouxe os documentos e ele os levou embora.
Um dos sistemas de monitoramento com os quais trabalhamos foi escrito por Misha. Não me lembro bem o que foi monitorado lá, mas sei que Misha escreveu uma solução temporária, que rapidamente se tornou permanente. E é bom: muito do que os verdadeiros técnicos fazem para suas próprias necessidades com pressa acaba dando certo. Esse acompanhamento também agradou a todos, funcionando sem qualquer suporte ou manutenção, embora ninguém soubesse como.
Alguns anos após a demissão de Misha, o monitoramento começou a mostrar uma página em branco.
Imediatamente soei o alarme. O supervisor de turno soou o alarme. O chefe do setor deu o alarme.
O chefe do departamento deu o alarme. O chefe do serviço deu o alarme. O chefe do departamento tocou os sinos. O diretor de TI de toda a região do Volga ouviu o toque e imediatamente convocou uma reunião. Lá ele ligou para o chefe do departamento. Ele latiu para o chefe do serviço. Ele, sem entender a essência do problema, ligou para o chefe do departamento. Este, sem entender o que havia acontecido, chamou o chefe do setor, que chamou o gerente de turno. Bem, ele apontou a flecha para mim.
De alguma forma, tendo mudado de serviço, fui a esta reunião. Foram ditas muitas palavras, foi chamado o responsável pela monitorização (não ouvimos nada inteligível), lembrou-se que Basov escreveu sobre monitorização, que a monitorização é muito importante, mas que ninguém entende nem sabe como funciona ... Tudo se resumia ao fato de que um sistema que não funcionava e incompreensível deveria ser removido e, em vez disso, uma solução comprovada de um fornecedor comprovado deveria ser implementada.
Enquanto tudo isso era dito, implorei a alguém por um laptop e acesso SSH a esse servidor. Fiquei interessado em ver que tipo de sistema super legal o lendário Basov escreveu.
Quando entro, a primeira coisa que faço por hábito é digitar:
df -hO comando me diz algo como:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% /
Eu limpo /var/log, que ficou cheio ao longo dos anos, atualizo o monitoramento - tudo funciona. Corrigido!
A reunião para, desmorona e todos se dispersam. No caminho, o chefe do departamento se alegra e me promete um bônus!..
... Em vez de um bônus, mais tarde recebi um golpe mental por acidentalmente deixar de solicitar um sistema de monitoramento de um fornecedor confiável.
Onde moram as casas?
Uma das atribuições dos engenheiros de plantão era controlar as chaves eletrônicas de acesso às salas de informática. Os próprios corredores me impressionaram muito naquela época: fileiras de racks cheios de servidores e equipamentos de comutação, linhas de fibra óptica e cabos cruzados (em alguns lugares perfeitamente colocados, em outros transformados em um incrível pedaço de espaguete), o zumbido constante de condicionadores de ar e pisos falsos sob os quais era tão conveniente resfriar bebidas... As entradas dos corredores eram vedadas com pesadas portas herméticas, projetadas para garantir o bloqueio automático em caso de incêndio. A entrada e a saída eram rigorosamente registradas e assinadas, para que se soubesse quem estava lá dentro e por quê.
O que mais gostei nessas salas, claro, foram os gabinetes de servidores das “supercasas” – dois HP SuperDome 9000, que forneciam o faturamento. Dois nós idênticos, um sempre era um nó de combate e o segundo era um hot standby síncrono. A diferença entre eles estava apenas nos endereços IP, um era xxx45, o outro era xxx46. Todos os engenheiros conheciam esses dois endereços IP, porque se algo acontecesse no sistema de faturamento, a primeira coisa a fazer é verificar se as supercasas estão visíveis. A invisibilidade das supercasas é incrível.
Certa manhã, algo assim acontece. Em dois segundos, todos os serviços desaparecem em ambos os servidores e o faturamento cai no nada. Verificamos rapidamente os servidores - eles fazem ping, mas realmente não há nada neles!
Antes mesmo de termos tempo de iniciar o conjunto de medidas necessárias, ouvimos um grito alto "MATA, ESTUDANTE!"; o arquiadministrador de todos os servidores corre para a sala de plantão, arranca da prateleira a chave eletrônica da sala das turbinas e corre para lá.
Muito rapidamente depois disso, o monitoramento volta ao normal.
Foi o que aconteceu: um novo funcionário de uma organização contratante, que estava configurando um pacote de novas máquinas virtuais, atribuiu-lhes manualmente sucessivos endereços IP estáticos, de xxx1 a xxx100. O “aluno” não conhecia os endereços sagrados intocáveis, e nunca ocorreu aos veteranos que alguém pudesse invadi-los daquela forma.
Serviço antispam
Uau, turnos noturnos! Eu os amava e odiava, porque era 50/50: ou trabalho programado no equipamento, onde você participa ativamente, ajudando o engenheiro com cérebro sonolento e mãos trêmulas, ou silêncio e calma. Os assinantes estão dormindo, o equipamento está funcionando, nada está quebrado, o plantonista está tranquilo.
O dever está indo conforme o planejado.
Um dia, esta calma da meia-noite é perturbada por uma chamada para o telefone do escritório: alô, é do Sberbank que te incomodam, o teu cartão SIM, com o qual são enviados os nossos alertas, deixou de funcionar.
Isso foi há muito tempo, antes mesmo da introdução das conexões IP no gateway SMS. Portanto, para que o Sber pudesse enviar um SMS do seu famoso número 900, eles pegaram o cartão SIM fornecido (provavelmente mais de um), conectaram-no a um modem GSM e foi assim que funcionou.
Ok, aceitei o problema e comecei a cavar. Em primeiro lugar verifico o estado do cartão SIM na faturação, está bloqueado. Que diabos - ao lado há uma inscrição vermelha “NÃO BLOQUEAR” e um link para a ordem do arquidemônio geral. Uau, isso é realmente interessante.
Verifico o motivo do bloqueio, faço uma casa nas sobrancelhas e vou até o escritório ao lado, onde uma garota do departamento de fraude está olhando para o monitor.
“Lenochka”, digo a ela, “por que você bloqueou o Sberbank?”
Ela está confusa: dizem que chegou uma reclamação de que spam vinha do número 900. Bem, eu bloqueei, eles resolveriam isso pela manhã.
E você diz - as reclamações dos assinantes são ignoradas!
Eles ligaram o cartão SIM novamente, é claro.
Uma história muito assustadora
Quando consegui um emprego, eu e outros novatos recebemos algo como um tour de orientação. Mostraram os equipamentos: servidores, condicionadores de ar, inversores, extintores de incêndio. Eles mostraram a estação base que estava em uma das salas de testes para experimentos, explicando que embora os transmissores estejam ligados na potência mínima, é melhor não entrar pela porta blindada neste momento. Eles explicaram a estrutura da rede móvel, sobre a energia principal e de reserva, sobre a tolerância a falhas e sobre o fato de a rede ser projetada para funcionar mesmo após uma bomba atômica. Não sei se isso foi dito por dizer ou se era verdade, mas ficou na minha cabeça.
E de fato: não importa que tipo de loucura acontecesse localmente, a rede de voz do Volga sempre funcionou continuamente. Não sou especialista em comunicações, mas sei que o equipamento (tanto estações base quanto terminais clientes) foi projetado para máxima capacidade de sobrevivência de “voz”. A energia para o BS acabou? Isso reduzirá a energia, mudará para o grupo gerador/baterias a diesel, desligará a transmissão do tráfego de pacotes, mas a voz continuará. Você cortou o cabo? A base mudará para um canal de rádio suficiente para a voz. Telefone perdido, besteira? Ele aumentará a potência e sondará o ar até se prender à torre (ou até descarregar a bateria). Etc.
Mas um dia as luzes do escritório piscaram e geradores a diesel rugiram na rua. Todos correram para verificar novamente seu hardware: nada crítico aconteceu na parte de TI, mas no monitoramento do BS houve um “awk” perplexo. E então: “gente, TODAS as nossas bases estão fora do ar, verifiquem a conexão”.
Pegamos nossos celulares - não há sinal.
Estamos experimentando a telefonia IP - não há acesso às comunicações móveis.
Não há rede. De forma alguma. Em lugar nenhum.
Lembrando-me das palavras sobre o bombardeio atômico, inconscientemente esperei alguns segundos até que a onda de choque nos alcançasse - por algum motivo, não consegui pensar em nenhum outro motivo para a perda da rede. Foi assustador e curioso ao mesmo tempo: de alguma forma entendi que não teria tempo para fazer nada. O resto dos caras também ficou pasmo, ninguém conseguia entender nada.
Não houve onda de choque. Depois de um choque de cinco segundos, corremos para o telefone da rede municipal com fio, disponível exatamente para esse caso, e começamos a ligar para os escritórios regionais. A rede da cidade, felizmente, funcionou, mas nas regiões confirmaram: toda Samara está “morta”, nem o hardware está fazendo ping nem discando.
Cinco minutos depois, um dos engenheiros de energia trouxe a notícia: houve um incêndio em algum lugar de uma usina, cortando a energia de pelo menos toda Samara, e possivelmente da região. Exalado; e quando ocorreu a mudança para energia reservada, eles até inalaram.
Outra história assustadora (mas um pouco estúpida)
O maior fakap da minha memória ocorreu durante a próxima reta com a agora zerada. Naquela época, eles tinham acabado de introduzir um recurso de envio de perguntas por SMS, então se prepararam com antecedência para um aumento na carga da rede: verificaram e prepararam tudo, e uma semana inteira antes do dia X proibiram qualquer trabalho exceto os emergenciais. Um protocolo semelhante é usado em todos os casos em que é esperado um aumento de carga, por exemplo, em feriados. E para os engenheiros de plantão é o mesmo que um dia de folga, porque quando o equipamento não é mexido nada pode acontecer com ele e, mesmo que aconteça, todos os especialistas sentam-se no escritório com antecedência, por precaução.
Em geral, sentamos, ouvimos o líder nacional e não nos preocupamos com nada.
Um silencioso “F***” vem das operadoras da central telefônica.
Eu olho para mim mesmo – é realmente “f***”: a rede do campus caiu.
Em um segundo tudo morre (naquela época não havia meme sobre Natasha e gatos, mas teria sido útil). O segmento de usuários da rede desaparece e o segmento tecnológico desaparece. Com horror crescente, tentamos verificar o que ainda está funcionando e, depois de verificar, pegamos no armário uma garrafa escondida de conhaque medicinal: só restam chamadas de voz (eu te disse, elas são tenazes!), todo o resto está morto . Não há Internet - nem GPRS de assinante, nem fibra, que está alocada para vários subprovedores. SMS não são enviados. Bunda! Ligamos para as regiões - elas têm uma rede, mas não veem Samara.
Em meia hora, o fim do mundo tornou-se quase tangível. Dez milhões de pessoas que de repente têm tudo quebrado e que não conseguem entrar em contato com o call center porque os terminais de voz do call center funcionam via VOIP.
E isso durante o discurso do governante mais sombrio! Outra vitória para o Departamento de Estado e para Obama pessoalmente!
Os técnicos de plantão começaram mal e trabalharam com muita eficiência: em uma hora a rede ganhou vida.
Tal ataque não é de nível regional, nem mesmo regional; deve ser relatado a Moscou com todos os detalhes e a extradição dos perpetradores. Assim, os participantes da investigação foram proibidos de dizer a verdade sob pena de demissão, e foi elaborado um relatório para a Defesa Civil, cheio de água e neblina, do qual de alguma forma se descobriu que “é ele mesmo, ninguém é o culpado.”
O que realmente aconteceu: um dos chefes estava ficando sem tempo para implementações e perdendo bônus para elas. E eles romperam com o chefe do patrão, e assim por diante; Por isso, pressionaram um dos novos engenheiros, dizendo-lhe para realizar as conexões de rede necessárias “enquanto tudo está tranquilo”. O engenheiro não se atreveu a contestar, nem mesmo a exigir uma ordem por escrito: este foi o seu primeiro erro. Em segundo lugar, ele cometeu um erro ao configurar o Cisco remotamente, obtendo resultados recordes para fakap no menor tempo possível.
Pelo que eu sei, ninguém foi punido.
Celebration chega até nós
As férias, como já mencionei, sempre foram dias especiais para nós. Nesses dias, a carga na rede aumenta drasticamente, o número de chamadas e SMS de felicitações dispara. Não sei como está agora, com o desenvolvimento da comunicação pela Internet, mas só no dia de Ano Novo, os opsos cobraram uma penalidade muito significativa nas ligações de felicitações.
Portanto, na véspera de Ano Novo, engenheiros de todos os departamentos estavam sempre de plantão no escritório (e fora do escritório havia equipes prontas para avançar através dos montes de neve para eliminar o acidente na estação base na vila de Small Drischi). Especialistas em faturamento, administradores de hardware, encanadores de software, especialistas em redes, switchers, técnicos de serviço, prestadores de serviços de suporte – cada criatura tem uma criatura. E se as condições permitissem, eles ficavam em nossa sala de serviço, observando em nossos dispositivos de monitoramento os picos de tráfego seguindo os fusos horários em toda a região do Volga.
Três ou quatro vezes por noite celebrávamos o Ano Novo, no entanto, não se tratava tanto de uma festa, mas de uma antecipação nervosa: será que o equipamento suportará a sobrecarga, será que algum elo da complexa cadeia técnica se quebrará...
Sasha, responsável pelo faturamento, estava especialmente nervosa. Ele, a princípio, sempre parecia ter passado a vida inteira com os nervos à flor da pele, porque tinha que resolver todas as coisas boas que estavam acontecendo com o faturamento, ser responsável por todos os batentes, era acordado com mais frequência que os outros à noite; em geral, não tenho ideia de como ou por que ele trabalhou onde trabalhou. Talvez ele tenha recebido muito dinheiro ou a família estivesse sendo mantida como refém. Mas naquela noite eu realmente tive a sensação de que se você clicasse em Sasha com a unha, pela tensão interna acumulada nele, ele viraria pó. Para um caso tão desagradável, temos uma vassoura, mas enquanto isso começamos a trabalhar, lambendo o conhaque que espera a nossa vez.
Hora após hora, todos os picos de carga passaram, todos começaram a verificar novamente seus sistemas. O switch fica pálido: todo o tráfego de cobrança desapareceu em um dos switches regionais. E estes são dados sobre todas as chamadas que passaram pelo switch; eles são gravados em um arquivo, que é carregado em partes via FTP (desculpe, mas de forma confiável) para o BRT para cobrança.
O comutador, imaginando o volume de enema de terebintina que receberia pela perda de parte da receita do Ano Novo para toda a região, começou a tremer. Voltando-se para Sasha, ele se dirigiu ao ilustre Sr. Diretor de Faturamento com uma voz cheia de emocionante esperança: “Sasha, por favor, olhe, talvez o BRT tenha conseguido deflacionar as tarifas? Ah, olhe, por favor!
Sasha tomou um gole de conhaque, comeu um sanduíche de caviar, mastigou devagar e, revirando os olhos de prazer por não ter o baseado, respondeu: “Já verifiquei, não tem arquivo... ”.
(Meu maravilhoso revisor perguntou o que aconteceu com o pobre switcher. Ah, o destino dele foi terrível: ele foi condenado a uma semana de serviço na primeira linha de suporte do call center, proibido de xingar. Brrr!)
Jogue uma pedra quem não tem pecado
Com base nessas histórias, pode-se ter a impressão de que nem eu pessoalmente nem os demais plantonistas fomos responsáveis. Nada disso, eles foram péssimos, mas de alguma forma sem um épico e consequências interessantes. O trabalho foi considerado adequado para os alunos de ontem sem inteligência e experiência, não havia nada a tirar de tal funcionário, eles o expulsariam por causa de um baseado - então não é fato que ele será mais inteligente. Mas culpar seus erros de serviço era uma disciplina esportiva separada para os engenheiros: eles erraram o alvo, não perceberam, não os notificaram a tempo, então os puniram. O “oficial de plantão” dominava perfeitamente a arte de dar desculpas; nem sempre dava certo, mas todos entendiam tudo. Portanto, ele chegou - mas, via de regra, sem consequências graves.
Estamos resolvendo outra “falha” na mudança de turno.
Ao longo de vários anos de trabalho lá, lembro-me de três casos em que alguém foi demitido do departamento.
Um dia, um engenheiro do turno da noite resolveu tomar cerveja, e então o diretor técnico entrou na sala de plantão e entrou. Às vezes ele chegava assim e simplesmente dizia olá (é como se ele tivesse começado com os oficiais de plantão). Queimei um cara com uma lata de cerveja, liguei o telefone, disparei. Não bebemos mais cerveja à noite.
Outra vez, a telefonista de plantão perdeu algum acidente terrível. Não me lembro mais dos detalhes.
E a terceira vez - no final do meu trabalho lá. As condições de trabalho pioraram muito, houve uma rotatividade violenta e horas extras terríveis. As pessoas às vezes trabalhavam 12 horas, depois dormiam XNUMX horas e voltavam ao trabalho diário. Eu mesmo trabalhei assim enquanto minha saúde permitiu e foi pago; então, eles pararam de pagar horas extras (geralmente prometiam compensação com folga quando possível - mas todos entendiam que ninguém jamais sairia para passear) e foram forçados a deixar o serviço quase com ameaças. Um engenheiro não aguentou o cuco, levantou-se do local de trabalho no meio do turno e foi para casa para sempre, no caminho procurou o escritório do chefe do serviço e enviou-lhe uma carta de três letras. Lembro-me de uma correspondência em que esse engenheiro foi rotulado de fascista e traidor depois do fato, em cada linha se lia como as autoridades foram queimadas por tal ato.
Em relação aos meus fakaps pessoais, um incidente se destacou em minha mente por ser incomum. De novo, plantão noturno, tudo tranquilo, nada acontece. Na passagem de turno verificamos o monitoramento: opa, o processamento de dados dos interruptores caiu durante a noite, é bom que a luz vermelha esteja acesa há muito tempo. Olhei para esse sinal a noite toda e não percebi nem nada. Apesar de este ter sido um dos monitoramentos mais óbvios e visuais, ainda não entendo porque não o vi.
Não havia desculpas aqui, a junta estava pura e cem por cento, um acidente de quinta categoria e muito provável demissão. Depois de doze horas de plantão noturno até o almoço, eles me assediaram e me obrigaram a escrever notas explicativas. Como ninguém iria acreditar na verdade, tive que inventar algum tipo de balbucio que, devido a uma lesão, usei demais o analgésico e adormeci. O chefe do serviço gritou comigo em seu escritório, em geral tudo caminhava para a demissão - mas resultou em repreensão e privação de bônus. Naquela época, Mega não via bônus há vários anos, então não sofri nenhum dano.
Relembrando o episódio da chegada do diretor técnico: uma noite um caipira se amontoou na sala de plantão e começou a gritar que estávamos sentados destrancados (a sala de plantão não deveria ser trancada em princípio), que éramos cervos aqui, e que pelo manhã ele esperava de todos nós notas explicativas sobre todos os nossos erros. Esse caipira era o chefe do serviço de segurança e ele FOI ENCANTADO. Depois de gritar, o chefe da segurança fugiu para a escuridão e pela manhã perguntamos ao nosso chefe: “O que devemos fazer?” “Dane-se”, ele respondeu, e esse foi o fim do incidente.
Como eu quebrei o departamento
Naquela época, o bashorg (então ainda bash.org.ru, e não o que é agora) era um recurso de culto. As citações apareciam lá quase algumas por mês, e você tem as SUAS! CITAR!!! NA BASH!!! foi tão legal quanto, digamos, ter seu próprio domínio de segundo nível em XNUMX. Aquele bashorg era de alguma forma mais anime de TI, embora fosse engraçado para todos.
Todas as manhãs de trabalho do engenheiro mais jovem (ou seja, o meu) começavam lendo bashorg - trinta segundos de risada antes de doze horas de sofrimento.
Certa vez, um colega me perguntou por que eu estava rindo. Eu mostrei a ele o quê. Ele enviou o link para todo o departamento.
O trabalho parou por alguns dias: para minha surpresa, nenhum dos meus colegas sabia sobre o bash até aquele momento. Houve risadas na sala de plantão: “Ah-haha-haha, patch KDE, ahaha-haha!” “Igogo-go-go, afogue os pés de cabra em mercúrio, bgegegeg!” Perdeu-se uma jornada de trabalho, mas por outro lado, sua vida foi significativamente prolongada.
Bônus para quem terminar de ler
Lembre-se, nos tempos barbudos havia uma piada tão popular: “Vejo duas unidades C no Norton, penso - por que preciso de duas? Bem, eu apaguei um! Lembra muito uma das minhas histórias favoritas, que não é contada por mim, mas por mim. E cada vez é tão engraçado quanto o primeiro:
18+, mas você não pode apagar a letra da música
Pós-escrito
Essas histórias são uma compilação processada de algumas postagens do meu canal TG. Às vezes, um jogo semelhante passa por lá; Não estou insinuando nada, mas Vou deixar de qualquer maneira.
Tenham todos uma boa sexta-feira sem foda!
Fonte: habr.com