servidor<\/a> \u2014 eles respondem ao ping, mas na verdade n\u00e3o h\u00e1 nada neles!<\/p>\nMal conseguimos come\u00e7ar o conjunto de atividades estabelecido, quando ouvimos um grito estrondoso.VOU MATAR, ESTUDANTE!<\/b>; o arqu\u00edvo administrador de todos os servidores entra correndo na sala de controle, pega a chave eletr\u00f4nica da prateleira e corre para l\u00e1.<\/p>\n
Pouco depois disso, o monitoramento retorna ao normal.<\/p>\n
Aconteceu o seguinte: um novo funcion\u00e1rio da empresa contratada, ao configurar um monte de novas m\u00e1quinas virtuais, atribuiu manualmente a eles endere\u00e7os IP est\u00e1ticos sequenciais, de x.x.x.1 a x.x.x.100. O \"Estudante\" n\u00e3o sabia dos endere\u00e7os sagrados e intoc\u00e1veis, e os veteranos nunca pensaram que algu\u00e9m pudesse se atrever a mexer neles.<\/p>\n
Servi\u00e7o \"Antispam\"<\/h4>\n \nAh, os plant\u00f5es noturnos! Amava-os e os odiava, porque eram 50\/50: ou eram trabalhos planejados nos equipamentos, onde voc\u00ea participava ativamente, ajudando o engenheiro com a mente sonolenta e as m\u00e3os tremendo, ou era sil\u00eancio e calma. Os assinantes dormem, o equipamento funciona, nada quebra, o plantonista relaxa.<\/p>\n
O plant\u00e3o segue conforme o planejado.<\/i><\/p>\n
Certa vez, tal tranquilidade da meia-noite \u00e9 interrompida por uma liga\u00e7\u00e3o no telefone do escrit\u00f3rio: al\u00f4, aqui \u00e9 do Sberbank, estamos preocupados, nosso chip, com o qual nossos avisos s\u00e3o enviados, parou de funcionar.<\/p>\n
Isso foi h\u00e1 muito tempo, antes da implementa\u00e7\u00e3o das conex\u00f5es IP para o gateway de SMS. Portanto, para que o Sber pudesse enviar mensagens de seu famoso n\u00famero 900, eles pegavam o chip fornecido (provavelmente nem era um s\u00f3), o colocavam em um modem GSM e funcionavam assim.<\/p>\n
Tudo bem, aceitei o problema e comecei a investigar. Primeiro, verifico o estado do chip no sistema de cobran\u00e7a, e ele est\u00e1 bloqueado. Que diabos \u2014 ao lado, est\u00e1 escrito a vermelho \"N\u00c3O BLOQUEAR\" e h\u00e1 um link para a ordem do grande arquidem\u00f4nio. Uau, isso \u00e9 realmente interessante.<\/p>\n
Vou checar a raz\u00e3o do bloqueio, arqueio as sobrancelhas e me dirijo ao escrit\u00f3rio ao lado, onde uma mo\u00e7a do departamento de fraudes est\u00e1 fixando o olhar no monitor.<\/p>\n
\"Lenochka,\" eu digo a ela, \"por que voc\u00ea bloqueou o Sberbank?\"<\/p>\n
Ela est\u00e1 confusa: diz que recebeu uma reclama\u00e7\u00e3o de que o n\u00famero 900 estava enviando spam. Ent\u00e3o eu bloqueei, de manh\u00e3 resolver\u00edamos.<\/p>\n
E voc\u00ea diz \u2014 as reclama\u00e7\u00f5es dos assinantes s\u00e3o ignoradas!<\/p>\n
O chip foi desbloqueado, \u00e9 claro.<\/p>\n
Uma hist\u00f3ria muito assustadora.<\/h4>\n \nQuando eu comecei a trabalhar, fizeram algo como uma excurs\u00e3o introdut\u00f3ria para mim e outros novatos. Mostraram o equipamento: servidores, condicionadores, inversores, sistema de combate a inc\u00eandios. Mostraram a esta\u00e7\u00e3o base, que estava em uma das salas de m\u00e1quinas para experimentos, explicando que, embora os transmissores sejam acionados em pot\u00eancia m\u00ednima, \u00e9 melhor n\u00e3o entrar durante esse tempo na porta blindada. Explicaram sobre a estrutura da rede m\u00f3vel, sobre a alimenta\u00e7\u00e3o principal e de reserva, sobre a redund\u00e2ncia e que a rede \u00e9 projetada para funcionar mesmo ap\u00f3s uma bombardearia at\u00f4mica. N\u00e3o sei se isso foi dito apenas para efeito dram\u00e1tico, ou se \u00e9 verdade, mas isso ficou na minha cabe\u00e7a.<\/p>\n
E de fato: n\u00e3o importa o qu\u00e3o ca\u00f3tico fosse o ambiente local, a rede de voz do Volga sempre funcionou de forma cont\u00ednua. Eu n\u00e3o sou um especialista em telecomunica\u00e7\u00f5es, mas sei que o equipamento (tanto as esta\u00e7\u00f5es base quanto os terminais dos clientes) \u00e9 projetado para a m\u00e1xima resili\u00eancia da \"voz\". A alimenta\u00e7\u00e3o da esta\u00e7\u00e3o base caiu? Ela reduzir\u00e1 a pot\u00eancia, passar\u00e1 para geradores ou baterias de reserva, desligar\u00e1 a transmiss\u00e3o de tr\u00e1fego de pacotes, mas a voz continuar\u00e1 fluindo. O cabo foi cortado? A base mudar\u00e1 para o canal de r\u00e1dio, que \u00e9 suficiente para voz. O telefone perdeu a esta\u00e7\u00e3o base? Ele aumentar\u00e1 a pot\u00eancia e buscar\u00e1 sinais at\u00e9 se conectar a uma torre (ou at\u00e9 que a bateria acabe). E assim por diante.<\/p>\n
Mas um dia, a luz piscou no escrit\u00f3rio, e do lado de fora, os geradores a diesel come\u00e7aram a funcionar. Todos correram para verificar seus equipamentos: nada cr\u00edtico ocorreu na parte de TI, mas do monitoramento da esta\u00e7\u00e3o base, ouviu-se um \"opa\" surpreso. E ent\u00e3o: \"pessoal, todas as nossas bases foram derrubadas, verifiquem a conex\u00e3o.\"
Testamos a telefonia IP \u2014 n\u00e3o h\u00e1 sa\u00edda para a comunica\u00e7\u00e3o m\u00f3vel.<\/p>\n
N\u00e3o h\u00e1 rede. De forma alguma. Em lugar nenhum.<\/p>\n
Lembrando das palavras sobre a bombardeio at\u00f4mico, subconscientemente esperei alguns segundos enquanto a onda de choque chegava at\u00e9 n\u00f3s \u2014 de alguma forma, n\u00e3o pensei em outra raz\u00e3o para a queda da rede. Estava assustado e curioso ao mesmo tempo: eu entendia que, de qualquer jeito, n\u00e3o conseguiria fazer nada a tempo. Os outros tamb\u00e9m estavam atordoados, ningu\u00e9m conseguia entender nada.<\/p>\n
N\u00e3o houve onda de explos\u00e3o. Ap\u00f3s cinco segundos de choque, corremos para o telefone da rede fixa, que tinha sido preparado para uma situa\u00e7\u00e3o como essa, e come\u00e7amos a entrar em contato com os escrit\u00f3rios regionais. A rede urbana, felizmente, estava funcionando, mas nas regi\u00f5es confirmaram: toda Samara est\u00e1 'morta', nenhum equipamento respondeu, e n\u00e3o conseguimos fazer nenhuma chamada.<\/p>\n
Ap\u00f3s cinco minutos, algu\u00e9m dos eletricistas trouxe a not\u00edcia: houve uma explos\u00e3o em alguma usina, deixando pelo menos toda Samara sem energia, possivelmente a regi\u00e3o inteira. Respir\u00e1mos aliviados; e quando a transfer\u00eancia para as fontes de energia reserva ocorreu \u2014 at\u00e9 conseguimos respirar.<\/p>\n
Mais uma hist\u00f3ria assustadora (mas um tanto boba)<\/h4>\n \nO maior fiasco que me lembro aconteceu durante mais uma linha direta com o agora anulado. Naquela \u00e9poca, estavam introduzindo a funcionalidade de enviar perguntas por mensagem de texto, ent\u00e3o nos preparamos antecipadamente para o aumento da carga na rede: checamos tudo e, uma semana antes do dia X, proibimos qualquer trabalho, exceto os emergenciais. Esse protocolo \u00e9 acionado em quaisquer casos de expectativa de carga elevada, como feriados. E para os engenheiros de plant\u00e3o, isso \u00e9 igual a um dia de folga, porque quando o equipamento n\u00e3o \u00e9 tocado, nada pode acontecer, e se acontecer \u2014 todos os especialistas ficam preparados no escrit\u00f3rio.<\/p>\n
No geral, estamos sentados, ouvindo o l\u00edder nacional, sem nos preocupar com nada.<\/p>\n
Do lado dos comutadores, ouve-se um murmurinho de 'P***'.<\/p>\n
Olho para o meu lado \u2014 realmente 'p***': a rede do campus caiu.<\/p>\n
Em um segundo, tudo morre (naquela \u00e9poca, ainda n\u00e3o existia o meme da Natasha e dos gatos, que teria sido \u00fatil). O segmento de usu\u00e1rios da rede desaparece, a tecnologia desaparece. Com crescente horror, tentamos verificar o que ainda est\u00e1 funcionando e, ao confirmarmos, estendemos a m\u00e3o para o arm\u00e1rio em busca da garrafa escondida de conhaque terap\u00eautico: sobraram apenas chamadas de voz (eu disse, elas s\u00e3o resistentes!), tudo o mais - morreu. N\u00e3o h\u00e1 internet - nem GPRS de assinante, nem fibra \u00f3ptica, que \u00e9 fornecida a v\u00e1rios subprovedores. SMS n\u00e3o s\u00e3o enviados. Uma cat\u00e1strofe! Ligamos para as regi\u00f5es - eles t\u00eam rede, mas n\u00e3o conseguem ver Samara.<\/p>\n
Em meia hora, o fim do mundo tornou-se quase tang\u00edvel. Dez milh\u00f5es de pessoas que de repente tudo parou e que n\u00e3o conseguem ligar para o call center, porque no call center os terminais de voz funcionam via VOIP.<\/p>\n
E isso durante a apresenta\u00e7\u00e3o do governante super obscuro! Outra vit\u00f3ria do departamento de Estado e de Obama pessoalmente!<\/p>\n
Os t\u00e9cnicos de plant\u00e3o deram o limite e atuaram com muita precis\u00e3o: em uma hora, a rede voltou \u00e0 vida.<\/p>\n
Esse tipo de falha n\u00e3o \u00e9 de n\u00edvel regional ou at\u00e9 estadual, esse tipo de coisa deve ser reportado a Moscovo com todos os detalhes e a identifica\u00e7\u00e3o dos culpados. Portanto, aqueles que participaram da investiga\u00e7\u00e3o foram proibidos de contar a verdade sob pena de demiss\u00e3o, e para a administra\u00e7\u00e3o foi elaborado um relat\u00f3rio cheio de clich\u00eas e obscuridades, onde de alguma forma parecia que 'aconteceu por conta pr\u00f3pria, ningu\u00e9m \u00e9 culpado'.<\/p>\n
O que realmente aconteceu: um dos chefes estava com prazos apertados para implementa\u00e7\u00f5es e as bonifica\u00e7\u00f5es por isso estavam amea\u00e7adas. E o chefe do chefe tamb\u00e9m, e assim por diante; por isso, pressionaram um dos novos engenheiros, mandando-o realizar as exig\u00eancias da rede 'enquanto tudo est\u00e1 tranquilo'. O engenheiro n\u00e3o ousou objetar, ou pelo menos exigir uma ordem por escrito: esse foi seu primeiro erro. O segundo - ele cometeu um erro ao configurar remotamente o Cisco, alcan\u00e7ando resultados recordes de fiasco em um curto espa\u00e7o de tempo.<\/p>\n
Pelo que sei - ningu\u00e9m foi punido.<\/p>\n
A festa est\u00e1 chegando at\u00e9 n\u00f3s<\/h4>\n \nAs I mentioned, holidays have always been special days for us. On such days, the network load rises sharply, and the number of congratulatory calls and SMS messages skyrockets. I don't know how it is now with the development of online communication, but back then, during just one New Year, the operators took a significant profit from congratulatory calls.<\/p>\n
That\u2019s why on New Year's Eve, engineers from all departments were always on duty in the office (while outside, teams were ready to brave the snowdrifts to fix emergencies at the base station in the small village). Billing specialists, hardware admins, software engineers, network engineers, switch operators, service technicians, and contractor support teams\u2014everyone had their role. If conditions allowed, they would hang out in our duty room, watching our monitoring devices for spikes in traffic following the time zones across the Volga region. <\/p>\n
Three or four times throughout the night, we welcomed the New Year, although it was less about celebration and more about anxious anticipation: would the equipment withstand the overload, would any link in that complex technical chain break\u2026<\/p>\n
Hour by hour, all traffic spikes passed, and everyone began double-checking their systems. The switch operator went pale: all billing traffic had disappeared from one of the regional switches. And this means data on all calls that have gone through the switch; they are written to a file that is being pulled by FTP in chunks (primitive, but reliable) onto the BRT for billing.<\/p>\n
O comutador, pensando na quantidade de infus\u00e3o de terebentina que lhe seria aplicada pela perda de parte da receita de Natal de toda uma regi\u00e3o, ficou tremendo. Virando-se para Sasha, dirigiu-se ao senhor billing com uma voz cheia de esperan\u00e7osa ansiedade: \"Sasha, por favor, veja se o BRT conseguiu processar a tarifa\u00e7\u00e3o? Ah, veja, por favor!\".<\/p>\n
Sasha tomou um gole de conhaque, acompanhou com um sandu\u00edche de caviar, mastigou devagar e, revirando os olhos de prazer, causado pelo fato de que o problema n\u00e3o era dele, respondeu: \"J\u00e1 verifiquei, n\u00e3o h\u00e1 arquivos...\".<\/p>\n
(Minha maravilhosa corretora perguntou o que aconteceu depois com o pobre comutador. Oh, o destino dele foi horr\u00edvel: ele foi condenado a uma semana de plant\u00e3o na primeira linha de suporte do call center, proibido de xingar. Brrr!)<\/p>\n
Atire a primeira pedra quem for sem pecado<\/h4>\n \nCom essas hist\u00f3rias, pode-se ter a impress\u00e3o de que nem eu pessoalmente, nem outros plantonistas cometeram erros. Nada disso, erramos, mas de uma forma sem um \u00e9pico interessante e consequ\u00eancias. O trabalho era considerado adequado para rec\u00e9m-formados sem c\u00e9rebro e experi\u00eancia, n\u00e3o havia nada a tirar deste tipo de funcion\u00e1rio, demitir por um erro \u2013 e o novo nem sempre seria mais inteligente. Mas jogar a culpa da sua pr\u00f3pria irresponsabilidade no plant\u00e3o era uma disciplina esportiva separada entre os engenheiros: ignoraram, n\u00e3o entenderam, n\u00e3o informaram a tempo, ent\u00e3o era isso que os pun\u00edamos. A \"plant\u00e3o\" dominou totalmente a arte de se desviar, nem sempre funcionava, mas todos entendiam tudo. Ent\u00e3o, as consequ\u00eancias chegavam \u2013 mas, geralmente, sem repercuss\u00f5es s\u00e9rias.<\/p>\n
Analisamos mais um \"erro\" durante a troca de turno.<\/i><\/p>\n
Em v\u00e1rios anos de trabalho l\u00e1, posso lembrar de tr\u00eas casos em que algu\u00e9m foi demitido do departamento.
Outra vez, o comutador de plant\u00e3o perdeu uma falha realmente s\u00e9ria. J\u00e1 n\u00e3o lembro os detalhes.<\/p>\n
E na terceira vez \u2014 j\u00e1 no final do meu trabalho l\u00e1. As condi\u00e7\u00f5es de trabalho ca\u00edram muito, havia uma enorme rotatividade e horas extras aterradoras. As pessoas trabalhavam \u00e0s vezes por 24 horas, depois iam dormir 12 horas e voltavam para o turno de 24 horas. Eu tamb\u00e9m fiz isso enquanto a sa\u00fade permitisse e era pago por isso; depois pararam de pagar pelas horas extras (normalmente prometiam uma compensa\u00e7\u00e3o com folgas, quando houvesse oportunidade \u2014 mas todos sabiam que ningu\u00e9m realmente iria tirar folga), e para os plant\u00f5es quase que se usavam amea\u00e7as. Um dos engenheiros n\u00e3o aguentou e, no meio do turno, se levantou do seu posto de trabalho e foi embora para casa para sempre, passando pelo escrit\u00f3rio do chefe do departamento, e mandando-o para aquele lugar. Lembro de um e-mail em que esse engenheiro foi chamado de fascista e traidor, e em cada linha se percebia como a ger\u00eancia estava irritada com tal atitude.<\/p>\n
Quanto aos meus erros pessoais \u2014 um caso em particular se destacou pela sua peculiaridade. Novamente, era um plant\u00e3o noturno, tudo calmo, nada acontecendo. Durante a troca de turno, verificamos o monitoramento: ups, durante a noite o processamento de dados dos switches caiu, uma luz vermelha boa e acesa h\u00e1 bastante tempo. Olhei para esse sinal a noite toda \u2014 e n\u00e3o consegui perceb\u00ea-lo. Apesar de ser um dos monitoramentos mais \u00f3bvios e vis\u00edveis, ainda n\u00e3o entendo por que n\u00e3o o vi.
Lembrando o epis\u00f3dio da chegada do chefe de tecnologia: uma vez, durante a noite, um sujeito qualquer entrou na nossa sala de plant\u00e3o e come\u00e7ou a gritar que est\u00e1vamos desprotegidos (a sala de plant\u00e3o n\u00e3o deve estar trancada, na verdade), que \u00e9ramos uns lerdos e que at\u00e9 pela manh\u00e3 ele esperava explica\u00e7\u00f5es de todos n\u00f3s sobre nossos erros. Esse sujeito era o chefe de seguran\u00e7a, e o seu tom era de arrepiar. Depois de gritar, ele saiu na escurid\u00e3o e, pela manh\u00e3, perguntamos ao nosso chefe \u2014 o que devemos fazer? \"Mande-o \u00e0 merda\" \u2014 respondeu ele, e o incidente foi resolvido.<\/p>\n
Como eu quebrei o departamento<\/h4>\n \nNaqueles dias, o Bashorg (na \u00e9poca ainda bash.org.ru, e n\u00e3o o que \u00e9 agora) era um recurso cult. As cita\u00e7\u00f5es apareciam quase uma ou duas por m\u00eas, e ter SUA! CITA\u00c7\u00c3O!!! NO BASH!!! era t\u00e3o legal quanto ter um dom\u00ednio de segundo n\u00edvel em 2000. O Bashorg daquela \u00e9poca era de alguma forma mais voltado para TI e anime, embora fosse engra\u00e7ado para todos.<\/p>\n
Cada manh\u00e3 de trabalho do mais jovem engenheiro (ou seja, a minha) come\u00e7ava com a leitura do Bashorg \u2014 trinta segundos de risadas antes de doze horas de sofrimento.<\/p>\n
Uma vez, um colega me perguntou do que eu estava rindo. Eu mostrei a ele. Ele espalhou o link por todo o departamento.<\/p>\n
O trabalho parou por alguns dias: para minha surpresa, ningu\u00e9m dos colegas sabia sobre o Bash at\u00e9 aquele momento. Na sala de plant\u00e3o, havia risadas: \"Ah-haha-haha, vamos patchar o KDE, hahaha-haha!\". \"Rindo, vamos afundar l\u00e2minas em merc\u00fario, hehe!\". O dia de trabalho foi perdido, mas, por outro lado, a vida se prolongou consideravelmente naquela \u00e9poca.<\/p>\n
B\u00f4nus para quem leu at\u00e9 aqui<\/h4>\n \nVoc\u00eas lembram, nos velhos tempos, havia uma piada popular: \"Vejo no Norton dois discos C, e penso \u2014 por que eu precisaria de dois? Ent\u00e3o apaguei um!\". Isso me lembra uma das minhas hist\u00f3rias favoritas, que n\u00e3o \u00e9 contada por mim, mas por algu\u00e9m. E \u00e9 engra\u00e7ado toda vez, como da primeira vez:<\/p>\n
18+, mas n\u00e3o se pode tirar palavras de uma can\u00e7\u00e3o<\/b>P\u00f3s-escrito<\/h4>\n
\nEssas hist\u00f3rias s\u00e3o uma compila\u00e7\u00e3o processada de algumas postagens do meu canal no TG. \u00c0s vezes aparece uma loucura assim; eu n\u00e3o estou insinuando nada, mas eu deixarei o link.<\/a><\/noindex> Ainda assim.<\/p>\nDesejo a todos uma boa sexta-feira sem estresse!habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0435: \u043f\u043e\u0441\u0442 \u044d\u0442\u043e\u0442 \u0441\u0443\u0433\u0443\u0431\u043e \u043f\u044f\u0442\u043d\u0438\u0447\u043d\u044b\u0439, \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0430\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439, \u0447\u0435\u043c \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439. \u0412\u0430\u0441 \u0436\u0434\u0443\u0442 \u0432\u0435\u0441\u0451\u043b\u044b\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043e\u0431 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0445 \u0444\u0430\u043a\u0430\u043f\u0430\u0445, \u0431\u0430\u0439\u043a\u0438 \u0441 \u0442\u0451\u043c\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u043e\u0442\u043e\u0432\u043e\u0433\u043e \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430 \u0438 \u043f\u0440\u043e\u0447\u0438\u0439 \u043b\u0435\u0433\u043a\u043e\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u0448\u043e\u0440\u043e\u0445. \u0415\u0441\u043b\u0438 \u044f \u0433\u0434\u0435-\u0442\u043e \u0447\u0442\u043e-\u0442\u043e \u043f\u0440\u0438\u0443\u043a\u0440\u0430\u0448\u0443 \u2014 \u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u044b \u0436\u0430\u043d\u0440\u0430, \u0430 \u0435\u0441\u043b\u0438 \u043d\u0430\u0432\u0440\u0443 \u2014 \u0442\u0430\u043a \u0432\u0441\u0451 \u044d\u0442\u043e \u0434\u0435\u043b\u0430 \u0434\u043d\u0435\u0439 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043d\u0443\u0432\u0448\u0438\u0445, \u0447\u0442\u043e \u043d\u0438\u043a\u043e\u043c\u0443 \u043e\u0442 \u0442\u043e\u0433\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":90526,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-90525","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t