Este inverno, ou mellor dito, nun dos días entre o Nadal católico e o ano novo, os enxeñeiros de soporte técnico de Veeam estaban ocupados con tarefas pouco habituais: estaban á caza dun grupo de hackers chamado "Veeamonymous".

Contou como os propios mozos pensaron e levaron a cabo unha verdadeira misión na realidade no seu traballo, con tarefas "próximas ao combate". Kirill Stetsko, Enxeñeiro de escalada.

- Por que comezaches isto?

- Aproximadamente da mesma forma en que a xente se lle ocorreu Linux nun tempo: só por diversión, para o seu propio pracer.

Queriamos movemento, e ao mesmo tempo queriamos facer algo útil, algo interesante. Ademais era necesario darlle un alivio emocional aos enxeñeiros do seu traballo diario.

- Quen suxeriu isto? De quen foi a idea?

- A idea foi a nosa directora Katya Egorova, e despois o concepto e todas as ideas posteriores naceron grazas a esforzos conxuntos. Inicialmente pensamos en facer un hackathon. Pero durante o desenvolvemento do concepto, a idea converteuse nunha busca; despois de todo, un enxeñeiro de soporte técnico é un tipo de actividade diferente á programación.

Entón, chamamos amigos, compañeiros, coñecidos, diferentes persoas axudáronnos co concepto: unha persoa de T2 (a segunda liña de apoio é nota do editor), unha persoa con T3, un par de persoas do equipo SWAT (equipo de resposta rápida para casos especialmente urxentes - nota do editor). Reunímonos todos, sentámonos e tentamos elaborar tarefas para a nosa procura.

— Foi moi inesperado coñecer todo isto, porque, que eu saiba, a mecánica de misións adoita ser elaborada por guionistas especialistas, é dicir, non só trataches de algo tan complexo, senón tamén en relación co teu traballo. , ao seu ámbito profesional de actividade.

— Si, queriamos que non sexa só entretemento, senón que “aumentaran” as habilidades técnicas dos enxeñeiros. Unha das tarefas do noso departamento é o intercambio de coñecementos e formación, pero esa procura é unha excelente oportunidade para que a xente "toque" algunhas técnicas novas para eles.

—¿Como se lle ocorreron as tarefas?

- Tivemos unha sesión de brainstorming. Entendemos que tiñamos que facer unhas probas técnicas, de tal xeito que fosen interesantes e ao mesmo tempo aportasen novos coñecementos.
Por exemplo, pensamos que a xente debería tentar rastrexar o tráfico, usar editores hexadecimales, facer algo para Linux, algunhas cousas un pouco máis profundas relacionadas cos nosos produtos (Veeam Backup & Replication e outras).

O concepto tamén foi unha parte importante. Decidimos construír sobre o tema dos hackers, o acceso anónimo e unha atmosfera de segredo. A máscara de Guy Fawkes converteuse nun símbolo, e o nome veu naturalmente - Veeamonymous.

"Ao principio era a palabra"

Para espertar o interese, decidimos organizar unha campaña de RRPP temática de misións antes do evento: colgamos carteis co anuncio pola nosa oficina. E uns días despois, ás agachadas de todo o mundo, pintáronos con aerosol e puxeron un “pato”, din que algúns atacantes estragaron os carteis, ata achegaron unha foto con proba….

- Entón fixéchelo ti, é dicir, o equipo de organizadores?!

— Si, o venres, sobre as 9:XNUMX horas, cando xa todos saíran, fomos debuxar a letra “V” en verde dos globos.) Moitos participantes na misión nunca adiviñaron quen o fixo - a xente achegábase a nós. e preguntou quen estragou os carteis? Alguén tomou esta cuestión moi en serio e levou a cabo unha investigación completa sobre este tema.

Para a misión, tamén escribimos ficheiros de audio, sons "arrancados": por exemplo, cando un enxeñeiro inicia sesión no noso sistema [CRM de produción], hai un robot de resposta que di todo tipo de frases, números... Aquí estamos. a partir desas palabras que gravou, compuxo frases máis ou menos significativas, ben, quizais un pouco torta; por exemplo, temos "Non hai amigos que te axuden" nun ficheiro de audio.

Por exemplo, representamos o enderezo IP en código binario e, de novo, usando estes números [pronunciados polo robot], engadimos todo tipo de sons aterradores. Nós mesmos filmamos o vídeo: no vídeo temos a un home sentado cunha capucha negra e cunha máscara de Guy Fawkes, pero en realidade non hai unha persoa, senón tres, porque dous están detrás del e sosteñen un "fondo" feito. dunha manta :).

- Pois estás confundido, por dicilo sen rodeos.

- Si, incendiamos. En xeral, primeiro elaboramos as nosas especificacións técnicas, e despois elaboramos un esquema literario e lúdico sobre o tema do que supostamente pasou. Segundo o escenario, os participantes estaban a cazar un grupo de hackers chamado "Veeamonymous". A idea tamén era que, por así dicilo, "romperamos a cuarta parede", é dicir, trasladaríamos os acontecementos á realidade: pintamos desde unha lata de spray, por exemplo.

Un dos falantes nativos de inglés do noso departamento axudounos coa elaboración literaria do texto.

- Espera, por que un falante nativo? Tamén o fixeches todo en inglés?

— Si, fixémolo para as oficinas de San Petersburgo e Bucarest, así que todo estaba en inglés.

Para a primeira experiencia tentamos que todo funcionase, polo que o guión era lineal e bastante sinxelo. Engadimos máis contorna: textos secretos, códigos, imaxes.

Tamén usamos memes: había unha chea de imaxes sobre temas de investigacións, ovnis, algunhas historias de terror populares; algúns equipos distraíanse con isto, intentando atopar algunhas mensaxes ocultas alí, aplicar os seus coñecementos sobre esteganografía e outras cousas... pero, claro, non había nada así.

Sobre espiñas

Non obstante, durante o proceso de preparación, tamén nos enfrontamos a retos inesperados.

Loitamos moito con eles e resolvemos todo tipo de problemas inesperados, e aproximadamente unha semana antes da misión pensamos que estaba todo perdido.

Probablemente paga a pena falar un pouco sobre a base técnica da misión.

Todo se fixo no noso laboratorio interno de ESXi. Tiñamos 6 equipos, o que significa que tiñamos que asignar 6 grupos de recursos. Así, para cada equipo despregamos un grupo separado coas máquinas virtuais necesarias (a mesma IP). Pero dado que todo isto estaba situado en servidores que están na mesma rede, a configuración actual das nosas VLAN non nos permitía illar máquinas en diferentes pools. E, por exemplo, durante unha proba, recibimos situacións nas que unha máquina dun grupo se conectaba a unha máquina doutra.

—¿Como foi capaz de corrixir a situación?

— Ao principio pensamos durante moito tempo, probamos todo tipo de opcións con permisos, vLAN separadas para máquinas. Como resultado, fixeron isto: cada equipo ve só o servidor Veeam Backup, a través do cal se realiza todo o traballo posterior, pero non ve o subgrupo oculto, que contén:

• varias máquinas Windows
• Servidor central de Windows
• máquina Linux
• par VTL (Biblioteca de cintas virtual)

A todas as agrupacións asígnaselles un grupo separado de portos no switch vDS e a súa propia VLAN privada. Este dobre illamento é exactamente o que se necesita para eliminar completamente a posibilidade de interacción na rede.

Sobre os valentes

-¿Alguén podería participar na misión? Como se formaron os equipos?

— Esta foi a nosa primeira experiencia coa celebración dun evento deste tipo e as capacidades do noso laboratorio limitáronse a 6 equipos.

En primeiro lugar, como xa dixen, fixemos unha campaña de RRPP: mediante carteis e mailings anunciamos que se levaría a cabo unha misión. Mesmo tiñamos algunhas pistas: as frases estaban cifradas en código binario nos propios carteis. Deste xeito, conseguimos que a xente se interesase, e que a xente xa chegou a acordos entre eles, cos amigos, cos amigos e colaborou. Como resultado, responderon máis persoas que nós, polo que tivemos que realizar unha selección: elaboramos unha tarefa sinxela de proba e enviámola a todos os que responderon. Era un problema de lóxica que había que resolver rapidamente.

Permitiuse un equipo de ata 5 persoas. Non facía falta un capitán, a idea era a cooperación, a comunicación entre si. Alguén é forte, por exemplo, en Linux, alguén é forte en cintas (copias de seguridade en cintas), e todos, vendo a tarefa, poderían investir os seus esforzos na solución global. Todos se comunicaron entre si e atoparon unha solución.

-¿En que momento comezou este evento? Tiveches algún tipo de "hora X"?

— Si, tiñamos un día estrictamente sinalado, escollemolo para que houbese menos carga de traballo no departamento. Por suposto, os xefes do equipo foron notificados con antelación de que tales equipos estaban invitados a participar na misión e necesitaban aliviarlles [con respecto á carga] ese día. Parecía que debería ser fin de ano, o 28 de decembro, venres. Esperábamos que tardara unhas 5 horas, pero todos os equipos completárono máis rápido.

— Todos estaban en pé de igualdade, todos tiñan as mesmas tarefas a partir de casos reais?

— Pois si, cada un dos compiladores sacou algunhas historias da experiencia persoal. Sabiamos algo de que isto podía ocorrer na realidade, e sería interesante que unha persoa o "sentise", o mirase e o descubrase. Tamén tomaron algunhas cousas máis específicas, por exemplo, a recuperación de datos de cintas danadas. Algúns con pistas, pero a maioría dos equipos fixérono pola súa conta.

Ou era necesario usar a maxia dos scripts rápidos; por exemplo, tivemos unha historia de que unha "bomba lóxica" "arrancaba" un arquivo de varios volumes en cartafoles aleatorios ao longo da árbore e era necesario recoller os datos. Podes facelo manualmente: buscar e copiar [arquivos] un por un, ou podes escribir un script usando unha máscara.

En xeral, tentamos unirnos ao punto de vista de que un problema pode resolverse de diferentes xeitos. Por exemplo, se tes un pouco máis de experiencia ou queres confundirte, podes resolvelo máis rápido, pero hai un xeito directo de resolvelo de frente, pero ao mesmo tempo dedicarás máis tempo ao problema. É dicir, case todas as tarefas tiñan varias solucións, e era interesante que camiños escollerían os equipos. Entón, a non linealidade estivo precisamente na elección da opción de solución.

Por certo, o problema de Linux resultou ser o máis difícil: só un equipo resolveuno de forma independente, sen ningunha pista.

-¿Poderías dar pistas? Como nunha misión real??

— Si, púidose coller, porque entendiamos que as persoas son diferentes, e os que carecen de coñecementos podían entrar no mesmo equipo, así que para non atrasar o paso e non perder o interese competitivo, decidimos que sería consellos. Para iso, cada equipo foi observado por unha persoa dos organizadores. Ben, asegurámonos de que ninguén enganase.

Sobre as estrelas

—¿Houbo premios para os gañadores?

— Si, tentamos facer os premios máis agradables tanto para todos os participantes como para os gañadores: os gañadores recibiron sudaderas de deseño co logotipo de Veeam e unha frase cifrada en código hexadecimal, negro). Todos os participantes recibiron unha máscara de Guy Fawkes e unha bolsa de marca co logotipo e o mesmo código.

- É dicir, todo era como nunha verdadeira misión!

"Ben, queriamos facer algo xenial e de adultos, e creo que o conseguimos".

- É verdade! Cal foi a reacción final dos que participaron nesta procura? Conseguiches o teu obxectivo?

- Si, moitos viñeron despois e dixeron que vían claramente os seus puntos débiles e querían melloralos. Alguén deixou de ter medo a certas tecnoloxías, por exemplo, tirar bloques de cintas e tentar coller algo alí... Alguén deuse conta de que necesitaba mellorar Linux, etc. Tentamos dar un abano de tarefas bastante amplo, pero non totalmente triviais.

O equipo gañador

"Quen queira, conseguirao!"

— Esixiu moito esforzo dos que prepararon a misión?

- De feito si. Pero iso probablemente foi debido ao feito de que non tiñamos experiencia na preparación deste tipo de misións, este tipo de infraestruturas. (Facemos unha reserva de que esta non é a nosa verdadeira infraestrutura; simplemente se supón que debía realizar algunhas funcións do xogo).

Foi unha experiencia moi interesante para nós. Ao principio era escéptico, porque a idea parecíame moi chula, pensei que sería moi difícil de implementar. Pero comezamos a facelo, comezamos a arar, todo comezou a arder, e ao final conseguímolo. E ata practicamente non houbo superposicións.

En total levamos 3 meses. Na súa maior parte, creamos un concepto e discutimos o que podíamos implementar. No proceso, naturalmente, algunhas cousas cambiaron, porque nos demos conta de que non tiñamos a capacidade técnica para facer algo. Algo tivemos que refacer no camiño, pero de tal xeito que non se rompese todo o trazo, a historia e a lóxica. Tentamos non só dar unha lista de tarefas técnicas, senón que encaixase na historia, para que fose coherente e lóxica. O traballo principal estaba a realizar o último mes, é dicir, 3-4 semanas antes do día X.

— Entón, ademais da súa actividade principal, destinaches tempo á preparación?

— Fixémolo paralelamente ao noso traballo principal, si.

-Pídenlle que volva facer isto?

- Si, temos moitas peticións que repetir.

- E ti?

- Temos novas ideas, novos conceptos, queremos atraer máis xente e estiralo no tempo, tanto o proceso de selección como o propio proceso de xogo. En xeral, inspirámonos no proxecto "Cicada", podes buscar en Google: é un tema de TI moi chulo, alí únense xente de todo o mundo, inician conversas en Reddit, en foros, usan traducións de código, resolven enigmas. , e todo iso.

— A idea foi xenial, só respecto pola idea e a posta en práctica, porque realmente vale moito. Desexo sinceramente que non perdas esta inspiración e que todos os teus novos proxectos tamén teñan éxito. Grazas!

— Si, podes mirar un exemplo dunha tarefa que definitivamente non reutilizarás?

"Sospeito que non reutilizaremos ningún deles". Polo tanto, podo contarche o progreso de toda a misión.

Pista de bonificaciónAo principio, os xogadores teñen o nome da máquina virtual e as credenciais de vCenter. Despois de iniciar sesión nel, ven esta máquina, pero non se inicia. Aquí cómpre adiviñar que algo está mal co ficheiro .vmx. Unha vez que o descargan, ven o aviso necesario para o segundo paso. Esencialmente, di que a base de datos utilizada por Veeam Backup & Replication está cifrada.
Despois de eliminar o aviso, descargar de novo o ficheiro .vmx e acender correctamente a máquina, ven que un dos discos contén realmente unha base de datos cifrada base64. En consecuencia, a tarefa é descifralo e obter un servidor Veeam totalmente funcional.

Un pouco sobre a máquina virtual na que sucede todo isto. Como lembramos, segundo a trama, o personaxe principal da misión é unha persoa bastante escura e está facendo algo que claramente non é moi legal. Polo tanto, o seu ordenador de traballo debería ter un aspecto completamente de hacker, que tivemos que crear, a pesar de que é Windows. O primeiro que fixemos foi engadir unha gran cantidade de accesorios, como información sobre hacks importantes, ataques DDoS e similares. Despois instalaron todo o software típico e colocaron varios vertedoiros, ficheiros con hash, etc. Todo é como nas películas. Entre outras cousas, había cartafoles chamados caso pechado*** e minúsculo aberto***
Para seguir avanzando, os xogadores deben restaurar as suxestións dos ficheiros de copia de seguranza.

Aquí hai que dicir que ao principio os xogadores recibiron bastante información, e recibiron a maioría dos datos (como IP, inicios de sesión e contrasinais) durante o transcurso da misión, atopando pistas en copias de seguridade ou ficheiros espallados nas máquinas. . Inicialmente, os ficheiros de copia de seguranza atópanse no repositorio de Linux, pero o propio cartafol no servidor está montado coa bandeira noexec, polo que o axente responsable da recuperación do ficheiro non pode iniciarse.

Ao arranxar o repositorio, os participantes acceden a todo o contido e poden finalmente restaurar calquera información. Queda por entender cal é. E para iso, só precisan estudar os ficheiros almacenados nesta máquina, determinar cales deles están "rotos" e que hai que restaurar exactamente.

Neste punto, o escenario desprázase do coñecemento xeral de TI ás funcións específicas de Veeam.

Neste exemplo en particular (cando coñece o nome do ficheiro, pero non sabe onde buscalo), cómpre utilizar a función de busca en Enterprise Manager, etc. Como resultado, despois de restaurar toda a cadea lóxica, os xogadores teñen outro inicio de sesión/contrasinal e saída nmap. Isto lévaos ao servidor Windows Core e a través de RDP (para que a vida non pareza mel).

A principal característica deste servidor: coa axuda dun script sinxelo e varios dicionarios, formouse unha estrutura de cartafoles e ficheiros absolutamente sen sentido. E cando inicias sesión, recibes unha mensaxe de benvida como "Aquí explotou unha bomba lóxica, polo que terás que xuntar as pistas para seguir pasos".

A seguinte pista dividiuse nun arquivo de varios volumes (40-50 pezas) e distribuíuse aleatoriamente entre estes cartafoles. A nosa idea era que os xogadores deberían mostrar o seu talento escribindo scripts de PowerShell sinxelos para crear un arquivo de varios volumes usando unha máscara coñecida e obter os datos necesarios. (Pero resultou como naquela broma: algúns dos temas resultaron estar inusualmente desenvolvidos fisicamente).

O arquivo contiña unha foto dun casete (coa inscrición "Last Supper - Best Moments"), que daba unha pista do uso dunha biblioteca de cintas conectada, que contiña un casete cun nome similar. Só houbo un problema: resultou tan inoperable que nin sequera foi catalogado. Aquí é onde probablemente comezou a parte máis dura da misión. Borramos a cabeceira do casete, polo que para recuperar os datos del, só tes que botar os bloques "en bruto" e miralos nun editor hexadecimal para atopar os marcadores de inicio do ficheiro.
Atopamos o marcador, miramos o offset, multiplicamos o bloque polo seu tamaño, engadimos o offset e, mediante a ferramenta interna, tentamos recuperar o ficheiro dun bloque concreto. Se todo está feito correctamente e as matemáticas coinciden, os xogadores terán nas súas mans un ficheiro .wav.

Nel, mediante un xerador de voz, dítase, entre outras cousas, un código binario, que se amplía a outra IP.

Este, ao parecer, é un novo servidor de Windows, onde todo indica a necesidade de usar Wireshark, pero non está aí. O truco principal é que hai dous sistemas instalados nesta máquina: só o disco do segundo se desconecta a través do xestor de dispositivos fóra de liña e a cadea lóxica leva á necesidade de reiniciar. Entón resulta que, por defecto, debería iniciarse un sistema completamente diferente, onde está instalado Wireshark. E todo este tempo estivemos no sistema operativo secundario.

Non hai que facer nada especial aquí, só activa a captura nunha única interface. Un exame relativamente detallado do vertedoiro revela un paquete claramente zurdo enviado dende a máquina auxiliar a intervalos regulares, que contén unha ligazón a un vídeo de YouTube onde se lles pide aos xogadores que chamen a un determinado número. O primeiro que chame escoitará os parabéns polo primeiro lugar, o resto recibirá unha invitación para RH (broma).

Por certo, estamos abertos vacantes para enxeñeiros de soporte técnico e aprendices. Benvido ao equipo!

Fonte: www.habr.com