Este invierno, más precisamente, en uno de los días entre la Navidad católica y el Año Nuevo, los ingenieros de soporte técnico de Veeam estaban ocupados con tareas poco comunes: estaban cazando a un grupo de hackers llamado "Veeamonymous".

Sobre cómo los chicos idearon y llevaron a cabo un verdadero juego de realidad en su trabajo, con misiones "cercanas a las de combate", contó Kirill Stetsko, Ingeniero de Escalación.

— ¿Por qué decidieron hacer esto?

— Más o menos como la gente creó Linux en su momento – just for fun, para su propio disfrute.

Queríamos algo de movimiento, y al mismo tiempo queríamos hacer algo útil, algo interesante. Además, había que proporcionar una descarga emocional a los ingenieros de su trabajo cotidiano.

— ¿Quién lo propuso? ¿De quién fue la idea?

— La idea fue de nuestra gerente Katya Yegorova, y luego el concepto y todas las ideas subsiguientes fueron creadas en un esfuerzo conjunto. Inicialmente pensamos en hacer un hackatón, pero durante el desarrollo del concepto, la idea evolucionó a un juego de escape, ya que el trabajo de un ingeniero de soporte técnico es diferente al de la programación.

Entonces, llamamos a amigos, conocidos y diferentes personas nos ayudaron con el concepto – una persona de T2 (segunda línea de soporte — nota del redactor), una persona de T3, un par de personas del equipo SWAT (equipo de respuesta rápida para casos urgentes — nota del redactor). Todos nos reunimos, nos sentamos y tratamos de idear misiones para nuestro juego de escape.

— Fue muy inesperado enterarse de todo esto, porque, hasta donde yo sé, generalmente la mecánica de los juegos de escape la trabajan especialistas guionistas, es decir, no solo estaban ocupándose de algo tan complicado, sino también adaptándolo a su trabajo, a su campo profesional.

— Sí, queríamos hacer algo más que solo entretenimiento, queríamos "mejorar" las habilidades técnicas de los ingenieros. Una de las tareas en nuestro departamento es el intercambio de conocimientos y la formación, y un juego de escape es una excelente manera de permitir que la gente "toque" algunas técnicas nuevas en vivo.

— ¿Cómo idearon las misiones?

— Hicimos una lluvia de ideas. Teníamos claro que debíamos crear ciertos desafíos técnicos, además de que fueran interesantes y a la vez proporcionaran nuevos conocimientos.
Por ejemplo, pensamos que a las personas les gustaría experimentar con la sniffing de tráfico, utilizar editores hexadecimales, hacer algo relacionado con Linux y trabajar en cosas más profundas relacionadas con nuestros productos (Veeam Backup & Replication y otros).

También fue importante el concepto. Decidimos basarnos en el tema de los hackers, el acceso anónimo y la atmósfera de secreto. Elegimos la máscara de Guy Fawkes como símbolo, y el nombre surgió por sí mismo: Veeamonymous.

«En el principio era la palabra»

Para crear interés, decidimos organizar una campaña de PR antes del evento con el tema de un escape room: colgamos carteles con el anuncio por nuestra oficina. Y unos días después, en secreto, los pintamos con spray y difundimos un rumor, diciendo que unos vandales habían arruinado los carteles, incluso adjuntamos una foto como prueba….

— Entonces, ¿ustedes lo hicieron, es decir, el equipo de organización? ¡!

— Sí, el viernes, alrededor de las 9, cuando todos ya se habían ido, fuimos y pintamos la letra «V» de color verde.) Muchos participantes del escape room ni siquiera se dieron cuenta de quién lo hizo: la gente se acercaba a nosotros y preguntaba quién había arruinado los carteles. Alguien incluso tomó el asunto muy en serio y llevó a cabo toda una investigación al respecto.

Para el escape room, grabamos archivos de audio, «sacamos» sonidos: por ejemplo, cuando un ingeniero se conecta a nuestro sistema [CRM de producción], hay un robot contestador que dice varias frases, números… De esas palabras grabadas, formamos frases más o menos comprensibles, aunque tal vez un poco torcidas – por ejemplo, conseguimos que dijera «No friends to help you» en el archivo de audio.

La dirección IP, por ejemplo, la representamos en código binario, de nuevo, utilizando esos números [pronunciados por el robot], añadiendo varios sonidos aterradores. Grabamos un video: en el video hay una persona sentada con una capucha negra y con la máscara de Guy Fawkes, pero en realidad no es una sola persona, son tres, porque dos están detrás sosteniendo un fondo de manta:).

— Bueno, se han complicado las cosas, para ser sinceros.

— Sí, nos entusiasmamos. Primero, elaboramos nuestros documentos técnicos y luego creamos un hilo narrativo literario sobre lo que supuestamente ocurrió. Según el guion, los participantes cazaban a un grupo de hackers llamado “Veeamonymous”. La idea también era que, de alguna manera, ‘rompíamos la cuarta pared’, es decir, trasladábamos los eventos a la realidad; por ejemplo, pintábamos con un spray.

Un hablante nativo de inglés de nuestro departamento nos ayudó con la elaboración literaria del texto.

— Espera, ¿y para qué un hablante nativo? ¿¿Hicieron todo eso también en inglés??

— Sí, lo hicimos para las oficinas de San Petersburgo y Bucarest, por eso todo fue en inglés.

Para nuestra primera experiencia, intentamos que todo funcionara de manera sencilla, por lo que el guion era lineal y bastante simple. Añadimos más ambiente: textos secretos, códigos, imágenes.

También usamos memes: había un montón de imágenes sobre investigaciones, OVNIs, algunas historias de terror populares; algunos equipos se distraían y trataban de encontrar mensajes ocultos, aplicar sus conocimientos de esteganografía y demás… pero, por supuesto, no había nada de eso.

Sobre las espinas

Sin embargo, durante el proceso de preparación nos encontramos con tareas inesperadas para nosotros mismos.

Luchamos mucho con ellas y resolvimos varias preguntas que surgieron de repente, y aproximadamente una semana antes del evento, pensamos que todo estaba perdido.

Quizás valga la pena contar un poco sobre la base técnica del evento.

Todo se realizó en nuestro laboratorio interno de ESXi. Teníamos 6 equipos, por lo que era necesario asignar 6 grupos de recursos. Así que, para cada equipo, desplegamos un grupo separado con las máquinas virtuales necesarias (IPs iguales). Pero como todo esto estaba en servidores que están en una misma red, la configuración actual de nuestras VLAN no permitía aislar máquinas en diferentes grupos. Y, por ejemplo, durante las pruebas, nos encontramos con situaciones en las que una máquina de un grupo se conectaba a una máquina de otro grupo.

— ¿Cómo lograron resolver la situación?

— Primero pensamos mucho, probamos varias opciones con permisos, VLAN separadas para las máquinas. Al final lo hicimos así: cada equipo solo ve el servidor de Veeam Backup, a través del cual se lleva a cabo todo el trabajo posterior, pero no ve el subgrupo oculto en el que están:

• varias máquinas Windows
• Servidor core de Windows
• máquina con Linux
• par de VTL (Virtual Tape Library)

A todos los pools se les asignó un grupo de puertos separado en el switch vDS y su propio VLAN privado. Esta doble isolación es necesaria para excluir completamente la posibilidad de interacción de red.

Sobre los valientes

— ¿Cualquier persona podía participar en la búsqueda? ¿Cómo se formaron los equipos?

— Esta fue nuestra primera experiencia organizando un evento de este tipo, y las capacidades de nuestro laboratorio estaban limitadas a 6 equipos.

Primero, como ya mencioné, llevamos a cabo una campaña de relaciones públicas: utilizando carteles y envíos, informamos que iba a llevarse a cabo la búsqueda. Incluso tuvimos algunas pistas: en los carteles estaban encriptadas frases en código binario. Así despertamos el interés de las personas, quienes comenzaron a coordinarse entre amigos y conocidos. Al final, hubo más interesados de los que teníamos pools, así que tuvimos que hacer una selección: se nos ocurrió una tarea de prueba simple y la enviamos a todos los que respondieron. Era un acertijo lógico, el cual debía resolverse rápidamente.

En el equipo se permitía un máximo de 5 personas. No se requería capitán, la idea era la cooperación y la comunicación entre ellos. Algunos eran fuertes, por ejemplo, en Linux, otros en cintas (copias de seguridad en cintas), y cada uno, al ver la tarea, podía aportar sus esfuerzos a la solución común. Todos se comunicaban entre sí y encontraban la solución.

— ¿En qué momento comenzó este evento? ¿Tenían alguna 'hora X'?

— Sí, tuvimos un día estrictamente designado, lo elegimos para que hubiera menos carga en el departamento. Por supuesto, avisamos con antelación a los líderes de equipo que ciertos equipos estaban invitados a participar en la búsqueda y que necesitaban un cierto alivio [respecto a la carga] ese día. Finalmente resultó que debería ser a finales de año, el 28 de diciembre, un viernes. Calculamos que llevaría aproximadamente 5 horas, pero todos los equipos lo lograron más rápido.

— ¿Todos estaban en igualdad de condiciones, tenían los mismos problemas basados en casos reales?

— Bueno, sí, cada uno de los creadores tomó algunas historias de su propia experiencia. Sabíamos que algunas cosas podían ser realistas y sería interesante que la gente "las palpara", las mirara y las entendiera. También incluimos cosas más específicas, como la recuperación de datos de cintas dañadas. Algunos contaron con pistas, pero la mayoría de los equipos lo resolvió por sí mismo.

O se debía aplicar la magia de los scripts rápidos; por ejemplo, teníamos una historia donde una "bomba lógica" "destruyó" un archivo en varios volúmenes, dividiendo su contenido en carpetas aleatorias, y teníamos que reunir los datos. Esto se puede hacer manualmente, encontrando y copiando [archivos] uno por uno, o se puede escribir un script basado en un patrón.

En general, intentamos mantener la perspectiva de que un mismo problema se puede resolver de diferentes maneras. Por ejemplo, si tienes un poco más de experiencia o quieres complicarlo un poco, puedes resolverlo más rápido, pero hay un camino directo para resolverlo "a lo bruto" – sin embargo, gastarás más tiempo en la tarea. Es decir, casi cada tarea tenía varias opciones de solución, y era interesante ver qué caminos eligieron los equipos. Así que la no linealidad estaba precisamente en la elección de la solución.

Por cierto, la tarea más difícil resultó ser la de Linux; solo un equipo la resolvió solo, sin pistas.

— ¿Y se podían pedir pistas? ¿Como en un verdadero desafío?

— Sí, se podían pedir, porque entendíamos que las personas son diferentes y podrían estar en un mismo equipo aquellos que les faltaran ciertos conocimientos. Por lo tanto, para no alargar el proceso y no perder el interés competitivo, decidimos que habría pistas. Para esto, había una persona de los organizadores supervisando a cada equipo. Y también aseguramos que nadie hiciera trampas.

Sobre las estrellas

— ¿Y había premios para los ganadores?

— Sí, intentamos hacer premios lo más agradables posible tanto para todos los participantes como para los ganadores: los ganadores recibieron sudaderas de diseño con el logotipo de Veeam y una frase codificada en código hexadecimal, de color negro. Todos los participantes recibieron una máscara de Guy Fawkes y una bolsa de marca con el logotipo y el mismo código.

— ¡Entonces todo era como en un verdadero desafío!

— Bueno, queríamos hacer algo increíble y adulto, y creo que lo logramos.

— Así es. ¿Cuál fue, al final, la reacción de los que participaron en esta búsqueda? ¿Lograron sus objetivos?

— Sí, muchos se acercaron después a comentar que claramente vieron sus puntos débiles y quisieron mejorarlos. Algunos perdieron el miedo a ciertas tecnologías, por ejemplo, a extraer bloques de cintas y tratar de sacar algo de allí... Algunos se dieron cuenta de que necesitaban mejorar en Linux, y así sucesivamente. Nosotros tratamos de dar un rango suficientemente amplio de tareas, pero no del todo triviales.

El equipo de los ganadores

«¡Quien quiere, puede lograrlo!»

— ¿Requirió mucho esfuerzo de aquellos que organizaron la búsqueda?

— En general, sí. Pero fue más bien porque no teníamos experiencia en la preparación de tales búsquedas y en este tipo de infraestructura. (Aclaramos que esta no es nuestra infraestructura real, solo debía cumplir algunas funciones lúdicas.)

Para nosotros fue una experiencia muy interesante. Al principio fui escéptico, porque la idea me pareció incluso demasiado ambiciosa, pensé que sería muy complicado de realizar. Pero comenzamos a trabajar, a esforzarnos, todos se entusiasmaron, y al final lo logramos. Y prácticamente salió sin contratiempos.

En total, pasamos 3 meses. En su mayoría, estábamos ideando el concepto, discutiendo qué podíamos implementar. Naturalmente, algo cambió en el proceso, porque entendimos que no teníamos la capacidad técnica para hacer ciertas cosas. Tuvimos que rehacer algunas cosas sobre la marcha, pero de manera que no se rompiera toda la trama, la historia y la lógica. No solo intentamos dar una lista de tareas técnicas, sino que todo debía encajar en una historia, que fuera coherente y lógica. El trabajo principal se realizó el último mes, es decir, 3-4 semanas antes del día H.

— Entonces, además de su actividad principal, dedicaron tiempo a la preparación?

— Sí, lo hicimos paralelamente a nuestro trabajo principal.

— ¿Les piden que hagan algo así de nuevo?

— Sí, tenemos muchas solicitudes para repetir.

— ¿Y ustedes qué?

— Tenemos nuevas ideas, nuevos conceptos, queremos atraer a más personas y extender esto en el tiempo, tanto el proceso de selección como el propio proceso del juego. En general, nos inspiramos en el proyecto 'Cicada', que se puede buscar en Google; es un tema tecnológico muy interesante, donde personas de todo el mundo se unen, crean hilos en Reddit, en foros, utilizan traducciones de códigos y resuelven acertijos, y todo eso.

— La idea era excelente, solo un respeto por la idea y su implementación, porque realmente vale mucho. Sinceramente deseo que no pierdan esa inspiración y que todos sus nuevos proyectos sean igualmente exitosos. ¡Gracias!

— Sí, ¿podríamos ver un ejemplo de una tarea que realmente no vayan a reutilizar?

— Sospecho que no reutilizaremos ninguna. Así que puedo contar sobre el progreso de toda la misión.

Pista adicionalAl inicio, los jugadores tienen el nombre de la máquina virtual y las credenciales de vCenter. Al iniciar sesión, ven esta máquina, pero no se inicia. Aquí deben deducir que hay algo mal con el archivo .vmx. Al descargarlo, ven la pista necesaria para el segundo paso. En esencia, dice que la base de datos utilizada por Veeam Backup & Replication está cifrada.
Al eliminar la pista, al subir el archivo .vmx de vuelta y encender con éxito la máquina, ven que en uno de los discos realmente hay una base de datos cifrada en base64. Por lo tanto, la tarea es descifrarla y obtener un servidor Veeam totalmente funcional.

Un poco sobre la máquina virtual donde sucede todo esto. Como recordamos, en la historia, el protagonista del juego es una persona bastante oscura y está involucrada en algo que no es demasiado legal. Por lo tanto, su computadora de trabajo debe tener un aspecto bastante hacker, que tuvimos que crear, a pesar de que es Windows. Primero, se agregó mucha utilería como información sobre hackeos grandes, ataques DDoS y cosas por el estilo. Luego se instaló todo tipo de software típico y se esparcieron varios volcado, archivos con hashes, etc. Todo como en una película. Entre otras cosas, había carpetas nombradas según el principio closed-case*** y open-case***.
Para avanzar, los jugadores deben recuperar las pistas de los archivos en los respaldos.

Es necesario mencionar que al principio a los jugadores se les proporcionaba muy poca información y la mayor parte de los datos (como las IP, inicios de sesión y contraseñas) los obtenían a medida que avanzaban en la misión, encontrando pistas en copias de seguridad o archivos dispersos en las máquinas. Inicialmente, los archivos de copias de seguridad se encuentran en un repositorio de Linux, pero la carpeta en sí está servidor montada con la bandera noexec, por lo que el agente encargado de la recuperación de archivos no puede iniciarse.

Después de arreglar el repositorio, los participantes obtienen acceso a todo el contenido y finalmente pueden recuperar cualquier información. Solo queda entender cuál. Para eso, necesitan estudiar los archivos almacenados en esta máquina, determinar cuáles están 'corruptos' y qué es exactamente lo que deben recuperar.

En esta etapa, el escenario se desvia de los conocimientos generales de TI hacia funciones específicas de Veeam.

En este caso específico (cuando sabes el nombre del archivo, pero no sabes dónde buscarlo), debes utilizar la función de búsqueda en Enterprise Manager, y así sucesivamente. Al final, después de restaurar toda la cadena lógica, los jugadores tienen otro inicio de sesión/contraseña y la salida de nmap. Esto los lleva a un servidor Windows Core, además por RDP (para que la vida no sea un paseo).

La principal característica de este servidor: con un simple script y algunas listas, se formó una estructura de carpetas y archivos absolutamente sin sentido. Y al iniciar sesión, se muestra un mensaje de bienvenida que dice: 'Aquí explotó una bomba lógica, por lo que tendrás que recolectar las pistas para los siguientes pasos pedazo a pedazo.'

La siguiente pista fue dividida en un archivo de múltiples partes (unas 40-50) y distribuida aleatoriamente en estas carpetas. Nuestra intención era que los jugadores demostraran su talento para escribir simples scripts de PowerShell para reunir el archivo de múltiples partes según un patrón conocido y obtener los datos buscados. (Pero terminó como en aquel chiste: parte de los sujetos resultó ser inusitadamente fuerte físicamente.)

En el archivo había una foto de una cinta (con la inscripción «Last Supper — Best Moments»), lo que sugiere el uso de una biblioteca de cinta conectada, donde había una cinta con un nombre similar. Sin embargo, había un problema: no funcionaba tan bien que ni siquiera se catalogó. Aquí comenzaba, probablemente, la parte más dura de la misión. Borramos el encabezado de la cinta, así que para recuperar los datos de ella, solo hay que volcar los bloques «en crudo» (raw) y revisarlos en un editor hex para encontrar los marcadores de inicio de archivos.
Encontramos el marcador, verificamos el offset, multiplicamos el bloque por su tamaño, sumamos el offset y, usando una herramienta interna, tratamos de recuperar el archivo de un bloque específico. Si todo se realizó correctamente y la matemática funciona, los jugadores tendrán un archivo .wav.

En él, con la ayuda de un generador de voz, además de otras cosas, se dictó un código binario que se revela en otra IP.

Resulta que es un nuevo servidor de Windows, donde todo indica la necesidad de usar Wireshark, aunque no está allí. La clave está en que en esta máquina hay dos sistemas instalados —solo que el disco del segundo está desconectado a través del administrador de dispositivos en modo offline, y la cadena lógica lleva a la necesidad de reiniciar. Después, resulta que por defecto debería arrancar un sistema completamente diferente, donde está instalado Wireshark. Y nosotros estuvimos todo este tiempo en el SO secundario.

Aquí ya no hay que hacer mucho, basta con activar la captura en la única interfaz. Al observar relativamente atentamente el volcado, se nota claramente un paquete extraño, enviado desde la máquina auxiliar a intervalos regulares, que contiene un enlace a un video de YouTube, donde se pide a los jugadores que llamen a un número específico. El primero que llama escucha un mensaje de felicitación por el primer lugar, los demás —una invitación a Recursos Humanos (es una broma)).

Por cierto, tenemos abiertas vacantes para ingenieros de soporte técnico y para pasantes. ¡Bienvenidos al equipo!

Fuente: habr.com