In diesem Winter, genauer gesagt an einem der Tage zwischen Weihnachten und Neujahr, waren die Support-Ingenieure von Veeam mit nicht ganz gewöhnlichen Aufgaben beschäftigt: Sie jagten eine Gruppe von Hackern namens „Veeamonymous“.

Wie das Team es selbst schaffte, eine echte Quest im Büro zu organisieren, mit Aufgaben, die 'nah an den Kampfbedingungen' waren, erzählt Kirill Stezko, Escalation Engineer.

— Warum haben Sie das überhaupt begonnen?

— Ähnlich wie die Leute damals Linux erfunden haben – just for fun, zur eigenen Freude.

Wir wollten etwas Bewegung, und gleichzeitig wollten wir etwas Nützliches und Interessantes schaffen. Zudem sollte es den Ingenieuren eine emotionale Entlastung von ihrer täglichen Arbeit geben.

— Wer hat das vorgeschlagen? Von wem kam die Idee?

— Die Idee kam von unserer Managerin Katja Egorova, und dann wurden das Konzept und alle weiteren Ideen durch gemeinsame Anstrengungen geboren. Ursprünglich dachten wir an einen Hackathon. Aber während der Entwicklung des Konzepts entwickelte sich die Idee zu einer Quest, schließlich ist der Job eines Support-Ingenieurs eine andere Art von Tätigkeit als Programmierung.

Wir haben also Freunde, Bekannte und Kollegen eingeladen, verschiedene Leute haben uns bei der Konzeptentwicklung geholfen – eine Person von T2 (zweite Supportlinie – Anm. d. Red.), eine Person von T3, ein paar Leute aus dem SWAT-Team (Schnelleinsatzteam für besonders dringliche Fälle – Anm. d. Red.). Alle haben sich zusammengefunden, gesetzt und versucht, Aufgaben für unser Quest zu entwickeln.

— Es war sehr unerwartet, all das zu erfahren, denn soweit ich weiß, werden normalerweise die Quest-Mechaniken von Spezialisten und Szenaristen ausgearbeitet. Das heißt, nicht nur habt ihr euch mit solch einer komplexen Sache beschäftigt, sondern auch noch in Bezug auf eure Arbeit und professionelles Tätigkeitsfeld.

— Ja, wir wollten nicht einfach nur Unterhaltung schaffen, sondern die technischen Fähigkeiten der Ingenieure fördern. Eines unserer Ziele in der Abteilung ist der Wissensaustausch und die Ausbildung, und so ein Quest ist eine großartige Gelegenheit, den Menschen neue Techniken im realen Kontext zu zeigen.

— Wie habt ihr die Aufgaben entwickelt?

— Wir haben ein Brainstorming veranstaltet. Wir hatten die Vorstellung, dass wir bestimmte technische Herausforderungen schaffen müssen, die spannend sind und gleichzeitig neues Wissen vermitteln.
Wir haben gedacht, dass es für die Menschen interessant wäre, ein wenig mit dem Traffic zu experimentieren, hex-Editoren zu benutzen, etwas mit Linux zu machen und weitergehende Dinge zu unseren Produkten (Veeam Backup & Replication und andere) auszuprobieren.

Ein wichtiger Teil war auch das Konzept. Wir haben uns an das Thema Hacker, anonymen Zugang und eine Atmosphäre des Geheimnisses gehalten. Das Symbol war die Guy-Fawkes-Maske, und der Name kam von selbst — Veeamonymous.

«Am Anfang war das Wort»

Um das Interesse zu wecken, haben wir beschlossen, vor Beginn der Veranstaltung eine PR-Kampagne im Stil eines Quests zu starten: Wir haben Aushänge mit Ankündigungen in unserem Büro aufgehängt. Und nach ein paar Tagen haben wir heimlich mit Spraydosen selbst daran gearbeitet und eine Gerüchteküche angestoßen, die besagte, dass angebliche Übeltäter die Plakate beschädigt haben, sogar ein Foto als Beweis angehängt…

— Also habt ihr das selbst gemacht, das heißt das Team der Organisatoren?!

— Ja, am Freitag gegen 9 Uhr, als alle schon weg waren, sind wir rausgegangen und haben mit Sprühfarbe den Buchstaben „V“ in Grün gemalt. Viele Teilnehmer des Quests haben nicht herausgefunden, wer das gemacht hat – Leute kamen zu uns und fragten, wer die Plakate beschmutzt hat? Jemand hat das sehr ernst genommen und eine ganze Untersuchung dazu angestellt.

Für das Quest haben wir auch Audio-Dateien erstellt und Geräusche „herausgefiltert“: Zum Beispiel, wenn sich ein Ingenieur in unser [Produktions-CRM] System einloggt, gibt es einen Roboter-Autoantworter, der verschiedene Sätze und Zahlen sagt ... Aus diesen Wörtern, die er aufgenommen hat, haben wir mehr oder weniger sinnvolle Sätze erstellt, na ja, vielleicht ein bisschen schief – zum Beispiel haben wir „No friends to help you“ in einer Audio-Datei gehabt.

Die IP-Adresse, zum Beispiel, haben wir im Binärcode dargestellt, alles wieder mit Hilfe dieser Zahlen [die vom Roboter ausgesprochen wurden], verschiedene gruselige Geräusche hinzugefügt. Wir haben selbst ein Video gedreht: Im Video sitzt eine Person mit einer schwarzen Kapuze und einer Guy-Fawkes-Maske, aber tatsächlich sind da nicht nur eine Person, sondern drei, weil zwei hinter ihm stehen und einen „Hintergrund“ aus einer Decke halten:).

— Na, das habt ihr ja wirklich durchgezogen.

— Ja, wir waren begeistert. Zunächst haben wir unsere technischen Anforderungen formuliert und dann einen literarisch-spielerischen Rahmen geschaffen, in dem es darum ging, was angeblich passiert ist. Im Szenario jagten die Teilnehmer eine Hackergruppe namens „Veeamonymous“. Die Idee war auch, dass wir gewissermaßen die „vierte Wand durchbrechen“, das heißt, wir versetzten die Ereignisse in die Realität – zum Beispiel haben wir mit Sprühdosen gemalt.

Bei der literarischen Bearbeitung des Textes hat uns einer der englischsprachigen Kollegen aus unserer Abteilung geholfen.

— Warte mal, warum ein Muttersprachler? Ihr habt das auch noch auf Englisch gemacht?!

— Ja, wir haben es für die Büros in St. Petersburg und Bukarest durchgeführt, daher war alles auf Englisch.

Für unsere erste Erfahrung haben wir versucht, alles einfach zum Laufen zu bringen, deshalb war das Szenario linear und ziemlich einfach. Wir haben mehr Atmosphäre geschaffen: geheime Texte, Codes, Bilder.

Außerdem haben wir Memes verwendet: Es gab eine Vielzahl von Bildern zu Themen wie Ermittlungen, UFOs und anderen populären Gruselgeschichten – einige Teams haben sich dafür ablenken lassen und versucht, dort versteckte Botschaften zu finden, ihr Wissen über Steganographie und Ähnliches anzuwenden… aber da war natürlich nichts davon.

Über Dornen

Im Vorbereitungsprozess sind wir jedoch auch mit unerwarteten Aufgaben konfrontiert worden.

Wir haben lange darüber nachgedacht und viele plötzlich auftauchende Fragen geklärt, und etwa eine Woche vor dem Event dachten wir wirklich, dass alles verloren war.

Es ist wahrscheinlich sinnvoll, etwas über die technische Grundlage des Events zu erzählen.

Alles wurde in unserem internen ESXi-Labor eingerichtet. Wir hatten 6 Teams, also mussten wir 6 Ressourcenpools bereitstellen. Für jedes Team haben wir einen separaten Pool mit den notwendigen virtuellen Maschinen (gleiche IPs) bereitgestellt. Da sich jedoch alles auf Servern befand, die sich in einem Netzwerk befinden, ließ die aktuelle Konfiguration unserer VLANs nicht zu, dass die Maschinen in verschiedenen Pools isoliert wurden. Während eines Testlaufs kam es beispielsweise zu Situationen, in denen eine Maschine aus einem Pool mit einer Maschine aus einem anderen Pool verbunden war.

— Wie habt ihr die Situation lösen können?

— Zunächst haben wir lange nachgedacht und verschiedene Optionen mit Berechtigungen und separaten VLANs für die Maschinen getestet. Schließlich haben wir es so gemacht, dass jedes Team nur den Veeam Backup-Server sieht, über den die weitere Arbeit erfolgt, aber den versteckten Unterpool, in dem sich befinden:

mehrere Windows-Maschinen
Windows Core-Server
Linux-Maschine
ein Paar VTL (Virtual Tape Library)

J jedem Pool wurde eine separate Portgruppe am vDS-Switch und ein eigenes Private VLAN zugewiesen. Diese doppelte Isolation ist notwendig, um jegliche Netzwerkinteraktion auszuschließen.

Über die Tapferen

— Konnte jeder, der wollte, an dem Quest teilnehmen? Wie wurden die Teams gebildet?

— Das war unsere erste Erfahrung mit der Durchführung einer solchen Veranstaltung, und die Kapazitäten unseres Labors waren auf 6 Teams begrenzt.

Zuerst, wie ich bereits gesagt habe, haben wir eine PR-Kampagne durchgeführt: Wir haben Plakate und eine Mailing-Liste genutzt, um zu informieren, dass ein Quest stattfinden wird. Wir hatten sogar einige Hinweise – auf den Plakaten waren verschlüsselte Sätze im Binärcode. So haben wir das Interesse der Menschen geweckt, und sie haben sich untereinander mit Freunden und Bekannten organisiert. Letztendlich gab es mehr Interessierte, als wir Poolplätze hatten, sodass eine Auswahl notwendig war: Wir haben eine einfache Testaufgabe entwickelt und sie an alle verschickt, die sich gemeldet hatten. Es war eine logische Aufgabe, die schnell gelöst werden musste.

Im Team waren bis zu 5 Personen erlaubt. Ein Kapitän war nicht erforderlich, die Idee war Zusammenarbeit und Kommunikation untereinander. Jemand ist stark in Linux, jemand anderes hat viel Erfahrung mit Tape-Backups, und jeder konnte, je nach Aufgabe, seine Stärken zum gemeinsamen Lösungsansatz beisteuern. Alle haben miteinander kommuniziert und Lösungen gefunden.

— Und wann hat diese Veranstaltung begonnen? Gab es bei Ihnen eine Art "Stunde X"?

— Ja, wir hatten einen festgelegten Tag, den wir so gewählt haben, dass die Belastung im Team geringer war. Natürlich haben wir die Teamleiter im Voraus informiert, dass bestimmte Teams zur Teilnahme am Quest eingeladen werden, und dass ihnen an diesem Tag etwas Entlastung [in Bezug auf die Arbeitslast] gewährt werden muss. Es stellte sich heraus, dass das Ende des Jahres, der 28. Dezember, ein Freitag sein sollte. Wir rechneten damit, ungefähr 5 Stunden für den Ablauf zu benötigen, aber alle Teams waren schneller fertig.

— Waren alle unter gleichen Bedingungen, und hatten alle die gleichen Aufgaben basierend auf realen Fällen?

— Na klar, jeder der Teilnehmer hat aus persönlicher Erfahrung einige Geschichten beigetragen. Über manche Dinge wussten wir, dass sie in der Realität vorkommen können, und es wäre interessant, dass die Person es "anfassen", anschauen und verstehen kann. Wir haben auch spezifischere Dinge aufgegriffen – zum Beispiel die Wiederherstellung von Daten von beschädigten Bändern. Einige mit Hinweisen, aber die meisten Teams haben es selbstständig geschafft.

Oder es hätte die Magie schneller Skripte angewendet werden müssen – zum Beispiel hatten wir die Geschichte, dass eine sogenannte "logische Bombe" ein mehrbändiges Archiv in zufällige Ordner im Baum aufgeteilt hat, und wir mussten die Daten sammeln. Man kann es manuell machen, indem man die [Dateien] einzeln sucht und kopiert, oder man kann ein Skript nach einer Maske schreiben.

Insgesamt haben wir versucht, die Auffassung zu vertreten, dass eine Aufgabe auf verschiedene Arten gelöst werden kann. Wenn du etwas erfahrener bist oder mehr Aufwand betreiben möchtest, kannst du sie schneller lösen, es gibt aber auch einen direkten Lösungsweg, der zwar einfacher ist, aber mehr Zeit in Anspruch nimmt. Das heißt, fast jede Aufgabe hatte mehrere Lösungsmöglichkeiten, und es war interessant zu sehen, welche Wege die Teams wählen würden. Die Nonlinearität bestand also gerade in der Wahl des Lösungsansatzes.

Übrigens stellte sich die Linux-Aufgabe als die schwierigste heraus – nur ein Team hat sie selbstständig ohne Hinweise gelöst.

– Durfte man Hinweise annehmen? Wie in einem echten Escape Room??

– Ja, das war erlaubt, weil wir verstanden haben, dass die Menschen unterschiedlich sind und in einem Team auch Personen sein könnten, denen bestimmte Kenntnisse fehlen. Um die Dauer des Durchgangs nicht unnötig zu verlängern und den Wettbewerbsgeist nicht zu verlieren, haben wir entschieden, dass Hinweise gegeben werden. Dazu wurde jede Gruppe von einer Person aus dem Organisationsteam beobachtet. Natürlich haben wir auch darauf geachtet, dass niemand schummelt.

Über die Sterne

– Gab es Preise für die Gewinner?

— Ja, wir haben versucht, die Prämien möglichst angenehm für alle Teilnehmer und die Gewinner zu gestalten: Die Gewinner erhielten Designer-Hoodies mit dem Veeam-Logo und einer in hexadezimalem Code verschlüsselten Phrase in Schwarz. Alle Teilnehmer bekamen eine Guy-Fawkes-Maske und eine offizielle Tasche mit dem Logo und dem gleichen Code.

— Das heißt, bei euch war alles wie in einem echten Escape Room!

— Nun, wir wollten etwas Cooles und Erwachsenenfreundliches schaffen, und ich denke, das ist uns gelungen.

— Das stimmt! Wie war die Reaktion derjenigen, die an diesem Escape Room teilgenommen haben? Habt ihr eure Ziele erreicht?

— Ja, viele kamen später und sagten, dass sie deutlich ihre Schwächen erkannt haben und diese verbessern wollten. Manche haben keine Angst mehr vor bestimmten Technologien – zum Beispiel, Blöcke mit Klebeband zu dumpen und dort etwas herauszuholen… Einige haben gemerkt, dass sie ihre Linux-Kenntnisse aufbessern müssen und so weiter. Wir haben versucht, ein genügend breites Spektrum an Aufgaben zu bieten, aber nicht ganz triviale.

Das Gewinnerteam

„Wer will, der schafft!“

— Hat es viel Mühe von denjenigen gekostet, die den Escape Room vorbereitet haben?

— Ja, grundsätzlich schon. Allerdings hängt das wohl damit zusammen, dass wir keine Erfahrung in der Vorbereitung solcher Abenteuer und derartiger Infrastruktur hatten. (Wir möchten klarstellen, dass dies nicht unsere echte Infrastruktur war – sie sollte lediglich bestimmte spielerische Funktionen erfüllen.)

Für uns war das eine sehr interessante Erfahrung. Zunächst war ich skeptisch, da die Idee mir sogar zu aufregend erschien; ich dachte, es wäre sehr schwierig, das umzusetzen. Doch als wir anfingen, hart zu arbeiten, begann alles zu funktionieren, und letztendlich hatten wir Erfolg. Es verlief sogar fast ohne Komplikationen.

Insgesamt haben wir 3 Monate investiert. Größtenteils haben wir das Konzept entwickelt und besprochen, was wir umsetzen können. Im Verlauf hat sich natürlich einiges geändert, weil wir verstanden haben, dass es technische Einschränkungen gab, die uns daran hinderten, bestimmte Dinge zu verwirklichen. Wir mussten spontan etwas umgestalten, jedoch so, dass die gesamte Struktur, Geschichte und Logik nicht beschädigt wurden. Unser Ziel war es, nicht einfach nur eine Liste von technischen Anforderungen zu liefern, sondern sicherzustellen, dass alles in die Geschichte passt und zusammenhängend und logisch ist. Die Hauptarbeit fand im letzten Monat statt, also 3-4 Wochen vor dem entscheidenden Tag.

— Das heißt, dass Sie neben Ihrer Haupttätigkeit Zeit für die Vorbereitung aufgewendet haben?

— Ja, das haben wir parallel zur Hauptarbeit gemacht.

— Werden Sie noch einmal gebeten, so etwas durchzuführen?

— Ja, wir haben viele Anfragen, das zu wiederholen.

— Und was ist mit Ihnen?

— Wir haben neue Ideen, neue Konzepte. Wir möchten mehr Menschen anziehen und das über einen längeren Zeitraum strecken – sowohl den Auswahlprozess als auch das Spiel selbst. Insgesamt lassen wir uns von dem Projekt „Cicada“ inspirieren, das kann man googeln – das ist ein wirklich cooles IT-Projekt, bei dem Menschen aus der ganzen Welt sich zusammenschließen, auf Reddit Threads erstellen, in Foren aktiv sind. Dort werden auch Krypto-Codes übersetzt und Rätsel gelöst und vieles mehr.

— Die Idee war großartig, einfach Respekt für die Idee und Umsetzung, denn das ist wirklich viel wert. Ich wünsche Ihnen aufrichtig, dass diese Inspiration nicht verloren geht und dass alle Ihre neuen Projekte ebenso erfolgreich sind. Danke!

— Ja, könnte ich ein Beispiel für eine Aufgabe sehen, die Sie definitiv nicht wiederverwenden werden?

— Ich vermute, dass wir keine einzige wiederverwenden werden. Daher kann ich den Verlauf des gesamten Quests erzählen.

Bonus-TrackZu Beginn haben die Spieler den Namen der virtuellen Maschine und die Zugangsdaten für vCenter. Nach dem Einloggen sehen sie diese Maschine, aber sie lässt sich nicht starten. Hier muss man erraten, dass etwas mit der .vmx-Datei nicht stimmt. Nachdem sie diese heruntergeladen haben, finden sie einen Hinweis, der für den zweiten Schritt erforderlich ist. Im Grunde steht dort, dass die von Veeam Backup & Replication verwendete Datenbank verschlüsselt ist.
Nachdem sie den Hinweis entfernt und die .vmx-Datei zurückgeladen haben, können sie die Maschine erfolgreich einschalten. Sie stellen fest, dass auf einem der Laufwerke tatsächlich eine Datenbank liegt, die base64-verschlüsselt ist. Die Aufgabe besteht daher darin, sie zu entschlüsseln und einen voll funktionsfähigen Veeam-Server zu erhalten.

Ein wenig über die virtuelle Maschine, auf der das alles passiert. Wie wir uns erinnern, ist der Protagonist des Abenteuers eine eher dunkle Persönlichkeit und beschäftigt sich offenbar mit etwas, das eindeutig nicht ganz legal ist. Daher sollte sein Arbeitscomputer auch einen ganz klaren Hacker-Look haben, den wir zu kreieren hatten, trotz des Windows-Betriebssystems. Zunächst haben wir jede Menge Requisiten hinzugefügt, wie Informationen über große Hacks, DDoS-Angriffe und Ähnliches. Dann haben wir typische Software installiert und überall verschiedene Dumps, Dateien mit Hashes usw. verteilt. Alles wie im Film. Unter anderem gab es Ordner, die nach dem Prinzip closed-case*** und open-case*** benannt waren.
Um weiterzukommen, müssen die Spieler die Hinweise aus den Dateien in den Backups wiederherstellen.

Hier muss gesagt werden, dass die Spieler zu Beginn recht wenig Informationen erhalten haben, und die meisten Daten (wie IP-Adressen, Logins und Passwörter) sie im Laufe des Abenteuers erhalten, indem sie Hinweise in den Backups oder in den auf den Maschinen verstreuten Dateien finden. Zunächst liegen die Backup-Dateien im Linux-Repository, aber der Ordner selbst ist auf Server gemountet (mounted) mit dem Flag noexec, daher kann der für die Wiederherstellung der Dateien zuständige Agent nicht gestartet werden.

Nachdem das Repository repariert wurde, erhalten die Teilnehmer Zugriff auf alle Inhalte und können schließlich jede Information wiederherstellen. Jetzt bleibt nur noch zu klären, welche genau. Dazu müssen sie die auf diesem Gerät gespeicherten Dateien untersuchen, herausfinden, welche davon 'beschädigt' sind und was genau wiederhergestellt werden muss.

In diesem Stadium verschiebt sich das Szenario von allgemeinen IT-Kenntnissen hin zu spezifischen Funktionen von Veeam.

In diesem speziellen Fall (wenn du den Namen der Datei kennst, aber nicht weißt, wo du sie suchen sollst) solltest du die Suchfunktion im Enterprise Manager nutzen, und so weiter. Nach der Wiederherstellung der gesamten logischen Kette haben die Spieler schließlich ein weiteres Login/Paswort sowie die Ausgabe von nmap. Dies führt sie zu einem Windows Core-Server, und zwar über RDP (um das Leben nicht zu einfach zu machen).

Das Hauptmerkmal dieses Servers: Mit einem einfachen Skript und mehreren Wörterbüchern wurde eine völlig sinnlose Ordner- und Dateistruktur erstellt. Bei der Anmeldung erscheint eine Begrüßungsnachricht wie: 'Hier ist eine logische Bombe explodiert, daher müssen Sie die Hinweise für die nächsten Schritte Stück für Stück sammeln.'.

Der folgende Hinweis wurde in ein mehrbändiges Archiv (mit 40 bis 50 Teilen) unterteilt und zufällig in diesen Ordnern angeordnet. Unser Plan war, dass die Spieler ihre Fähigkeiten im Schreiben einfacher PowerShell-Skripte unter Beweis stellen sollten, um anhand eines bekannten Musters das mehrbändige Archiv wieder zusammenzuführen und die benötigten Daten zu erhalten. (Doch es lief, wie in dem Witz — einige der Probanden waren überraschend körperlich gut entwickelt.)

Im Archiv befand sich ein Foto der Kassette (mit der Aufschrift „Last Supper — Best Moments“), was einen Hinweis auf die Verwendung der angeschlossenen Bandbibliothek gab, in der sich eine Kassette mit einem ähnlichen Titel befand. Das einzige Problem war jedoch, dass sie so unbrauchbar war, dass sie nicht einmal katalogisiert wurde. Hier begann wahrscheinlich der härteste Teil des Rätsels. Wir haben den Titel der Kassette gelöscht, deshalb muss man nur die „rohen“ Blöcke dumpen und sie in einem Hex-Editor ansehen, um die Marker für den Beginn der Dateien zu finden.
Wir suchen den Marker, schauen uns den Offset an, multiplizieren den Block mit seiner Größe, addieren den Offset und versuchen mit einem internen Tool, die Datei von einem bestimmten Block wiederherzustellen. Wenn alles richtig gemacht wurde und die Mathematik stimmt, haben die Spieler eine .wav-Datei in der Hand.

Daraufhin wird in ihm mithilfe des Sprachgenerators unter anderem ein binärer Code diktiert, der sich in eine weitere IP aufschlüsselt.

Es stellt sich heraus, dass dies ein neuer Windows-Server ist, bei dem alles auf die Notwendigkeit hinweist, Wireshark zu verwenden, aber dieses dort nicht installiert ist. Der Hauptfokus liegt darauf, dass auf dieser Maschine zwei Systeme installiert sind - nur die Festplatte des zweiten Systems ist über den Geräte-Manager offline geschaltet, und die logische Kette führt zu der Notwendigkeit einer Neustart. Danach stellt sich heraus, dass standardmäßig ein ganz anderes System geladen werden sollte, auf dem Wireshark installiert ist. Und die gesamte Zeit befanden wir uns im sekundären Betriebssystem.

Hier muss eigentlich nichts weiter gemacht werden, es reicht, die Erfassung an der einzigen Schnittstelle zu aktivieren. Bei genauerer Betrachtung des Dumps fällt ein offensichtlich verdächtiges Paket auf, das von einem Hilfsrechner in regelmäßigen Abständen versendet wird. Darin befindet sich ein Link zu einem YouTube-Video, in dem die Spieler aufgefordert werden, eine bestimmte Nummer anzurufen. Der erste Anrufer hört eine Gratulation zum ersten Platz, die anderen erhalten eine Einladung zum HR (Spaß).

Übrigens haben wir Stellenangebote für Support-Ingenieure und Praktikanten. Willkommen im Team!

Quelle: habr.com