In diesem Winter, genauer gesagt an einem der Tage zwischen dem Weihnachtsfest und Neujahr, waren die technischen Supportingenieure von Veeam mit nicht ganz normalen Aufgaben beschäftigt: Sie jagten eine Gruppe von Hackern namens „Veeamonymous“.

Wie die Jungs selbst ein echtes Live-Quest bei der Arbeit entwarfen und durchführten, mit Aufgaben, die „kampfnah“ waren, erzählte Kirill Stezko, Escalation Engineer.

— Warum habt ihr das überhaupt gemacht?

— Etwa so, wie die Leute irgendwann Linux erfunden haben – just for fun, zu ihrem eigenen Vergnügen.

Wir wollten etwas Aufregung und gleichzeitig etwas Nützliches und Interessantes schaffen. Außerdem mussten wir den Ingenieuren eine gewisse emotionale Entlastung von ihrer täglichen Arbeit bieten.

— Wer hat das vorgeschlagen? Wessen Idee war das?

— Die Idee kam von unserer Managerin Katja Egorova, und das Konzept sowie alle weiteren Ideen wurden dann gemeinschaftlich entwickelt. Ursprünglich dachten wir, einen Hackathon zu veranstalten. Aber während der Entwicklung des Konzepts wuchs die Idee zu einem Quest, denn Ingenieure im technischen Support haben eine andere Art von Tätigkeit als Programmierer.

Also luden wir Freunde, Bekannte und verschiedene Personen ein, die uns mit dem Konzept halfen – eine Person von T2 (zweite Supportlinie — Anm. d. Red.), eine Person von T3, ein paar Leute aus dem SWAT-Team (Schnelleingreifteam für besonders dringende Fälle — Anm. d. Red.). Wir versammelten uns alle, setzten uns zusammen und versuchten, Aufgaben für unser Quest zu entwerfen.

— Es war sehr überraschend, all das zu erfahren, denn soweit ich weiß, arbeiten normalerweise Spezialisten und Drehbuchautoren die Quest-Mechanik aus. Ihr habt also nicht nur mit etwas Komplexem gearbeitet, sondern das auch auf euren Job und euer Berufsgebiet angewendet.

— Ja, wir wollten nicht nur eine Unterhaltung schaffen, sondern die technischen Fähigkeiten der Ingenieure „aufpolieren“. Eine der Aufgaben in unserer Abteilung ist der Wissensaustausch und das Lernen, und so ein Quest ist eine hervorragende Gelegenheit, den Leuten neue Techniken direkt in der Praxis näherzubringen.

— Wie habt ihr die Aufgaben entworfen?

— Wir haben ein Brainstorming veranstaltet. Wir hatten die Vorstellung, dass wir bestimmte technische Prüfungen durchführen sollten, die sowohl interessant als auch lehrreich sein sollten.
Zum Beispiel dachten wir, dass die Leute versuchen sollten, den Traffic zu sniffen, mit Hex-Editoren zu arbeiten, etwas für Linux zu tun, und ein paar tiefere Dinge zu unseren Produkten (Veeam Backup & Replication und andere) zu erkunden.

Ein weiterer wichtiger Aspekt war das Konzept. Wir entschieden uns, das Thema Hacker, anonymen Zugang und eine Atmosphäre von Geheimnis zu verwenden. Als Symbol wählten wir die Guy-Fawkes-Maske, und der Name kam von selbst – Veeamonymous.

„Im Anfang war das Wort“

Um das Interesse zu wecken, beschlossen wir, vor Beginn der Veranstaltung eine PR-Kampagne im Stil eines Quests zu starten: Wir hängten Plakate mit Ankündigungen in unserem Büro auf. Ein paar Tage später haben wir sie heimlich mit Spraydosen bemalt und das Gerücht verbreitet, dass irgendwelche Übeltäter die Plakate beschädigt hätten, sogar ein Beweisfoto angehängt...

— Also habt ihr das selbst gemacht, die Organisatoren?!

— Ja, am Freitag um 9 Uhr, als schon alle gegangen waren, sind wir herumgegangen und haben mit den Sprühdosen das „V“ in grüner Farbe gemalt. Viele Teilnehmer des Quests haben nicht herausgefunden, wer das gemacht hat – die Leute kamen zu uns und fragten, wer die Plakate beschädigt hat. Jemand hat sich sogar ernsthaft mit dieser Frage beschäftigt und eine ganze Untersuchung dazu angestellt.

Für den Quest schrieben wir auch Audio-Dateien, „extrahierten“ Geräusche: zum Beispiel, wenn ein Ingenieur sich in unser [Produktions-CRM] System einloggt, gibt es einen Roboter-Autoantworter, der allerlei Sätze und Zahlen sagt... Aus den Wörtern, die er gesagt hat, stellten wir mehr oder weniger sinnvolle Sätze zusammen, naja, vielleicht ein wenig krumm – zum Beispiel kam „No friends to help you“ in der Audio-Datei heraus.

Die IP-Adresse beispielsweise stellten wir im Binärcode dar, alles wiederum mit diesen Zahlen [die vom Roboter ausgesprochen wurden], wir fügten verschiedene gruselige Geräusche hinzu. Wir drehten selbst ein Video: im Video sitzt eine Person mit einer schwarzen Kapuze und der Guy-Fawkes-Maske, aber eigentlich waren da nicht nur eine Person, sondern drei, denn zwei standen hinter ihr und hielten einen „Hintergrund“ aus einer Decke:).

— Nun, das habt ihr wirklich durchdacht, um es mal so zu sagen.

— Ja, wir waren begeistert. Zuerst haben wir unsere technischen Anforderungen formuliert und dann einen literarisch-spielerischen Rahmen entwickelt, der angeblich beschreibt, was passiert ist. Laut dem Skript jagten die Teilnehmer eine Gruppe von Hackern mit dem Namen „Veeamonymous“. Die Idee war auch, dass wir sozusagen „die vierte Wand durchbrechen“, das heißt, die Ereignisse in die Realität übertragen – zum Beispiel malten wir mit Sprühfarbe.

Bei der literarischen Bearbeitung des Textes half uns ein muttersprachlicher Englischsprecher aus unserer Abteilung.

— Warte, wozu braucht man einen Muttersprachler? Habt ihr das auch auf Englisch gemacht?!

— Ja, wir haben es für die Büros in Sankt Petersburg und Bukarest gemacht, daher war alles auf Englisch.

Für die erste Erfahrung versuchten wir, alles einfach funktionieren zu lassen, daher war das Skript linear und recht einfach. Wir haben mehr Ambiente hinzugefügt: geheime Texte, Codes, Bilder.

Außerdem haben wir Memes verwendet: Es gab viele Bilder zu Themen wie Ermittlungen, UFOs, einige beliebte Horrorgeschichten – einige Teams wurden sogar davon abgelenkt und versuchten, versteckte Botschaften zu finden, ihr Wissen über Steganographie und ähnliches anzuwenden… aber natürlich war da nichts dergleichen.

Über Dornen

Während der Vorbereitung stießen wir jedoch auf unerwartete Aufgaben.

Wir haben viel darüber nachgedacht und verschiedene plötzlich auftretende Fragen beantwortet, und etwa eine Woche vor dem Quest dachten wir tatsächlich, dass alles verloren wäre.

Vielleicht sollte ich etwas über die technische Basis des Quests erzählen.

Alles wurde in unserem internen ESXi-Labor gemacht. Wir hatten 6 Teams, also mussten wir 6 Ressourcenpools bereitstellen. Für jedes Team haben wir einen eigenen Pool mit den benötigten virtuellen Maschinen (gleiche IPs) bereitgestellt. Aber da sich das alles auf Servern befand, die im selben Netzwerk lagen, erlaubte die aktuelle Konfiguration unserer VLANs nicht, die Maschinen in verschiedenen Pools zu isolieren. Zum Beispiel erhielten wir während der Testphase Situationen, in denen eine Maschine aus einem Pool mit einer Maschine aus einem anderen verbunden war.

— Wie konntet ihr die Situation beheben?

— Zuerst haben wir lange nachgedacht und verschiedene Optionen mit Berechtigungen und separaten VLANs für die Maschinen getestet. Schließlich haben wir es so gelöst: Jedes Team sieht nur den Veeam Backup-Server, über den die gesamte weitere Arbeit läuft, hat jedoch keinen Zugriff auf den versteckten Unterpool, in dem sich befinden:

• einige Windows-Maschinen
• Windows-Core-Server
• Linux-Maschine
• VTL-Paar (Virtual Tape Library)

Jeden Pools wurde eine separate Portgruppe auf dem vDS-Switch und ein eigenes Private VLAN zugewiesen. Diese doppelte Isolation ist notwendig, um eine Netzwerkkommunikation vollständig auszuschließen.

Über die Mutigen

— Konnte jeder am Quest teilnehmen? Wie wurden die Teams gebildet?

— Das war unsere erste Erfahrung mit der Durchführung einer solchen Veranstaltung, und die Kapazitäten unseres Labors waren auf 6 Teams beschränkt.

Zuerst haben wir, wie ich bereits sagte, eine PR-Kampagne durchgeführt: Mit Plakaten und einem Verteiler haben wir angekündigt, dass ein Quest stattfinden wird. Wir hatten sogar einige Hinweise – auf den Plakaten waren Sätze im Binärcode verschlüsselt. Dadurch haben wir das Interesse der Leute geweckt, und diese haben dann selbstständig mit Freunden, Bekannten und Partnern kommuniziert. Letztendlich gab es mehr Interessierte als Pool-Möglichkeiten, weshalb wir eine Auswahl treffen mussten: Wir haben eine einfache Testaufgabe erdacht und sie an alle, die sich gemeldet haben, verschickt. Es war ein logisches Rätsel, das schnell gelöst werden sollte.

Im Team waren bis zu 5 Personen erlaubt. Ein Kapitän war nicht notwendig, die Idee war Kooperations- und Kommunikationsförderung. Jemand ist zum Beispiel stark in Linux, jemand anderes in Tape-Backups, und jeder konnte, die Aufgabe sehend, seine Kräfte zur gemeinsamen Lösung einbringen. Alle haben miteinander kommuniziert und Lösungen gefunden.

— Und wann hat diese Veranstaltung gestartet? Hatten Sie eine Art „Stunde X“?

— Ja, wir hatten einen festgelegten Tag, den wir so gewählt haben, dass die Belastung im Team gering war. Selbstverständlich haben wir die Teamleiter im Voraus informiert, dass diese Teams zur Teilnahme am Quest eingeladen werden und an diesem Tag etwas Entlastung [in Bezug auf die Auslastung] benötigen. Insgesamt sollte das Ende des Jahres, der 28. Dezember, ein Freitag, sein. Wir hatten damit gerechnet, dass es ungefähr 5 Stunden dauern würde, aber alle Teams haben es schneller geschafft.

— Alle waren unter gleichen Bedingungen, alle hatten die gleichen Aufgaben basierend auf realen Fällen?

— Ja, jeder der Teilnehmer hat aus persönlicher Erfahrung einige Geschichten beigesteuert. Zu manchen Dingen wussten wir, dass sie in der Realität vorkommen könnten, und es wäre interessant, wenn die Leute sie "anfassen", ansehen und verstehen könnten. Wir haben auch spezifischere Dinge genommen – zum Beispiel die Wiederherstellung von Daten von beschädigten Bändern. Manche kamen mit Hinweisen, aber die meisten Teams meisterten es alleine.

Oder man musste die Magie schneller Skripte anwenden – zum Beispiel hatten wir die Geschichte, dass eine gewisse "logische Bombe" das mehrbändige Archiv in zufällige Ordner im Baum "zertrümmerte" und die Daten gesammelt werden mussten. Man kann das manuell machen – Dateien einzeln suchen und kopieren [dateien], oder man schreibt ein Skript nach einer Maske.

Insgesamt haben wir versucht, der Ansicht zu folgen, dass eine Aufgabe auf verschiedene Arten gelöst werden kann. Wenn du etwas erfahrener bist oder dich "anstrengen" möchtest, kannst du sie schneller lösen, aber es gibt auch den direkten Weg, um "auf die harte Tour" zu lösen – aber dabei brauchst du mehr Zeit für die Aufgabe. Das heißt, fast jede Aufgabe hatte mehrere Lösungsmöglichkeiten, und es war interessant, welche Wege die Teams wählen würden. Die Nichtlinearität bestand also genau in der Wahl der Lösungsvariante.

Übrigens war die schwierigste Aufgabe die Linux-Aufgabe – nur ein Team hat sie alleine ohne Hinweise gelöst.

— Durfte man Hinweise nehmen? Wie in einem echten Quest??

— Ja, man durfte Hinweise nehmen, denn wir verstanden, dass die Menschen unterschiedlich sind und in einem Team auch diejenigen sein könnten, denen es an bestimmten Kenntnissen fehlt. Damit die Durchführungszeit nicht zu lange dauert und der Wettbewerbsgeist nicht verloren geht, haben wir beschlossen, dass es Hinweise geben sollte. Dazu wurde jede Gruppe von jemandem aus den Organisatoren beobachtet. Und wir haben auch darauf geachtet, dass niemand schummelt.

Über die Sterne

— Gab es Preise für die Sieger?

— Ja, wir haben versucht, maximal angenehme Preise für alle Teilnehmer sowie die Sieger anzubieten: Die Sieger erhielten Designer-Hoodies mit dem Veeam-Logo und einem im 16er-Code verschlüsselten Satz in schwarz). Alle Teilnehmer erhielten eine Guy-Fawkes-Maske und eine Marken-Tasche mit dem Logo und demselben Code.

— Das heißt, es war alles wie in einem echten Quest!

— Nun, wir wollten etwas Großartiges, Erwachsenes schaffen, und ich denke, dass uns das gelungen ist.

— Das stimmt! Was war die Reaktion der Teilnehmer nach diesem Quest? Habt ihr eure Ziele erreicht?

— Ja, viele kamen später und sagten, dass sie eindeutig ihre Schwächen erkannt haben und diese verbessern wollten. Jemand hat aufgehört, bestimmte Technologien zu fürchten – zum Beispiel das Dumpen von Blöcken mit Tape und zu versuchen, dort etwas herauszuholen… Jemand hat verstanden, dass er Linux aufbessern muss, und so weiter. Wir haben versucht, einen ausreichend breiten Aufgabenbereich anzubieten, aber nicht ganz triviale Aufgaben.

Das Gewinnerteam

„Wer will, der kann!“

— Hat das viel Aufwand von denen erfordert, die das Quest vorbereitet haben?

— Ja, das hat es. Es war eher damit verbunden, dass wir keinerlei Erfahrung in der Vorbereitung solcher Quests und dieser Art von Infrastruktur hatten. (Wir sollten anmerken, dass dies nicht unsere echte Infrastruktur ist – sie sollte einfach bestimmte Spiel-Funktionen erfüllen.)

Für uns war das eine sehr interessante Erfahrung. Zuerst war ich skeptisch, da mir die Idee sogar zu verrückt erschien, ich dachte, dass es sehr schwierig umzusetzen wäre. Aber wir haben angefangen, gearbeitet, alle haben sich begeistert, und letztendlich hat es funktioniert. Es gab praktisch keine Probleme.

Insgesamt haben wir 3 Monate dafür gebraucht. Größtenteils haben wir das Konzept entwickelt und diskutiert, was wir umsetzen können. Im Laufe des Prozesses änderte sich natürlich einiges, weil wir begriffen, dass wir für manche Dinge technische Möglichkeiten fehlerhaft hatten. Wir mussten währenddessen etwas umarbeiten, aber so, dass die gesamte Handlung, Geschichte und Logik nicht kaputt gingen. Wir haben versucht, nicht einfach nur eine Liste technischer Aufgaben zu geben, sondern dass es in eine Geschichte passt, dass es zusammenhängend und logisch ist. Die Hauptarbeit fand im letzten Monat statt, also 3-4 Wochen vor dem Tag X.

— Das heißt, ihr habt zusätzlich zu eurer Haupttätigkeit Zeit für die Vorbereitung aufgewendet?

— Ja, wir haben das parallel zu unserer Hauptarbeit gemacht.

— Werden euch noch solche Anfragen gestellt?

— Ja, wir haben viele Anfragen, das zu wiederholen.

— Und was sagt ihr dazu?

— Wir haben neue Ideen, neue Konzepte, wir wollen mehr Menschen anziehen und das über die Zeit ausdehnen – sowohl den Auswahlprozess als auch das Spiel selbst. Insgesamt inspiriert uns das Projekt "Cicada", das kann man googeln – es ist ein wirklich cooles IT-Thema, wo sich Menschen aus der ganzen Welt zusammenschließen, auf Reddit Threads eröffnen, in Foren diskutieren, dort werden auch Codes übersetzt, Rätsel gelöst und vieles mehr.

— Die Idee war großartig, einfach Respekt für die Idee und die Umsetzung, denn das hat wirklich hohen Wert. Ich wünsche Ihnen aufrichtig, dass Sie diese Begeisterung nicht verlieren und dass all Ihre neuen Projekte ebenso erfolgreich sind. Danke!

— Ja, kann man ein Beispiel für eine Aufgabe sehen, die Sie auf keinen Fall wiederverwenden werden?

— Ich vermute, dass wir keine einzige wiederverwenden werden. Daher kann ich über den Verlauf des gesamten Quests erzählen.

Bonus-TrackZu Beginn haben die Spieler den Namen der virtuellen Maschine und die Anmeldedaten für vCenter. Nachdem sie sich angemeldet haben, sehen sie diese Maschine, aber sie startet nicht. Hier müssen sie erraten, dass etwas mit der .vmx-Datei nicht stimmt. Nachdem sie sie heruntergeladen haben, sehen sie einen Hinweis, der für den zweiten Schritt benötigt wird. Im Grunde steht dort, dass die von Veeam Backup & Replication verwendete Datenbank verschlüsselt ist.
Nachdem sie den Hinweis entfernt, die .vmx-Datei zurückgeladen und die Maschine erfolgreich eingeschaltet haben, sehen sie, dass sich auf einer der Festplatten tatsächlich eine Datenbank befindet, die base64-verschlüsselt ist. Daher besteht die Aufgabe darin, sie zu entschlüsseln und einen voll funktionsfähigen Veeam-Server zu erhalten.

Ein wenig über die virtuelle Maschine, auf der das alles stattfindet. Wie wir uns erinnern, ist die Hauptfigur des Quests eine ziemlich zwielichtige Persönlichkeit, die sich offensichtlich mit etwas Unrechtmäßigen beschäftigt. Daher sollte sein Arbeitscomputer ein ziemlich hackerisches Aussehen haben, das wir erstellen mussten, obwohl es Windows ist. Zuerst wurde eine Menge Requisiten hinzugefügt, wie Informationen über große Hacks, DDoS-Angriffe und ähnliches. Dann wurde typische Software installiert und überall verschiedene Dumps, Dateien mit Hashes usw. verteilt. Alles wie im Film. Unter anderem gab es Ordner, die nach dem Prinzip closed-case*** und open-case*** benannt waren.
Um weiterzukommen, müssen die Spieler die Hinweise aus den Dateien in den Backups wiederherstellen.

Hier muss erwähnt werden, dass die Spieler zu Beginn relativ wenig Informationen erhalten, und die meisten Daten (wie IP, Benutzernamen und Passwörter) im Laufe der Quest gesammelt werden, indem sie Hinweise in Backups oder Dateien finden, die auf den Rechnern verteilt sind. Anfänglich liegen die Backup-Dateien in einem Linux-Repository, aber der Ordner selbst ist Server eingehängt (mounted) mit dem Flag noexec, weshalb der für die Wiederherstellung der Dateien zuständige Agent nicht gestartet werden kann.

Nachdem das Repository repariert wurde, erhalten die Teilnehmer Zugang zu gesamten Inhalten und können endlich alle Informationen wiederherstellen. Es bleibt nur zu klären, welche genau. Dazu müssen sie die auf diesem Rechner gespeicherten Dateien untersuchen, herausfinden, welche davon "kaputt" sind und was genau wiederhergestellt werden muss.

An diesem Punkt wendet sich das Szenario von allgemeinem IT-Wissen zu spezifischen Funktionen von Veeam.

In diesem speziellen Beispiel (wenn du den Namen der Datei kennst, aber nicht weißt, wo du sie suchen sollst) sollte die Suchfunktion im Enterprise Manager verwendet werden, und so weiter. Am Ende, nachdem die gesamte logische Kette wiederhergestellt wurde, haben die Spieler ein weiteres Login/Passwort und die Ausgabe von nmap in der Hand. Dies führt sie zu einem Windows Core-Server, und zwar über RDP (um die Sache nicht zu erleichtern).

Das Hauptmerkmal dieses Servers ist: Mit Hilfe eines einfachen Skripts und mehrerer Wörterbücher wurde dort eine absolut sinnlose Struktur von Ordnern und Dateien geschaffen. Und beim Login wird eine Willkommensnachricht ausgegeben wie: „Hier ist eine logische Bombe geplatzt, daher musst du die Hinweise für die nächsten Schritte in Stückchen sammeln.“

Der nächste Hinweis wurde in ein mehrbändiges Archiv (ca. 40-50 Stücke) zerlegt und zufällig in diesen Ordnern verteilt. Unser Plan war, dass die Spieler ihre Talente im Schreiben einfacher PowerShell-Skripte unter Beweis stellen, um mit einer bekannten Maske das mehrbändige Archiv wieder zusammenzubringen und die gesuchten Daten zu erhalten. (Aber es stellte sich heraus, wie in dem Witz – ein Teil der Probanden war überraschend körperlich gut entwickelt.)

Im Archiv befand sich ein Foto der Kassette (mit der Aufschrift „Last Supper — Best Moments“), was auf die Verwendung der angeschlossenen Bandspeicherbibliothek hindeutete, wo eine Kassette mit einem ähnlichen Namen vorhanden war. Das einzige Problem war, dass sie so defekt war, dass sie nicht einmal katalogisiert werden konnte. Hier begann wahrscheinlich der härteste Teil des Rätsels. Wir haben den Titel der Kassette gelöscht, daher musste man nur die „rohen“ (raw) Blöcke dumpen und sie in einem Hex-Editor nach Dateimarkern durchsuchen.
Wir finden den Marker, betrachten den Offset, multiplizieren den Block mit seiner Größe, addieren den Offset und versuchen mit dem internen Tool, die Datei von einem bestimmten Block wiederherzustellen. Wenn alles richtig gemacht wurde und die Mathematik stimmt, halten die Spieler eine .wav-Datei in den Händen.

Darin wurde mit Hilfe eines Sprach-Generators unter anderem ein Binärcode diktiert, der zu einer weiteren IP führt.

Es stellt sich heraus, dass es sich um einen neuen Windows-Server handelt, der auf die Notwendigkeit hinweist, Wireshark zu verwenden, aber es ist nicht installiert. Der Hauptfokus liegt darauf, dass auf dieser Maschine zwei Systeme installiert sind — nur die Festplatte mit dem zweiten System ist über den Geräte-Manager offline deaktiviert, und die logische Kette führt zu der Notwendigkeit eines Neustarts. Danach wird klar, dass standardmäßig ein ganz anderes System booten soll, auf dem Wireshark installiert ist. Und wir waren die ganze Zeit im sekundären Betriebssystem.

Hier muss man nicht viel tun, es reicht, die Aufzeichnung an dem einzigen Interface zu starten. Bei relativ genauer Betrachtung des Dumps fällt ein eindeutig fremder Paket auf, das von der Hilfsmaschine in regelmäßigen Abständen gesendet wird und einen Link zu einem YouTube-Video enthält, in dem die Spieler aufgefordert werden, eine bestimmte Nummer anzurufen. Der erste Anrufer hört die Glückwünsche zum ersten Platz, die anderen — eine Einladung zum HR (Scherz)).

Übrigens haben wir offene Stellen für Support-Ingenieure und für Praktikanten. Willkommen im Team!

Quelle: habr.com