In diesem Winter, oder besser gesagt an einem der Tage zwischen Weihnachten und Neujahr, waren die Techniker des technischen Supports von Veeam mit ungewöhnlichen Aufgaben beschäftigt: Sie waren auf der Suche nach einer Hackergruppe namens „Veeamonymous“.

Er erzählte, wie die Jungs selbst bei ihrer Arbeit eine echte Quest in der Realität erfunden und durchgeführt haben, mit Aufgaben „nahe am Kampf“. Kirill Stezko, Eskalationsingenieur.

- Warum hast du überhaupt damit angefangen?

- Ungefähr auf die gleiche Art und Weise, wie die Leute einst Linux erfunden haben – nur zum Spaß, zum eigenen Vergnügen.

Wir wollten Bewegung und gleichzeitig etwas Nützliches, etwas Interessantes tun. Außerdem galt es, den Ingenieuren eine emotionale Entlastung von ihrem Arbeitsalltag zu verschaffen.

- Wer hat das vorgeschlagen? Wessen Idee war es?

— Die Idee kam von unserer Managerin Katya Egorova, und dann entstanden das Konzept und alle weiteren Ideen durch gemeinsame Anstrengungen. Zunächst dachten wir darüber nach, einen Hackathon zu veranstalten. Doch während der Entwicklung des Konzepts entwickelte sich aus der Idee eine Suche, schließlich ist ein technischer Support-Ingenieur eine andere Art von Tätigkeit als das Programmieren.

Also haben wir Freunde, Kameraden, Bekannte angerufen, verschiedene Leute haben uns bei dem Konzept geholfen – eine Person von T2 (die zweite Unterstützungslinie ist ed.), eine Person mit T3, ein paar Leute vom SWAT-Team (Schnellreaktionsteam für besonders dringende Fälle – ed.). Wir kamen alle zusammen, setzten uns und versuchten, uns Aufgaben für unsere Suche auszudenken.

— Es war sehr unerwartet, das alles zu erfahren, denn meines Wissens werden die Mechaniken von Quests normalerweise von spezialisierten Drehbuchautoren ausgearbeitet, das heißt, Sie haben sich nicht nur mit einer so komplexen Sache befasst, sondern auch in Bezug auf Ihre Arbeit , zu Ihrem beruflichen Tätigkeitsfeld.

— Ja, wir wollten nicht nur Unterhaltung bieten, sondern auch die technischen Fähigkeiten der Ingenieure „ankurbeln“. Eine der Aufgaben unserer Abteilung ist der Austausch von Wissen und Schulungen, aber eine solche Suche ist eine hervorragende Gelegenheit, Menschen einige neue Techniken live „anfassen“ zu lassen.

— Wie sind Sie auf die Aufgaben gekommen?

— Wir hatten eine Brainstorming-Sitzung. Wir waren uns darüber im Klaren, dass wir einige technische Tests durchführen mussten, und zwar so, dass sie interessant waren und gleichzeitig neue Erkenntnisse brachten.
Wir dachten zum Beispiel, dass die Leute versuchen sollten, den Datenverkehr auszuspionieren, Hex-Editoren zu verwenden, etwas für Linux zu tun und einige etwas tiefergehende Dinge im Zusammenhang mit unseren Produkten (Veeam Backup & Replication und andere).

Auch das Konzept war ein wichtiger Teil. Wir haben uns entschieden, auf dem Thema Hacker, anonymer Zugriff und eine Atmosphäre der Geheimhaltung aufzubauen. Die Guy-Fawkes-Maske wurde zu einem Symbol und der Name kam von selbst – Veeamonymous.

„Am Anfang war das Wort“

Um das Interesse zu wecken, beschlossen wir, vor der Veranstaltung eine PR-Kampagne zum Thema Quest zu organisieren: Wir hängten Plakate mit der Ankündigung in unserem Büro auf. Und ein paar Tage später haben sie sie, heimlich vor allen, mit Sprühdosen bemalt und eine „Ente“ gestartet. Sie sagen, dass einige Angreifer die Plakate ruiniert haben, sie haben sogar ein Foto mit einem Beweis beigefügt …

- Sie haben es also selbst gemacht, also das Organisationsteam?!

— Ja, am Freitag, gegen 9 Uhr, als alle schon gegangen waren, haben wir aus Luftballons den Buchstaben „V“ in Grün gezeichnet.) Viele Teilnehmer der Quest haben nie erraten, wer das getan hat – die Leute kamen auf uns zu und fragte, wer die Plakate ruiniert hat? Jemand hat dieses Problem sehr ernst genommen und eine umfassende Untersuchung zu diesem Thema durchgeführt.

Für die Quest haben wir auch Audiodateien geschrieben und Sounds „herausgerissen“: Wenn sich beispielsweise ein Ingenieur in unser [Produktions-CRM-]System einloggt, gibt es einen Antwortroboter, der alle möglichen Phrasen und Zahlen sagt ... Hier sind wir Aus den Wörtern, die er aufgenommen hat, hat er mehr oder weniger bedeutungsvolle Phrasen zusammengesetzt, naja, vielleicht etwas schief – zum Beispiel haben wir „Keine Freunde, die dir helfen“ in einer Audiodatei.

Beispielsweise stellten wir die IP-Adresse im Binärcode dar und wiederum fügten wir mithilfe dieser Zahlen [vom Roboter ausgesprochen] alle möglichen erschreckenden Geräusche hinzu. Wir haben das Video selbst gedreht: Im Video sitzt ein Mann mit schwarzer Kapuze und Guy-Fawkes-Maske, aber in Wirklichkeit sind es nicht eine Person, sondern drei, denn zwei stehen hinter ihm und halten eine „Kulisse“ aus eine Decke :).

- Nun, Sie sind verwirrt, um es ganz klar auszudrücken.

- Ja, wir haben Feuer gefangen. Generell haben wir zunächst unser technisches Lastenheft erstellt und anschließend einen literarischen und spielerischen Abriss zum Thema des angeblichen Geschehens verfasst. Dem Szenario zufolge waren die Teilnehmer auf der Jagd nach einer Hackergruppe namens „Veeamonymous“. Die Idee war auch, dass wir sozusagen „die 4. Wand durchbrechen“, also Ereignisse in die Realität übertragen – wir malten zum Beispiel aus der Spraydose.

Einer der englischen Muttersprachler unseres Fachbereichs half uns bei der literarischen Aufarbeitung des Textes.

- Moment, warum ein Muttersprachler? Habt ihr das auch alles auf Englisch gemacht?!

— Ja, wir haben es für die Büros in St. Petersburg und Bukarest gemacht, also war alles auf Englisch.

Bei der ersten Erfahrung haben wir versucht, dass alles funktioniert, also war das Drehbuch linear und recht einfach. Wir haben weitere Umgebungen hinzugefügt: Geheimtexte, Codes, Bilder.

Wir haben auch Memes verwendet: Es gab eine Menge Bilder zu den Themen Ermittlungen, UFOs, einige beliebte Horrorgeschichten – einige Teams waren davon abgelenkt und versuchten, dort versteckte Botschaften zu finden, ihr Wissen über Steganographie und andere Dinge anzuwenden ... Aber so etwas gab es natürlich nicht.

Über Dornen

Allerdings standen wir im Vorbereitungsprozess auch vor unerwarteten Herausforderungen.

Wir haben viel mit ihnen zu kämpfen und alle möglichen unerwarteten Probleme gelöst, und etwa eine Woche vor der Quest dachten wir, dass alles verloren sei.

Es lohnt sich wahrscheinlich, ein wenig über die technischen Grundlagen der Quest zu erzählen.

Alles wurde in unserem internen ESXi-Labor durchgeführt. Wir hatten 6 Teams, was bedeutete, dass wir 6 Ressourcenpools zuweisen mussten. Daher haben wir für jedes Team einen separaten Pool mit den erforderlichen virtuellen Maschinen (gleiche IP) bereitgestellt. Da sich dies jedoch alles auf Servern befand, die sich im selben Netzwerk befanden, erlaubte uns die aktuelle Konfiguration unserer VLANs nicht, Maschinen in verschiedenen Pools zu isolieren. Und während eines Testlaufs kam es beispielsweise zu Situationen, in denen eine Maschine aus einem Pool mit einer Maschine aus einem anderen verbunden wurde.

— Wie konnten Sie die Situation korrigieren?

— Zuerst haben wir lange nachgedacht, alle möglichen Optionen mit Berechtigungen getestet, separate vLANs für Maschinen. Infolgedessen haben sie Folgendes getan: Jedes Team sieht nur den Veeam Backup-Server, über den alle weiteren Arbeiten erfolgen, sieht jedoch nicht den versteckten Subpool, der Folgendes enthält:

• mehrere Windows-Rechner
• Windows-Coreserver
• Linux-Maschine
• Paar VTL (Virtual Tape Library)

Allen Pools wird eine separate Gruppe von Ports auf dem vDS-Switch und ihr eigenes privates VLAN zugewiesen. Diese doppelte Isolierung ist genau das, was erforderlich ist, um die Möglichkeit einer Netzwerkinteraktion vollständig auszuschließen.

Über die Mutigen

— Könnte jemand an der Quest teilnehmen? Wie wurden die Teams gebildet?

— Dies war unsere erste Erfahrung mit der Durchführung einer solchen Veranstaltung und die Kapazitäten unseres Labors waren auf 6 Teams beschränkt.

Zunächst führten wir, wie bereits erwähnt, eine PR-Kampagne durch: Mit Plakaten und Mailings kündigten wir die Durchführung einer Quest an. Wir hatten sogar einige Hinweise – auf den Plakaten selbst waren Phrasen im Binärcode verschlüsselt. Auf diese Weise haben wir das Interesse der Menschen geweckt, und die Menschen haben bereits Vereinbarungen untereinander, mit Freunden, mit Freunden getroffen und zusammengearbeitet. Infolgedessen haben mehr Leute geantwortet, als wir Pools hatten, also mussten wir eine Auswahl durchführen: Wir haben uns eine einfache Testaufgabe ausgedacht und sie an alle geantwortet, die geantwortet haben. Es handelte sich um ein logisches Problem, das schnell gelöst werden musste.

Ein Team durfte bis zu 5 Personen umfassen. Es war kein Kapitän nötig, die Idee war Zusammenarbeit, Kommunikation untereinander. Jemand ist beispielsweise stark in Linux, jemand ist stark in Bändern (Backups auf Bändern), und jeder, der die Aufgabe sieht, könnte seine Anstrengungen in die Gesamtlösung investieren. Alle haben miteinander kommuniziert und eine Lösung gefunden.

— Wann begann dieses Ereignis? Hattest du eine Art „Stunde X“?

— Ja, wir hatten einen genau festgelegten Tag, wir haben ihn so gewählt, dass die Arbeitsbelastung in der Abteilung geringer war. Natürlich wurden die Teamleiter im Voraus darüber informiert, dass bestimmte Teams zur Teilnahme an der Quest eingeladen wurden, und ihnen musste an diesem Tag etwas Erleichterung [bezüglich der Beladung] gewährt werden. Es sah so aus, als ob am Freitag, dem 28. Dezember, das Jahresende sein sollte. Wir haben damit gerechnet, dass es etwa 5 Stunden dauern würde, aber alle Teams haben es schneller geschafft.

— Waren alle gleichberechtigt, hatten alle die gleichen Aufgaben anhand realer Fälle?

— Nun ja, jeder der Compiler hat einige Geschichten aus eigener Erfahrung übernommen. Wir wussten von etwas, dass dies in der Realität passieren könnte, und es wäre für eine Person interessant, es zu „fühlen“, hinzusehen und herauszufinden. Sie übernahmen auch einige spezifischere Dinge – zum Beispiel die Datenwiederherstellung von beschädigten Bändern. Einige mit Hinweisen, aber die meisten Teams haben es selbst gemacht.

Oder es war notwendig, die Magie schneller Skripte zu nutzen – zum Beispiel hatten wir eine Geschichte, dass eine „logische Bombe“ ein mehrbändiges Archiv in zufällige Ordner entlang des Baums „zerrissen“ hat, und es war notwendig, die Daten zu sammeln. Sie können dies manuell tun – suchen und kopieren Sie [Dateien] einzeln, oder Sie können ein Skript mithilfe einer Maske schreiben.

Generell haben wir versucht, an dem Standpunkt festzuhalten, dass ein Problem auf unterschiedliche Weise gelöst werden kann. Wenn Sie beispielsweise etwas erfahrener sind oder sich verwirren möchten, können Sie das Problem schneller lösen, aber es gibt einen direkten Weg, es direkt zu lösen – aber gleichzeitig verbringen Sie mehr Zeit mit dem Problem. Das heißt, für fast jede Aufgabe gab es mehrere Lösungen und es war interessant, welche Wege die Teams wählen würden. Die Nichtlinearität lag also gerade in der Wahl der Lösungsoption.

Das Linux-Problem erwies sich übrigens als das schwierigste – nur ein Team löste es selbstständig und ohne Hinweise.

— Könnten Sie Hinweise verstehen? Wie in einer echten Quest??

„Ja, es war möglich, daran teilzunehmen, weil wir verstanden haben, dass Menschen unterschiedlich sind und diejenigen, denen es an Wissen mangelt, in dasselbe Team kommen können. Um den Übergang nicht zu verzögern und das Wettbewerbsinteresse nicht zu verlieren, haben wir beschlossen, dass wir würde Tipps geben. Dazu wurde jedes Team von einer Person des Veranstalters beobachtet. Nun, wir haben dafür gesorgt, dass niemand betrogen hat.

Über die Sterne

— Gab es Preise für die Gewinner?

— Ja, wir haben versucht, sowohl für alle Teilnehmer als auch für die Gewinner die angenehmsten Preise zu machen: Die Gewinner erhielten Designer-Sweatshirts mit dem Veeam-Logo und einem im Hexadezimalcode verschlüsselten Satz (schwarz). Alle Teilnehmer erhielten eine Guy-Fawkes-Maske und eine gebrandete Tasche mit dem Logo und dem gleichen Code.

- Das heißt, alles war wie in einer echten Quest!

„Nun, wir wollten eine coole, erwachsene Sache machen, und ich denke, das ist uns gelungen.“

- So ist das! Wie war die abschließende Reaktion derjenigen, die an dieser Quest teilgenommen haben? Haben Sie Ihr Ziel erreicht?

- Ja, viele kamen später und sagten, dass sie ihre Schwachstellen klar erkannten und diese verbessern wollten. Jemand hat aufgehört, Angst vor bestimmten Technologien zu haben – zum Beispiel davor, Blöcke von Bändern wegzuwerfen und zu versuchen, sich dort etwas zu schnappen … Jemand erkannte, dass er Linux verbessern musste und so weiter. Wir haben versucht, ein ziemlich breites Spektrum an Aufgaben zu geben, aber nicht ganz triviale.

Das Gewinnerteam

„Wer will, wird es erreichen!“

— War es für diejenigen, die die Quest vorbereitet haben, ein großer Aufwand?

- Tatsächlich ja. Aber das lag höchstwahrscheinlich daran, dass wir keine Erfahrung mit der Vorbereitung solcher Quests und dieser Art von Infrastruktur hatten. (Machen wir einen Vorbehalt, dass dies nicht unsere eigentliche Infrastruktur ist – sie sollte lediglich einige Spielfunktionen ausführen.)

Es war eine sehr interessante Erfahrung für uns. Anfangs war ich skeptisch, weil mir die Idee zu cool vorkam, ich dachte, die Umsetzung wäre sehr schwierig. Aber wir haben damit angefangen, wir haben angefangen zu pflügen, alles hat angefangen zu brennen, und am Ende haben wir es geschafft. Und es gab sogar praktisch keine Overlays.

Insgesamt verbrachten wir 3 Monate. Im Großen und Ganzen haben wir uns ein Konzept ausgedacht und besprochen, was wir umsetzen könnten. Dabei änderten sich natürlich einige Dinge, weil uns klar wurde, dass wir technisch nicht in der Lage waren, etwas zu tun. Wir mussten unterwegs etwas wiederholen, aber so, dass die gesamte Gliederung, Geschichte und Logik nicht kaputt gingen. Wir haben versucht, nicht nur eine Liste technischer Aufgaben zu erstellen, sondern sie auch so in die Geschichte einzupassen, dass sie kohärent und logisch ist. Die Hauptarbeiten fanden im letzten Monat statt, also 3-4 Wochen vor Tag X.

— Sie haben also zusätzlich zu Ihrer Haupttätigkeit Zeit für die Vorbereitung eingeplant?

— Wir haben das parallel zu unserer Hauptarbeit gemacht, ja.

- Werden Sie gebeten, dies noch einmal zu tun?

- Ja, wir haben viele Anfragen zu wiederholen.

- Und du?

- Wir haben neue Ideen, neue Konzepte, wir wollen mehr Leute anziehen und es über die Zeit verlängern – sowohl den Auswahlprozess als auch den Spielprozess selbst. Im Allgemeinen sind wir vom „Cicada“-Projekt inspiriert, man kann es googeln – es ist ein sehr cooles IT-Thema, Menschen aus der ganzen Welt vereinen sich dort, sie starten Threads auf Reddit, in Foren, sie verwenden Codeübersetzungen, lösen Rätsel , und all das.

— Die Idee war großartig, einfach Respekt vor der Idee und Umsetzung, denn es ist wirklich viel wert. Ich wünsche mir von Herzen, dass Sie diese Inspiration nicht verlieren und dass alle Ihre neuen Projekte auch erfolgreich sind. Danke!

— Ja, können Sie sich ein Beispiel für eine Aufgabe ansehen, die Sie definitiv nicht wiederverwenden werden?

„Ich vermute, dass wir keines davon wiederverwenden werden.“ Daher kann ich euch über den Fortschritt der gesamten Quest berichten.

BonusliedZu Beginn erhalten die Spieler den Namen der virtuellen Maschine und die Anmeldeinformationen von vCenter. Nachdem sie sich angemeldet haben, sehen sie diese Maschine, aber sie startet nicht. Hier müssen Sie vermuten, dass mit der .vmx-Datei etwas nicht stimmt. Sobald sie es heruntergeladen haben, sehen sie die für den zweiten Schritt erforderliche Eingabeaufforderung. Im Wesentlichen heißt es, dass die von Veeam Backup & Replication verwendete Datenbank verschlüsselt ist.
Nachdem sie die Eingabeaufforderung entfernt, die .vmx-Datei erneut heruntergeladen und die Maschine erfolgreich eingeschaltet haben, sehen sie, dass eine der Festplatten tatsächlich eine Base64-verschlüsselte Datenbank enthält. Dementsprechend besteht die Aufgabe darin, es zu entschlüsseln und einen voll funktionsfähigen Veeam-Server zu erhalten.

Ein wenig über die virtuelle Maschine, auf der das alles passiert. Wie wir uns erinnern, ist der Hauptcharakter der Quest der Handlung zufolge eine eher düstere Person und tut etwas, das eindeutig nicht sehr legal ist. Daher sollte sein Arbeitscomputer ein völlig hackerähnliches Erscheinungsbild haben, das wir trotz der Tatsache, dass es sich um Windows handelt, erstellen mussten. Als Erstes haben wir viele Requisiten hinzugefügt, etwa Informationen zu großen Hacks, DDoS-Angriffen und Ähnlichem. Dann installierten sie die gesamte typische Software und platzierten überall verschiedene Dumps, Dateien mit Hashes usw. Alles ist wie im Film. Unter anderem gab es Ordner mit den Namen „closed-case***“ und „open-case***“
Um weiterzukommen, müssen Spieler Hinweise aus Sicherungsdateien wiederherstellen.

Hier muss gesagt werden, dass den Spielern zu Beginn einiges an Informationen gegeben wurde und dass sie die meisten Daten (wie IP, Logins und Passwörter) im Laufe der Quest erhielten, indem sie Hinweise in Backups oder auf Computern verstreuten Dateien fanden . Zunächst befinden sich die Sicherungsdateien im Linux-Repository, der Ordner selbst auf dem Server wird jedoch mit dem Flag gemountet noexec, sodass der für die Dateiwiederherstellung zuständige Agent nicht gestartet werden kann.

Durch die Reparatur des Repositorys erhalten die Teilnehmer Zugriff auf alle Inhalte und können schließlich alle Informationen wiederherstellen. Es bleibt abzuwarten, um welches es sich handelt. Und dazu müssen sie lediglich die auf diesem Computer gespeicherten Dateien untersuchen, feststellen, welche davon „kaputt“ sind und was genau wiederhergestellt werden muss.

An diesem Punkt verlagert sich das Szenario weg vom allgemeinen IT-Wissen hin zu Veeam-spezifischen Funktionen.

In diesem speziellen Beispiel (wenn Sie den Dateinamen kennen, aber nicht wissen, wo Sie danach suchen sollen) müssen Sie die Suchfunktion im Enterprise Manager usw. verwenden. Dadurch steht den Spielern nach der Wiederherstellung der gesamten logischen Kette ein weiterer Login/Passwort- und Nmap-Ausgang zur Verfügung. Dies bringt sie zum Windows Core-Server und über RDP (damit das Leben nicht wie Honig aussieht).

Das Hauptmerkmal dieses Servers: Mit Hilfe eines einfachen Skripts und mehrerer Wörterbücher wurde eine absolut bedeutungslose Struktur aus Ordnern und Dateien erstellt. Und wenn Sie sich anmelden, erhalten Sie eine Willkommensnachricht wie „Hier ist eine Logikbombe explodiert, Sie müssen also die Hinweise für weitere Schritte zusammensetzen.“

Der folgende Hinweis wurde in ein mehrbändiges Archiv (40-50 Stück) aufgeteilt und zufällig auf diese Ordner verteilt. Unsere Idee war, dass Spieler ihr Talent beim Schreiben einfacher PowerShell-Skripte unter Beweis stellen sollten, um mithilfe einer bekannten Maske ein mehrbändiges Archiv zusammenzustellen und die erforderlichen Daten zu erhalten. (Aber es kam wie in diesem Witz heraus – einige der Probanden erwiesen sich als ungewöhnlich körperlich entwickelt.)

Im Archiv befand sich ein Foto einer Kassette (mit der Aufschrift „Last Supper – Best Moments“), das einen Hinweis auf die Nutzung einer angeschlossenen Tonbandbibliothek gab, in der sich eine Kassette mit ähnlichem Namen befand. Es gab nur ein Problem: Es erwies sich als so funktionsuntüchtig, dass es nicht einmal katalogisiert wurde. Hier begann wahrscheinlich der härteste Teil der Suche. Wir haben den Header von der Kassette gelöscht. Um Daten daraus wiederherzustellen, müssen Sie also nur die „rohen“ Blöcke sichern und sie in einem Hex-Editor durchsuchen, um Dateistartmarkierungen zu finden.
Wir finden die Markierung, schauen uns den Offset an, multiplizieren den Block mit seiner Größe, addieren den Offset und versuchen mit dem internen Tool, die Datei aus einem bestimmten Block wiederherzustellen. Wenn alles richtig gemacht ist und die Mathematik stimmt, halten die Spieler eine .wav-Datei in ihren Händen.

Darin wird unter anderem mithilfe eines Sprachgenerators ein Binärcode diktiert, der zu einer weiteren IP erweitert wird.

Es stellt sich heraus, dass es sich um einen neuen Windows-Server handelt, bei dem alles darauf hindeutet, dass Wireshark verwendet werden muss, es aber nicht vorhanden ist. Der Haupttrick besteht darin, dass auf dieser Maschine zwei Systeme installiert sind – nur die Festplatte des zweiten wird über den Geräte-Manager offline geschaltet, und die logische Kette führt dazu, dass ein Neustart erforderlich ist. Dann stellt sich heraus, dass standardmäßig ein völlig anderes System booten sollte, auf dem Wireshark installiert ist. Und die ganze Zeit waren wir auf dem sekundären Betriebssystem.

Hier müssen Sie nichts Besonderes tun. Aktivieren Sie lediglich die Erfassung auf einer einzigen Schnittstelle. Eine relativ genaue Untersuchung des Dumps offenbart ein eindeutig linkshändiges Paket, das in regelmäßigen Abständen von der Hilfsmaschine gesendet wird und einen Link zu einem YouTube-Video enthält, in dem Spieler aufgefordert werden, eine bestimmte Nummer anzurufen. Der erste Anrufer hört Glückwünsche zum ersten Platz, der Rest erhält eine Einladung in die Personalabteilung (Witz).

Übrigens, wir haben geöffnet Stellenangebote für technische Support-Ingenieure und Auszubildende. Willkommen im Team!

Source: habr.com