Deze winter, of beter gezegd, op een van de dagen tussen katholieke Kerstmis en Nieuwjaar, waren de technische ondersteuningstechnici van Veeam druk bezig met ongewone taken: ze waren op jacht naar een groep hackers genaamd “Veamonymous”.

Hij vertelde hoe de jongens zelf een echte zoektocht in werkelijkheid op hun werk bedachten en uitvoerden, met taken "dichtbij de strijd" Kirill Stetsko, Escalatie ingenieur.

- Waarom ben je hier eigenlijk mee begonnen?

- Ongeveer op dezelfde manier waarop mensen ooit met Linux kwamen - gewoon voor de lol, voor hun eigen plezier.

We wilden beweging, en tegelijkertijd wilden we iets nuttigs doen, iets interessants. Bovendien was het nodig om de ingenieurs enige emotionele verlichting te geven van hun dagelijkse werk.

- Wie heeft dit voorgesteld? Wiens idee was het?

— Het idee was onze manager Katya Egorova, en vervolgens kwamen het concept en alle verdere ideeën tot stand door gezamenlijke inspanningen. In eerste instantie dachten we aan het doen van een hackathon. Maar tijdens de ontwikkeling van het concept groeide het idee uit tot een zoektocht; een technisch support engineer is immers een ander soort activiteit dan programmeren.

Dus belden we vrienden, kameraden, kennissen, verschillende mensen hielpen ons met het concept - één persoon uit T2 (de tweede ondersteuningslijn is opmerking van de uitgever), één persoon met T3, een paar mensen van het SWAT-team (snelreactieteam voor bijzonder dringende gevallen - opmerking van de uitgever). We kwamen allemaal bij elkaar, gingen zitten en probeerden taken te bedenken voor onze zoektocht.

— Het was heel onverwacht om dit allemaal te leren kennen, omdat, voor zover ik weet, de zoekmechanismen meestal worden uitgewerkt door gespecialiseerde scenarioschrijvers, dat wil zeggen dat je niet alleen met zoiets ingewikkelds te maken hebt gehad, maar ook in relatie tot je werk , naar uw professionele werkveld.

— Ja, we wilden er niet alleen entertainment van maken, maar ook de technische vaardigheden van ingenieurs ‘oppompen’. Eén van de taken op onze afdeling is het uitwisselen van kennis en trainingen, maar zo’n zoektocht is een uitgelezen kans om mensen live een aantal nieuwe technieken voor hen te laten ‘aanraken’.

– Hoe heb je taken bedacht?

— We hadden een brainstormsessie. We hadden begrepen dat we een aantal technische tests moesten doen, en wel zodanig dat deze interessant zouden zijn en tegelijkertijd nieuwe kennis zouden opleveren.
We vonden bijvoorbeeld dat mensen moesten proberen verkeer te snuiven, hex-editors te gebruiken, iets voor Linux te doen, en wat diepere dingen met betrekking tot onze producten (Veeam Backup & Replication en andere).

Ook het concept was een belangrijk onderdeel. We besloten voort te bouwen op het thema hackers, anonieme toegang en een sfeer van geheimhouding. Van het Guy Fawkes-masker werd een symbool gemaakt en de naam kwam vanzelf: Veeamonymous.

"In het begin was het woord"

Om de belangstelling te wekken, besloten we voorafgaand aan het evenement een PR-campagne met als thema zoektocht te organiseren: we hingen posters met de aankondiging rond ons kantoor. En een paar dagen later, in het geheim van iedereen, schilderden ze ze met spuitbussen en begonnen ze met een "eend", ze zeggen dat sommige aanvallers de posters verpesten, ze hebben zelfs een foto met een bewijs bijgevoegd….

- Dus je hebt het zelf gedaan, dat wil zeggen het team van organisatoren?!

— Ja, op vrijdag, omstreeks 9 uur, toen iedereen al vertrokken was, gingen we de letter "V" in het groen uit ballonnen tekenen.) Veel deelnemers aan de zoektocht hadden nooit geraden wie het had gedaan - mensen kwamen naar ons toe en vroeg wie de posters verpestte? Iemand nam deze kwestie zeer serieus en voerde een volledig onderzoek naar dit onderwerp uit.

Voor de zoektocht hebben we ook audiobestanden geschreven, “uitgerukte” geluiden: wanneer een ingenieur bijvoorbeeld inlogt op ons [productie-CRM]-systeem, is er een antwoordrobot die allerlei zinnetjes, cijfers zegt... Hier zijn we dan uit de woorden die hij heeft opgenomen, heeft hij min of meer betekenisvolle zinnen gecomponeerd, nou ja, misschien een beetje krom - we hebben bijvoorbeeld 'Geen vrienden om je te helpen' in een audiobestand.

We hebben bijvoorbeeld het IP-adres weergegeven in binaire code, en opnieuw hebben we met behulp van deze cijfers [uitgesproken door de robot] allerlei angstaanjagende geluiden toegevoegd. We hebben de video zelf gefilmd: in de video zien we een man zitten in een zwarte kap en een Guy Fawkes-masker, maar in werkelijkheid is er niet één persoon, maar drie, omdat er twee achter hem staan ​​en een ‘achtergrond’ vasthouden die is gemaakt van een deken :).

- Nou, je bent in de war, om het maar bot te zeggen.

- Ja, we vlogen in brand. Over het algemeen bedachten we eerst onze technische specificaties en stelden vervolgens een literaire en speelse schets op over het onderwerp van wat er zogenaamd was gebeurd. Volgens het scenario waren de deelnemers op jacht naar een groep hackers genaamd “Veeamonymous”. Het idee was ook dat we als het ware ‘de vierde muur zouden doorbreken’, dat wil zeggen dat we gebeurtenissen naar de werkelijkheid zouden overbrengen – we schilderden bijvoorbeeld vanuit een spuitbus.

Eén van de native speakers van onze afdeling Engels heeft ons geholpen met de literaire verwerking van de tekst.

- Wacht, waarom een ​​moedertaalspreker? Heb je het ook allemaal in het Engels gedaan?!

— Ja, we deden het voor de kantoren in St. Petersburg en Boekarest, dus alles was in het Engels.

Voor de eerste ervaring probeerden we alles gewoon te laten werken, dus het script was lineair en vrij eenvoudig. We hebben meer omgevingen toegevoegd: geheime teksten, codes, afbeeldingen.

We gebruikten ook memes: er waren een heleboel foto's over onderzoeken, UFO's, enkele populaire horrorverhalen - sommige teams werden hierdoor afgeleid, probeerden daar verborgen boodschappen te vinden, hun kennis van steganografie toe te passen en andere dingen... maar zoiets bestond natuurlijk niet.

Over doornen

Tijdens het voorbereidingsproces kwamen we echter ook voor onverwachte uitdagingen te staan.

We hebben er veel mee geworsteld en allerlei onverwachte problemen opgelost, en ongeveer een week voor de zoektocht dachten we dat alles verloren was.

Het is waarschijnlijk de moeite waard om iets te vertellen over de technische basis van de zoektocht.

Alles werd gedaan in ons interne ESXi-lab. We hadden 6 teams, wat betekent dat we 6 grondstoffenpools moesten toewijzen. Daarom hebben we voor elk team een ​​aparte pool ingericht met de benodigde virtuele machines (hetzelfde IP-adres). Maar omdat dit alles zich op servers bevond die zich op hetzelfde netwerk bevonden, stond de huidige configuratie van onze VLAN's ons niet toe om machines in verschillende pools te isoleren. En tijdens een testrun kregen we bijvoorbeeld situaties waarin een machine uit de ene pool werd aangesloten op een machine uit een andere.

– Hoe heb je de situatie kunnen corrigeren?

— In eerste instantie hebben we lang nagedacht, allerlei opties met rechten getest, aparte vLAN's voor machines. Als gevolg hiervan deden ze dit: elk team ziet alleen de Veeam Backup-server, waarop al het verdere werk plaatsvindt, maar ziet niet de verborgen subpool, die het volgende bevat:

• meerdere Windows-machines
• Windows-kernserver
• Linux-machine
• paar VTL (virtuele tapebibliotheek)

Alle pools krijgen een aparte groep poorten op de vDS-switch en hun eigen Private VLAN toegewezen. Deze dubbele isolatie is precies wat nodig is om de mogelijkheid van netwerkinteractie volledig te elimineren.

Over de moedigen

— Kan iemand deelnemen aan de zoektocht? Hoe zijn de teams gevormd?

— Dit was onze eerste ervaring met het organiseren van een dergelijk evenement, en de mogelijkheden van ons laboratorium waren beperkt tot zes teams.

Eerst voerden we, zoals ik al zei, een PR-campagne: via posters en mailings maakten we bekend dat er een zoektocht zou plaatsvinden. We hadden zelfs enkele aanwijzingen: de zinnen waren in binaire code gecodeerd op de posters zelf. Op deze manier hebben we mensen geïnteresseerd gekregen en hebben mensen onderling al afspraken gemaakt, met vrienden, met vrienden, en samengewerkt. Het resultaat was dat er meer mensen reageerden dan we pools hadden, dus moesten we een selectie maken: we bedachten een eenvoudige testtaak en stuurden deze naar iedereen die reageerde. Het was een logisch probleem dat snel moest worden opgelost.

Een team mocht maximaal 5 personen bevatten. Er was geen kapitein nodig, het idee was samenwerking, communicatie met elkaar. Iemand is bijvoorbeeld sterk in Linux, iemand is sterk in tapes (back-ups naar tapes), en iedereen die de taak ziet, zou zijn inspanningen kunnen investeren in de algehele oplossing. Iedereen communiceerde met elkaar en vond een oplossing.

– Op welk punt begon deze gebeurtenis? Had je een soort “uur X”?

— Ja, we hadden een strikt vastgestelde dag, die hebben we zo gekozen dat er minder werkdruk was op de afdeling. Uiteraard werden de teamleiders van tevoren op de hoogte gebracht dat bepaalde teams waren uitgenodigd om aan de zoektocht deel te nemen, en dat ze die dag wat verlichting moesten krijgen [met betrekking tot het laden]. Het leek erop dat het het einde van het jaar zou moeten zijn, vrijdag 28 december. We hadden verwacht dat het ongeveer 5 uur zou duren, maar alle teams voltooiden het sneller.

— Stond iedereen op gelijke voet, had iedereen dezelfde taken op basis van echte cases?

– Nou ja, elk van de samenstellers heeft een aantal verhalen uit persoonlijke ervaring gehaald. We wisten dat dit in werkelijkheid zou kunnen gebeuren, en het zou voor iemand interessant zijn om het te ‘voelen’, te kijken en erachter te komen. Ze namen ook een aantal meer specifieke zaken mee, bijvoorbeeld gegevensherstel van beschadigde banden. Sommige met hints, maar de meeste teams deden het op eigen houtje.

Of het was nodig om de magie van snelle scripts te gebruiken - we hadden bijvoorbeeld een verhaal dat een "logische bom" een archief met meerdere volumes in willekeurige mappen langs de boom "scheurde", en het was noodzakelijk om de gegevens te verzamelen. U kunt dit handmatig doen: zoek en kopieer [bestanden] één voor één, of u kunt een script schrijven met behulp van een masker.

Over het algemeen probeerden we vast te houden aan het standpunt dat één probleem op verschillende manieren kan worden opgelost. Als u bijvoorbeeld wat meer ervaring heeft of in de war wilt raken, dan kunt u het sneller oplossen, maar er is een directe manier om het direct op te lossen - maar tegelijkertijd zult u meer tijd aan het probleem besteden. Dat wil zeggen dat bijna elke taak verschillende oplossingen had, en het was interessant welke paden de teams zouden kiezen. De niet-lineariteit zat dus juist in de keuze van de oplossingsoptie.

Trouwens, het Linux-probleem bleek het moeilijkste: slechts één team loste het onafhankelijk op, zonder enige hints.

- Kunt u tips geven? Als in een echte zoektocht??

— Ja, het was mogelijk om het te nemen, omdat we begrepen dat mensen verschillend zijn, en degenen die enige kennis missen, in hetzelfde team konden komen, dus om de passage niet te vertragen en de concurrentiebelangen niet te verliezen, hebben we besloten dat we zou tips geven. Om dit te doen, werd elk team geobserveerd door een persoon van de organisatoren. We hebben ervoor gezorgd dat niemand vals speelde.

Over de sterren

— Waren er prijzen voor de winnaars?

— Ja, we hebben geprobeerd de meest aangename prijzen te maken voor zowel alle deelnemers als de winnaars: de winnaars ontvingen designer sweatshirts met het Veeam-logo en een zin gecodeerd in hexadecimale code, zwart). Alle deelnemers ontvingen een Guy Fawkes-masker en een tas met merklogo en dezelfde code.

- Dat wil zeggen, alles was zoals bij een echte zoektocht!

‘Nou, we wilden iets cools en volwassens doen, en ik denk dat dat gelukt is.’

- Dit is waar! Wat was de uiteindelijke reactie van degenen die aan deze zoektocht deelnamen? Heb je je doel bereikt?

- Ja, velen kwamen later naar voren en zeiden dat ze duidelijk hun zwakke punten zagen en deze wilden verbeteren. Iemand was niet meer bang voor bepaalde technologieën - bijvoorbeeld door blokken van tapes te dumpen en daar iets te pakken te krijgen... Iemand besefte dat hij Linux moest verbeteren, enzovoort. We hebben geprobeerd een vrij breed scala aan taken te geven, maar niet geheel triviale taken.

Het winnende team

“Wie wil, zal het bereiken!”

— Heeft het veel inspanning gekost van degenen die de zoektocht hebben voorbereid?

- Eigenlijk wel. Maar dit was hoogstwaarschijnlijk te wijten aan het feit dat we geen ervaring hadden met het voorbereiden van dergelijke speurtochten, dit soort infrastructuur. (Laten we een voorbehoud maken: dit is niet onze echte infrastructuur - het was gewoon bedoeld om enkele spelfuncties uit te voeren.)

Het was voor ons een heel interessante ervaring. In eerste instantie was ik sceptisch, omdat het idee mij te cool leek, ik dacht dat het heel moeilijk te implementeren zou zijn. Maar we begonnen het te doen, we begonnen te ploegen, alles begon in brand te vliegen, en uiteindelijk slaagden we erin. En er waren zelfs vrijwel geen overlays.

In totaal hebben we 3 maanden doorgebracht. Voor het grootste deel hebben we een concept bedacht en besproken wat we konden implementeren. Tijdens het proces veranderden er natuurlijk een aantal dingen, omdat we beseften dat we niet over de technische mogelijkheden beschikten om iets te doen. Onderweg moesten we iets opnieuw doen, maar op zo'n manier dat de hele schets, geschiedenis en logica niet braken. We probeerden niet alleen een lijst met technische taken te geven, maar deze ook in het verhaal te laten passen, zodat het samenhangend en logisch was. Het belangrijkste werk vond de afgelopen maand plaats, dat wil zeggen 3-4 weken vóór dag X.

— Dus je hebt naast je hoofdactiviteit tijd vrijgemaakt voor voorbereiding?

— We deden dit parallel met ons hoofdwerk, ja.

- Wordt u gevraagd dit opnieuw te doen?

- Ja, we hebben veel verzoeken om te herhalen.

- Jij ook?

- We hebben nieuwe ideeën, nieuwe concepten, we willen meer mensen aantrekken en dit in de loop van de tijd uitbreiden - zowel het selectieproces als het spelproces zelf. Over het algemeen zijn we geïnspireerd door het "Cicada" -project, je kunt het googlen - het is een heel cool IT-onderwerp, mensen van over de hele wereld verenigen zich daar, ze starten discussies op Reddit, op forums, ze gebruiken codevertalingen, lossen raadsels op , en dat alles.

— Het idee was geweldig, alleen maar respect voor het idee en de uitvoering, want het is echt veel waard. Ik wens oprecht dat je deze inspiratie niet verliest en dat al je nieuwe projecten ook succesvol zijn. Bedankt!

— Ja, kun je een voorbeeld bekijken van een taak die je zeker niet opnieuw gaat gebruiken?

‘Ik vermoed dat we ze niet zullen hergebruiken.’ Daarom kan ik je vertellen over de voortgang van de hele zoektocht.

BonustrackHelemaal aan het begin hebben spelers de naam van de virtuele machine en inloggegevens van vCenter. Nadat ze zich hebben aangemeld, zien ze deze machine, maar deze start niet. Hier moet je raden dat er iets mis is met het .vmx-bestand. Zodra ze het hebben gedownload, zien ze de prompt die nodig is voor de tweede stap. In wezen staat er dat de database die door Veeam Backup & Replication wordt gebruikt, gecodeerd is.
Nadat ze de prompt hebben verwijderd, het .vmx-bestand terug hebben gedownload en de machine succesvol hebben aangezet, zien ze dat een van de schijven feitelijk een met base64 gecodeerde database bevat. Het is dus de taak om het te decoderen en een volledig functionele Veeam-server te krijgen.

Iets over de virtuele machine waarop dit allemaal gebeurt. Zoals we ons herinneren, is de hoofdpersoon van de zoektocht volgens de plot een nogal duister persoon en doet hij iets dat duidelijk niet erg legaal is. Daarom zou zijn werkcomputer een volledig hackerachtig uiterlijk moeten hebben, wat we moesten creëren, ondanks het feit dat het Windows is. Het eerste dat we deden was veel rekwisieten toevoegen, zoals informatie over grote hacks, DDoS-aanvallen en dergelijke. Vervolgens installeerden ze alle typische software en plaatsten ze overal verschillende dumps, bestanden met hashes, enz.. Alles is zoals in de films. Er waren onder andere mappen met de naam closed-case*** en open-case***
Om verder te komen, moeten spelers hints uit back-upbestanden herstellen.

Hier moet gezegd worden dat de spelers in het begin behoorlijk wat informatie kregen, en dat ze de meeste gegevens (zoals IP, logins en wachtwoorden) tijdens de zoektocht ontvingen, waarbij ze aanwijzingen vonden in back-ups of bestanden verspreid over machines . Aanvankelijk bevinden de back-upbestanden zich in de Linux-repository, maar de map zelf op de server is aangekoppeld met de vlag noexec, zodat de agent die verantwoordelijk is voor het bestandsherstel niet kan starten.

Door de repository te repareren krijgen deelnemers toegang tot alle inhoud en kunnen ze eindelijk alle informatie herstellen. Het blijft om te begrijpen welke het is. En om dit te doen, hoeven ze alleen maar de bestanden te bestuderen die op deze machine zijn opgeslagen, te bepalen welke ervan "kapot" zijn en wat er precies moet worden hersteld.

Op dit punt verschuift het scenario van algemene IT-kennis naar Veeam-specifieke functies.

In dit specifieke voorbeeld (als u de bestandsnaam kent, maar niet weet waar u deze moet zoeken), moet u de zoekfunctie in Enterprise Manager gebruiken, enzovoort. Als gevolg hiervan hebben de spelers, na het herstellen van de gehele logische keten, een nieuwe login/wachtwoord en nmap-uitvoer. Dit brengt ze naar de Windows Core-server en via RDP (zodat het leven niet als honing lijkt).

Het belangrijkste kenmerk van deze server: met behulp van een eenvoudig script en verschillende woordenboeken werd een absoluut betekenisloze structuur van mappen en bestanden gevormd. En wanneer u inlogt, ontvangt u een welkomstbericht in de trant van: "Hier is een logische bom ontploft, dus u zult de aanwijzingen voor verdere stappen moeten samenstellen."

De volgende aanwijzing werd verdeeld in een archief met meerdere volumes (40-50 stuks) en willekeurig verdeeld over deze mappen. Ons idee was dat spelers hun talenten moesten laten zien in het schrijven van eenvoudige PowerShell-scripts om met behulp van een bekend masker een archief met meerdere volumes samen te stellen en de vereiste gegevens te verkrijgen. (Maar het bleek zoals in die grap: sommige proefpersonen bleken fysiek ongewoon ontwikkeld te zijn.)

Het archief bevatte een foto van een cassette (met het opschrift "Last Supper - Best Moments"), die een hint gaf van het gebruik van een aangesloten bandenbibliotheek, die een cassette met een vergelijkbare naam bevatte. Er was slechts één probleem: het bleek zo onbruikbaar dat het niet eens werd gecatalogiseerd. Dit is waar waarschijnlijk het meest hardcore deel van de zoektocht begon. We hebben de header van de cassette gewist, dus om gegevens ervan te herstellen hoeft u alleen maar de "onbewerkte" blokken te dumpen en ze in een hex-editor te bekijken om startmarkeringen voor bestanden te vinden.
We vinden de markering, kijken naar de offset, vermenigvuldigen het blok met zijn grootte, voegen de offset toe en proberen met behulp van de interne tool het bestand van een specifiek blok te herstellen. Als alles correct is gedaan en de wiskunde het eens is, hebben de spelers een .wav-bestand in hun handen.

Daarin wordt onder meer met behulp van een stemgenerator een binaire code gedicteerd, die wordt uitgebreid naar een ander IP-adres.

Dit blijkt een nieuwe Windows-server te zijn, waar alles wijst op de noodzaak om Wireshark te gebruiken, maar die is er niet. De belangrijkste truc is dat er twee systemen op deze machine zijn geïnstalleerd: alleen de schijf van de tweede wordt offline losgekoppeld via Apparaatbeheer, en de logische keten leidt tot de noodzaak om opnieuw op te starten. Dan blijkt dat standaard een heel ander systeem, waarop Wireshark is geïnstalleerd, zou moeten opstarten. En al die tijd zaten we op het secundaire besturingssysteem.

U hoeft hier niets speciaals te doen, schakel gewoon opname in op één enkele interface. Een relatief nauwkeurig onderzoek van de dump onthult een duidelijk linkshandig pakket dat met regelmatige tussenpozen vanaf de hulpmachine wordt verzonden en dat een link bevat naar een YouTube-video waarin spelers wordt gevraagd een bepaald nummer te bellen. De eerste beller krijgt een felicitatie met de eerste plaats, de rest ontvangt een uitnodiging voor HR (grapje)).

Overigens zijn wij geopend vacatures voor technische ondersteuningsingenieurs en stagiairs. Welkom bij het team!

Bron: www.habr.com