Denna vinter, eller snarare en dag mellan den katolska julen och det nya året, var Veeams tekniska supportingenjörer sysselsatta med något ovanligt: de letade efter en grupp hackare kallad "Veeamonymous".

Hur de själva kom på idén och genomförde en verklig quest på jobbet, med uppgifter som "liknar stridssituationer", berättade Kyryl Stetsko, Escalation Engineer.

— Varför gjorde ni detta överhuvudtaget?

— Ungefär som människor en gång kom på Linux – just for fun, för sitt eget nöje.

Vi ville ha aktivitet, och samtidigt ville vi göra något nyttigt, något intressant. Dessutom ville vi ge ingenjörerna en viss emotionell avlastning från deras vardagliga arbete.

— Vem föreslog detta? Vems idé var det?

— Idén kom från vår chef Katja Egorova, och sedan föddes konceptet och alla vidare idéer genom gemensamma ansträngningar. Vi tänkte ursprungligen göra en hackathon. Men under utvecklingen av konceptet växte idén till en quest, eftersom teknisk support är en annan typ av verksamhet än programmering.

Så vi bjöd in vänner och bekanta, olika personer hjälpte oss med konceptet – en person från T2 (andra nivåns support — red. anm.), en person från T3, några personer från SWAT-teamet (snabbrespons-teamet för särskilt akuta ärenden — red. anm.). Vi samlades alla, satte oss ner och försökte komma på uppgifter för vår quest.

— Det var väldigt oväntat att få veta allt detta, eftersom såvitt jag vet brukar speciella manusförfattare arbeta fram quest-mekanik, det vill säga ni gjorde inte bara något komplicerat, utan även tillämpat det på ert arbete, inom ert professionella område.

— Ja, vi ville inte bara göra en underhållning, utan "utveckla" ingenjörernas tekniska färdigheter. En av uppgifterna i vår avdelning är kunskapsutbyte och utbildning, och en sådan quest är en utmärkt möjlighet att låta folk "pröva" vissa nya tekniker i verkligheten.

— Hur kom ni på uppgifterna?

— Vi hade en brainstorming. Vi hade en förståelse för att vi skulle skapa vissa tekniska prövningar, och de skulle vara intressanta och samtidigt ge ny kunskap.
Till exempel tänkte vi att folk skulle få prova på att sniffa trafik, använda hex-redigerare, göra något för Linux, några lite mer djupgående saker kopplade till våra produkter (Veeam Backup & Replication och andra).

En viktig del var också konceptet. Vi beslöt att utgå från temat hackare, anonym åtkomst och en atmosfär av hemlighet. Vårt symbol blev Guy Fawkes-masken, och namnet kom helt naturligt - Veeamonymous.

I början var det ordet.

För att öka intresset beslutade vi att innan evenemanget köra en PR-kampanj i temat av ett äventyr: vi satte upp affischer med en reklam i vårt kontor. Några dagar senare, i hemlighet för alla, ritade vi över dem med sprayfärger och skapade ett rykte om att vissa brottslingar förstört affischerna, vi bifogade till och med ett foto som bevis....

- Så det var ni själva som gjorde det, alltså teamet av arrangörer?!

- Ja, på fredag vid nio, när alla redan hade gått, gick vi och målade bokstaven „V” med grön färg med sprayburkar.) Många deltagare i äventyret listade aldrig ut vem som hade gjort detta - folk gick fram till oss och frågade vem som förstört affischerna? Någon tog det här frågan mycket seriöst och genomförde en hel utredning om det.

För äventyret skrev vi och ljudfiler, „plockade” ljud: till exempel, när ingenjören loggar in i vårt [produktions-CRM] system, finns det en robot-automatsvarare som säger olika fraser, siffror... Vi använde de ord som den har inspelade för att skapa mer eller mindre meningsfulla fraser, kanske lite snedvridna – till exempel lyckades vi få "No friends to help you" i ljudfilen.

IP-adressen, till exempel, presenterade vi i binär kod, återigen med hjälp av dessa siffror [uttalande av roboten], och vi lade till olika skrämmande ljud. Vi filmade själva: i videon sitter en person i en svart hoodie och med Guy Fawkes-masken, men egentligen är det inte bara en person, utan tre, eftersom två står bakom och håller "bakgrunden" av en filt:).

- Ni har verkligen lagt ner tid och energi på det, säger jag.

— Ja, vi blev entusiastiska. Vi började med att skapa våra tekniska specifikationer och sedan skrev vi en litterär-spelkanvas om vad som påstås ha hänt. Enligt manuset jagade deltagarna en grupp hackare kallad "Veeamonymous". Idén var också att vi på något sätt skulle "bryta den fjärde väggen", det vill säga föra händelserna in i verkligheten – vi ritade till exempel från sprayburkar.

En av våra engelsktalande kollegor hjälpte oss med den litterära bearbetningen av texten.

— Vänta, varför en engelsktalande? Gjorde ni allt även på engelska?!

— Ja, vi genomförde det för våra kontor i Sankt Petersburg och Bukarest, så allt var på engelska.

För vår första erfarenhet försökte vi få allt att fungera enkelt, så manuset var linjärt och ganska enkelt. Vi lade till en hel del miljö: hemliga texter, koder, bilder.

Vi använde även memes: det var en massa bilder med teman kring undersökningar, UFO:n, vissa populära skräckhistorier – vissa lag avleddes till och med av detta, de försökte hitta dolda meddelanden där och tillämpa sina kunskaper i steganografi och annat… men, självklart, fanns det ingenting sådant där.

Om törnorna

Men under förberedelserna stötte vi på oväntade uppgifter, även för oss själva.

Vi kämpade mycket med dem och löste olika oväntade frågor, och någon vecka före questen tänkte vi faktiskt att allt var förlorat.

Det kanske är värt att berätta lite om den tekniska grunden för questen.

Allt gjordes på vårt interna ESXi-labb. Vi hade 6 lag, vilket innebar att vi behövde tilldela 6 resurspooler. Så för varje lag skapade vi en separat pool med nödvändiga virtuella maskiner (samma IP). Men eftersom allt detta låg på servrar som är i samma nätverk, tillät den aktuella konfigurationen av våra VLAN:er inte att isolera maskiner i olika pooler. Så under den testkörning vi gjorde fick vi till exempel situationer där en maskin från en pool kopplade upp sig mot en maskin från en annan.

— Hur kunde ni lösa situationen?

— Först funderade vi länge, testade olika alternativ med behörigheter och separata VLAN för maskiner. Till slut gjorde vi så här – varje lag ser bara Veeam Backup-servern, genom vilken allt fortsatt arbete sker, men ser inte den dolda underpoolen där ligger:

• flera Windows-maskiner
• Windows core-server
• maskin med Linux
• par VTL (Virtual Tape Library)

Varje pool tilldelades en separat grupp portar på vDS-switch och sin egen Private VLAN. Denna dubbla isolering är just vad som behövs för att helt utesluta möjligheten för nätverksinteraktion.

Om de modiga

— Kunde vem som helst delta i questet? Hur bildades teamen?

— Det var vår första erfarenhet av att genomföra ett sådant evenemang, och våra labbmöjligheter var begränsade till 6 team.

Först genomförde vi, som jag redan nämnt, en PR-kampanj: genom att använda affischer och utskick meddelade vi att ett quest skulle hållas. Vi hade till och med några ledtrådar – på affischerna var fraser krypterade i binär kod. På så sätt intresserade vi folk, och de började själva förhandla med vänner och bekanta för att samarbeta. I slutändan var det fler som ville delta än vi hade pooler, så vi var tvungna att göra ett urval: vi kom på en enkel testuppgift och skickade ut den till alla som svarade. Det var en logisk uppgift som skulle lösas snabbt.

I teamet fick det vara upp till 5 personer. En kapten behövdes inte, idén var samarbete, kommunikation mellan varandra. Någon är duktig, låt oss säga, i Linux, någon annan är stark i band (backups på band), och varje person kunde bidra med sina insatser till den gemensamma lösningen när de såg uppgiften. Alla kommunicerade med varandra och hittade lösningar.

— När startade evenemanget? Hade ni något 'timme X'?

— Ja, vi hade en strikt bestämd dag, vi valde den för att det skulle vara mindre belastning i avdelningen. Naturligtvis meddelade vi i förväg teamledarna att vissa team bjuds in att delta i questet och att de behövde ge viss lättnad [gällande belastningen] den dagen. Det kom att bli slutet av året, den 28 december, fredag. Vi beräknade att det skulle ta cirka 5 timmar, men alla team klarade det snabbare.

— Var alla på lika villkor, hade alla samma uppgifter baserade på verkliga case?

— Ja, varje arrangör tog med sig historier från sin egen erfarenhet. För vissa saker visste vi att de kunde förekomma i verkligheten, och det skulle vara intressant för deltagarna att "känna på" det, se på det och förstå det. Vi tog även med några mer specifika saker — till exempel dataräddning från skadade band. Några med ledtrådar, men de flesta team klarade det själva.

— Eller så behövde man använda magin av snabba skript – till exempel hade vi en historia där en "logisk bomb" "spridit" en flermapsarkiv i slumpmässiga mappar i trädet, och vi behövde samla datan. Man kan göra det manuellt – hitta och kopiera [filer] en och en, eller så kan man skriva ett skript enligt en mall.

Vi försökte generellt hålla oss till den åsikten att en uppgift kan lösas på olika sätt. Om du är lite mer erfaren eller vill "slita på" det kan du lösa det snabbare, men det finns även en direkt väg att lösa det "rakt på" – men då kommer du att spendera mer tid på uppgiften. Så nästan varje uppgift hade flera lösningsalternativ, och det var intressant att se vilka vägar teamen valde. Så det fanns en icke-linjär aspekt i valet av lösning.

Förresten, den svåraste uppgiften var Linux-uppgiften — endast ett team klarade den själva, utan ledtrådar.

— Fick man ta emot ledtrådar? Som i ett riktigt äventyr??

— Ja, man kunde ta dem, för vi förstod att människor är olika och det kunde hamna personer i ett team som saknar vissa kunskaper, så för att inte fördröja genomförandet och för att den tävlingsinriktade spänningen inte skulle försvinna, bestämde vi att det skulle finnas ledtrådar. En av arrangörerna övervakade varje team. Och vi såg till att ingen fuskade.

Om stjärnor

— Fanns det priser för vinnarna?

— Ja, vi försökte ge så trevliga priser som möjligt både till alla deltagare och till vinnarna: vinnarna fick designade hoodies med Veeam-logotypen och en fras som var krypterad i hexadecimalkod, i svart färg). Alla deltagare fick en Guy Fawkes-mask och en företagsväska med logotypen och samma kod.

— Så allt var som i ett riktigt äventyr!

— Ja, vi ville göra något coolt och vuxet, och jag tycker att vi lyckades.

— Så är det! Vad blev reaktionen hos de som deltog i det här äventyret? Nådde ni era mål?

— Ja, många kom senare fram och sa att de verkligen såg sina svaga punkter och ville förbättra dem. Några slutade vara rädda för vissa teknologier – till exempel att dumpa block med tejp och försöka plocka upp något där... Någon insåg att de behövde förbättra sina kunskaper i Linux, och så vidare. Vi försökte ge ett tillräckligt brett spektrum av uppgifter, men inte helt triviala.

Vinnarlaget

«Den som vill, lyckas!»

— Krävde det mycket av de som förberedde äventyret?

— Ja, absolut. Men det var nog mer relaterat till att vi saknade erfarenhet av att förbereda sådana äventyr, och den här typen av infrastruktur. (Vi ska nämna att detta inte är vår verkliga infrastruktur – den skulle bara utföra vissa spelroller.)

För oss var det en mycket intressant erfarenhet. Jag var först skeptisk eftersom idén verkade för ambitiös, jag trodde att det skulle vara mycket svårt att genomföra. Men vi började arbeta, vi började bli entusiastiska, och i slutändan lyckades vi. Och det gick nästan utan problem.

Totalt spenderade vi 3 månader. Största delen handlade om att komma på konceptet, diskutera vad vi kunde genomföra. Under processen förändrades naturligtvis en del saker eftersom vi insåg att vi saknade tekniska möjligheter att göra vissa saker. Vi var tvungna att ändra vissa delar under arbetets gång, men så att hela berättelsen, logiken och ramen inte bröts. Vi försökte inte bara ge en lista med tekniska uppgifter, utan att också få det att passa in i berättelsen, så att det blev sammanhängande och logiskt. Det huvudsakliga arbetet pågick under den sista månaden, det vill säga 3-4 veckor före den stora dagen.

— Så ni avsatte tid för förberedelser utöver ert ordinarie arbete?

— Ja, vi arbetade med det parallellt med vårt huvudjobb.

— Blir ni ombedda att göra något liknande igen?

— Ja, vi har många förfrågningar om att upprepa det.

— Och vad säger ni?

– Vi har nya idéer, nya koncept, vi vill attrahera fler människor och sprida ut detta över tid – både urvalet av deltagare och själva spelprocessen. Generellt inspireras vi av projektet "Cicada", som går att googla – det är ett riktigt häftigt IT-ämne där personer från hela världen förenas, på Reddit startar trådar, på forum skrivs det om kryptor och gåtor, och allt möjligt.

– Idén var utmärkt, jag ger verkligen er respekt för idén och genomförandet, för det betyder verkligen mycket. Jag önskar uppriktigt att ni inte tappar denna inspiration, att alla era nya projekt blir lika framgångsrika. Tack!

– Ja, kan man få se ett exempel på en uppgift som ni absolut inte kommer att återanvända?

– Jag misstänker att vi inte kommer att återanvända några. Jag kan därför berätta om förloppet i hela questen.

BonusspårI början har spelarna namnet på den virtuella maskinen och inloggningarna för vCenter. När de loggar in ser de denna maskin, men den startar inte. Här måste man lista ut att något är fel med .vmx-filen. När de laddar ner den ser de en ledtråd som är nödvändig för steg två. I princip står det att databasen som används av Veeam Backup & Replication är krypterad.
Genom att ta bort ledtråden, ladda upp .vmx-filen igen och lyckas starta maskinen, ser de att en av diskarna faktiskt har en databas som är krypterad med base64. Därför är uppgiften att dekryptera den och få en fullt fungerande Veeam-server.

Lite om virtualmaskinen där allt detta sker. Som vi minns, i berättelsen är huvudpersonen i questen en ganska mörk figur och sysslar med något som uppenbarligen inte är alltför lagligt. Därför bör hans arbetsdator ha en klart hackermässig look, som vi skulle skapa trots att det är Windows. Först lades det till massor av rekvisita som information om stora hack, DDoS-attacker och liknande. Sedan installerades diverse typisk mjukvara och det ströddes ut olika dumpfiler, filer med hashkoder, osv. Allt som i en film. Bland annat fanns där mappar namngivna enligt principen closed-case*** och open-case***.
För att gå vidare måste spelarna återställa ledtrådarna från filerna i backupen.

Här behöver vi nämna att spelarna i början fick mycket lite information, och de flesta uppgifterna (som IP-adresser, inloggningar och lösenord) får de under spelets gång genom att hitta ledtrådar i backup-filer eller dokument spridda på maskinerna. Ursprungligen ligger backup-filerna på ett Linux-repository, men själva mappen är servern monterad (mounted) med flaggan noexec, därför kan personen som ansvarar för att återställa filerna inte starta.

Genom att reparera repositoryt får deltagarna tillgång till allt innehåll och kan äntligen återställa vilken information som helst. Nu återstår det att förstå exakt vilken information. För detta behöver de just studera filerna som lagras på denna maskin, avgöra vilka av dem som är "trasiga" och vad som faktiskt behöver återställas.

I detta skede svänger berättelsen från allmän IT-kunskap till specifika funktioner i Veeam.

I detta specifika exempel (när du känner till filnamnet men inte vet var du ska leta) måste man använda sökfunktionen i Enterprise Manager, och så vidare. Slutligen, efter att ha återställt hela den logiska kedjan, har spelarna ytterligare en inloggning/lösenord och en nmap-utdata. Det leder dem till Windows Core-servern, via RDP (för att inte göra livet för lätt).

Den stora grejen med denna server är: med hjälp av ett enkelt skript och några ordböcker har en helt meningslös struktur av mappar och filer skapats. Vid inloggning visas ett välkomstmeddelande av typen "Här har en logisk bomb exploderat, så ledtrådarna för dina nästa steg måste du samla bit för bit."

Den nästa ledtråden var uppdelad i en multivolymarkiv (40-50 bitar) och slumpmässigt spridd i dessa mappar. Vår avsikt var att spelarna skulle visa sina talanger i att skriva enkla PowerShell-skript för att samla det multivolymarkivet enligt en känd mall och få de efterfrågade uppgifterna. (Men det blev som i det där skämtet – en del av försökspersonerna visade sig vara extraordinärt fysiskt utvecklade.)

I arkivet låg en foto av en kassett (med texten "Last Supper — Best Moments"), vilket gav en ledtråd om användningen av den anslutna bandbiblioteket, där en kassett med ett liknande namn fanns. Men det var bara ett problem — den var så defekt att den ens inte katalogiserades. Här började förmodligen den mest hardcore delen av questet. Vi raderade titeln från kassetten, så för att återställa data från den måste man bara dumpa de "råa" blocken och granska dem i en hex-redigerare för att hitta filernas startmarkörer.
Vi hittar markören, tittar på offset, multiplicerar blocket med dess storlek, lägger till offset och försöker med hjälp av det interna verktyget återställa filen från det specifika blocket. Om allt har gjorts rätt och matematiken stämmer, kommer spelarna ha en .wav fil.

I den finns, med hjälp av en röstgenerator, förutom annat, dikterad binär kod som avslöjar en annan IP.

Det visar sig vara en ny Windows-server, där allt antyder behovet av att använda Wireshark, men det finns inte där. Huvudfokus är att det på den här maskinen finns två system — bara att disken med det andra systemet är avstängd genom enhetshanteraren offline, och den logiska kedjan leder till ett behov av omstart. Efter det visar det sig att en helt annan system normalt ska starta, där Wireshark är installerat. Och vi har hela tiden befunnit oss på det sekundära OS:et.

Här behöver man inte göra mycket, det räcker med att starta fångsten på den enda gränssnittet. Vid en relativt noggrann granskning av dumpen märks ett klart avvikande paket, som skickas från den hjälpande maskinen med jämna mellanrum, där det ligger en länk till en YouTube-video, där spelarna uppmanas att ringa ett visst nummer. Den första som ringer får höra en gratulation för första plats, och de andra en inbjudan till HR (skämt).

Förresten, vi har öppna lediga tjänster för teknisk supportingenjörer och för praktikanter. Välkommen till teamet!

Källa: habr.com