I vinter, eller snarare, en av dagarna mellan katolsk jul och nyår, var Veeams tekniska supportingenjörer upptagna med ovanliga uppgifter: de letade efter en grupp hackare som heter "Veeamonymous".

Han berättade hur killarna själva kom på och genomförde ett verkligt uppdrag på sitt arbete, med uppgifter "nära strid" Kirill Stetsko, Eskaleringsingenjör.

- Varför började du ens med det här?

– Ungefär på samma sätt som folk kom på Linux en gång – bara för skojs skull, för sitt eget nöjes skull.

Vi ville ha rörelse, och samtidigt ville vi göra något användbart, något intressant. Dessutom var det nödvändigt att ge ingenjörerna känslomässig lättnad från deras vardagliga arbete.

- Vem föreslog detta? Vems idé var det?

— Tanken var vår chef Katya Egorova, och sedan föddes konceptet och alla vidare idéer genom gemensamma ansträngningar. Från början tänkte vi göra ett hackathon. Men under utvecklingen av konceptet växte idén till ett uppdrag, trots allt är en teknisk supportingenjör en annan typ av aktivitet än programmering.

Så vi ringde vänner, kamrater, bekanta, olika människor hjälpte oss med konceptet - en person från T2 (den andra linjen av stöd är redaktörens anteckning), en person med T3, ett par personer från SWAT-teamet (snabbinsatsteam för särskilt brådskande fall - redaktörens anteckning). Vi samlades alla, satte oss ner och försökte komma på uppgifter för vårt uppdrag.

— Det var väldigt oväntat att få veta allt detta, för så vitt jag vet är uppdragsmekanik vanligtvis utarbetad av specialiserade manusförfattare, det vill säga att du inte bara ägnade dig åt en så komplex sak, utan också i relation till ditt arbete , till ditt professionella verksamhetsområde.

— Ja, vi ville göra det inte bara till underhållning, utan att "pumpa upp" ingenjörernas tekniska kompetens. En av uppgifterna på vår avdelning är utbyte av kunskap och utbildning, men ett sådant uppdrag är ett utmärkt tillfälle att låta människor "röra" några nya tekniker för dem live.

– Hur kom du på uppgifter?

– Vi hade en brainstorming. Vi hade en förståelse för att vi var tvungna att göra några tekniska tester, och sådana att de skulle vara intressanta och samtidigt ge ny kunskap.
Till exempel tänkte vi att folk borde försöka sniffa trafik, använda hex-redigerare, göra något för Linux, lite djupare saker relaterade till våra produkter (Veeam Backup & Replication och andra).

Konceptet var också en viktig del. Vi bestämde oss för att bygga på temat hackare, anonym åtkomst och en atmosfär av sekretess. Guy Fawkes-masken gjordes till en symbol, och namnet kom naturligt - Veeamonymous.

"I början var ordet"

För att väcka intresset bestämde vi oss för att organisera en PR-kampanj med uppdragstema innan evenemanget: vi hängde upp affischer med tillkännagivandet runt vårt kontor. Och några dagar senare, i hemlighet från alla, målade de dem med sprayburkar och startade en "anka", de säger att några angripare förstörde affischerna, de bifogade till och med ett foto med ett bevis...

– Så du gjorde det själv, alltså arrangörsteamet?!

— Ja, i fredags, ungefär vid 9-tiden, när alla redan hade åkt, gick vi och ritade bokstaven "V" i grönt från ballonger.) Många deltagare i uppdraget gissade aldrig vem som gjorde det - folk kom fram till oss och frågade vem som förstörde affischerna? Någon tog den här frågan på största allvar och genomförde en hel utredning om detta ämne.

För uppdraget skrev vi också ljudfiler, "rippade ut" ljud: till exempel när en ingenjör loggar in på vårt [produktions-CRM]-system finns det en svarsrobot som säger alla möjliga fraser, siffror... Här är vi av de orden som han har spelat in, komponerat mer eller mindre meningsfulla fraser, ja, kanske lite snett - till exempel fick vi "No friends to help you" i en ljudfil.

Till exempel representerade vi IP-adressen i binär kod, och igen, med hjälp av dessa siffror [uttalade av roboten], lade vi till alla möjliga skrämmande ljud. Vi filmade själva videon: i videon har vi en man som sitter i en svart huva och bär en Guy Fawkes-mask, men i verkligheten finns det inte en person, utan tre, eftersom två står bakom honom och håller en "bakgrund" gjord av en filt :).

– Tja, du är förvirrad, rent ut sagt.

– Ja, vi fattade eld. I allmänhet kom vi först med våra tekniska specifikationer och komponerade sedan en litterär och lekfull beskrivning av vad som påstås ha hänt. Enligt scenariot jagade deltagarna en grupp hackare som heter "Veeamonymous". Tanken var också att vi liksom skulle ”bryta den 4:e väggen”, det vill säga vi skulle överföra händelser till verklighet – vi målade till exempel från en sprayburk.

En av de engelska som modersmål från vår avdelning hjälpte oss med den litterära bearbetningen av texten.

- Vänta, varför en modersmålstalare? Gjorde du allt på engelska också?!

— Ja, vi gjorde det för kontoren i St. Petersburg och Bukarest, så allt var på engelska.

För den första upplevelsen försökte vi få allt att fungera, så manuset var linjärt och ganska enkelt. Vi lade till fler omgivningar: hemliga texter, koder, bilder.

Vi använde också memes: det fanns ett gäng bilder om undersökningar, UFO:n, några populära skräckhistorier - vissa lag distraherades av detta, försökte hitta några dolda meddelanden där, tillämpa sina kunskaper om steganografi och andra saker... men det var såklart inget sådant.

Om taggar

Men under förberedelseprocessen mötte vi också oväntade utmaningar.

Vi kämpade mycket med dem och löste alla möjliga oväntade problem, och ungefär en vecka innan uppdraget trodde vi att allt var förlorat.

Det är nog värt att berätta lite om den tekniska grunden för uppdraget.

Allt gjordes i vårt interna ESXi-labb. Vi hade 6 lag, vilket innebär att vi var tvungna att tilldela 6 resurspooler. Så för varje team distribuerade vi en separat pool med nödvändiga virtuella maskiner (samma IP). Men eftersom allt detta fanns på servrar som finns på samma nätverk, tillät den nuvarande konfigurationen av våra VLAN oss inte att isolera maskiner i olika pooler. Och till exempel under en testkörning fick vi situationer där en maskin från en pool kopplades till en maskin från en annan.

– Hur kunde du rätta till situationen?

— Först tänkte vi länge, testade alla möjliga alternativ med behörigheter, separata vLAN för maskiner. Som ett resultat gjorde de detta - varje team ser bara Veeam Backup-servern, genom vilken allt vidare arbete sker, men ser inte den dolda underpoolen, som innehåller:

• flera Windows-maskiner
• Windows kärnserver
• Linux-maskin
• para VTL (Virtual Tape Library)

Alla pooler tilldelas en separat grupp av portar på vDS-switchen och ett eget privat VLAN. Denna dubbla isolering är precis vad som behövs för att helt eliminera möjligheten till nätverksinteraktion.

Om de modiga

— Kan någon delta i uppdraget? Hur bildades lagen?

— Det här var vår första erfarenhet av att hålla ett sådant evenemang, och kapaciteten i vårt laboratorium var begränsad till 6 team.

Först, som jag redan sa, genomförde vi en PR-kampanj: med affischer och utskick meddelade vi att ett uppdrag skulle hållas. Vi hade till och med några ledtrådar - fraser krypterades i binär kod på själva affischerna. På så sätt fick vi folk intresserade, och folk har redan träffat överenskommelser sinsemellan, med vänner, med vänner och samarbetat. Som ett resultat var det fler som svarade än vad vi hade pooler, så vi var tvungna att göra ett urval: vi kom på en enkel testuppgift och skickade den till alla som svarade. Det var ett logiskt problem som måste lösas snabbt.

Ett lag fick upp till 5 personer. Det behövdes ingen kapten, tanken var samarbete, kommunikation med varandra. Någon är stark, till exempel i Linux, någon är stark på band (backuper till band), och alla som ser uppgiften skulle kunna investera sina ansträngningar i den övergripande lösningen. Alla kommunicerade med varandra och hittade en lösning.

– När började den här händelsen? Hade du någon form av "timme X"?

— Ja, vi hade en strikt bestämd dag, vi valde den så att det blev mindre arbetsbelastning på avdelningen. Naturligtvis informerades teamledarna i förväg om att sådana och sådana lag var inbjudna att delta i uppdraget, och de behövde få lite lättnad [angående lastning] den dagen. Det såg ut att bli årets slut, den 28 december, fredag. Vi förväntade oss att det skulle ta cirka 5 timmar, men alla lag klarade det snabbare.

— Var alla lika, hade alla samma uppgifter utifrån verkliga fall?

— Tja, ja, var och en av kompilatorerna tog några berättelser från personlig erfarenhet. Vi visste om något att detta kunde hända i verkligheten, och det skulle vara intressant för en person att "känna" det, titta och räkna ut det. De tog också några mer specifika saker – till exempel dataåterställning från skadade band. Några med tips, men de flesta av lagen gjorde det på egen hand.

Eller så var det nödvändigt att använda magin med snabba skript - till exempel hade vi en historia om att någon "logisk bomb" "riv" ett arkiv med flera volymer i slumpmässiga mappar längs trädet, och det var nödvändigt att samla in data. Du kan göra detta manuellt - hitta och kopiera [filer] en efter en, eller så kan du skriva ett skript med en mask.

Generellt försökte vi hålla fast vid synpunkten att ett problem kan lösas på olika sätt. Om du till exempel är lite mer erfaren eller vill bli förvirrad så kan du lösa det snabbare, men det finns ett direkt sätt att lösa det direkt – men samtidigt kommer du att lägga mer tid på problemet. Det vill säga att nästan varje uppgift hade flera lösningar, och det var intressant vilka vägar teamen skulle välja. Så olinjäriteten låg just i valet av lösningsalternativ.

Förresten, Linux-problemet visade sig vara det svåraste - bara ett team löste det självständigt, utan några tips.

– Kan du ta tips? Som i en riktig quest??

— Ja, det gick att ta det, för vi förstod att människor är olika, och de som saknar lite kunskap kunde komma in i samma lag, så för att inte försena passagen och inte tappa konkurrensintresset bestämde vi att vi skulle tipsa. För att göra detta observerades varje lag av en person från arrangörerna. Nåväl, vi såg till att ingen fuskade.

Om stjärnorna

— Fanns det priser till vinnarna?

— Ja, vi försökte göra de trevligaste priserna för både alla deltagare och vinnarna: vinnarna fick designertröjor med Veeam-logotypen och en fras krypterad i hexadecimal kod, svart). Alla deltagare fick en Guy Fawkes-mask och en märkesväska med logga och samma kod.

– Det vill säga, allt var som i en riktig quest!

"Tja, vi ville göra en cool, vuxen grej, och jag tror att vi lyckades."

- Detta är sant! Vad var den slutliga reaktionen från de som deltog i detta uppdrag? Har du uppnått ditt mål?

– Ja, många kom fram senare och sa att de tydligt såg sina svagheter och ville förbättra dem. Någon slutade vara rädd för vissa teknologier - till exempel att dumpa block från band och försöka få tag i något där... Någon insåg att han behövde förbättra Linux, och så vidare. Vi försökte ge ett ganska brett utbud av uppgifter, men inte helt triviala sådana.

Det vinnande laget

"Den som vill, kommer att uppnå det!"

— Krävde det mycket ansträngning från dem som förberedde uppdraget?

– Ja faktiskt. Men detta berodde troligen på det faktum att vi inte hade någon erfarenhet av att förbereda sådana uppdrag, den här typen av infrastruktur. (Låt oss reservera att detta inte är vår riktiga infrastruktur - det var helt enkelt tänkt att utföra vissa spelfunktioner.)

Det var en mycket intressant upplevelse för oss. Först var jag skeptisk, eftersom idén verkade för cool för mig, trodde jag att den skulle vara väldigt svår att genomföra. Men vi började göra det, vi började plöja, allt började brinna och till slut lyckades vi. Och det fanns till och med praktiskt taget inga överlägg.

Totalt spenderade vi 3 månader. För det mesta kom vi på ett koncept och diskuterade vad vi kunde implementera. Under processen förändrades naturligtvis vissa saker, eftersom vi insåg att vi inte hade den tekniska förmågan att göra något. Vi fick göra om något på vägen, men på ett sådant sätt att hela konturen, historien och logiken inte gick sönder. Vi försökte inte bara ge en lista över tekniska uppgifter, utan att få den att passa in i berättelsen, så att den var sammanhängande och logisk. Huvudarbetet pågick den senaste månaden, det vill säga 3-4 veckor före dag X.

— Så, förutom din huvudsakliga verksamhet, avsatte du tid för förberedelser?

— Vi gjorde det här parallellt med vårt huvudarbete, ja.

- Är du ombedd att göra det här igen?

– Ja, vi har många förfrågningar att upprepa.

- Och du?

– Vi har nya idéer, nya koncept, vi vill locka fler människor och sträcka ut det över tid – både urvalsprocessen och själva spelprocessen. I allmänhet är vi inspirerade av "Cicada"-projektet, du kan googla det - det är ett väldigt coolt IT-ämne, människor från hela världen förenas där, de startar trådar på Reddit, på forum, de använder kodöversättningar, löser gåtor , och allt det.

— Idén var jättebra, bara respekt för idén och genomförandet, för det är verkligen värt mycket. Jag önskar uppriktigt att du inte tappar denna inspiration och att alla dina nya projekt också blir framgångsrika. Tack!

— Ja, kan du titta på ett exempel på en uppgift som du definitivt inte kommer att återanvända?

"Jag misstänker att vi inte kommer att återanvända någon av dem." Därför kan jag berätta om framstegen för hela uppdraget.

Bonus spårI början har spelare namnet på den virtuella maskinen och inloggningsuppgifter från vCenter. Efter att ha loggat in på den ser de den här maskinen, men den startar inte. Här måste du gissa att något är fel med .vmx-filen. När de har laddat ner den ser de uppmaningen de behöver för det andra steget. I huvudsak står det att databasen som används av Veeam Backup & Replication är krypterad.
Efter att ha tagit bort prompten, laddat ner .vmx-filen tillbaka och framgångsrikt slagit på maskinen ser de att en av diskarna faktiskt innehåller en base64-krypterad databas. Följaktligen är uppgiften att dekryptera den och få en fullt fungerande Veeam-server.

Lite om den virtuella maskinen på vilken allt detta händer. Som vi minns, enligt handlingen, är huvudpersonen i uppdraget en ganska mörk person och gör något som uppenbarligen inte är särskilt lagligt. Därför ska hans arbetsdator ha ett helt hackerliknande utseende, vilket vi var tvungna att skapa, trots att det är Windows. Det första vi gjorde var att lägga till en massa rekvisita, som information om stora hack, DDoS-attacker och liknande. Sedan installerade de all typisk mjukvara och placerade olika dumpar, filer med hash etc. överallt. Allt är som i filmerna. Det fanns bland annat mappar med namnet closed-case*** och open-case***
För att komma vidare måste spelarna återställa tips från säkerhetskopior.

Här måste det sägas att spelarna till en början fick en hel del information, och de fick det mesta av data (som IP, inloggningar och lösenord) under uppdragets gång, för att hitta ledtrådar i säkerhetskopior eller filer utspridda på maskiner . Inledningsvis finns säkerhetskopieringsfilerna på Linux-förvaret, men själva mappen på servern är monterad med flaggan noexec, så agenten som ansvarar för filåterställning kan inte starta.

Genom att fixa arkivet får deltagarna tillgång till allt innehåll och kan slutligen återställa all information. Det återstår att förstå vilken det är. Och för att göra detta behöver de bara studera filerna som är lagrade på den här maskinen, bestämma vilka av dem som är "trasiga" och exakt vad som behöver återställas.

Vid denna tidpunkt förskjuts scenariot från allmän IT-kunskap till Veeam-specifika funktioner.

I det här specifika exemplet (när du känner till filnamnet, men inte vet var du ska leta efter det), måste du använda sökfunktionen i Enterprise Manager, och så vidare. Som ett resultat, efter att ha återställt hela den logiska kedjan, har spelarna en annan inloggning/lösenord och nmap-utgång. Detta tar dem till Windows Core-servern och via RDP (så att livet inte ser ut som honung).

Huvudfunktionen hos denna server: med hjälp av ett enkelt skript och flera ordböcker bildades en absolut meningslös struktur av mappar och filer. Och när du loggar in får du ett välkomstmeddelande som "En logisk bomb har exploderat här, så du måste pussla ihop ledtrådarna för ytterligare steg."

Följande ledtråd delades upp i ett arkiv med flera volymer (40-50 stycken) och fördelades slumpmässigt bland dessa mappar. Vår idé var att spelare skulle visa sina talanger i att skriva enkla PowerShell-skript för att sätta ihop ett arkiv med flera volymer med hjälp av en välkänd mask och få den data som krävs. (Men det blev som i det skämtet - några av ämnena visade sig vara ovanligt fysiskt utvecklade.)

Arkivet innehöll ett foto av en kassett (med inskriptionen "Last Supper - Best Moments"), vilket gav en fingervisning om användningen av ett anslutet bandbibliotek, som innehöll en kassett med liknande namn. Det fanns bara ett problem - det visade sig vara så inoperabelt att det inte ens var katalogiserat. Det var här förmodligen den mest hardcore delen av uppdraget började. Vi raderade rubriken från kassetten, så för att återställa data från den behöver du bara dumpa de "råa" blocken och titta igenom dem i en hex-redigerare för att hitta filstartmarkörer.
Vi hittar markören, tittar på offseten, multiplicerar blocket med dess storlek, lägger till offseten och försöker återställa filen från ett specifikt block med hjälp av det interna verktyget. Om allt är korrekt gjort och matematiken överensstämmer, kommer spelarna att ha en .wav-fil i sina händer.

I den, med hjälp av en röstgenerator, dikteras bland annat en binär kod, som utökas till en annan IP.

Det visar sig att det här är en ny Windows-server, där allt tyder på behovet av att använda Wireshark, men den finns inte där. Huvudtricket är att det finns två system installerade på den här maskinen - bara disken från den andra kopplas bort via enhetshanteraren offline, och den logiska kedjan leder till behovet av att starta om. Sedan visar det sig att som standard bör ett helt annat system, där Wireshark är installerat, starta. Och hela den här tiden var vi på det sekundära operativsystemet.

Det finns inget behov av att göra något speciellt här, bara aktivera infångning på ett enda gränssnitt. En relativt noggrann granskning av dumpningen avslöjar ett tydligt vänsterhänt paket som skickas från hjälpmaskinen med jämna mellanrum, som innehåller en länk till en YouTube-video där spelare uppmanas att ringa ett visst nummer. Den första som ringer kommer att höra gratulationer till förstaplatsen, resten kommer att få en inbjudan till HR (skämt)).

Förresten, vi har öppet vakanser för tekniska supportingenjörer och praktikanter. Välkommen till laget!

Källa: will.com