Tuto zimu, nebo spíše v jeden z dnů mezi katolickými Vánocemi a Novým rokem, byli inženýři technické podpory Veeam zaneprázdněni neobvyklými úkoly: hledali skupinu hackerů s názvem „Veeamonymous“.

Vyprávěl, jak sami kluci vymysleli a provedli skutečný úkol ve své práci, s úkoly „blízko boje“. Kirill Štětsko, Eskalační inženýr.

- Proč jsi s tím vůbec začal?

- Přibližně stejným způsobem, jakým lidé najednou přišli s Linuxem - jen pro zábavu, pro vlastní potěšení.

Chtěli jsme pohyb a zároveň jsme chtěli dělat něco užitečného, ​​zajímavého. Navíc bylo nutné dát inženýrům určitou emocionální úlevu od jejich každodenní práce.

- Kdo to navrhl? Čí to byl nápad?

— Nápadem byla naše manažerka Káťa Egorová a pak se společným úsilím zrodil koncept a všechny další nápady. Původně jsme mysleli na hackathon. Během vývoje konceptu ale nápad přerostl v hledání, inženýr technické podpory je přece jen jiný typ činnosti než programování.

Zavolali jsme tedy kamarády, kamarády, známé, s konceptem nám pomohli různí lidé - jeden člověk z T2 (druhá linie podpory je poznámka redakce), jedna osoba s T3, pár lidí z týmu SWAT (tým rychlé reakce pro zvláště naléhavé případy - poznámka redakce). Všichni jsme se sešli, posadili se a snažili se vymyslet úkoly pro naše pátrání.

— Dozvědět se o tom všem bylo velmi nečekané, protože pokud vím, mechaniku hledání obvykle zpracovávají specializovaní scénáristé, tedy nejen že jste se zabývali tak složitou věcí, ale i ve vztahu ke své práci , do vašeho profesního oboru činnosti.

— Ano, chtěli jsme z toho udělat nejen zábavu, ale „napumpovat“ technické dovednosti inženýrů. Jedním z úkolů našeho oddělení je výměna znalostí a školení, ale takový quest je výbornou příležitostí, jak si nechat lidi „osahat“ některé pro ně nové techniky naživo.

— Jak jste přišli na úkoly?

— Měli jsme brainstorming. Pochopili jsme, že musíme udělat nějaké technické testy, a to takové, aby byly zajímavé a zároveň přinesly nové poznatky.
Například jsme si mysleli, že by lidé měli zkusit sniffovat provoz, používat hex editory, dělat něco pro Linux, nějaké trochu hlubší věci související s našimi produkty (Veeam Backup & Replication a další).

Důležitou součástí byl i koncept. Rozhodli jsme se stavět na tématu hackerů, anonymního přístupu a atmosféry utajení. Z masky Guye Fawkese se stal symbol a jméno vzniklo přirozeně – Veeamonymous.

"Na počátku bylo slovo"

Abychom vzbudili zájem, rozhodli jsme se před akcí uspořádat PR kampaň na téma quest: po naší kanceláři jsme rozvěsili plakáty s oznámením. A o pár dní později je tajně ode všech natřeli spreji a spustili „kachnu“, prý někteří útočníci poničili plakáty, dokonce připojili fotku s důkazem….

- Takže jste to udělali sami, tedy tým organizátorů?!

— Ano, v pátek, asi v 9 hodin, když už všichni odešli, jsme šli a nakreslili z balónků zelené písmeno „V“.) Mnoho účastníků výpravy nikdy neuhádlo, kdo to udělal – lidé za námi přišli a zeptal se, kdo zničil plakáty? Někdo vzal tento problém velmi vážně a provedl celé vyšetřování na toto téma.

Pro quest jsme také napsali zvukové soubory, „vytrhané“ zvuky: například když se inženýr přihlásí do našeho [produkčního CRM] systému, je tam odpovědní robot, který říká nejrůznější fráze, čísla... Tady jsme z těch slov, která nahrál, poskládal více či méně smysluplné fráze, no, možná trochu pokřivené - například v audio souboru jsme dostali „No friends to help you“.

Například jsme reprezentovali IP adresu v binárním kódu a opět pomocí těchto čísel [vyslovovaných robotem] jsme přidali nejrůznější děsivé zvuky. Video jsme natočili sami: na videu máme muže sedícího v černé kápi a masce Guye Fawkese, ale ve skutečnosti tam není jeden člověk, ale tři, protože za ním stojí dva a drží „kulisu“ vyrobenou z deka :).

- No, jsi zmatený, abych to řekl na rovinu.

- Ano, začali jsme hořet. Obecně jsme nejprve přišli s našimi technickými specifikacemi a poté složili literární a hravou osnovu na téma, co se údajně stalo. Podle scénáře účastníci lovili skupinu hackerů s názvem „Veeamonymous“. Myšlenka byla také taková, že bychom jakoby „rozbili 4. zeď“, tedy přenesli události do reality – malovali jsme třeba ze spreje.

S literárním zpracováním textu nám pomohl jeden z rodilých angličtinářů z naší katedry.

- Počkej, proč rodilý mluvčí? Dělali jste to všechno také v angličtině?!

— Ano, dělali jsme to pro kanceláře v Petrohradě a Bukurešti, takže vše bylo v angličtině.

Při první zkušenosti jsme se snažili, aby vše fungovalo, takže scénář byl lineární a docela jednoduchý. Přidali jsme další prostředí: tajné texty, kódy, obrázky.

Použili jsme také memy: byla tam hromada obrázků na témata vyšetřování, UFO, nějaké populární hororové příběhy - některé týmy tím byly rozptýleny, snažily se tam najít nějaké skryté zprávy, uplatnit své znalosti steganografie a další věci... ale nic takového samozřejmě nebylo.

O trní

V průběhu příprav jsme však čelili i nečekaným výzvám.

Hodně jsme s nimi bojovali a řešili nejrůznější nečekané problémy a asi týden před questem jsme si mysleli, že je vše ztraceno.

Pravděpodobně stojí za to říci něco o technickém základu questu.

Vše bylo provedeno v naší interní laboratoři ESXi. Měli jsme 6 týmů, což znamená, že jsme museli alokovat 6 zdrojů. Pro každý tým jsme tedy nasadili samostatný fond s potřebnými virtuálními stroji (stejná IP). Ale protože to vše bylo umístěno na serverech, které jsou ve stejné síti, současná konfigurace našich VLAN nám neumožňovala izolovat stroje v různých fondech. A například během testovacího provozu jsme zaznamenali situace, kdy se stroj z jednoho fondu připojil ke stroji z jiného.

— Jak jste mohli situaci napravit?

— Nejprve jsme dlouho přemýšleli, testovali nejrůznější možnosti s oprávněními, oddělené vLAN pro stroje. Ve výsledku to udělali – každý tým vidí pouze server Veeam Backup, přes který probíhá veškerá další práce, ale nevidí skrytý dílčí fond, který obsahuje:

• několik počítačů s Windows
• Základní server Windows
• Linuxový stroj
• pár VTL (Virtual Tape Library)

Všem fondům je přiřazena samostatná skupina portů na přepínači vDS a vlastní privátní VLAN. Tato dvojitá izolace je přesně to, co je potřeba k úplnému vyloučení možnosti síťové interakce.

O statečných

— Mohl by se pátrání zúčastnit někdo? Jak se sestavovaly týmy?

— Byla to naše první zkušenost s pořádáním takové akce a možnosti naší laboratoře byly omezeny na 6 týmů.

Nejprve, jak jsem již řekl, jsme provedli PR kampaň: pomocí plakátů a mailingu jsme oznámili, že se bude konat quest. Měli jsme dokonce nějaké vodítka – fráze byly zašifrovány v binárním kódu na samotných plakátech. Tím jsme vyvolali zájem lidí a lidé se už dohodli mezi sebou, s přáteli, s přáteli a spolupracovali. Výsledkem bylo, že odpovědělo více lidí, než jsme měli fondy, takže jsme museli provést výběr: přišli jsme s jednoduchým testovacím úkolem a rozeslali ho všem, kteří odpověděli. Byl to logický problém, který bylo třeba rychle vyřešit.

Tým měl povoleno až 5 lidí. Nebyl potřeba kapitán, myšlenka byla spolupráce, komunikace mezi sebou. Někdo je silný například v Linuxu, někdo je silný v páskách (zálohách na pásky) a každý, když viděl úkol, mohl investovat své úsilí do celkového řešení. Všichni spolu komunikovali a našli řešení.

— V jakém okamžiku tato událost začala? Měli jste nějakou „hodinu X“?

— Ano, měli jsme striktně určený den, zvolili jsme ho proto, aby bylo na oddělení menší vytížení. Vedoucí týmů byli přirozeně předem upozorněni, že takové a takové týmy byly pozvány k účasti na questu a v ten den jim bylo třeba poskytnout určitou úlevu [ohledně načítání]. Vypadalo to, že by měl být konec roku, 28. prosince, pátek. Očekávali jsme, že to bude trvat asi 5 hodin, ale všechny týmy to dokončily rychleji.

— Byli si všichni rovni, měli všichni stejné úkoly na základě skutečných případů?

— No, ano, každý z kompilátorů si vzal nějaké příběhy z vlastní zkušenosti. Věděli jsme o něčem, že se to může stát i ve skutečnosti, a pro člověka by bylo zajímavé to „cítit“, dívat se a přijít na to. Vzali i některé konkrétnější věci – například obnovu dat z poškozených pásek. Někteří s náznaky, ale většina týmů to zvládla po svém.

Nebo bylo potřeba použít kouzlo rychlých skriptů – například jsme měli historku, že nějaká „logická bomba“ „roztrhala“ vícesvazkový archiv do náhodných složek ve stromě a bylo nutné sbírat data. Můžete to udělat ručně – najít a zkopírovat [soubory] jeden po druhém, nebo můžete napsat skript pomocí masky.

Obecně jsme se snažili držet názoru, že jeden problém lze řešit různými způsoby. Pokud jste například trochu zkušenější nebo se chcete zmást, pak to můžete vyřešit rychleji, ale existuje přímá cesta, jak to vyřešit čelem - ale zároveň strávíte nad problémem více času. To znamená, že téměř každý úkol měl několik řešení a bylo zajímavé, jakou cestou se týmy vyberou. Takže nelinearita byla právě ve výběru varianty řešení.

Mimochodem, problém s Linuxem se ukázal jako nejtěžší - pouze jeden tým jej vyřešil samostatně, bez jakýchkoliv náznaků.

— Mohl byste si poradit? Jako ve skutečném questu??

— Ano, dalo se to vzít, protože jsme pochopili, že lidé jsou různí a ti, kterým chybí nějaké znalosti, se mohou dostat do stejného týmu, takže abychom nezdržovali průchod a neztratili konkurenční zájem, rozhodli jsme se, že by tipy. K tomu byl každý tým pozorován osobou od pořadatelů. No, ujistili jsme se, že nikdo nepodváděl.

O hvězdách

— Byly ceny pro vítěze?

— Ano, snažili jsme se udělat co nejpříjemnější ceny pro všechny účastníky i vítěze: vítězové obdrželi designové mikiny s logem Veeam a frází zašifrovanou v hexadecimálním kódu, černá). Všichni účastníci obdrželi masku Guy Fawkes a značkovou tašku s logem a stejným kódem.

- To znamená, že všechno bylo jako ve skutečném hledání!

"No, chtěli jsme udělat skvělou, dospělou věc, a myslím, že se nám to podařilo."

- To je pravda! Jaká byla konečná reakce těch, kteří se tohoto pátrání zúčastnili? Dosáhli jste svého cíle?

- Ano, mnozí přišli později a řekli, že jasně vidí svá slabá místa a chtějí je zlepšit. Někdo se přestal bát určitých technologií - například vysypávat bloky z pásek a snažit se tam něco urvat... Někdo si uvědomil, že potřebuje vylepšit Linux a podobně. Snažili jsme se dávat celkem širokou škálu úkolů, ale ne úplně triviálních.

Vítězný tým

"Kdo chce, dosáhne toho!"

— Vyžadovalo to hodně úsilí od těch, kdo výpravu připravovali?

- Ve skutečnosti ano. Ale to bylo s největší pravděpodobností způsobeno tím, že jsme neměli žádné zkušenosti s přípravou takových questů, tohoto druhu infrastruktury. (Udělejme si výhradu, že toto není naše skutečná infrastruktura – měla prostě plnit nějaké herní funkce.)

Byla to pro nás velmi zajímavá zkušenost. Zpočátku jsem byl skeptický, protože se mi ten nápad zdál příliš cool, myslel jsem si, že bude velmi těžké ho realizovat. Ale začali jsme to dělat, začali jsme orat, všechno začalo hořet a nakonec se to povedlo. A dokonce nebyly prakticky žádné překryvy.

Celkem jsme strávili 3 měsíce. Z velké části jsme vymysleli koncept a diskutovali o tom, co bychom mohli realizovat. V průběhu se samozřejmě některé věci změnily, protože jsme si uvědomili, že na něco nemáme technické schopnosti. Museli jsme po cestě něco předělat, ale tak, aby se nezlomila celá osnova, historie a logika. Snažili jsme se nedat jen seznam technických úkolů, ale aby to zapadalo do příběhu, aby to bylo koherentní a logické. Hlavní práce probíhaly poslední měsíc, tedy 3-4 týdny před dnem X.

— Takže kromě své hlavní činnosti jste si vyčlenil čas na přípravu?

— Dělali jsme to souběžně s naší hlavní prací, ano.

- Jste požádáni, abyste to udělali znovu?

- Ano, máme mnoho žádostí o opakování.

- A ty?

- Máme nové nápady, nové koncepty, chceme přilákat více lidí a protáhnout to časem - jak výběrové řízení, tak samotný herní proces. Obecně se inspirujeme projektem „Cicada“, můžete si to vygooglit – je to velmi cool IT téma, spojují se tam lidé z celého světa, zakládají vlákna na Redditu, na fórech, používají překlady kódů, řeší hádanky , a všechno to.

— Nápad byl skvělý, jen respekt k nápadu a realizaci, protože to opravdu hodně stojí. Upřímně vám přeji, abyste tuto inspiraci neztratili a všechny vaše nové projekty byly také úspěšné. Děkuji!

— Ano, můžete se podívat na příklad úkolu, který určitě znovu nepoužijete?

"Mám podezření, že žádnou z nich znovu nepoužijeme." Proto vám mohu říci o průběhu celého questu.

Bonusová traťNa úplném začátku mají hráči název virtuálního stroje a přihlašovací údaje z vCenter. Po přihlášení do něj vidí tento stroj, ale nespustí se. Zde musíte uhodnout, že se souborem .vmx není něco v pořádku. Po stažení se jim zobrazí výzva potřebná pro druhý krok. V podstatě to říká, že databáze používaná Veeam Backup & Replication je šifrovaná.
Po odstranění výzvy, stažení souboru .vmx zpět a úspěšném zapnutí počítače uvidí, že jeden z disků skutečně obsahuje šifrovanou databázi base64. Úkolem je tedy dešifrovat jej a získat plně funkční server Veeam.

Něco málo o virtuálním stroji, na kterém se to všechno děje. Jak si pamatujeme, podle zápletky je hlavní postavou pátrání poměrně temná osoba a dělá něco, co zjevně není příliš legální. Jeho pracovní počítač by tedy měl mít zcela hackerský vzhled, který jsme museli vytvořit i přes to, že jde o Windows. První věc, kterou jsme udělali, bylo přidání spousty rekvizit, jako jsou informace o hlavních hackech, DDoS útocích a podobně. Pak nainstalovali veškerý typický software a všude umístili různé výpisy, soubory s hashe atd. Všechno je jako ve filmech. Mimo jiné tam byly složky pojmenované closed-case*** a open-case***
Aby hráči mohli postupovat dále, musí obnovit rady ze záložních souborů.

Zde je třeba říci, že na začátku dostali hráči poměrně dost informací a většinu dat (jako IP, přihlašovací jména a hesla) obdrželi v průběhu questu, našli stopy v zálohách nebo souborech roztroušených na strojích. . Zpočátku jsou záložní soubory umístěny v úložišti Linuxu, ale samotná složka na serveru je připojena s příznakem noexec, takže agent zodpovědný za obnovu souborů nelze spustit.

Opravou úložiště získají účastníci přístup k veškerému obsahu a mohou konečně obnovit jakékoli informace. Zbývá pochopit, který to je. A k tomu stačí prostudovat soubory uložené na tomto počítači, určit, které z nich jsou „rozbité“ a co přesně je třeba obnovit.

V tomto okamžiku se scénář posouvá od obecných znalostí IT ke specifickým funkcím společnosti Veeam.

V tomto konkrétním příkladu (když znáte název souboru, ale nevíte, kde ho hledat), musíte použít funkci vyhledávání v Enterprise Manageru a tak dále. Výsledkem je, že po obnovení celého logického řetězce mají hráči další login/heslo a výstup nmap. To je přivede na server Windows Core a prostřednictvím RDP (takže život nevypadá jako med).

Hlavní rys tohoto serveru: pomocí jednoduchého skriptu a několika slovníků vznikla naprosto nesmyslná struktura složek a souborů. A když se přihlásíte, obdržíte uvítací zprávu jako „Tady vybuchla logická bomba, takže budete muset poskládat vodítka pro další kroky.“

Následující vodítko bylo rozděleno do vícesvazkového archivu (40-50 kusů) a náhodně distribuováno mezi tyto složky. Naší myšlenkou bylo, že hráči by měli ukázat svůj talent v psaní jednoduchých skriptů PowerShell, aby sestavili vícesvazkový archiv pomocí známé masky a získali požadovaná data. (Ale dopadlo to jako v tom vtipu – ukázalo se, že některé subjekty byly neobvykle fyzicky vyvinuté.)

Archiv obsahoval fotografii kazety (s nápisem „Last Supper - Best Moments“), která napovídala o použití připojené páskové knihovny, která obsahovala kazetu s podobným názvem. Byl tu jen jeden problém - ukázalo se, že je natolik nefunkční, že nebyl ani katalogizován. Zde začala pravděpodobně nejtvrdší část pátrání. Vymazali jsme hlavičku z kazety, takže k obnovení dat z ní stačí vypsat „surové“ bloky a prohlédnout si je v hex editoru, abyste našli značky začátku souboru.
Najdeme značku, podíváme se na offset, vynásobíme blok jeho velikostí, přidáme offset a pomocí interního nástroje se pokusíme obnovit soubor z konkrétního bloku. Pokud je vše provedeno správně a matematika souhlasí, hráči budou mít v ruce soubor .wav.

V něm se pomocí hlasového generátoru mimo jiné nadiktuje binární kód, který se rozšíří do další IP.

Ukázalo se, že jde o nový server Windows, kde vše naznačuje potřebu používat Wireshark, ale není tam. Hlavní trik je v tom, že na tomto stroji jsou nainstalovány dva systémy – pouze disk z druhého se odpojí přes správce zařízení offline a logický řetězec vede k nutnosti restartu. Pak se ukáže, že by se měl ve výchozím nastavení spustit úplně jiný systém, kde je nainstalován Wireshark. A celou tu dobu jsme byli na sekundárním OS.

Zde není třeba dělat nic zvláštního, stačí povolit snímání na jediném rozhraní. Poměrně podrobné prozkoumání skládky odhalí jasně levoruký paket odesílaný z pomocného stroje v pravidelných intervalech, který obsahuje odkaz na video na YouTube, kde jsou hráči vyzváni, aby zavolali na určité číslo. První volající si vyslechne gratulaci k prvnímu místu, zbytek dostane pozvánku do HR (vtip).

Mimochodem, máme otevřeno volná místa pro inženýry technické podpory a stážisty. Vítej v týmu!

Zdroj: www.habr.com