Túto zimu, alebo skôr v jeden z dní medzi katolíckymi Vianocami a Novým rokom, boli inžinieri technickej podpory Veeam zaneprázdnení nezvyčajnými úlohami: hľadali skupinu hackerov s názvom „Veeamonymous“.

Povedal, ako samotní chlapci vymysleli a vykonali skutočné pátranie vo svojej práci s úlohami „blízko boju“. Kirill Stetsko, Eskalačný inžinier.

- Prečo si s tým vôbec začal?

- Približne rovnakým spôsobom, ako ľudia prišli s Linuxom naraz - len pre zábavu, pre ich vlastné potešenie.

Chceli sme pohyb a zároveň sme chceli robiť niečo užitočné, zaujímavé. Navyše bolo potrebné poskytnúť inžinierom emocionálnu úľavu od ich každodennej práce.

- Kto to navrhol? Koho to bol nápad?

— Myšlienkou bola naša manažérka Katya Egorova a potom sa spoločným úsilím zrodil koncept a všetky ďalšie nápady. Pôvodne sme mysleli na hackathon. Počas vývoja konceptu však myšlienka prerástla do hľadania, inžinier technickej podpory je predsa iný typ činnosti ako programovanie.

Zavolali sme teda kamarátov, kamarátov, známych, s konceptom nám pomohli rôzni ľudia - jeden človek z T2 (druhá línia podpory je poznámka redakcie), jedna osoba s T3, pár ľudí z tímu SWAT (tím rýchlej reakcie pre obzvlášť naliehavé prípady - poznámka redakcie). Všetci sme sa zišli, sadli si a snažili sa vymyslieť úlohy pre našu výpravu.

— Bolo veľmi neočakávané dozvedieť sa o tom všetkom, pretože pokiaľ viem, mechaniku pátrania zvyčajne vypracúvajú špecializovaní scenáristi, to znamená, že ste sa zaoberali nielen takou zložitou vecou, ​​ale aj v súvislosti s vašou prácou , do vašej profesijnej oblasti činnosti.

— Áno, chceli sme, aby to nebola len zábava, ale aj „napumpovanie“ technických zručností inžinierov. Jednou z úloh nášho oddelenia je výmena poznatkov a školenie, ale takáto výprava je výbornou príležitosťou nechať ľudí „ohmatať“ niektoré pre nich nové techniky naživo.

— Ako ste prišli na úlohy?

— Mali sme brainstorming. Pochopili sme, že musíme urobiť nejaké technické testy a také, aby boli zaujímavé a zároveň priniesli nové poznatky.
Napríklad sme si mysleli, že ľudia by mali skúsiť sniffovať návštevnosť, používať hex editory, robiť niečo pre Linux, nejaké trochu hlbšie veci súvisiace s našimi produktmi (Veeam Backup & Replication a iné).

Dôležitou súčasťou bol aj koncept. Rozhodli sme sa stavať na téme hackerov, anonymnom prístupe a atmosfére tajomstva. Maska Guy Fawkes sa stala symbolom a názov vznikol prirodzene – Veeamonymous.

"Na počiatku bolo slovo"

Aby sme vzbudili záujem, rozhodli sme sa pred podujatím zorganizovať PR kampaň na tému pátrania: po našej kancelárii sme vyvesili plagáty s oznámením. A o pár dní ich tajne pred všetkými natreli sprejmi a spustili „kačku“, vraj niektorí útočníci pokazili plagáty, dokonca pripojili aj fotku s dôkazom….

- Tak ste to urobili sami, teda tím organizátorov?!

— Áno, v piatok, asi o deviatej, keď už všetci odišli, sme išli a nakreslili z balónov zelené písmeno „V“.) Mnohí účastníci pátrania ani neuhádli, kto to urobil – ľudia k nám prišli a spýtal sa, kto zničil plagáty? Niekto vzal tento problém veľmi vážne a vykonal celé vyšetrovanie na túto tému.

Pre úlohu sme napísali aj zvukové súbory, „vytrhnuté“ zvuky: napríklad, keď sa inžinier prihlási do nášho [produkčného CRM] systému, je tu odpovedajúci robot, ktorý hovorí najrôznejšie frázy, čísla... Tu sme z tých slov, ktoré nahral, ​​poskladal viac-menej zmysluplné frázy, no, možno trochu pokrivené – napríklad v audio súbore sme dostali „No friends to help you“.

Napríklad sme znázornili IP adresu v binárnom kóde a opäť pomocou týchto čísel [vyslovovaných robotom] sme pridali všetky druhy desivých zvukov. Video sme si natáčali sami: vo videu máme muža sediaceho v čiernej kapucni a maske Guya Fawkesa, no v skutočnosti tam nie je jeden človek, ale traja, pretože dvaja stoja za ním a držia „kulisu“ vyrobenú z prikrývka :).

- No, si zmätený, aby som to povedal na rovinu.

- Áno, zapálili sme sa. Vo všeobecnosti sme najprv prišli s našimi technickými špecifikáciami a potom sme zložili literárny a hravý náčrt na tému, čo sa údajne stalo. Podľa scenára účastníci lovili skupinu hackerov s názvom „Veeamonymous“. Myšlienka bola aj taká, že by sme akoby „rozbili 4. stenu“, teda preniesli udalosti do reality – maľovali sme napríklad zo spreja.

S literárnym spracovaním textu nám pomohol jeden z rodených angličtinárov z našej katedry.

- Počkaj, prečo rodený hovorca? Robili ste to všetko aj v angličtine?!

— Áno, robili sme to pre úrady v Petrohrade a Bukurešti, takže všetko bolo v angličtine.

Pri prvej skúsenosti sme sa snažili, aby všetko fungovalo, takže scenár bol lineárny a celkom jednoduchý. Pridali sme ďalšie okolie: tajné texty, kódy, obrázky.

Použili sme aj mémy: bolo tam veľa obrázkov na témy vyšetrovania, UFO, nejaké populárne hororové príbehy - niektoré tímy to rozptyľovalo, snažili sa tam nájsť nejaké skryté správy, uplatniť svoje znalosti zo steganografie a iné... ale, samozrejme, nič také nebolo.

O tŕňoch

Počas prípravného procesu sme však čelili aj nečakaným výzvam.

Veľa sme s nimi zápasili a riešili všelijaké nečakané problémy a asi týždeň pred questom sme si mysleli, že je všetko stratené.

Pravdepodobne stojí za to povedať niečo o technickom základe questu.

Všetko sa robilo v našom internom laboratóriu ESXi. Mali sme 6 tímov, čo znamená, že sme museli prideliť 6 zdrojov. Pre každý tím sme teda nasadili samostatný fond s potrebnými virtuálnymi strojmi (rovnaká IP). Ale keďže to všetko bolo umiestnené na serveroch, ktoré sú v rovnakej sieti, súčasná konfigurácia našich VLAN nám neumožňovala izolovať stroje v rôznych fondoch. A napríklad počas testovacej prevádzky sme dostali situácie, keď sa stroj z jedného fondu pripojil k stroju z iného.

— Ako sa vám podarilo napraviť situáciu?

— Najprv sme dlho premýšľali, testovali sme najrôznejšie možnosti s povoleniami, oddelené vLAN pre stroje. V dôsledku toho to urobili – každý tím vidí iba server Veeam Backup, cez ktorý prebieha všetka ďalšia práca, ale nevidí skrytý podfond, ktorý obsahuje:

• niekoľko počítačov so systémom Windows
• Základný server Windows
• Linuxový stroj
• pár VTL (virtuálna pásková knižnica)

Všetky oblasti majú priradenú samostatnú skupinu portov na prepínači vDS a vlastnú súkromnú sieť VLAN. Táto dvojitá izolácia je presne to, čo je potrebné na úplné odstránenie možnosti interakcie siete.

O odvážnych

— Mohol by sa niekto zúčastniť pátrania? Ako vznikli tímy?

— Bola to naša prvá skúsenosť s takýmto podujatím a možnosti nášho laboratória boli obmedzené na 6 tímov.

Najprv, ako som už povedal, sme uskutočnili PR kampaň: pomocou plagátov a korešpondencie sme oznámili, že sa uskutoční quest. Dokonca sme mali nejaké indície – na samotných plagátoch boli frázy zašifrované v binárnom kóde. Takto sme ľudí zaujali a ľudia už medzi sebou, s kamarátmi, s kamarátmi, dohodli a spolupracovali. Výsledkom bolo, že odpovedalo viac ľudí, ako sme mali skupiny, takže sme museli vykonať výber: vymysleli sme jednoduchú testovaciu úlohu a poslali ju každému, kto odpovedal. Bol to logický problém, ktorý bolo potrebné rýchlo vyriešiť.

Tím mal povolených až 5 ľudí. Nebolo treba kapitána, myšlienka bola spolupráca, komunikácia medzi sebou. Niekto je silný napríklad v Linuxe, niekto je silný v páskach (zálohovanie na pásky) a každý, keď vidí úlohu, mohol investovať svoje úsilie do celkového riešenia. Všetci spolu komunikovali a našli riešenie.

— Kedy sa táto udalosť začala? Mali ste nejakú „hodinu X“?

— Áno, mali sme presne určený deň, zvolili sme si ho tak, aby bolo na oddelení menšie vyťaženie. Prirodzene, že vedúci tímov boli vopred upozornení, že také a také tímy boli pozvané, aby sa zúčastnili na pátraní, a v ten deň im bolo potrebné poskytnúť určitú úľavu [pokiaľ ide o načítanie]. Vyzeralo to tak, že by mal byť koniec roka, 28. december, piatok. Očakávali sme, že to bude trvať asi 5 hodín, ale všetky tímy to dokončili rýchlejšie.

— Boli si všetci rovní, mali všetci rovnaké úlohy na základe skutočných prípadov?

— Áno, každý zo zostavovateľov si zobral nejaké príbehy z vlastnej skúsenosti. Vedeli sme o niečom, čo sa v skutočnosti môže stať, a pre človeka by bolo zaujímavé to „vycítiť“, pozrieť sa a prísť na to. Zobrali aj nejaké konkrétnejšie veci – napríklad obnovu dát z poškodených pások. Niektorí s náznakmi, no väčšina tímov si to spravila po svojom.

Alebo bolo potrebné použiť kúzlo rýchlych skriptov - napríklad sme mali príbeh, že nejaká „logická bomba“ „roztrhala“ viaczväzkový archív do náhodných priečinkov pozdĺž stromu a bolo potrebné zbierať dáta. Môžete to urobiť ručne - nájsť a skopírovať [súbory] jeden po druhom, alebo môžete napísať skript pomocou masky.

Vo všeobecnosti sme sa snažili dodržať názor, že jeden problém sa dá riešiť rôznymi spôsobmi. Napríklad, ak ste trochu skúsenejší alebo sa chcete zmiasť, môžete to vyriešiť rýchlejšie, ale existuje priamy spôsob, ako to vyriešiť hlava-nehlava - ale zároveň strávite nad problémom viac času. Teda takmer každá úloha mala viacero riešení a bolo zaujímavé, akými cestami sa tímy vyberú. Takže nelinearita bola práve vo výbere možnosti riešenia.

Mimochodom, problém s Linuxom sa ukázal ako najťažší - iba jeden tím ho vyriešil nezávisle, bez akýchkoľvek náznakov.

— Mohli by ste si poradiť? Ako v skutočnom pátraní??

— Áno, dalo sa to zobrať, lebo sme pochopili, že ľudia sú rôzni a tí, ktorým chýbajú nejaké znalosti, sa môžu dostať do jedného tímu, takže aby sme nezdržiavali prechod a nestratili konkurenčný záujem, rozhodli sme sa, že by tipy. K tomu bol každý tím pozorovaný osobou od organizátorov. No dali sme si záležať, aby nikto nepodvádzal.

O hviezdach

— Boli nejaké ceny pre víťazov?

— Áno, snažili sme sa urobiť čo najpríjemnejšie ceny pre všetkých účastníkov aj víťazov: víťazi získali dizajnové mikiny s logom Veeam a frázou zašifrovanou v hexadecimálnom kóde, čierna). Všetci účastníci dostali masku Guy Fawkes a značkovú tašku s logom a rovnakým kódom.

- To znamená, že všetko bolo ako v skutočnom pátraní!

"No, chceli sme urobiť skvelú vec pre dospelých a myslím, že sa nám to podarilo."

- Toto je pravda! Aká bola konečná reakcia tých, ktorí sa zúčastnili tohto pátrania? Dosiahli ste svoj cieľ?

- Áno, mnohí prišli neskôr a povedali, že jasne vidia svoje slabé stránky a chcú ich zlepšiť. Niekto sa prestal báť určitých technológií – napríklad vyhadzovať bloky z pások a snažiť sa tam niečo chytiť... Niekto si uvedomil, že potrebuje vylepšiť Linux a pod. Snažili sme sa dávať dosť široké spektrum úloh, no nie úplne triviálne.

Víťazný tím

"Kto chce, dosiahne to!"

— Vyžadovalo si to veľa úsilia od tých, ktorí pátranie pripravovali?

- V skutočnosti áno. Ale s najväčšou pravdepodobnosťou to bolo spôsobené tým, že sme nemali žiadne skúsenosti s prípravou takýchto úloh, tohto druhu infraštruktúry. (Urobme si výhradu, že toto nie je naša skutočná infraštruktúra – mala jednoducho vykonávať niektoré herné funkcie.)

Bola to pre nás veľmi zaujímavá skúsenosť. Spočiatku som bol skeptický, pretože sa mi nápad zdal príliš cool, myslel som si, že bude veľmi ťažké ho zrealizovať. Ale začali sme to robiť, začali sme orať, všetko začalo horieť a nakoniec sa nám to podarilo. A dokonca neexistovali prakticky žiadne prekrytia.

Celkovo sme strávili 3 mesiace. Väčšinou sme vymysleli koncept a diskutovali o tom, čo by sme mohli zrealizovať. Počas toho sa, prirodzene, niektoré veci zmenili, pretože sme si uvedomili, že na niečo nemáme technické schopnosti. Cestou sme museli niečo prerobiť, ale tak, aby sa nezlomila celá osnova, história a logika. Snažili sme sa nielen dať zoznam technických úloh, ale aby to zapadalo do príbehu, aby to bolo koherentné a logické. Hlavná práca prebiehala posledný mesiac, teda 3-4 týždne pred dňom X.

— Takže popri svojej hlavnej činnosti ste si vyčlenili čas na prípravu?

— Áno, robili sme to súbežne s našou hlavnou prácou.

- Chcete to urobiť znova?

- Áno, máme veľa žiadostí na zopakovanie.

- A ty?

- Máme nové nápady, nové koncepty, chceme prilákať viac ľudí a natiahnuť to časom - ako výberový proces, tak aj samotný proces hry. Vo všeobecnosti sme inšpirovaní projektom „Cicada“, môžete si to vygoogliť – je to veľmi cool IT téma, spájajú sa tam ľudia z celého sveta, zakladajú vlákna na Reddite, na fórach, používajú preklady kódov, riešia hádanky , a to všetko.

— Nápad bol skvelý, len rešpekt k nápadu a realizácii, pretože to naozaj veľa stojí. Úprimne vám želám, aby ste o túto inšpiráciu neprišli a aby boli úspešné aj všetky vaše nové projekty. Ďakujem!

— Áno, môžete sa pozrieť na príklad úlohy, ktorú určite znova nepoužijete?

"Mám podozrenie, že žiadne z nich znova nepoužijeme." Preto vám môžem povedať o priebehu celého questu.

Bonusová skladbaHneď na začiatku majú hráči k dispozícii názov virtuálneho stroja a prihlasovacie údaje z vCenter. Po prihlásení uvidia tento stroj, ale nespustí sa. Tu musíte uhádnuť, že so súborom .vmx nie je niečo v poriadku. Po stiahnutí sa im zobrazí výzva potrebná na druhý krok. V podstate hovorí, že databáza používaná Veeam Backup & Replication je šifrovaná.
Po odstránení výzvy, stiahnutí súboru .vmx späť a úspešnom zapnutí počítača uvidia, že jeden z diskov skutočne obsahuje databázu so šifrovaním base64. Úlohou je teda dešifrovať ho a získať plne funkčný server Veeam.

Trochu o virtuálnom stroji, na ktorom sa to všetko deje. Ako si pamätáme, podľa zápletky je hlavnou postavou pátrania dosť temná osoba a robí niečo, čo zjavne nie je príliš legálne. Jeho pracovný počítač by teda mal mať úplne hackerský vzhľad, ktorý sme museli vytvoriť aj napriek tomu, že ide o Windows. Prvá vec, ktorú sme urobili, bolo pridanie množstva rekvizít, ako sú informácie o veľkých hackoch, DDoS útokoch a podobne. Potom nainštalovali všetok typický softvér a všade umiestnili rôzne skládky, súbory s hashmi atď. Všetko je ako vo filmoch. Okrem iného tam boli priečinky s názvom uzavretý prípad*** a otvorený prípad***
Aby hráči mohli postupovať ďalej, musia obnoviť rady zo záložných súborov.

Tu treba povedať, že na začiatku dostali hráči pomerne veľa informácií a väčšinu údajov (ako IP, prihlasovacie mená a heslá) dostali v priebehu questu, našli stopy v zálohách alebo súboroch roztrúsených na strojoch. . Spočiatku sú záložné súbory umiestnené v úložisku Linux, ale samotný priečinok na serveri je pripojený s príznakom noexec, takže agent zodpovedný za obnovu súborov sa nemôže spustiť.

Opravou úložiska získajú účastníci prístup ku všetkému obsahu a môžu nakoniec obnoviť akékoľvek informácie. Zostáva pochopiť, ktorý z nich to je. A aby to urobili, stačí študovať súbory uložené na tomto počítači, určiť, ktoré z nich sú „pokazené“ a čo presne je potrebné obnoviť.

V tomto bode sa scenár posúva od všeobecných znalostí IT k špecifickým funkciám Veeam.

V tomto konkrétnom príklade (keď poznáte názov súboru, ale neviete, kde ho hľadať), musíte použiť funkciu vyhľadávania v Enterprise Manager atď. Výsledkom je, že po obnovení celého logického reťazca majú hráči ďalšie prihlasovacie meno/heslo a výstup nmap. To ich privádza na server Windows Core a cez RDP (takže život sa nezdá ako med).

Hlavná črta tohto servera: pomocou jednoduchého skriptu a niekoľkých slovníkov sa vytvorila absolútne nezmyselná štruktúra priečinkov a súborov. A keď sa prihlásite, dostanete uvítaciu správu ako „Tu vybuchla logická bomba, takže budete musieť poskladať indície pre ďalšie kroky.“

Nasledujúca stopa bola rozdelená do viaczväzkového archívu (40-50 kusov) a náhodne rozdelená medzi tieto zložky. Našou myšlienkou bolo, že hráči by mali ukázať svoj talent v písaní jednoduchých PowerShell skriptov, aby pomocou známej masky zostavili viaczväzkový archív a získali požadované dáta. (Ale dopadlo to ako v tom vtipe - ukázalo sa, že niektoré subjekty boli nezvyčajne fyzicky vyvinuté.)

V archíve sa nachádzala fotografia kazety (s nápisom „Last Supper - Best Moments“), ktorá naznačovala použitie pripojenej páskovej knižnice, ktorá obsahovala kazetu s podobným názvom. Vyskytol sa len jeden problém – ukázalo sa, že je natoľko nefunkčný, že nebol ani katalogizovaný. Tu sa začala pravdepodobne najtvrdšia časť pátrania. Vymazali sme hlavičku z kazety, takže ak chcete z nej obnoviť údaje, stačí vypísať „surové“ bloky a prezrieť si ich v hexadecimálnom editore, aby ste našli značky začiatku súboru.
Nájdeme značku, pozrieme sa na offset, vynásobíme blok jeho veľkosťou, pridáme offset a pomocou interného nástroja sa pokúsime obnoviť súbor z konkrétneho bloku. Ak je všetko urobené správne a matematika súhlasí, hráči budú mať v rukách súbor .wav.

V ňom sa pomocou hlasového generátora okrem iného diktuje binárny kód, ktorý sa rozšíri do ďalšej IP.

Ukázalo sa, že ide o nový server Windows, kde všetko naznačuje potrebu používať Wireshark, ale nie je tam. Hlavným trikom je, že na tomto stroji sú nainštalované dva systémy - iba disk z druhého sa odpojí cez správcu zariadení offline a logický reťazec vedie k potrebe reštartu. Potom sa ukáže, že štandardne by sa mal spustiť úplne iný systém, kde je nainštalovaný Wireshark. A celý ten čas sme boli na sekundárnom OS.

Nie je potrebné robiť nič špeciálne, stačí povoliť snímanie na jedinom rozhraní. Relatívne podrobné preskúmanie skládky odhalí jasne ľavý paket odosielaný z pomocného stroja v pravidelných intervaloch, ktorý obsahuje odkaz na video YouTube, kde sú hráči požiadaní, aby zavolali na určité číslo. Prvý volajúci si vypočuje gratuláciu k prvému miestu, zvyšok dostane pozvánku do HR (vtip)).

Mimochodom, máme otvorené pracovné príležitosti pre inžinierov technickej podpory a stážistov. Vitajte v tíme!

Zdroj: hab.com