Tento zimu, presnejšie – v jeden z dní medzi katolíckym Vianocami a Novým rokom – inžinieri technickej podpory Veeam sa zaoberali nie úplne obyčajnými úlohami: lovili skupinu hackerov nazývanú „Veeamonymous“.
O tom, ako si chalani sami vymysleli a usporiadali vo svojej práci skutočný quest v reálnom živote, so zadaniami „približenými k bojovým“, hovorí Kiril Stecko, Escalation Engineer.
— Prečo ste sa do toho vôbec pustili?
— Zhruba tak, ako si ľudia vymysleli v svojom čase Linux – just for fun, pre vlastné potešenie.
Chceli sme akciu, a zároveň sme chceli urobiť niečo užitočné, niečo zaujímavé. Plus, bolo potrebné dať inžinierom určitú emocionálnu úľavu od ich každodennej práce.
— Kto to navrhol? Čia to bola myšlienka?
— Myšlienka bola našej manažérky Katje Egrekovej, a potom už koncept a všetky ďalšie myšlienky vznikli spoločnými silami. Pôvodne sme uvažovali o hackatone. Ale počas vývoja konceptu sa idea premenila na quest, predsa len inžinier technickej podpory je iný druh činnosti, než programovanie.
Takže sme zavolali priateľov-známych, rôzni ľudia nám pomáhali s konceptom – jeden človek z T2 (druhá línia podpory – pozn. red.), jeden človek z T3, pár ľudí z tímu SWAT (tím rýchlej reakcie na mimoriadne urgentné prípady – pozn. red.). Zostali sme všetci spolu, sadli sme si a pokúsili sme sa prísť na úlohy pre náš quest.
— Bolo veľmi prekvapujúce o tom všetkom sa dozvedieť, pretože, ak viem, zvyčajne mechaniku questu vypracovávajú odborníci-scenáristi, t.j. vy ste sa nezapojili len do takej zložitej veci, ale aj vo vzťahu k svojej práci, k svojmu profesionálnemu polu.
— Áno, chceli sme spraviť nie len zábavu, ale „vylepšiť“ technické zručnosti inžinierov. Jednou z úloh v našom oddelení je zdieľanie vedomostí a vzdelávanie, a takýto quest je skvelá príležitosť dať ľuďom „osahať“ niektoré nové techniky naživo.
— Ako ste vymýšľali úlohy?
— Urobili sme brainstorm. Mali sme povedomie, že musíme vytvoriť akési technické skúšky, pričom také, aby boli zaujímavé a zároveň prinášali nové vedomosti.
Napríklad sme si mysleli, že by bolo dobré ľuďom dať príležitosť vyskúšať si špehovanie prevádzky, experimentovať s hex-editorami, robiť niečo pre Linux, preskúmať niektoré hlbšie veci spojené s našimi produktmi (Veeam Backup & Replication a ďalšie).
Rovnako dôležitou súčasťou bol koncept. Rozhodli sme sa vychádzať z témy hackerov, anonymného prístupu a atmosféry tajnostkárstva. Symbolom sa stala maska Guy Fawkes a názov prišiel sám od seba — Veeamonymous.
„Na začiatku bolo slovo“
Aby sme zvýšili záujem, rozhodli sme sa pred začiatkom podujatia usporiadať PR kampaň v tematike kvízu: rozvesili sme plagáty s oznámením po našej kancelárii. A o niekoľko dní sme tajne od všetkých sami ich vyzdobili sprejmi a spustili „fámu“, že akísi zločinci zničili plagáty, dokonca sme pridali aj fotku ako dôkaz....
— Tak to ste robili vy, teda tím organizátorov?!
— Áno, v piatok, okolo 9., keď už všetci odišli, sme chodili a striekali z fliaš písmeno „V“ zelenej farby. Mnohí účastníci kvízu si ani neuvedomili, kto to spravil – ľudia sa k nám pristupovali a pýtali sa, kto zničil plagáty? Niekto sa touto otázkou zaoberal veľmi vážne a usporiadal celé vyšetrovanie na túto tému.
Pre kvíz sme vytvárali aj audio súbory, „vyťahovali“ zvuky: napríklad, keď sa inžinier prihlasuje do našej [produkčnej CRM] systému, tam sa nachádza robot-automatický odpovedač, ktorý hovorí rôzne frázy, čísla... Tak sme zo slov, ktoré má zapísané, skladali viac-menej zmysluplné frázy, aj keď možno trošku skreslené – napríklad sme dostali „No friends to help you“ v audio súbore.
IP adresa, napríklad, bola predstavená v binárnom kóde, všetko, opäť, pomocou týchto čísel [vyslovených robotom], pridávali sme rôzne strašidelné zvuky. Sami sme natáčali video: na videu máme človeka sediaceho v čiernej kapucni a v maske Guy Fawkes, ale v skutočnosti tam nie je len jeden človek, ale traja, pretože dvaja stoja za ním a držia „pozadie“ z deky:).
— No, zamysleli ste to vážne, to musím povedať.
— Áno, nadchli sme sa. V skratke, najprv sme vytvorili naše technické zadania a potom sme vymysleli literárno-hernú os hovoriacu o tom, čo sa údajne stalo. Podľa scenára členovia tímu prenasledovali skupinu hackerov s názvom „Veeamonymous“. Myšlienka bola aj v tom, že akoby „prelámame štvrtú stenu“, teda prenášame udalosti do reality – napríklad sme maľovali z aerosolových sprejov.
S literárnou úpravou textu nám pomohol jeden z rodilých hovoriteľov angličtiny z našej skupiny.
— Počkajte, a prečo rodilý hovoriteľ? Robili ste to všetko aj v angličtine?!
— Áno, veď sme to robili pre naše kancelárie v Petrohrade a Bukurešti, takže všetko bolo v angličtine.
Na prvý pokus sme sa snažili urobiť, aby všetko jednoducho fungovalo, preto bol scenár lineárny a dosť jednoduchý. Pridali sme viac atmosféry: tajné texty, šifry, obrázky.
Ešte sme použili meme: bolo tam množstvo obrázkov na tému vyšetrovaní, UFO, nejakých populárnych strašidelných príbehoch – niektoré tímy sa na to aj odklonili, snažili sa nájsť nejaké skryté posolstvá, aplikovať svoje znalosti steganografie a iného… ale, samozrejme, tam nič také nebolo.
O tŕní
Avšak počas prípravy sme čelili aj nečakaným úlohám pre nás samých.
Veľa sme sa s nimi trápili a riešili sme rôzne náhle sa objavujúce otázky, a niekde týždeň pred kvízom sme si dokonca pomysleli, že všetko je stratené.
Asi je potrebné trochu prerozprávať o technickom základe kvízu.
Všetko sa robilo na našej internej ESXi laboratóriu. Mali sme 6 tímov, to znamená, že bolo potrebné vyčleniť 6 zdrojových poolov. Takže pre každý tím sme rozvinuli samostatný pool s potrebnými virtuálnymi strojmi (rovnaké IP). Ale pretože všetko to bolo na serveroch, ktoré leží v jednej sieti, aktuálna konfigurácia našich VLAN-ov nedovoľovala izolovať stroje v rôznych pooloch. A, napríklad, počas testovacej prevádzky sme zažívali situácie, keď sa stroj z jedného poolu pripojoval k stroju z iného.
— Ako sa vám podarilo situáciu opraviť?
— Najprv sme dlho rozmýšľali, testovali rôzne možnosti s povoleniami, samostatnými vLAN-ami pre stroje. Nakoniec sme to urobili takto — každý tím vidí iba Veeam Backup server, cez ktorý prebieha všetka ďalšia práca, ale nevidí skrytý subpool, v ktorom sa nachádzajú:
- niekoľko Windows strojov
- Windows core server
- stroj s Linuxom
- pár VTL (Virtual Tape Library)
Každej hale bola priradená samostatná skupina portov na vDS switche a vlastný Private VLAN. Takáto dvojitá izolácia je potrebná, aby sa úplne vylúčila možnosť sieťovej interakcie.
O odvážnych
— Mohol sa zúčastniť na kvíze ktokoľvek? Ako sa formovali tímy?
— Toto bol náš prvý zážitok s organizovaním takejto akcie a možnosti našej laboratória boli obmedzené na 6 tímov.
Najprv sme, ako som už povedal, uskutočnili PR kampaň: pomocou plagátov a mailingov sme oznámili, že sa bude konať kvíz. Dokonca sme mali aj niektoré nápovedy – na samotných plagátoch boli zašifrované frázy v binárnom kóde. Takto sme zaujali ľudí, a tí sa potom sami dohadovali so svojimi priateľmi a spolupracovali. Nakoniec sa prihlásilo viac záujemcov, než sme mali skupín, takže sme museli usporiadať výber: navrhli sme jednoduchú testovaciu úlohu a rozoslali ju všetkým, ktorí reagovali. Bola to logická úloha, ktorú bolo treba vyriešiť rýchlo.
V tíme mohlo byť až 5 členov. Kapitán nebol potrebný, myšlienka bola v spolupráci a vzájomnej komunikácii. Niekto bol silný v Linuxe, niekto bol silný v zálohovaní na pásky, a každý, vidí úlohu, mohol prispieť svojimi silami k spoločnému riešeniu. Všetci vzájomne komunikovali a nachádzali riešenie.
— Kedy táto akcia začala? Mali ste nejaký 'hodinu X'?
— Áno, mali sme presne stanovený deň, vybrali sme ho tak, aby bola záťaž na oddelení čo najmenšia. Samozrejme, vopred sme informovali tímových lídrov, že takéto týmy sú pozvané na účasť v kvíze, a mali im poskytnúť určité uvoľnenie [pokiaľ ide o pracovnú záťaž] v tento deň. Celkovo sme počítali, že by to malo byť na konci roka, 28. decembra, piatok. Odhadovali sme, že to zaberie asi 5 hodín, ale všetky tímy sa s tým vysporiadali rýchlejšie.
— Všetci boli v rovnakých podmienkach, mali všetci rovnaké úlohy na základe skutočných prípadov?
Áno, každý z organizátorov čerpal zo svojej osobnej skúsenosti nejaké príbehy. O niečom sme vedeli, že by to mohlo byť v realite, a bolo by zaujímavé, aby si človek "osahal" to, pozrel sa na to, prešiel si to. Odtiaľ sme vzali aj niektoré veci, ktoré sú viac špecifické - napríklad obnova dát z poškodených pásikoch. Niekto s nápovede, ale väčšina tímov to zvládla sama.
Alebo bolo potrebné aplikovať mágiu rýchlych skriptov – napríklad, mali sme príbeh, že nejaká "logická bomba" "roztrhla" viaclomový archív do náhodných priečinkov v štruktúre, a bolo potrebné zhromaždiť dáta. Toto je možné spraviť ručne – nájsť a kopírovať [súbory] jeden po druhom, alebo napísať skript podľa masky.
V zásade sme sa snažili dodržiavať názor, že jednu úlohu je možné riešiť rôznymi spôsobmi. Napríklad, ak si trochu skúsený alebo chceš sa "na to sústrediť", môžeš to vyriešiť rýchlejšie, zatiaľ čo je priamy spôsob "na prvý pohľad" – ale pritom stratíš viac času na úlohu. Takmer každá úloha mala niekoľko variantov riešenia, a bolo zaujímavé, aké cesty zvolia tímy. Takže nonlinearita bola presne v výbere varianta riešenia.
Mimochodom, najťažšia úloha bola Linuxová – iba jeden tím ju vyriešil sám, bez nápovedy.
Mohli sme získať nápovedy? Ako v skutočnom rubači??
Áno, nápovedy sa mohli brať, pretože sme chápali, že ľudia sú rôzni, a mohli sa do tímu dostať tí, ktorým chýbajú nejaké znalosti, takže aby sa nenatahovalo a neprinieslo to súťažné nadšenie, rozhodli sme sa, že budú nápovedy. Každému tímu totiž sledoval organizátor. No a sledovali sme, aby nikto nekabátoval.
O hviezdach
A boli ceny pre víťazov?
Áno, snažili sme sa pripraviť čo najpríjemnejšie ceny pre všetkých účastníkov, ako aj pre víťazov: víťazi dostali dizajnérske mikiny s logom Veeam a frázou zakódovanou v hexadecimálnom kóde, čiernej farby). Všetci účastníci dostali maškarádu Guya Fawkes a firemnú tašku s logom a tým istým kódom.
Takže u vás to bolo ako v skutočnom rubači!
Chceli sme spraviť niečo skvelé, dospelé, a myslím si, že sa nám to podarilo.
— Presne tak! A aká bola reakcia tých, čo sa zúčastnili na tomto kvíze? Dosiahli ste svoje ciele?
— Áno, mnohí potom prišli a povedali, že jasne videli svoje slabé miesta a chceli ich zlepšiť. Niekto sa prestal báť určitých technológií – napríklad extrahovať bloky z tape a pokúsiť sa niečo tam vybrať… Niekto pochopil, že potrebuje vylepšiť Linux a tak ďalej. Snažili sme sa poskytnúť dostatočne široké spektrum úloh, ale nie úplne triviálnych.
Tím víťazov
„Kto chce, ten dosiahne!“
— Od tých, ktorí pripravovali kvíz, to vyžadovalo veľa úsilia?
— Áno. Ale to bolo skôr spôsobené tým, že sme nemali žiadne skúsenosti s prípravou takýchto kvízov a tohto druhu infraštruktúry. (Nehovoríme o našej reálnej infraštruktúre – mala len plniť určité herné funkcie.)
Pre nás to bol veľmi zaujímavý zážitok. Na začiatku som bol skeptický, pretože mi tá myšlienka prišla tak povediac príliš prémiová, myslel som si, že to bude veľmi ťažké zrealizovať. Ale začali sme pracovať, začali sme sa nadchnúť a nakoniec sa nám to podarilo. A obchádzali sme sa bez väčších problémov.
Celkom sme strávili 3 mesiace. Väčšinou sme vymýšľali koncept, diskutovali sme o tom, čo môžeme zrealizovať. Počas procesu sa samozrejme niečo menilo, pretože sme pochopili, že na niečo nemáme technické možnosti. Museli sme to prepracovať za pochodu, ale tak, aby sa nezrútila celá dejová línia a logika. Snažili sme sa nielen poskytnúť zoznam technických úloh, ale aby to všetko zapadlo do príbehu, aby to bolo súvislé a logické. Hlavná práca prebiehala posledný mesiac, teda 3-4 týždne pred dňom D.
— Teda okrem svojej hlavnej činnosti ste si vyčlenili čas na prípravu?
— Týmto sme sa zaoberali popri svojej hlavnej práci, áno.
— Žiadajú vás ešte, aby ste niečo také urobili?
— Áno, máme veľa žiadostí o opakovanie.
— A čo vy?
– Máme nové nápady, nové koncepty, chceme osloviť viac ľudí a natiahnuť to v čase – a proces výberu, aj samotný proces hry. Celkovo sa inšpirujeme projektom „Cikáda“, to si môžete vygoogliť – je to veľmi zaujímavé IT téma, kde sa ľudia z celého sveta spájajú, zakladajú vlákna na Reddite, na fórach, používajú preklady šifrov a lúštia záhady, a podobne.
– Myšlienka bola skvelá, naozaj rešpekt za nápad a realizáciu, pretože to má skutočnú hodnotu. Úprimne prajem, aby vás toto nadšenie neopustilo a aby všetky vaše nové projekty boli rovnako úspešné. Ďakujem!
– Áno, je možné si pozrieť príklad úlohy, ktorú určite nebudete znova používať?
– Podozrievam, že žiadnu nebudeme znovu používať. Preto vám môžem porozprávať o priebehu celého questu.
Bonusová skladbaNa samom začiatku majú hráči názov virtuálneho stroja a poverenia na vCenter. Po prihlásení uvidia tento stroj, ale ten sa nespustí. Musia si uvedomiť, že s .vmx súborom nie je niečo v poriadku. Po jeho stiahnutí uvidia nápovedu potrebnú pre druhý krok. V podstate tam je napísané, že databáza, ktorú používa Veeam Backup & Replication, je šifrovaná.
Po odstránení nápovedy, nahratí .vmx súboru späť a úspešnom zapnutí stroja, uvidia, že na jednom z diskov naozaj leží databáza šifrovaná v base64. Úlohou je teda túto databázu dešifrovať a získať plne funkčný Veeam server.
Trochu o virtuáke, na ktorej sa to všetko deje. Ako si pamätáme, v príbehu je hlavnou postavou questu dosť temná osobnosť, ktorá sa zaoberá niečím zjavne nelegálnym. Preto by jej pracovný počítač mal mať celkom hackerický vzhľad, ktorý sme mali vytvoriť, aj keď ide o Windows. Najprv sme pridali množstvo rekvizít ako informácie o veľkých hackoch, DDoS útokoch a podobne. Potom sme nainštalovali rôzny typický softvér a rozmiestnili rôzne dumpy, súbory s hashmi a pod. Všetko ako vo filme. Medzi iným tam boli zložky pomenované podľa princípu closed-case*** a open-case***.
Aby sa hráči posunuli ďalej, musia obnoviť nápovedy z súborov v zálohách.
Tu je potrebné povedať, že na začiatku sa hráčom poskytovalo pomerne málo informácií a väčšina údajov (ako IP, prihlasovacie meno a heslá) sa získava v priebehu úlohy, pričom sa nachádzajú podnety v zálohových súboroch alebo súboroch, ktoré sú roztrúsené po strojoch. Pôvodne zálohové súbory sú uložené na Linuxovom repozitári, ale samotná zložka je na serveri pripojená (mounted) s praporom noexec, preto sa agent zodpovedný za obnovu súborov nemôže spustiť.
Opravením repozitára účastníci získavajú prístup ku všetkému obsahu a konečne môžu obnoviť akékoľvek informácie. Zostáva zistiť, ktoré presne. A na to potrebujú preskúmať súbory uložené na tomto stroji, určiť, ktoré sú "pokazené" a čo presne je potrebné obnoviť.
V tomto štádiu sa scenár posúva od všeobecných IT znalostí k špecifickým funkciám Veeam.
V tomto konkrétnom prípade (keď vieš názov súboru, ale nevieš, kde ho hľadať) je potrebné využiť funkciu vyhľadávania v Enterprise Manageri, a tak ďalej. Nakoniec po obnovení celej logickej pásky majú hráči vo svojich rukách ďalšie prihlasovacie meno/heslo a výstup z nmapu. To ich vedie na Windows Core server, a to cez RDP (aby život nebol med lízať).
Hlavná vtipka tohto servera: pomocou jednoduchého skriptu a niekoľkých slovníkov tam bola vytvorená úplne bezvýznamná štruktúra zložiek a súborov. A pri prihlásení sa zobrazuje uvítacia správa typu „Tu explodovala logická bomba, preto musíte zbierať podnety pre ďalšie kroky po kusoch.“
Ďalší podnet bol rozdelený do mnohopodnikového archívu (kusy 40-50) a náhodne rozložený po týchto zložkách. Našim zámerom bolo, aby hráči preukázali svoje talenty v písaní jednoduchých PowerShell skriptov, aby na základe známej šablóny spojili mnohopodnikový archív a získali požadované údaje. (Ale dopadlo to ako v tom vtipe – časť účastníkov sa ukázala byť neobyčajne fyzicky vyvinutá.)
V archíve bola fotografia kazety (s nápisom „Last Supper — Best Moments“), čo naznačovalo použitie pripojenej páskovej knižnice, kde bola kazeta so podobným názvom. Problém bol iba ten, že bola taká nefunkčná, že sa ani nezaradila do katalógu. Tu sa pravdepodobne začala najnáročnejšia časť questu. Z kazety sme vymazali názov, takže aby sme obnovili dáta, stačilo iba vytiahnuť „surové“ bloky a prezrieť ich v hex-editori na prítomnosť markerov začiatku súborov.
Nájdeme marker, pozrieme ofset, vydelíme blok jeho veľkosťou, pripočítame ofset a pomocou vnútornej nástroje sa snažíme obnoviť súbor z určitého bloku. Ak je všetko v poriadku a matematika vychádza, hráči získajú .wav súbor.
V ňom je pomocou generátora hlasu okrem iného nadiktovaný binárny kód, ktorý odhaľuje ďalšiu IP adresu.
Ukazuje sa, že ide o nový Windows server, kde všetko naznačuje potrebu použitia Wireshark, lenže tam nie je. Hlavný trik spočíva v tom, že na tomto počítači sú nainštalované dve systémy — iba disk s druhým je vypnutý prostredníctvom správcu zariadení v offline režime, a logický sled udalostí vedie k potrebe reštartovania. Po reštartovaní sa ukáže, že by sa predvolene mala načítať úplne iná sústava, kde je nainštalovaný Wireshark. A my sme celý ten čas boli na sekundárnom operačnom systéme.
Tu už nie je veľa čo robiť, stačí zapnúť zachytávanie na jedinom rozhraní. Pri relatívne pozornom preskúmaní dumpu sa jasne objavuje podozrivý paket, ktorý sa posiela z pomocného počítača v pravidelných intervaloch a obsahuje odkaz na video na YouTube, kde žiadajú hráčov, aby zavolali na určité číslo. Prvý, kto zavolá, si vypočuje gratuláciu k prvému miestu, ostatní dostanú pozvanie do HR (vtip).
Mimochodom, máme otvorené pre technických podporovateľov a stáže. Vitajte v tíme!
Zdroj: habr.com
