Ove zime, točnije — jednog dana između katoličkog Božića i Nove Godine — inženjeri tehničke podrške Veeam bili su zaposleni neobičnim zadacima: lovili su grupu hakera poznatu kao „Veeamonymous“.

O tome kako su dečki sami smislili i proveli pravi stvarni kviz na svom radnom mjestu, s zadacima „približenim borbenim“, ispričao je Kirill Stečko, Inženjer eskalacije.

— Zašto ste uopće to pokrenuli?

— Otprilike kao što su ljudi u neko vrijeme smislili Linux – just for fun, za vlastitu zabavu.

Željeli smo malo akcije, a u isto vrijeme učiniti nešto korisno, nešto zanimljivo. Osim toga, trebalo nam je malo emocionalnog olakšanja za inženjere od njihove svakodnevne rutine.

— Tko je to predložio? Čija je bila ideja?

— Ideja je bila našeg menadžera Katje Egorove, a zatim su zajedničkim naporima rođene sve daljnje ideje. Prvotno smo razmišljali o održavanju hackathona. No tijekom razvoja koncepta, ideja se pretvorila u kviz, jer je posao inženjera tehničke podrške drugačiji od programiranja.

Dakle, pozvali smo prijatelje, kolege, razne ljude koji su nam pomagali s konceptom – jedna osoba iz T2 (druga linija podrške — napomena urednika), jedna osoba iz T3, nekoliko ljudi iz SWAT tima (tim za brzu reakciju na hitne slučajeve — napomena urednika). Svi smo se okupili, sjeli i pokušali smisliti zadatke za naš kviz.

— Bilo je vrlo iznenađujuće saznati sve to, jer koliko ja znam, obično kviz mehaniku razvijaju specijalizirani scenaristi, tako da niste samo radili na tako složenom zadatku, nego i u vezi sa svojim poslom, svojim profesionalnim poljem.

— Da, htjeli smo učiniti nešto više od zabave, a „poboljšati“ tehničke vještine inženjera. Jedan od zadataka u našem odjelu je razmjena znanja i obuka, a ovakav kviz je izvrsna prilika da ljudima omogući da „dodirnu“ neke nove tehnike uživo.

— Kako ste smišljali zadatke?

— Organizirali smo brainstorming. Imali smo razumijevanje da trebamo napraviti određene tehničke izazove, a takvi da budu zanimljivi i da istovremeno donesu nova saznanja.
Na primjer, pomislili smo da ljudima treba omogućiti da isprobaju sniffanje prometa, koriste hex uređivače, rade nešto za Linux, te se upuste u nešto dublje vezano uz naše proizvode (Veeam Backup & Replication i druge).

Također, važan dio bio je koncept. Odlucili smo se osloniti na temu hakera, anonimni pristup i atmosferu tajnosti. Simbol je postala maska Guy Fawkes-a, a naziv se nametnuo sam po sebi — Veeamonymous.

„Na početku je bila riječ“

Kako bismo potaknuli interes, odlučili smo organizirati PR kampanju u tematici potrage: objesili smo plakate s najavom po našem uredu. A nekoliko dana kasnije, tajno od svih, sami smo ih oslikali sprejevima i pustili „dezinformaciju“, da su neki počinitelji uništili plakate, čak smo priložili i fotografije kao dokaz....

— Pa to ste vi sami napravili, tj. tim organizatora?!

— Da, u petak, negdje oko 9, kada su svi već otišli, šetali smo i slikali zelenim sprejem slovo „V“.) Mnogi sudionici potrage nisu ni shvatili tko je to napravio – ljudi su nam prilazili i pitali tko je uništio plakate? Neki su ozbiljno pristupili tom pitanju i organizirali cijelo istraživanje na tu temu.

Za potragu smo snimali i audio datoteke, „izvukli“ zvukove: na primjer, kada se inženjer prijavljuje u naš [proizvodnu CRM] sustav, tamo ima robot-automatski odgovor koji govori razne fraze, brojeve… Tako smo od riječi koje su snimljene kod njega sastavljali više-manje smislene rečenice, možda malo iskrivljene – na primjer, uspjeli smo dobiti „No friends to help you“ u audio datoteci.

IP adresa, na primjer, predstavljena je u binarnom kodu, sve je, opet, uz pomoć tih brojeva [izgovorenih robotom], dodavala razne zastrašujuće zvukove. Sami smo snimali video: na videu imamo osobu u crnom kaputu i maski Guy Fawkes-a, ali zapravo tu nije jedna osoba, nego tri, jer dvoje stoje iza njega i drže „pozadinu“ od deke:).

— Pa stvarno ste se potrudili, da se tako kaže.

— Da, mi smo se uživjeli. Na početku smo smislili naše tehničke zadatke, a zatim stvorili literarnu i igračku osnovu tema o tome što se navodno dogodilo. Prema scenariju, sudionici su lovili grupu hakera pod imenom „Veeamonymous“. Ideja je bila i u tome da „lomimo četvrti zid“, odnosno prelazimo događaje u stvarnost – tako smo slikali iz sprejeva, na primjer.

S literarnom obradom teksta pomogao nam je jedan od izvornih govornika engleskog jezika iz našeg odjela.

— Čekaj, zašto nam treba izvorni govornik? Sve ste to radili i na engleskom jeziku?!

— Da, provodili smo to za urede u Peterburgu i Bukureštu, stoga je sve bilo na engleskom.

Za prvo iskustvo pokušali smo to učiniti tako da jednostavno funkcionira, stoga je scenarij bio linearan i prilično jednostavan. Dodali smo više ambijenta: tajni tekstovi, šifre, slike.

Također smo koristili meme: bilo je puno slika na teme istraga, NLO-a, nekih popularnih strašila – neki timovi su se čak i na to odlazili, pokušavali pronalaziti skrivene poruke, primjenjivati svoja znanja steganografije i slično… ali, naravno, tamo nije bilo ništa od toga.

O trnju

Međutim, tijekom priprema suočili smo se s neočekivanim izazovima.

Puno smo se trudili oko njih i rješavali razna iznenada nastala pitanja, a negdje tjedan dana prije kvestu, potpuno smo pomislili da je sve propalo.

Možda bi trebalo malo pričati o tehničkoj osnovi kvestu.

Sve je bilo na našoj unutrašnjoj ESXi laboratoriji. Imali smo 6 timova, što znači da smo morali dodijeliti 6 resursnih poolova. Dakle, za svaki tim postavili smo posebni pool s potrebnim virtualnim strojevima (iste IP adrese). No, budući da se sve to nalazilo na serverima koji su u jednoj mreži, trenutna konfiguracija naših VLAN-ova nije dopuštala izolaciju strojeva u različitim poolovima. Na primjer, tijekom testnog prolaska, imali smo situacije kada se stroj iz jednog poola spojio na stroj iz drugog.

— Kako ste uspjeli riješiti situaciju?

— Isprva smo dugo razmišljali, testirali razne opcije s dozvolama, odvojenim vLAN-ovima za strojeve. Na kraju smo napravili ovako — svaki tim vidi samo Veeam Backup server, preko kojeg se odvija sav daljnji rad, ali ne vidi skriveni podpool, u kojem se nalaze:

• nekoliko Windows strojeva
• Windows core poslužitelj
• stroj s Linuxom
• par VTL (Virtual Tape Library)

Svakoj grupi dodijeljena je posebna grupa portova na vDS switchu i vlastiti Private VLAN. Ova dvostruka izolacija potrebna je kako bi se potpuno isključila mogućnost mrežne interakcije.

O hrabrima

— Je li bilo tko mogao sudjelovati u potrazi? Kako su se formirali timovi?

— Ovo je bilo naše prvo iskustvo organiziranja takvog događaja, a mogućnosti naše laboratorije bile su ograničene na 6 timova.

Na početku smo, kao što sam već rekao, proveli PR kampanju: koristeći plakate i slanje obavijesti, javili smo da će se održati potražnja. Imali smo čak i neke tragove – na samim plakatima bile su šifrirane fraze u binarnom kodu. Tako smo zainteresirali ljude, a ljudi su se već međusobno dogovarali s prijateljima, kooperirali. Na kraju se javilo više željnih nego što smo imali grupa, pa je bilo potrebno provesti selekciju: osmislili smo jednostavan test i poslali ga svima koji su se javili. To je bila logička zagonetka koju je trebalo riješiti brzo.

U timu je moglo biti najviše 5 članova. Kapetan nije bio potreban, ideja je bila u suradnji i komunikaciji među sobom. Neki su bili snažni, recimo, u Linuxu, neki su bili dobri u trakama (backupima na trake), i svatko, videći zadatak, mogao je doprinositi zajedničkom rješenju. Svi su međusobno komunicirali, pronalazili rješenja.

— Kada je započela ova aktivnost? Imali ste neki 'čas X'?

— Da, imali smo strogo određeni dan, birali smo ga tako da bude manja opterećenost u odjelu. Naravno, unaprijed smo obavijestili tim lidere da su ovakvi timovi pozvani da sudjeluju u potrazi i da im treba dati određenu olakšicu [u vezi opterećenja] na taj dan. Ispostavilo se da to treba biti krajem godine, 28. prosinca, petak. Planirali smo da će trajati oko 5 sati, ali svi timovi su se snašli prije.

— Svi su bili u jednakim uvjetima, imali su iste zadatke temeljene na stvarnim slučajevima?

— Da, svatko od sastavljača uzimao je iz osobnog iskustva razne priče. O nečemu smo znali da bi moglo biti stvarno, i bilo bi zanimljivo da osoba to "osjeti", pogleda i razjasni. Uzimali smo i neke specifičnije stvari — na primjer, oporavak podataka s oštećenih traka. Netko s uputama, ali većina timova se snašla samostalno.

Ili je trebalo primijeniti magiju brzih skripti – na primjer, imali smo priču da je neka "logička bomba" "raskomadala" višekratni arhiv u nasumične mape po stablu, i trebalo je prikupiti podatke. To se može učiniti ručno – pronalazeći i kopirajući [datoteke] jednu po jednu, a može se napisati skripta prema maski.

Općenito, pokušavali smo se držati stava da se jedan zadatak može riješiti na različite načine. Na primjer, ako si malo iskusniji ili želiš "komplicirati", možeš ga brže riješiti, dok postoji i direktan put rješavanja "u lice" – ali pritom ćeš potrošiti više vremena na zadatak. Tako da je gotovo svaka zadaća imala nekoliko opcija rješenja, a bilo je zanimljivo koje će puteve izabrati timovi. Tako da je nelinearnost bila upravo u izboru rješenja.

Inače, najteži se pokazao Linux-zadatak — samo je jedan tim riješio ga samostalno, bez uputa.

— A je li se moglo uzeti upute? Kao u pravom quest-u??

— Da, moglo se uzeti, jer smo razumjeli da su ljudi različiti, i mogli su u istom timu biti oni kojima nedostaju neka znanja, pa smo odlučili da će biti upute kako bi i prolazak bio brži, a natjecateljski interes ne nestao. Za svaku ekipu je pazio netko od organizatora. I pratili smo da nitko ne cheat-uje.

O zvijezdama

— A je li bilo nagrada za pobjednike?

— Da, trudili smo se napraviti maksimalno ugodne nagrade i za sve sudionike, i za pobjednike: pobjednici su dobili dizajnerske dukserice s logotipom Veeama i frazom šifriranom u 16-ličnom kodu, crne boje). Svi sudionici su dobili po masku Guy Fawkes-a i po brandiranoj torbi s logotipom i istim kodom.

— Znači sve je bilo kao u pravom quest-u!

— Pa, željeli smo napraviti cool, odraslu stvar, i mislim da nam je to uspjelo.

— Tako je! Kakva je u konačnici bila reakcija onih koji su sudjelovali u ovom kvizu? Jeste li postigli ciljeve?

— Da, mnogi su kasnije prilazili i govorili da su očito vidjeli svoje slabosti i da su htjeli na njima raditi. Neki su prestali imati strah od određenih tehnologija – na primjer, od dumpanja blokova s tapeovima i pokušaja da nešto izvade... Neki su shvatili da trebaju poboljšati Linux i slično. Pokušali smo dati dovoljno širok spektar zadataka, ali ne baš trivijalnih.

Tim pobjednika

«Tko želi, taj će ostvariti!»

— Je li to zahtijevalo puno truda od onih koji su pripremali kviz?

— Uistinu da. Ali to je vjerojatno bilo povezano s tim što nismo imali nikakvo iskustvo u pripremi takvih kvizova, tog tipa infrastrukture. (Napominjemo da ovo nije naša stvarna infrastruktura – ona je samo trebala obavljati neke igračke funkcije.)

Za nas je to bilo vrlo zanimljivo iskustvo. Isprva sam bio skeptičan, jer mi se ideja činila čak previše kul, mislio sam da je to vrlo teško realizirati. No, počeli smo raditi, počeli smo se truditi, svi su se zainatili, i na kraju smo uspjeli. I sve je prošlo gotovo bez problema.

U cjelini smo potrošili 3 mjeseca. Uglavnom smo smišljali koncept, raspravljali o tome što možemo realizirati. Tijekom procesa, naravno, nešto se mijenjalo, jer smo shvaćali da nemamo tehničke mogućnosti za nešto što smo zamislili. Na licu mjesta smo morali nešto prepraviti, ali tako da cijela priča, narativ i logika ne budu slomljeni. Nismo se trudili samo dati popis tehničkih zadataka, već smo željeli da to ima smisla, da bude povezano i logično. Glavni rad odvijao se u posljednjem mjesecu, dakle 3-4 tjedna prije dana D.

— Znači, osim svoje osnovne djelatnosti, odvojili ste vrijeme za pripremu?

— Time smo se bavili paralelno s glavnim poslom, da.

— Traže li vas da još jednom organizirate nešto slično?

— Da, imamo mnogo zahtjeva za ponovnu izvedbu.

— A što vi?

Imamo nove ideje, nove koncepte, želimo privući više ljudi i rasporediti to kroz vrijeme - i proces odabira, kao i sam proces igre. Sveukupno, inspiriramo se projektom "Cikada", to se može pronaći na internetu - to je stvarno cool IT tema, tamo se okupljaju ljudi iz cijelog svijeta, otvaraju teme na Redditu, na forumima, koriste prevod šifara, rješavaju zagonetke i tako dalje.

Ideja je bila odlična, stvarno svaka čast na ideji i realizaciji, jer to zaista vrijedi. Iskreno se nadam da to uzbuđenje neće nestati, da će svi vaši novi projekti biti jednako uspješni. Hvala!

Može li se vidjeti primjer zadatka koji sigurno nećete ponovno koristiti?

Sumnjam da ćemo ijedan od njih ponovno koristiti. Stoga vam mogu pričati o tijeku cijelog kvest-a.

Bonus pjesmaNa samom početku igrači imaju ime virtualne mašine i vjerodajnice za vCenter. Kada se prijave, vide tu mašinu, ali ona se ne pokreće. Tada moraju shvatiti da nešto nije u redu s .vmx datotekom. Preuzimajući je, vide trag, potreban za drugi korak. U suštini, tamo piše da je baza koju koristi Veeam Backup & Replication šifrirana.
Uklanjajući trag, preuzimajući .vmx datoteku natrag i uspješno pokrećući mašinu, vide da se na jednom od diskova zaista nalazi baza koja je šifrirana base64. Dakle, zadatak je dešifrirati je i dobiti potpuno funkcionalni Veeam server.

Malo o virtualnoj mašini na kojoj se sve to odvija. Kao što se sjećamo, prema priči glavni junak kvest-a je prilično tamna ličnost koja se bavi nečim očito nezakonitim. Stoga njegov radni računar mora imati prilično hakerski izgled, što smo trebali stvoriti, unatoč tome što je to Windows. Prvo smo dodali masu rekvizita poput informacija o velikim hakiranjima, DDoS napadima i sličnom. Zatim smo instalirali razne tipične softvere i svugdje razbacali razne dumpove, datoteke s hash-ovima itd. Sve kao u filmu. Među ostalim, tamo su bile mape imenovane prema principu closed-case*** i open-case***.
Da bi napredovali, igrači moraju obnoviti tragove iz datoteka u backup-ima.

Treba napomenuti da su na početku igrači imali vrlo malo informacija, a većinu podataka (poput IP adresa, korisničkih imena i lozinki) dobijaju tokom misije, pronalazeći tragove u backupovima ili datotekama raspršenim po računalima. U početku se backup datoteke nalaze na Linux repozitoriju, ali sama mapa na serveru je montirana (mounted) s oznakom noexec, pa agent zadužen za obnavljanje datoteka ne može pokrenuti.

Popravljanjem repozitorija, učesnici dobijaju pristup celoj sadržini i konačno mogu obnoviti bilo koju informaciju. Ostaje da se razjasni koju tačno. A za to im je baš potrebno da proučavaju datoteke smeštene na ovom računalu, odrede koje su "pokvarene" i što treba obnoviti.

U ovoj fazi scenarij se pomera od općeg IT znanja ka specifičnim funkcijama Veeam.

U ovom konkretnom primeru (kada znaš ime datoteke, ali ne znaš gde je tražiti) treba iskoristiti funkciju pretrage u Enterprise Manageru, i tako dalje. Na kraju, nakon obnavljanja cele logičke povezanosti, igrači dobijaju još jedan korisnički nalog/lozinku i izlaz nmap-a. To ih dovodi na Windows Core server, i to putem RDP-a (da život ne bi bio lak).

Glavna karakteristika ovog servera: pomoću jednostavnog skripta i nekoliko rečnika je formirana potpuno besmislena struktura mapa i datoteka. A pri logovanju se prikazuje poruka dobrodošlice tipa "Ovde je eksplodirala logička bomba, tako da ćete moraćete da skupljate tragove za daljnje korake po delovima."

Sledeći trag je bio razbijen na višedeljni arhiv (oko 40-50 delova) i nasumično raspoređen po ovim mapama. Naš plan je bio da igrači pokažu svoje talente u pisanju jednostavnih PowerShell skripti kako bi prema poznatom obrascu skupili zajedno višedeljni arhiv i dobili tražene podatke. (Ali ispalo je kao u onoj anegdoti — deo ispitanika se pokazao izuzetno fizički razvijen.)

U arhivi je bila fotografija kasete (s natpisom „Last Supper — Best Moments“), što je sugeriralo mogućnost korištenja priključene trake, na kojoj je bila kaseta sa sličnim nazivom. No, problem je bio to što je bila neoperabilna toliko da nije bila ni katalogizirana. Ovdje je počela, vjerojatno, najteža faza potrage. Izbrisali smo naslov kasete, stoga da bismo povratili podatke s nje, potrebno je samo iskopirati "sirove" (raw) blokove i pregledati ih u hex uređivaču u potrazi za markerima početka datoteka.
Pronalazimo marker, gledamo ofset, množimo blok s njegovom veličinom, dodajemo ofset i pomoću unutarnjeg alata pokušavamo obnoviti datoteku s određenog bloka. Ako je sve ispravno učinjeno i matematika se poklapa, igrači će dobiti .wav datoteku.

U njemu je uz pomoć generadora glasa, između ostalog, nadikteran binarni kod, koji otkriva još jedan IP.

To je, ispostavlja se, novi Windows server, gdje sve upućuje na potrebu korištenja Wiresharka, no njega nema. Glavni fokus je u tome što su na ovoj mašini instalirana dva sustava — samo je disk s drugim isključen putem upravitelja uređaja u offline modu, a logički slijed dovodi do potrebe za ponovnim pokretanjem. Nakon toga otkrivamo da bi se prema zadanim postavkama trebala pokrenuti sasvim drugačija verzija sustava, na kojoj je instaliran Wireshark. A mi smo cijelo to vrijeme bili na sekundarnom OS-u.

Ovdje već ništa posebno ne treba raditi, dovoljno je uključiti snimanje na jedinom sučelju. Pri relativno pažljivom pregledu snimke, očito se primjećuje sumnjivi paket, koji šalje pomoćna mašina u redovitim vremenskim intervalima, a u njemu se nalazi link na YouTube video, u kojem se od igrača traži da nazovu određeni broj. Prvi koji nazove ispunit će čestitku za prvo mjesto, ostali će primiti poziv u HR (šala)).

Inače, imamo otvorene pozicije za inženjere tehničke podrške i za pripravnike. Dobrodošli u tim!

Izvor: habr.com