Ove zime, odnosno, jednog od dana između katoličkog Božića i Nove godine, Veeamovi inženjeri tehničke podrške bili su zauzeti neobičnim zadacima: lovili su grupu hakera zvanu “Veeamonymous”.
Ispričao je kako su momci sami smislili i izveli pravu potragu u stvarnosti na svom poslu, sa zadacima "bliskim borbi" Kirill Stetsko, Inženjer eskalacije.
- Zašto si ovo uopšte započeo?
— Примерно так же, как люди придумали в свое время Linux – just for fun, для собственного удовольствия.
Željeli smo kretanje, a istovremeno smo željeli raditi nešto korisno, nešto zanimljivo. Osim toga, bilo je potrebno dati malo emocionalnog olakšanja inženjerima od njihovog svakodnevnog rada.
- Ko je ovo predložio? Čija je to bila ideja?
— Ideja je bila naša menadžerka Katya Egorova, a onda su se zajedničkim snagama rodili koncept i sve dalje ideje. U početku smo mislili da napravimo hakaton. Ali tokom razvoja koncepta ideja je prerasla u potragu; na kraju krajeva, inženjer tehničke podrške je druga vrsta aktivnosti od programiranja.
Dakle, zvali smo prijatelje, drugove, poznanike, razni ljudi su nam pomogli oko koncepta - jedna osoba iz T2 (druga linija podrške je napomena urednika), jedna osoba sa T3, par ljudi iz SWAT tima (tim za brzo reagovanje za posebno hitne slučajeve - napomena urednika). Svi smo se okupili, sjeli i pokušali smisliti zadatke za našu misiju.
— Bilo je vrlo neočekivano saznati o svemu ovome, jer, koliko ja znam, mehaniku zadataka obično rade specijalisti scenaristi, odnosno ne samo da ste se bavili tako složenom stvari, već i u odnosu na svoj posao , vašem profesionalnom polju aktivnosti.
— Da, želeli smo da to ne bude samo zabava, već da „napumpamo“ tehničke veštine inženjera. Jedan od zadataka u našem odjelu je razmjena znanja i obuka, ali ovakva potraga je odlična prilika da ljudi „dotaknu“ neke nove tehnike za njih uživo.
— Kako ste došli do zadataka?
— Imali smo brainstorming sesiju. Imali smo razumijevanje da moramo napraviti neke tehničke testove, i to takve da budu zanimljivi i da ujedno donesu nova znanja.
Например, мы подумали, что людям надо дать попробовать поснифать траффик, попользоваться hex-редакторами, что-то поделать для Linux, какие-то чуть более глубокие вещи, связанные с нашими продуктами (Veeam Backup & Replication и другие).
Koncept je također bio važan dio. Odlučili smo da gradimo na temi hakera, anonimnog pristupa i atmosfere tajnosti. Guy Fawkes maska je pretvorena u simbol, a ime je došlo prirodno - Veeamonymous.
"U početku je bila riječ"
Kako bismo potaknuli interesovanje, odlučili smo da prije događaja organiziramo PR kampanju sa temom questa: okačili smo plakate s objavom oko našeg ureda. A par dana kasnije, krišom od svih, farbali su ih sprejevima i digli “patku”, kažu da su neki napadači upropastili plakate, čak su priložili i fotografiju sa dokazom….
- Pa vi ste to uradili sami, odnosno ekipa organizatora?!
— Da, u petak, oko 9 sati, kada su svi već otišli, otišli smo i iz balona nacrtali slovo „V“ zelenom bojom.) Mnogi učesnici potrage nikada nisu pogodili ko je to uradio – ljudi su nam prilazili i pitao ko je upropastio plakate? Neko je ovo pitanje shvatio veoma ozbiljno i sproveo čitavu istragu na ovu temu.
Za potragu smo napisali i audio fajlove, "istrgnute" zvukove: na primjer, kada se inženjer prijavi u naš [proizvodni CRM] sistem, postoji robot koji se javlja koji izgovara sve vrste fraza, brojeva... Evo nas od onih riječi koje je snimio, sastavio manje-više smislene fraze, pa, možda malo krive - na primjer, dobili smo "Nema prijatelja koji bi ti pomogli" u audio fajlu.
Na primjer, predstavili smo IP adresu u binarnom kodu, i opet, koristeći ove brojeve [koje izgovara robot], dodali smo sve vrste zastrašujućih zvukova. Snimak smo snimili sami: na snimku imamo čovjeka koji sjedi sa crnom kapuljačom i maskom Guy Fawkesa, ali u stvarnosti nije jedna osoba, već tri, jer dvije stoje iza njega i drže "pozadinu" od ćebe :).
- Pa, zbunjeni ste, otvoreno rečeno.
- Da, zapalili smo se. Općenito, prvo smo osmislili naše tehničke specifikacije, a zatim sastavili literarni i razigrani okvir na temu onoga što se navodno dogodilo. Prema scenariju, učesnici su lovili grupu hakera pod nazivom "Veeamonymous". Ideja je bila i da, takoreći, „razbijemo 4. zid“, odnosno da događaje prenesemo u stvarnost – slikali smo iz spreja, na primer.
U literarnoj obradi teksta pomogao nam je jedan od izvornih govornika engleskog sa našeg odjeljenja.
- Čekaj, zašto izvorni govornik? Jeste li i vi sve to radili na engleskom?!
— Da, uradili smo to za kancelarije u Sankt Peterburgu i Bukureštu, tako da je sve bilo na engleskom.
Za prvo iskustvo pokušali smo da sve jednostavno funkcionira, tako da je skripta bila linearna i prilično jednostavna. Dodali smo još okruženja: tajne tekstove, šifre, slike.
Koristili smo i memove: bilo je gomila slika na teme istraga, NLO-a, nekih popularnih horor priča - nekim timovima je to odvuklo pažnju, pokušavajući tamo pronaći neke skrivene poruke, primijeniti svoje znanje steganografije i druge stvari... ali, naravno, ništa slično nije bilo.
O trnju
Međutim, tokom procesa pripreme suočili smo se i sa neočekivanim izazovima.
Dosta smo se mučili s njima i rješavali razne neočekivane probleme, a otprilike tjedan dana prije potrage smo mislili da je sve izgubljeno.
Vjerovatno je vrijedno reći malo o tehničkoj osnovi potrage.
Sve je urađeno u našoj internoj ESXi laboratoriji. Imali smo 6 timova, što znači da smo morali dodijeliti 6 fondova resursa. Dakle, za svaki tim smo postavili poseban bazen sa potrebnim virtuelnim mašinama (ista IP). Ali pošto se sve ovo nalazilo na serverima koji su na istoj mreži, trenutna konfiguracija naših VLAN-ova nije nam dozvoljavala da izolujemo mašine u različitim grupama. I, na primjer, tokom probnog rada, dobili smo situacije u kojima se mašina iz jednog bazena povezivala sa mašinom iz drugog.
— Kako ste uspeli da ispravite situaciju?
— Prvo smo dugo razmišljali, testirali sve vrste opcija sa dozvolama, zasebnim vLAN-ovima za mašine. Kao rezultat toga, uradili su ovo - svaki tim vidi samo Veeam Backup server, preko kojeg se odvija sav dalji rad, ali ne vidi skriveni podpul koji sadrži:
- nekoliko Windows mašine
- Windows core сервер
- машина с Linux
- par VTL (virtualna biblioteka traka)
Svim skupovima je dodijeljena posebna grupa portova na vDS prekidaču i njihov vlastiti privatni VLAN. Ova dvostruka izolacija je upravo ono što je potrebno da se u potpunosti eliminiše mogućnost mrežne interakcije.
O hrabrima
— Da li bi neko mogao da učestvuje u potrazi? Kako su formirani timovi?
— Ovo je bilo naše prvo iskustvo održavanja ovakvog događaja, a mogućnosti naše laboratorije bile su ograničene na 6 timova.
Prvo smo, kao što sam već rekao, sproveli PR kampanju: plakatima i dopisima najavili smo da će se održati potraga. Imali smo čak i neke tragove - fraze su bile šifrovane u binarnom kodu na samim posterima. Na ovaj način smo zainteresovali ljude, a ljudi su već postigli dogovore među sobom, sa prijateljima, sa prijateljima i sarađivali. Kao rezultat toga, više ljudi je odgovorilo nego što smo imali skupove, pa smo morali izvršiti selekciju: osmislili smo jednostavan testni zadatak i poslali ga svima koji su odgovorili. Bio je to logički problem koji je morao biti brzo riješen.
В команде допускалось до 5 человек. Капитан там не требовался, идея была в кооперации, в общении между собой. Кто-то силён, допустим, в Linux, кто-то силен в тейпах (бэкапах на ленты), и каждый, видя задание, мог вложить свои усилия в общее решение. Все между собой общались, находили решение.
— U kom trenutku je počeo ovaj događaj? Jeste li imali neku vrstu "sata X"?
— Da, imali smo striktno određen dan, izabrali smo ga tako da je bilo manje posla u odjeljenju. Naravno, vođe timova su unaprijed bili obaviješteni da su ti i takvi timovi pozvani da učestvuju u potrazi i trebalo im je dati malo olakšanja [u vezi sa utovarom] tog dana. Izgledalo je kao da bi trebalo da bude kraj godine, 28. decembar, petak. Očekivali smo da će to potrajati oko 5 sati, ali su sve ekipe završile brže.
— Da li su svi bili ravnopravni, da li su svi imali iste zadatke na osnovu stvarnih slučajeva?
— Pa da, svaki od kompajlera je uzeo neke priče iz ličnog iskustva. Znali smo za nešto da se to može dogoditi u stvarnosti i bilo bi zanimljivo da čovjek to „osjeti“, pogleda i shvati. Uzeli su i neke konkretnije stvari - na primjer, oporavak podataka sa oštećenih traka. Neki sa nagoveštajima, ali većina ekipa je to uradila na svoju ruku.
Ili je bilo potrebno koristiti magiju brzih skripti – na primjer, imali smo priču da je neka “logična bomba” “pocijepala” višetomnu arhivu u nasumične foldere duž stabla, te je bilo potrebno prikupiti podatke. To možete učiniti ručno - pronaći i kopirati [datoteke] jednu po jednu, ili možete napisati skriptu koristeći masku.
Općenito, nastojali smo da se pridržavamo gledišta da se jedan problem može riješiti na različite načine. Na primjer, ako ste malo iskusniji ili želite da se zbunite, onda možete to riješiti brže, ali postoji direktan način da to riješite direktno - ali ćete u isto vrijeme potrošiti više vremena na problem. Odnosno, skoro svaki zadatak je imao nekoliko rješenja, a bilo je zanimljivo koje puteve će timovi izabrati. Dakle, nelinearnost je bila upravo u izboru opcije rješenja.
Кстати, самой трудной оказалась Linux-задача — только одна команда решила ее самостоятельно, без подсказок.
— Možete li shvatiti nagoveštaje? Kao u pravoj potrazi??
— Da, bilo je moguće uzeti, jer smo shvatili da su ljudi različiti, a oni kojima nedostaje znanja mogli bi da uđu u isti tim, pa da ne bi kasnili prolaz i da ne bismo izgubili takmičarski interes, odlučili smo da bi savjeti. Da bi se to postiglo, svaki tim je posmatrala osoba od organizatora. Pa, pobrinuli smo se da niko ne vara.
O zvijezdama
— Da li je bilo nagrada za pobednike?
— Da, potrudili smo se da napravimo što prijatnije nagrade i za sve učesnike i za pobednike: pobednici su dobili dizajnerske dukseve sa Veeam logom i frazom šifrovanom heksadecimalnim kodom, crne boje). Svi učesnici su dobili Guy Fawkes masku i brendiranu torbu sa logom i istim kodom.
- Odnosno, sve je bilo kao u pravoj potrazi!
“Pa, htjeli smo napraviti kul, odraslu stvar i mislim da smo uspjeli.”
- Istina je! Kakva je bila konačna reakcija onih koji su učestvovali u ovoj potrazi? Jeste li postigli svoj cilj?
— Да, многие потом подходили, говорили, что они явно увидели свои слабые места и захотели их подтянуть. Кто-то перестал бояться определенных технологий – например, дампить блоки с тейпов и пытаться там что-то выцепить… Кто-то понял, что ему надо подтянуть Linux, и так далее. Мы же постарались дать достаточно широкий круг задач, но не совсем тривиальных.
Pobjednički tim
“Ko hoće, to će i postići!”
— Da li je to zahtevalo mnogo truda od onih koji su pripremali potragu?
- U stvari da. Ali to je najvjerovatnije bilo zbog činjenice da nismo imali iskustva u pripremanju ovakvih zadataka, ovakve infrastrukture. (Rezerviramo da ovo nije naša prava infrastruktura - jednostavno je trebala obavljati neke funkcije igre.)
Bilo je to vrlo zanimljivo iskustvo za nas. U početku sam bio skeptičan, jer mi se ideja učinila previše cool, mislio sam da će biti jako teško realizirati. Ali počeli smo to da radimo, počeli smo da oremo, sve je počelo da se zapali i na kraju smo uspjeli. Čak i gotovo da nije bilo preklapanja.
Ukupno smo proveli 3 mjeseca. Uglavnom smo osmislili koncept i razgovarali o tome šta bismo mogli implementirati. U tom procesu su se, naravno, neke stvari promijenile, jer smo shvatili da nemamo tehničke mogućnosti da nešto uradimo. Morali smo usput nešto ponoviti, ali tako da se ne pokvari cijeli nacrt, istorija i logika. Pokušali smo ne samo da damo listu tehničkih zadataka, već da je uklopimo u priču, tako da bude koherentna i logična. Glavni posao se odvijao zadnjih mjesec dana, odnosno 3-4 sedmice prije dana X.
— Dakle, pored svoje glavne aktivnosti, odvojili ste vrijeme za pripreme?
— To smo radili paralelno sa našim glavnim poslom, da.
- Da li se od vas traži da ovo ponovo uradite?
- Da, imamo mnogo zahteva da ponovimo.
- I ti?
- Imamo nove ideje, nove koncepte, želimo da privučemo više ljudi i da to rastegnemo kroz vreme - i proces selekcije i sam proces igre. Generalno, inspirisani smo projektom “Cicada”, možete ga izguglati – to je jako kul IT tema, ljudi iz cijelog svijeta se udružuju tamo, pokreću teme na Redditu, na forumima, koriste prijevode kodova, rješavaju zagonetke , i sve to.
— Ideja je bila odlična, samo poštovanje za ideju i realizaciju, jer zaista mnogo vredi. Iskreno vam želim da ne izgubite ovu inspiraciju i da svi vaši novi projekti također budu uspješni. Hvala ti!
— Da, možete li pogledati primjer zadatka koji definitivno nećete ponovo koristiti?
"Sumnjam da nećemo ponovo koristiti nijednu od njih." Stoga vam mogu reći o napretku cijele potrage.
Bonus trackNa samom početku, igrači imaju naziv virtuelne mašine i akreditive iz vCenter-a. Nakon što su se prijavili, vide ovu mašinu, ali se ne pokreće. Ovdje morate pogoditi da nešto nije u redu sa .vmx datotekom. Kada ga preuzmu, vide upit potreban za drugi korak. U suštini, piše da je baza podataka koju koristi Veeam Backup & Replication šifrirana.
Nakon uklanjanja prompta, preuzimanja .vmx datoteke i uspješnog uključivanja stroja, vide da jedan od diskova zapravo sadrži base64 šifriranu bazu podataka. U skladu s tim, zadatak je dešifrirati ga i dobiti potpuno funkcionalan Veeam server.
Немного о виртуалке, на которой это всё происходит. Как мы помним, по сюжету главный герой квеста — личность довольно тёмная и занимается чем-то явно не слишком законным. Поэтому его рабочий компьютер должен иметь вполне себе хакерский вид, который предстояло создать нам, несмотря на то, что это Windows. Первым делом была добавлена масса бутафории вроде информации по крупным взломам, DDoS атакам и подобному. Затем установили всякого типичного софта и разложили везде разных дампов, файлов с хэшами и т.д. Всё как в кино. Среди прочего там были папки, именованные по принципу closed-case*** и open-case***
Da bi napredovali dalje, igrači moraju vratiti nagoveštaje iz rezervnih datoteka.
Тут нужно сказать, что в начале игрокам давалось довольно мало информации, и большинство данных (вроде IP, логинов и паролей) они получают по ходу квеста, находя подсказки в бекапах или файлах, раскиданных на машинах. Изначально файлы бекапов лежат на Linux-репозитории, но сама папка на server sa zastavom noexec, tako da agent odgovoran za oporavak datoteke ne može pokrenuti.
Popravkom repozitorija, učesnici dobijaju pristup svim sadržajima i konačno mogu vratiti sve informacije. Ostaje da shvatimo koji je to. A da bi to učinili, samo trebaju proučiti datoteke pohranjene na ovom stroju, odrediti koje su od njih "pokvarene" i šta točno treba vratiti.
U ovom trenutku, scenario se pomiče sa opšteg IT znanja na Veeam specifične karakteristike.
В данном конкретном примере (когда ты знаешь имя файла, но не знаешь где его искать) надо воспользоваться функцией поиска в Enterprise Manager, и так далее. В итоге после восстановления всей логической цепочки у игроков на руках оказывается ещё один логин/пароль и вывод nmap’a. Это приводит их на Windows Core сервер, причём по RDP (чтобы жизнь мёдом не казалась).
Glavna karakteristika ovog servera: uz pomoć jednostavne skripte i nekoliko rječnika formirana je apsolutno besmislena struktura mapa i datoteka. A kada se prijavite, dobijate poruku dobrodošlice poput „Ovdje je eksplodirala logička bomba, tako da ćete morati složiti tragove za daljnje korake.“
Sljedeći trag podijeljen je u višetomnu arhivu (40-50 komada) i nasumično raspoređen u ove fascikle. Naša ideja je bila da igrači pokažu svoje talente u pisanju jednostavnih PowerShell skripti kako bi sastavili višetomnu arhivu koristeći dobro poznatu masku i dobili potrebne podatke. (Ali ispalo je kao u onoj šali - ispostavilo se da su neki subjekti neobično fizički razvijeni.)
U arhivi se nalazila fotografija kasete (sa natpisom “Posljednja večera – najbolji trenuci”), koja je davala nagoveštaj korištenja povezane biblioteke traka, koja je sadržavala kasetu sa sličnim nazivom. Postojao je samo jedan problem - ispostavilo se da je toliko neispravan da nije čak ni katalogiziran. Ovdje je počeo vjerovatno najžešći dio potrage. Izbrisali smo zaglavlje s kasete, tako da da biste povratili podatke iz njega, samo trebate izbaciti "sirove" blokove i pregledati ih u heksadecimalnom uređivaču da pronađete markere za početak datoteke.
Pronađemo marker, pogledamo pomak, pomnožimo blok njegovom veličinom, dodamo pomak i, koristeći interni alat, pokušamo povratiti datoteku iz određenog bloka. Ako je sve urađeno kako treba i matematika se slaže, tada će igrači imati .wav fajl u svojim rukama.
U njemu se pomoću generatora glasa, između ostalog, diktira binarni kod, koji se proširuje u drugi IP.
Ovo je, ispostavilo se, novi Windows server, gdje sve upućuje na potrebu korištenja Wiresharka, ali ga nema. Glavni trik je u tome što su na ovoj mašini instalirana dva sistema - samo je disk sa drugog isključen preko upravitelja uređaja van mreže, a logički lanac dovodi do potrebe za ponovnim pokretanjem. Tada se ispostavlja da bi se po defaultu trebao pokrenuti potpuno drugačiji sistem, na kojem je instaliran Wireshark. I sve ovo vrijeme bili smo na sekundarnom OS-u.
Ovdje nema potrebe da radite ništa posebno, samo omogućite snimanje na jednom sučelju. Relativno pažljivo ispitivanje dump-a otkriva jasno lijevo-ruki paket koji se šalje sa pomoćne mašine u redovnim intervalima, a koji sadrži link do YouTube videa gdje se od igrača traži da pozovu određeni broj. Prvi pozivatelj će čuti čestitke na prvom mjestu, ostali će dobiti pozivnicu za HR (šala)).
Usput, otvoreni smo za inženjere tehničke podrške i pripravnike. Dobrodošli u tim!
izvor: www.habr.com
