Тази зима, а по-точно – в един от дните между католическото Коледа и Нова година – инженерите по техническа поддръжка на Veeam бяха ангажирани с не съвсем обичайни задачи: те преследваха група хакери, наречени «Veeamonymous».

За това как момчетата сами измислиха и проведоха на работа истински квест в реалността, с задания, „приближени до бойните“, разказа Кирил Стецко, Инженер по ескалация.

— Защо изобщо се захванахте с това?

— Примерно така, както хората измислиха Linux – just for fun, за собствено удоволствие.

Искахме движение, а същевременно искахме да направим нещо полезно, нещо интересно. Освен това трябваше да дадем някаква емоционална разгрузка на инженерите от тяхната ежедневна работа.

— Кой го предложи? Чия беше идеята?

— Идеята беше на нашия мениджър Катя Егорова, а след това концепцията и всичките по-нататъшни идеи бяха родени в съвместни усилия. Първоначално мислехме да направим хакатон. Но по време на разработването на концепцията идеята прерасна в квест, все пак инженерът за техническа поддръжка — това е различен вид дейност от програмирането.

И така, поканихме приятели, колеги и познати, различни хора ни помогнаха с концепцията – един човек от Т2 (втора линия на поддръжка — бележка на редактора), един човек от Т3, няколко души от екипа SWAT (екип за бързо реагиране на особено спешни случаи — бележка на редактора). Събрахме се всички заедно, седнахме и опитахме да измислим задания за нашия квест.

— Беше много неочаквано да науча всичко това, тъй като, доколкото знам, обикновено систематизирането на квестовата механика се извършва от специалисти-сценаристи, т.е. не само, че се занимавахте с толкова сложна работа, но и приложимо към своята работа, към своята професионална област.

— Да, искахме да направим не просто развлечение, а да „повишим“ техническите умения на инженерите. Една от задачите в нашия отдел е обмен на знания и обучение, а именно такъв квест – това е отлична възможност да дадем на хората да „опитат“ нови техники на живо.

— Как измисляхте заданията?

— Организирахме мозъчна атака. Имахме разбиране, че трябва да направим определени технически тестове, като същевременно те да са интересни и да носят нови знания.
Например, помислихме, че е добре да дадем на хората възможност да опитат да шпионират трафика, да ползват hex редактори, да работят с Linux, и да се занимават с някакви малко по-дълбоки неща, свързани с нашите продукти (Veeam Backup & Replication и други).

Също така, важна част беше концепцията. Решихме да се водим от темата за хакерите, анонимен достъп и атмосфера на тайна. Символът стана маската на Гай Фокс, а името дойде естествено — Veeamonymous.

„В началото беше словото“

За да създадем интерес, решихме преди събитието да направим PR кампания в тематиката на квеста: поставихме плакати с анонс в нашия офис. А след няколко дни, тайно от всички, сами ги боядисахме с спрейове и пуснахме „слух“, че някакви злосторници са развалили плакатите, даже приложихме снимка за доказателство....

— Значи, вие сами го направихте, т.е. екипът на организаторите?!

— Да, в петък, около 9 часа, когато всички вече си бяха тръгнали, обикаляхме и рисувахме с баллоните буквата „V“ в зелено. Много участници в квеста не успяха да се досетят кой го е направил – хора идваха при нас и питаха, кой е развалил плакатите? Някой подхвана въпроса много сериозно и проведе цялостно разследване по темата.

За квеста написахме и аудио файлове, „извадихме“ звуци: например, когато инженерът се логва в нашата [производствена CRM] система, там има робот автосекретар, който казва различни фрази, цифри… Така че от онези думи, които са записани при него, съставихме по-или-мене смислени фрази, макар и малко криви – например, получихме „No friends to help you“ в аудио файла.

IP адресът, например, представяхме в двоичен код, всичко отново, с помощта на онези цифри [произнесени от робота], добавихме различни стряскащи звуци. Сами записахме видео: на видеото имаме човек с черна качулка и маска на Гай Фокс, но всъщност там не е един човек, а трима, защото двама стоят зад него и държат „фон“ от одеяло:).

— Ами вие наистина се постарахте, направо ми се казва.

— Да, запалихме се. Първо, измислихме нашите технически задачи, а след това създадохме литературна игрална основа на тема какво всъщност се е случило. Според сценария участниците ловяха група хакери с име «Veeamonymous». Идеята беше и в това, че сякаш «чупим 4-ата стена», т.е. пренасяме събитията в реалността – например рисувахме с спрей.

С литературната обработка на текста ни помогна един от носителите на английския език от нашия отдел.

— Изчакай, а носителят на езика защо? Вие всичко това ли направихте и на английски?!

— Да, провеждахме го за офисите в Санкт Петербург и Букурещ, затова всичко беше на английски.

За първия ни опит се опитахме да направим всичко просто да сработи, така че сценарият беше линейен и доста прост. Добавихме повече атмосфера: секретни текстове, шифри, картинки.

Също така използвахме меми: имаше множество картинки на теми за разследвания, НЛО, някакви популярни страшилки – някои от отборите се разсейваха и опитваха да намерят скрити послания, да приложат знанията си по стеганография и други… но разбира се, там нямаше нищо такова.

За терниите

Но по време на подготовката се сблъсквахме и с неочаквани за нас задачи.

Много се опитвахме да ги решим и се справяхме с всякакви внезапно възникващи въпроси, а около седмица преди квеста дори си помислихме, че всичко е загубено.

Вероятно е добре да разкажа малко за техническата основа на квеста.

Всичко беше реализирано на нашата вътрешна ESXi лаборатория. Имахме 6 отбора, следователно трябваше да отделим 6 ресурсни пула. И така, за всеки отбор разположихме отделен пул с необходимите виртуални машини (еднакви IP адреси). Но тъй като всичко това се намираше на сървъри, които са в една и съща мрежа, текущата конфигурация на нашите VLAN не позволяваше изолиране на машините в различните пули. Например, по време на тестовия прогон получавахме ситуации, при които машина от един пул се свързваше с машина от друг.

— Как успяхте да поправите ситуацията?

— Първоначално дълго мислехме, тествали сме различни варианти с разрешения, отделни vLAN за машините. В крайна сметка направихме така — всеки отбор вижда само Veeam Backup сървъра, през който се извършва цялата по-нататъшна работа, но не вижда скрития подпул, в който се намират:

• няколко Windows машини
• Windows core сървър
• машина с Linux
• пара VTL (Virtual Tape Library)

На всички пулове е определена отделна група портове на vDS суитча и собствен Private VLAN. Тази двойна изолация е необходима, за да се изключи напълно възможността за мрежово взаимодействие.

За смелите

— Всеки желаещ можеше да участва в квеста? Как бяха формирани екипите?

— Това беше нашият първи опит за провеждане на такова събитие и възможностите на нашата лаборатория бяха ограничени до 6 екипа.

Първо, както казах, проведохме PR кампания: чрез плакати и разпространение съобщихме, че ще се проведе квест. Дори имахме определени подсказки – на самите плакати бяха кодирани фрази в двоичен код. Така заинтригувахме хората, а те сами помежду си се договаряха с приятели, кооперираха се. В крайна сметка се отзоваха повече желаещи, отколкото имахме пулове, затова трябваше да проведем отбор: измислихме лесно тестово задание и го разпространихме до всички, които откликнаха. Това беше логическа задачка, която трябваше да се реши на бързо.

В екипа бяха позволени до 5 души. Капитан не беше необходим, а идеята беше в кооперацията, в комуникацията помежду ни. Някой беше силен, например, в Linux, друг извиква пълен опит в тейповете (бэкапи на ленти), и всеки, виждайки задачата, можеше да вложи своите усилия в общото решение. Всички общуваха помежду си, намирайки решение.

— А в кой момент стартира събитието? Имахте ли определен "час Х"?

— Да, имахме строго определен ден, който избрахме, за да има по-малко натоварване в отдела. Разбира се, предварително уведомихме тим лидерите, че определени екипи ще бъдат поканени да участват в квеста и има нужда да им бъде дадено известно облекчение [относно натоварването] в този ден. Определихме, че трябва да бъде в края на годината, 28 декември, петък. Разчитахме, че ще отнеме около 5 часа, но всички екипи се справиха по-бързо.

— Всички бяха в равни условия, всички имаха същите задачки на базата на реални случаи?

— Ами да, всеки от съставителите взимаше истории от личния си опит. За нещо знаехме, че е възможно да се случи в реалността, и щеше да бъде интересно, за да може човекът да „пощупа“ това, да погледне, да се запознае. Взимахме също и по-специфични неща — например, възстановяване на данни от повредени касети. Някои с подсказки, но повечето от отборите се справиха сами.

Или трябваше да приложим магията на бързите скриптове – например, имахме история, че някаква „логическа бомба“ е „разкъсала“ многотомния архив на случайни папки в дървото, и трябваше да съберем данните. Може да се направи ръчно – да намериш и копираш [файловете] един по един, или можеш да напишеш скрипт по шаблон.

Като цяло се опитвахме да се придържаме към гледната точка, че една задача може да се реши по различни начини. Например, ако си малко по-опитен или искаш да се „замотаеш“, можеш да я решиш по-бързо, а има и пряк път за решение „направо“ – но в такъв случай ще прекараш повече време за задачата. Тоест почти всяко задание имаше няколко варианта за решение и беше интересно кои пътища ще изберат отборите. Така че нелинейността беше именно във избора на вариант за решение.

Между другото, най-трудната задача се оказа Linux-задачата — само един отбор я реши самостоятелно, без подсказки.

— А можеше ли да се вземат подсказки? Както в истински квест?

— Да, можеше да се вземат, защото разбирахме, че хората са различни и могат да попаднат в един отбор тези, на които им липсват някакви знания, затова за да не се проточва преминаването и да не изчезне състезателният интерес, решихме, че ще има подсказки. За целта зад всеки отбор наблюдаваше човек от организаторите. И ние следяхме, за да се уверим, че никой не измамява.

За звездите

— Имаше ли награди за победителите?

— Да, стараехме се да направим максимално приятни награди както за всички участници, така и за победителите: победителите получиха дизайнерски суичъри с логото на Veeam и фраза, закодирана в 16-ично число, черен цвят). Всички участници получиха маски на Гай Фокс и фирмена чанта с логото и същия код.

— Тоест при вас всичко беше като в истински квест!

— Ами, искахме да направим яко, зряло нещо, и ми се струва, че успяхме.

— Така е! А каква беше реакцията на участниците в този квест? Постигнахте ли целите си?

— Да, много от тях после идваха и споделяха, че ясно видели слабите си места и искат да ги подобрят. Някой спря да се страхува от определени технологии – например, да дампва блокове с тейпове и да се опитва да извлече нещо оттам… Някой осъзна, че трябва да подобри уменията си в Linux и така нататък. Ние се опитахме да предложим доста широк кръг задачи, но не съвсем тривиални.

Отборът на победителите

„Който иска, той ще постигне!“

— Изискваше ли подготовката на квеста много усилия от страна на организаторите?

— Всъщност да. Но това вероятно беше свързано с факта, че нямаме никакъв опит в подготовката на такива квестове и подобна инфраструктура. (Да уточня, че това не е нашата реална инфраструктура – тя просто трябваше да изпълнява определени игрови функции.)

За нас това беше много интересен опит. В началото бях скептичен, защото ми се струваше, че идеята е твърде амбициозно и трудна за реализиране. Но започнахме да работим, трудихме се и в крайна сметка успяхме. И почти нямаше пречки.

Общо отделихме 3 месеца. Основно измисляхме концепцията, обсъждахме какво можем да реализираме. В хода на процеса, естествено, нещо се променяше, защото разбирахме, че нямаме техническата възможност да направим нещо. Налагаше се на момента да преработваме нещо, но така, че да не се счупи цялата структура, история и логика. Опитвахме се не просто да предоставим списък с технически задачи, а да го впишем в историята, за да бъде свързано и логично. Основната работа протече през последния месец, т.е. 3-4 седмици преди деня Х.

— Тоест, извън основната си дейност, вие отделяхте време за подготовка?

— Занимавахме се с това паралелно с основната работа, да.

— Още ли ви искат да проведете нещо подобно?

— Да, имаме много молби да повторим.

— А какво ще направите вие?

— Имаме нови идеи, нови концепции, искаме да привлечем повече хора и да разширим времето на процеса – както на селекцията, така и на самата игра. По принцип черпим вдъхновение от проекта "Цикада", който можете да потърсите в Google – това е наистина интересна IT тема, където хора от цял свят се обединяват, в Reddit създават теми, на форумите, там се използват кодировки, разгадават загадки и всякакви такива неща.

— Идеята беше отлична, просто респект за идеята и реализирането, защото това наистина струва много. Искрено желая да не загубите това вдъхновение и всички ваши нови проекти да бъдат също толкова успешни. Благодаря ви!

— А може ли да видим пример за задача, която определено няма да използвате повторно?

— Подозирам, че не ще повторим нито една от тях. Затова мога да разкажа за хода на целия квести.

Бонус-тракВ самото начало играчите получават името на виртуалната машина и идентификационни данни за vCenter. Влизайки в системата, те виждат машината, но тя не се включва. Тук трябва да се досетят, че нещо не е наред с .vmx файла. След като го изтеглят, те виждат подсказка, необходима за втория етап. По същество там е написано, че базата, използвана от Veeam Backup & Replication, е шифрована.
След като премахнат подсказката, качвайки обратно .vmx файла и успешно включвайки машината, те виждат, че на един от дисковете действително има база, шифрована в base64. Следователно, задачата е да я дешифрират и да получат напълно функционален Veeam сървър.

Няколко думи за виртуалната машина, на която се случва всичко. Както си спомняме, според сюжета главният герой на квести е доста тъмен и се занимава с нещо явно незаконно. Затова компютърът му трябва да изглежда като истински хакерски, което трябваше да създадем, въпреки че е Windows. Първо добавихме куп бутафория като информация за големи хакерски атаки, DDoS атаки и подобни. След това инсталирахме всякакъв типичен софтуер и разпиляхме навсякъде различни дампове, файлове с хешове и т.н. Всичко е като в киното. Сред другите неща там имаше папки, именувани по принципа closed-case*** и open-case***.
За да преминат напред, играчите трябва да възстановят подсказките от файловете в бекъпите.

Тук е нужно да се каже, че в началото на играчите беше предоставена сравнително малко информация, а повечето данни (като IP адреси, имена за вход и пароли) те получават по време на квеста, като намират подсказки в бекъпите или файловете, разпръснати по машините. Първоначално файловете за бекъп се намират в Linux хранилище, но самата папка е сървър монтирана (mounted) с флага noexec, поради което агентът, отговорен за възстановяване на файловете, не може да стартира.

След като репозиториите са поправени, участниците получават достъп до цялото съдържание и най-накрая могат да възстановят всяка информация. Остава да разберат какво точно. А за това им е необходимо да изследват файловете, съхранявани на тази машина, да определят кои от тях са "повредени" и какво точно е необходимо да се възстанови.

На този етап сценарият се отклонява от общите IT познания към специфични функции на Veeam.

В конкретния пример (когато знаеш името на файла, но не знаеш къде да го търсиш) трябва да се възползваш от функцията за търсене в Enterprise Manager и така нататък. В крайна сметка, след възстановяване на цялата логическа верига, играчите получават още едно име за вход/парола и изход от nmap. Това ги води към Windows Core сървър, и то по RDP (за да е животът труден).

Основната особеност на този сървър е, че с помощта на прост скрипт и няколко речника там е била сформирана напълно безсмислена структура от папки и файлове. А при влизането се показва приветствено съобщение от вида „Тук избухна логическа бомба, поради което подсказките за следващите стъпки ще трябва да събираш на парчета“.

Следващата подсказка беше разделена на многотомен архив (някъде около 40-50 парчета) и произволно разпределена по тези папки. Идеята ни беше, че играчите трябва да проявят своите таланти в написването на простички PowerShell скриптове, за да съберат накуп многотомния архив и да получат исканите данни. (Но се получи като в онзи виц — част от участниците се оказаха изключително физически развити.)

В архива имаше снимка на касета (с надпис «Last Supper — Best Moments»), което намекваше за използването на свързаната лентова библиотека, където имаше касета със сходно име. Проблемът беше, че тя се оказа толкова непригодна, че дори не беше каталогизирана. Тук започваше вероятно най-хардкорната част на квеста. Изтрихме заглавието на касетата, така че за да възстановим данните от нея, трябваше само да сдампим «суровите» (raw) блокове и да ги разгледаме в hex-редактора, за да намерим маркерите за начало на файловете.
Намираме маркера, гледаме офсета, умножаваме блока по размера му, добавяме офсета и с помощта на вътрешен инструмент се опитваме да възстановим файла от определен блок. Ако всичко е направено правилно и математиката е коректна, играчите получават .wav файл.

В него с помощта на генератор на глас е диктуван двоичен код, който разкрива още един IP.

Оказва се, че това е нов Windows сървър, където всичко намеква на необходимостта от използване на Wireshark, но той там липсва. Основният трик е, че на тази машина са инсталирани две системи — само дискът със втората е изключен чрез устройството в офлайн режим, а логическата верига води до необходимостта от рестартиране. След рестартиране се оказва, че по подразбиране трябва да се зареди съвсем друга система, на която е инсталиран Wireshark. А ние през цялото време бяхме на вторичната ОС.

Тук вече не е нужно нищо особено, достатъчно е да включим захвата на единствен интерфейс. При относително внимателно разглеждане на дампа се забелязва ясно невалиден пакет, изпращан от помощна машина на равни интервали, в който има линк към youtube-видео, където играчите са помолени да се обадят на определен номер. Първият, който се обади, ще чуе поздравления за първото място, а останалите — покана за HR (шега)).

Между другото, имаме отворени позиции за инженери по техническа поддръжка и за стажанти. Добре дошли в екипа!

Източник: habr.com