Тази зима, а по-точно — в един от дните между католическото Рождество и Новата година — инженерите от техническата поддръжка на Veeam бяха заети с не съвсем обичайни задачи: те преследваха група хакери, наречена «Veeamonymous».

За това как момчетата сами измислили и провели истински квест на работа, с задачи, близки до боевите, разказа Кирил Стецко, Инженер по ескалация.

— Защо изобщо решихте да го направите?

— Примерно така, както хората създали Linux – just for fun, за собствено удоволствие.

Искахме динамика, а едновременно искахме да направим нещо полезно, нещо интересно. Освен това трябваше да осигурим известно емоционално облекчение на инженерите от техните ежедневни задължения.

— Кой предложи това? Чия беше идеята?

— Идеята беше на нашия мениджър Катя Егоровa, а после концепцията и всички последващи идеи бяха родени с общи усилия. Първоначално мислехме да направим хакатон. Но по време на разработването на концепцията идеята се трансформира в квест, все пак инженерът по техническа поддръжка е по-различен род дейност от програмирането.

И така, поканихме приятели, познати и различни хора, които помогнаха с концепцията – един човек от Т2 (втората линия на поддръжка — бел. ред.), един човек от Т3, няколко души от екипа SWAT (екип за бързо реагиране на особено спешни случаи — бел. ред.). Събрахме се всички заедно, седнахме и се опитахме да измислим задания за нашия квест.

— Беше много неочаквано да науча всичко това, защото, на колкото знам, обикновено механиката на квестовете се разработва от сценаристи, тоест вие не само, че се занимавате с нещо сложно, но и то приложимо за вашата работа, за вашето професионално поле.

— Да, искахме да направим не просто развлечение, а да 'развием' техническите умения на инженерите. Една от задачите в нашия отдел е обменът на знания и обучение, а такъв квест — страхотна възможност да дам на хората 'да усетят' нови за тях технологии на живо.

— Как измисляхте заданията?

— Направихме мозъчна атака. Имахме разбиране, че трябва да направим някакви технически предизвикателства, и то такива, които да бъдат интересни и едновременно да носят нови знания.
Например, решихме да дадем на хората възможност да опитат да шпионират трафика, да използват hex редактори, да правят нещо с Linux, и да навлязат по-дълбоко в някои аспекти, свързани с нашите продукти (Veeam Backup & Replication и други).

Също така важна част беше концепцията. Решихме да се вдъхновим от темата за хакерите, анонимен достъп и атмосферата на тайна. Символът стана маската на Гай Фокс, а името дойде естествено — Veeamonymous.

«В началото беше словото»

За да предизвикаме интерес, решихме преди началото на събитието да организираме PR кампания в тематиката на квеста: сложихме плакати с анонс в нашия офис. А след няколко дни тайно от всички сами ги надраскахме с балончета и пуснахме слух, че някакви злонамерени лица са повредили плакатите, дори приложихме снимка за доказателство…

— Значи вие сами го направихте, тоест екипът на организаторите?!

— Да, в петък, около 9, когато всички вече си бяха тръгнали, ние ходехме и рисувахме с баллоните буквата «V» в зелено.) Много от участниците в квеста така и не се досетиха, кой го е направил – хората идваха при нас и питаха, кой е повредил плакатите? Някой много сериозно подхвана въпроса и организира цяла разследваща операция по темата.

За квеста написахме и аудиофайлове, «издърпвайки» звуци: например, когато инженер влиза в нашата [производствена CRM] система, там има робот-автоответчик, който казва различни фрази, цифри… Е, от тези думи, които са записани, съставихме по-или-иначе смислени фрази, може би малко криви – например, получихме «No friends to help you» в аудиофайла.

IP адрес, например, представихме в двоична кодировка, всичко, отново, с помощта на тези цифри [изречени от робота], добавяхме различни стряскащи звуци. Сами снимахме видео: на видеото имаме човек, седящ в черен капюшон и маска на Гай Фокс, но всъщност там не е един човек, а трима, защото двамата стоят зад него и държат «фон» от одеяло:).

— Е, вие наистина се замислихте, направо да се каже.

— Да, запалихме. Първо подготвихме техническите задания, а след това създадохме литературно-игрова основа за историята на това, което всъщност се е случило. Според сценария, участниците преследваха група хакери с името „Veeamonymous“. Идеята беше също така, че ние по някакъв начин „разбиваме четвъртата стена“, тоест пренасяме събитията в реалността – например рисувахме от спрей.

С литературната обработка на текста ни помогна един от носителите на английския език от нашия отдел.

— Изчакай, защо носител на езика? И вие всичко това правихте и на английски?!

— Да, правихме го за офисите в Санкт Петербург и Букурещ, затова всичко беше на английски.

За първия ни опит се опитахме да направим всичко да работи просто, затова сценарият беше линейнен и доста прост. Добавихме повече атмосфера: секретни текстове, шифри, картинки.

Също така използвахме меме: имаше куп снимки на теми за разследвания, НЛО, популярни страшни истории – някои от екипите също се разсейваха с това, опитвайки се да намерят там скрити послания, да приложат знанията си по стеганография и други… но, разбира се, там нямаше нищо такова.

За терниите

Въпреки това, по време на подготовката се сблъскахме и с неочаквани за нас задачи.

Много се трудихме върху тях и решавахме всякакви неочаквано възникнали въпроси, а около седмица преди квеста си помислихме, че всичко е загубено.

Може би е добре да разкажа малко за техническата основа на квеста.

Всичко беше направено на нашата вътрешна ESXi лаборатория. Имахме 6 екипа, така че трябваше да выделим 6 ресурсни пула. И така, за всеки екип разгърнахме отделен пул с необходимите виртуални машини (еднакви IP адреси). Но, тъй като всичко това беше на сървъри, които са в една и съща мрежа, текущата конфигурация на нашите VLAN не позволяваше изолиране на машините в различни пула. И, например, по време на тестовото стартиране, получавахме ситуации, при които машина от един пул се свързваше с машина от другия.

— Как успяхте да поправите ситуацията?

— Първо дълго мислехме, тествания различни варианти с разрешения, отделни vLAN за машините. В крайна сметка направихме така — всеки екип вижда само Veeam Backup сървъра, през който се извършва цялата работа, но не вижда скрития под пул, в който се намират:

• няколко Windows машини
• Windows сървър с основна система
• машина с Linux
• пара VTL (Virtual Tape Library)

На всеки пул е назначена отделна група портове на vDS switch и свой Private VLAN. Тази двойна изолация е нужна, за да се изключи напълно възможността за мрежово взаимодействие.

За смелите

— Всеки ли можеше да участва в квеста? Как се сформираха отборите?

— Това беше нашият първи опит за провеждане на такова събитие и възможностите на нашата лаборатория бяха ограничени до 6 отбора.

Първо, както вече споменах, проведохме PR кампания: използвайки плакати и имейли, известихме, че ще се проведе квест. Дори имахме някои подсказки – на самите плакати бяха зашифрованы фрази в двоичен код. По този начин привлечехме интереса на хората, а те сами помежду си договаряха с приятели, кооперираха се. В крайна сметка повече желаещи се отзоваха, отколкото бяха пуловете, затова трябваше да направим подбор: измислихме лесно тестово задание и го разпратихме на всички, които отговориха. Това беше логическа задача, която трябваше да се реши на време.

В отбор можеха да участват до 5 човека. Капитан не беше необходим, идеята беше за кооперация и взаимно общуване. Някой е силен в Linux, друг е силен в тапите (бекъпи на ленти), и всеки, виждайки задачата, може да допринесе за общото решение. Всички общуваха помежду си, намираха решение.

— В кой момент стартира това събитие? Имахте ли някакъв 'час Х'?

— Да, имахме строго определен ден, избрахме го така, че да е с по-малко натоварване в отдела. Естествено, предварително уведомихме тимлидерите, че определени отбори са поканени да участват в квеста и трябва да им бъде осигурена известна свобода [относно натоварването] в този ден. Получи се така, че това да бъде в края на годината, 28 декември, петък. Очаквахме да отнеме около 5 часа, но всички отбори се справиха по-бързо.

— Всички бяха в равни условия, с еднакви задачи на базата на реални случаи?

— Да, все участници са използвали личния си опит, за да споделят истории. За някои неща знаехме, че е възможно да се случат в реалността и ще е интересно на хората да "усетят" това, да погледнат, да разберат. Взехме и по-специфични неща — например, възстановяване на данни от повредени ленти. Някои получаваха подсказки, но повечето екипи се справиха сами.

Или трябваше да приложим магията на бързите скриптове – например, имахме ситуация, в която някаква "логическа бомба" "разкъса" многотомния архив на случайни папки в структурата, и трябваше да съберем данните. Може да се направи ръчно – да се намерят и копират [файлове] един по един, или може да се напише скрипт по маска.

По принцип се опитвахме да се придържаме към гледната точка, че една задача може да бъде решена по различни начини. Например, ако имаш малко повече опит или искаш да "се задълбочиш", можеш да я решиш по-бързо, а има и директен път за "сблъсък" – но в този случай ще ти отнеме повече време за решаване. Тоест почти всяка задача имаше няколко варианта за решаване и беше интересно, какви пътища ще изберат екипите. И така, нелинейността беше точно в избора на вариант за решение.

Между другото, най-трудната задача се оказа тази по Linux — само един екип я реши самостоятелно, без подсказки.

— А можеше ли да се взимат подсказки? Както в истински квест?

— Да, можеше да се вземат, защото разбирахме, че хората са различни и в една команда могат да се окажат хора, на които не им достигат определени знания. Затова, за да не се забавя преминаването и състезателният интерес да не изчезне, решихме, че ще има подсказки. За всяка от командите следеше човек от организаторите. И следяхме също така, за да няма никой, който да хаква.

За звездите

— Имаше ли награди за победителите?

— Да, стремяхме се да направим максимално приятни награди както за всички участници, така и за победителите: победителите получиха дизайнерски суичъри с логото на Veeam и фраза, закодирана в 16-ичен код, черен цвят). Всички участници получиха маска на Гай Фокса и фирмена чанта с логото и същия код.

— Тоест, всичко беше като в реалния квест!

— Да, искахме да направим нещо супер, за възрастни, и мисля, че успяхме.

— Вярно! Каква беше реакцията на участниците в този квест? Постигнахте ли целите си?

— Да, много от тях след това се приближиха и казаха, че са видели слабите си места и искат да ги подобрят. Някой спря да се страхува от определени технологии – например, да извлече блокове от тейповете и да опита да намери нещо там… Някой осъзна, че трябва да подобри Linux и така нататък. Ние се постарахме да предложим достатъчно широк кръг от задачи, но не съвсем тривиални.

Отбор на победителите

„Който иска, той постига!”

— Изискваше ли това много усилия от екипа, който подготви квеста?

— Всъщност да. Но това беше свързано по-скоро с факта, че нямахме опит в подготовката на такъв род квести и инфраструктура. (Да уточним, че това не беше нашата реална инфраструктура – тя просто трябваше да изпълнява някои игрови функции.)

За нас това беше много интересен опит. В началото бях скептично настроен, защото идеята ми се стори дори твърде амбициозна, помислих, че е много сложно за реализиране. Но започнахме да работим, започнахме да се ангажираме, и в крайна сметка се получи. И почти мина без никакви проблеми.

Общо отделихме 3 месеца. По-голямата част от времето измисляхме концепцията, обсъждахме какво можем да реализираме. По време на работата, разбира се, нещо се променяше, тъй като разбирахме, че нямаме технически възможности за нещо. В хода на работа трябваше да преработваме неща, но така, че да не се наруши цялата структура, история и логика. Стремяхме се да не просто предоставим списък с технически задания, а да го впишем в историята, така че да бъде свързано и логично. Основната работа беше през последния месец, тоест 3-4 седмици преди деня Х.

— Тоест, освен основната си дейност, отделяхте време за подготовка?

— Занимавахме се с това паралелно с основната ни работа, да.

— Питат ли ви за още подобни събития?

— Да, имаме много заявки за повторение.

— А какво ще кажете?

— Имаме нови идеи, нови концепции, искаме да привлечем повече хора и да разтегнем това във времето – както процеса на подбор, така и самия процес на игра. В общи линии вдъхновяваме се от проекта „Цикада“, можете да го потърсите в Google – това е наистина страхотна ИТ тема, хора от цял свят се обединяват, създават теми в Reddit, на форумите, там се използват и декриптиране на кодове, и разгадаване на загадки, и прочие.

— Идеята беше великолепна, просто респект за идеята и реализацията, защото това наистина струва много. Искрено желая, да не изгубите това вдъхновение и всичките ви нови проекти да са също толкова успешни. Благодаря!

— Да, може ли да видим пример на задача, която определено няма да използвате повторно?

— Подозирам, че няма да използваме нито една. Затова мога да разкажа за хода на целия квест.

Бонус-трекВ самото начало играчите имат име на виртуална машина и идентификационни данни от vCenter. Влизайки в него, те виждат тази машина, но тя не се стартира. Тук трябва да се досетят, че нещо не е наред с .vmx файла. Качвайки го, те виждат подсказка, необходима за втория етап. По същество, там е написано, че базата, използвана от Veeam Backup & Replication, е криптирана.
След премахване на подсказката, качвайки .vmx файла обратно и успешно стартирайки машината, те виждат, че на един от дисковете наистина има база, криптирана с base64. Съответно, задачата е да я декриптират и да получат пълнофункционален Veeam сървър.

Малко за виртуалната машина, на която всичко това се случва. Както помним, по сюжета главният герой на квеста е доста тъмен персонаж, който се занимава с нещо явно не особено законно. Затова неговият работен компютър трябва да изглежда доста хакерски, което предстояло да създадем, независимо че е Windows. Първото нещо, което добавихме, беше много бутафория като информация за крупни хаквания, DDoS атаки и подобни. След това инсталирахме различен типичен софтуер и разположихме навсякъде различни дампове, файлове с хешове и т.н. Все едно сме в киното. Между другото, там имаше папки, именувани по принципа closed-case*** и open-case***.
За да продължат напред, играчите трябва да възстановят подсказките от файловете в резервните копия.

Тук трябва да се каже, че в началото на играчите се даваше доста малко информация и повечето данни (като IP, логини и пароли) те получават по време на квеста, като намират подсказки в бекъпите или файлове, разпръснати на машините. Първоначално файловете с бекъпи се намират на Linux-репозитория, но самата папка на сървър е монтирана (mounted) с флага noexec, затова агентът, отговарящ за възстановяването на файловете, не може да стартира.

След като репозиториите бъдат поправени, участниците получават достъп до цялото съдържание и най-накрая могат да възстановят всякаква информация. Остава да разберем каква точно. А за това им е нужно да изучат файловете, съхранявани на тази машина, да определят кои от тях са "повредени" и какво точно трябва да се възстанови.

На този етап сценарият се измества от общите IT-знания към специфичните функции на Veeam.

В конкретния пример (когато знаеш името на файла, но не знаеш къде да го търсиш) трябва да се възползваш от функцията за търсене в Enterprise Manager и т.н. В крайна сметка, след възстановяване на цялата логическа верига, играчите имат още един логин/парола и изход от nmap. Това ги отвежда на Windows Core сървър, и то по RDP (за да не е всичко мед и масло).

Основната особеност на този сървър е, че с помощта на съвсем прост скрипт и няколко речника е била формирана напълно безсмислена структура от папки и файлове. А при логин се издава приветствено съобщение от типа "Тук избухна логическа бомба, затова подсказките за следващите стъпки ще трябва да събирате на части."

Следващата подсказка е била разбита на многотомен архив (около 40-50 парчета) и разпределена произволно в тези папки. Нашата идея беше, че играчите трябва да проявят талантите си в написването на прости PowerShell скриптове, за да съберат многотомния архив по известен шаблон и да получат исканите данни. (Но се получи като в онзи виц — част от участниците се оказаха изключително физически развити.)

В архива имаше снимка на касета (с надпис „Last Supper — Best Moments“), което подсказваше за използването на свързаната лента библиотека, където имаше касета с подобно заглавие. Единствената беда беше, че тя се оказа неоперативна дотолкова, че дори не беше каталогизирана. Тук започваше, вероятно, най-хардкорната част от квеста. Изтрихме заглавието на касетата, следователно, за да възстановим данните от нея, трябва само да се изdumpият „сурови“ (raw) блокове и да ги прегледаме в hex-редактор за намиране на маркери за начало на файловете.
Намираме маркера, гледаме оффсета, умножаваме блока по неговия размер, добавяме оффсета и с помощта на вътрешния инструмент се опитваме да възстановим файла от определен блок. Ако всичко е направено правилно и математиката е излязла, тогава в ръцете на играчите остава .wav файл.

В него с помощта на генератора на глас, освен всичко друго, е диктуван бинарен код, който разкрива още един IP.

Това, оказва се, е нов Windows сървър, където всичко подсказва за необходимостта от използване на Wireshark, но го няма там. Основният фокус е, че на тази машина са инсталирани две системи — само дискът с втората е изключен чрез device manager в офлайн, и логическата верига води до необходимостта от рестартиране. След което се оказва, че по подразбиране трябва да зарежда съвсем друга система, където е инсталиран Wireshark. А ние цялото време сме били на вторичната ОС.

Тук вече не е необходимо много да се прави, достатъчно е да включите захвата на единствения интерфейс. При относително внимателно разглеждане на дъмпа се забелязва явно невалиден пакет, разпращан от помощната машина на равни интервали от време, в който има линк към youtube-видео, където играчите са помолени да се обадят на определен номер. Първият, който се обади, ще чуе поздравление за първото място, а останалите — покана за HR (шега)).

Между другото, имаме отворени вакансии за инженери по техническа поддръжка и за стажанти. Добре дошли в екипа!

Източник: habr.com