Тази зима, или по-скоро в един от дните между католическата Коледа и Нова година, инженерите за техническа поддръжка на Veeam бяха заети с необичайни задачи: те преследваха група хакери, наречена „Veeamonymous“.

Той разказа как самите момчета са измислили и извършили истинско търсене в реалността на работата си със задачи, „близки до бойните“ Кирил Стецко, Инженер по ескалация.

- Защо изобщо започна това?

- Горе-долу по същия начин, по който хората са измислили едно време Linux - просто за забавление, за собствено удоволствие.

Искахме движение и в същото време искахме да направим нещо полезно, нещо интересно. Освен това беше необходимо да се даде малко емоционално облекчение на инженерите от ежедневната им работа.

- Кой предложи това? Чия беше идеята?

— Идеята беше на нашия мениджър Катя Егорова, а след това концепцията и всички следващи идеи се родиха чрез съвместни усилия. Първоначално мислехме да направим хакатон. Но по време на разработването на концепцията идеята прерасна в търсене; в крайна сметка инженерът по техническа поддръжка е различен вид дейност от програмирането.

И така, ние се обадихме на приятели, другари, познати, различни хора ни помогнаха с концепцията - един човек от T2 (втората линия на поддръжка е бележка на редактора), един човек с Т3, двама души от SWAT екип (отряд за бързо реагиране за особено спешни случаи - бележка на редактора). Всички се събрахме, седнахме и се опитахме да измислим задачи за нашата мисия.

— Беше много неочаквано да научим за всичко това, защото, доколкото знам, механиката на куестовете обикновено се разработва от специалисти сценаристи, тоест не само сте се занимавали с такова сложно нещо, но и във връзка с вашата работа , към вашата професионална сфера на дейност.

— Да, искахме да го направим не просто забавление, а да „напомпаме“ техническите умения на инженерите. Една от задачите в нашия отдел е обмяната на знания и обучение, но подобен куест е отлична възможност хората да се „докоснат“ до някои нови за тях техники на живо.

– Как измислихте задачи?

— Имахме сесия за мозъчна атака. Разбрахме се, че трябва да направим технически тестове и то такива, че да са интересни и в същото време да носят нови знания.
Например смятахме, че хората трябва да опитат да надушат трафик, да използват шестнадесетични редактори, да направят нещо за Linux, някои малко по-дълбоки неща, свързани с нашите продукти (Veeam Backup & Replication и други).

Концепцията също беше важна част. Решихме да надградим темата за хакерите, анонимния достъп и атмосферата на секретност. Маската на Гай Фокс е превърната в символ и името идва естествено - Veeamonymous.

"В началото беше словото"

За да предизвикаме интерес, решихме да организираме PR кампания на тема мисия преди събитието: окачихме плакати с обявата из нашия офис. И няколко дни по-късно, тайно от всички, те ги боядисаха със спрейове и започнаха „патица“, казват, че някои нападатели са развалили плакатите, дори са приложили снимка с доказателство….

- Значи вие сте го направили, тоест екипът от организатори?!

— Да, в петък, около 9 часа, когато всички вече бяха тръгнали, отидохме и нарисувахме буквата „V“ в зелено от балони.) Много участници в мисията никога не познаха кой го е направил - хората идваха при нас и попита кой е съсипал плакатите ? Някой взе този въпрос много сериозно и проведе цяло разследване по тази тема.

За мисията написахме и аудио файлове, „изтръгнаха“ звуци: например, когато инженер влезе в нашата [производствена CRM] система, има отговарящ робот, който казва всякакви фрази, числа... Ето ни от тези думи, които той е записал, съставил повече или по-малко смислени фрази, добре, може би малко криво - например, получихме „Няма приятели, които да ви помогнат“ в аудио файл.

Например, представихме IP адреса в двоичен код и отново, използвайки тези числа [произнесени от робота], добавихме всякакви плашещи звуци. Сами заснехме видеото: във видеото имаме мъж, седнал с черна качулка и маска на Гай Фокс, но в действителност не е един човек, а трима, защото двама стоят зад него и държат „фон“, направен от одеяло :).

- Ами объркал си се, направо казано.

- Да, запалихме се. Като цяло, първо измислихме техническите си спецификации, а след това съставихме литературно-игриво очертание по темата за това, което се предполага, че се е случило. Според сценария участниците преследваха група хакери, наречена „Veeamonymous“. Идеята беше също така да „счупим 4-тата стена“, тоест да пренесем събитията в реалността - рисувахме от спрей, например.

За литературната обработка на текста ни помогна един от носителите на английски език от нашия отдел.

- Чакай, защо роден говорител? И ти ли го направи всичко на английски?!

— Да, направихме го за офисите в Санкт Петербург и Букурещ, така че всичко беше на английски.

За първия опит се опитахме всичко да работи, така че скриптът беше линеен и доста прост. Добавихме още обкръжение: секретни текстове, кодове, снимки.

Използвахме и мемета: имаше куп снимки по темите за разследвания, НЛО, някои популярни истории на ужасите - някои екипи бяха разсеяни от това, опитвайки се да намерят някои скрити послания там, да приложат знанията си по стеганография и други неща... но, разбира се, нямаше нищо подобно.

Относно шиповете

По време на подготвителния процес обаче се сблъскахме и с неочаквани предизвикателства.

Борихме се много с тях и решавахме всякакви неочаквани проблеми и около седмица преди мисията си мислехме, че всичко е загубено.

Вероятно си струва да разкажете малко за техническата основа на търсенето.

Всичко беше направено в нашата вътрешна ESXi лаборатория. Имахме 6 екипа, което означава, че трябваше да разпределим 6 пула от ресурси. И така, за всеки екип разположихме отделен пул с необходимите виртуални машини (едно и също IP). Но тъй като всичко това беше разположено на сървъри, които са в една и съща мрежа, текущата конфигурация на нашите VLAN не ни позволи да изолираме машини в различни пулове. И например по време на тестово изпълнение получихме ситуации, при които машина от един пул се свързва с машина от друг.

- Как успяхте да коригирате ситуацията?

— Първоначално мислихме дълго време, тествахме всякакви опции с разрешения, отделни vLAN за машини. В резултат на това те направиха това - всеки екип вижда само сървъра на Veeam Backup, през който се извършва цялата по-нататъшна работа, но не вижда скрития подпул, който съдържа:

• няколко Windows машини
• Основен сървър на Windows
• Linux машина
• двойка VTL (виртуална лентова библиотека)

На всички пулове е присвоена отделна група портове на vDS комутатора и техен собствен Private VLAN. Тази двойна изолация е точно това, което е необходимо, за да се премахне напълно възможността за мрежово взаимодействие.

За смелите

— Може ли някой да участва в мисията? Как се формираха отборите?

— Това беше първият ни опит в провеждането на подобно събитие и възможностите на нашата лаборатория бяха ограничени до 6 екипа.

Първо, както вече казах, проведохме PR кампания: с помощта на плакати и писма обявихме, че ще се проведе мисия. Дори имахме някои улики - фрази бяха криптирани в двоичен код на самите плакати. По този начин заинтересувахме хората и хората вече постигнаха споразумения помежду си, с приятели, с приятели и си сътрудничиха. В резултат на това повече хора отговориха, отколкото имахме групи, така че трябваше да направим подбор: измислихме проста тестова задача и я изпратихме на всички, които отговориха. Това беше логически проблем, който трябваше да бъде решен бързо.

Допуска се отбор до 5 души. Нямаше нужда от капитан, идеята беше сътрудничество, комуникация помежду си. Някой е силен, например в Linux, някой е силен в лентите (архивиране на ленти) и всеки, виждайки задачата, може да инвестира усилията си в цялостното решение. Всички общуваха помежду си и намериха решение.

— В кой момент започна това събитие? Имахте ли някакъв „час X“?

— Да, имахме строго определен ден, избрахме го така, че да има по-малко натоварване в отдела. Естествено, ръководителите на екипите бяха предварително уведомени, че такива и такива екипи са поканени да участват в мисията и трябваше да им се даде известно облекчение [по отношение на зареждането] в този ден. Изглеждаше, че трябва да е краят на годината, 28 декември, петък. Очаквахме да отнеме около 5 часа, но всички екипи го свършиха по-бързо.

— Всички ли бяха равни, всички имаха ли еднакви задачи по реални случаи?

— Е, да, всеки от съставителите е взел някои истории от личен опит. Знаехме за нещо, че това може да се случи в действителност и би било интересно човек да го „почувства“, погледне и разбере. Взеха и някои по-специфични неща - например възстановяване на данни от повредени ленти. Някои с подсказки, но повечето отбори се справиха сами.

Или беше необходимо да се използва магията на бързите скриптове - например, имахме история, че някаква „логическа бомба“ „разкъса“ многотомен архив в произволни папки по дървото и беше необходимо да се съберат данните. Можете да направите това ръчно - да намерите и копирате [файлове] един по един, или можете да напишете скрипт с помощта на маска.

Като цяло се опитахме да се придържаме към гледната точка, че един проблем може да бъде решен по различни начини. Например, ако сте малко по-опитен или искате да се объркате, тогава можете да го разрешите по-бързо, но има директен начин да го решите директно - но в същото време ще отделите повече време на проблема. Тоест почти всяка задача имаше няколко решения и беше интересно кои пътища ще изберат отборите. Така че нелинейността беше точно в избора на вариант на решение.

Между другото, проблемът с Linux се оказа най-трудният - само един екип го реши независимо, без никакви съвети.

— Можете ли да приемете съвети? Като в истински куест??

— Да, беше възможно да го вземем, защото разбрахме, че хората са различни и тези, които нямат познания, могат да влязат в един и същи отбор, така че за да не забавяме преминаването и да не губим конкурентен интерес, решихме, че би съвети. За целта всеки отбор беше наблюдаван от човек от организаторите. Е, ние се уверихме, че никой не изневерява.

За звездите

– Имаше ли награди за победителите?

— Да, опитахме се да направим най-приятните награди както за всички участници, така и за победителите: победителите получиха дизайнерски суичъри с логото на Veeam и фраза, кодирана в шестнадесетичен код, черно). Всички участници получиха маска на Гай Фокс и брандирана чанта с логото и същия код.

- Тоест всичко беше като в истински куест!

„Е, искахме да направим страхотно нещо за възрастни и мисля, че успяхме.“

- Това е вярно! Каква беше крайната реакция на тези, които участваха в това търсене? Постигнахте ли целта си?

- Да, много по-късно се качиха и казаха, че ясно виждат слабите им места и искат да ги подобрят. Някой спря да се страхува от определени технологии - например да изхвърля блокове от ленти и да се опитва да грабне нещо там... Някой осъзна, че трябва да подобри Linux и т.н. Опитахме се да дадем доста широк набор от задачи, но не съвсем тривиални.

Печелившият отбор

"Който иска, ще го постигне!"

— Изискваше ли много усилия от тези, които подготвиха мисията?

- Всъщност да. Но това най-вероятно се дължи на факта, че нямахме опит в подготовката на такива куестове, този вид инфраструктура. (Нека направим резервация, че това не е нашата истинска инфраструктура - тя просто трябваше да изпълнява някои функции на играта.)

Беше много интересно преживяване за нас. В началото бях скептичен, защото идеята ми се стори твърде готина, мислех, че ще бъде много трудна за изпълнение. Но започнахме да го правим, започнахме да орем, всичко започна да пламва и накрая успяхме. И дори почти нямаше наслагвания.

Общо изкарахме 3 месеца. В по-голямата си част измислихме концепция и обсъдихме какво можем да реализираме. В процеса, естествено, някои неща се промениха, защото осъзнахме, че нямаме технически възможности да направим нещо. Трябваше да преработим нещо по пътя, но така, че да не се наруши цялата схема, история и логика. Опитахме се не просто да дадем списък с технически задачи, но да го вместим в историята, така че да е последователен и логичен. Основната работа течеше през последния месец, тоест 3-4 седмици преди ден Х.

— Значи в допълнение към основната си дейност сте отделили време за подготовка?

— Направихме това успоредно с основната си работа, да.

- Искате ли да направите това отново?

- Да, имаме много заявки за повторение.

- А ти?

- Имаме нови идеи, нови концепции, искаме да привлечем повече хора и да го разтегнем във времето - както процеса на селекция, така и самия процес на игра. Като цяло сме вдъхновени от проекта “Cicada”, можете да го потърсите в Google - това е много готина IT тема, хора от цял ​​свят се обединяват там, създават теми в Reddit, във форуми, използват преводи на кодове, решават гатанки , и всичко това.

— Идеята беше страхотна, само уважение към идеята и изпълнението, защото наистина си струва много. Искрено ви желая да не губите това вдъхновение и всичките ви нови проекти също да са успешни. Благодаря ти!

— Да, можете ли да разгледате пример за задача, която определено няма да използвате повторно?

„Подозирам, че няма да използваме повторно нито един от тях.“ Затова мога да ви разкажа за напредъка на цялото търсене.

Бонус песенВ самото начало играчите имат името на виртуалната машина и идентификационни данни от vCenter. След като влязат в него, те виждат тази машина, но тя не стартира. Тук трябва да познаете, че нещо не е наред с .vmx файла. След като го изтеглят, те виждат подканата, необходима за втората стъпка. По същество се казва, че базата данни, използвана от Veeam Backup & Replication, е криптирана.
След премахване на подканата, изтегляне на .vmx файла обратно и успешно включване на машината, те виждат, че един от дисковете всъщност съдържа base64 криптирана база данни. Съответно задачата е да го декриптирате и да получите напълно функционален сървър на Veeam.

Малко за виртуалната машина, на която се случва всичко това. Както си спомняме, според сюжета главният герой на мисията е доста мрачен човек и прави нещо, което очевидно не е много законно. Следователно работният му компютър трябва да има напълно хакерски вид, който трябваше да създадем, въпреки факта, че е Windows. Първото нещо, което направихме, беше да добавим много подпори, като информация за големи хакове, DDoS атаки и други подобни. След това инсталираха целия типичен софтуер и разположиха навсякъде различни дъмпове, файлове с хешове и т.н. Всичко е като по филмите. Наред с други неща имаше папки, наречени затворен случай*** и отворен случай***
За да напреднат по-нататък, играчите трябва да възстановят съвети от архивни файлове.

Тук трябва да се каже, че в началото на играчите беше дадена доста информация и те получиха повечето от данните (като IP, данни за влизане и пароли) по време на мисията, намирайки улики в резервни копия или файлове, разпръснати по машините . Първоначално архивните файлове се намират в хранилището на Linux, но самата папка на сървъра се монтира с флага noexec, така че агентът, отговорен за възстановяването на файлове, не може да стартира.

Чрез коригиране на хранилището участниците получават достъп до цялото съдържание и накрая могат да възстановят всяка информация. Остава да разберем коя е тя. И за да направят това, те просто трябва да проучат файловете, съхранявани на тази машина, да определят кои от тях са „счупени“ и какво точно трябва да се възстанови.

В този момент сценарият се измества от общите ИТ познания към специфичните функции на Veeam.

В този конкретен пример (когато знаете името на файла, но не знаете къде да го търсите), трябва да използвате функцията за търсене в Enterprise Manager и т.н. В резултат на това, след възстановяване на цялата логическа верига, играчите имат друг вход/парола и nmap изход. Това ги отвежда до сървъра на Windows Core и чрез RDP (така че животът да не изглежда като мед).

Основната характеристика на този сървър: с помощта на прост скрипт и няколко речника се формира абсолютно безсмислена структура от папки и файлове. И когато влезете, получавате приветствено съобщение като „Тук е избухнала логическа бомба, така че ще трябва да съберете уликите за по-нататъшни стъпки.“

Следната улика беше разделена на многотомен архив (40-50 броя) и разпределена на случаен принцип между тези папки. Нашата идея беше, че играчите трябва да покажат своите таланти в писането на прости PowerShell скриптове, за да съберат многотомен архив, използвайки добре позната маска и да получат необходимите данни. (Но се получи като в онзи виц - някои от субектите се оказаха необичайно физически развити.)

Архивът съдържаше снимка на касета (с надпис „Тайната вечеря - най-добрите моменти“), която намекваше за използването на свързана библиотека с ленти, която съдържаше касета с подобно име. Имаше само един проблем - оказа се толкова неработещ, че дори не беше каталогизиран. Това е мястото, където вероятно започна най-хардкор частта от мисията. Изтрихме заглавката от касетата, така че за да възстановите данни от нея, просто трябва да изхвърлите „суровите“ блокове и да ги прегледате в шестнадесетичен редактор, за да намерите начални маркери на файла.
Намираме маркера, разглеждаме отместването, умножаваме блока по неговия размер, добавяме отместването и с помощта на вътрешния инструмент се опитваме да възстановим файла от конкретен блок. Ако всичко е направено правилно и математиката е съгласна, тогава играчите ще имат .wav файл в ръцете си.

В него с помощта на гласов генератор, наред с други неща, се диктува двоичен код, който се разширява в друг IP.

Оказва се, че това е нов Windows сървър, където всичко намеква за необходимостта от използване на Wireshark, но го няма. Основният трик е, че на тази машина има инсталирани две системи - само диска от втората се изключва през диспечера на устройствата офлайн, а логическата верига води до необходимостта от рестартиране. След това се оказва, че по подразбиране трябва да се стартира напълно различна система, където е инсталиран Wireshark. И през цялото това време бяхме на вторичната ОС.

Няма нужда да правите нищо специално тук, просто активирайте заснемането на един интерфейс. Сравнително внимателно изследване на сметището разкрива ясно ляв пакет, изпратен от спомагателната машина на редовни интервали, който съдържа връзка към видеоклип в YouTube, където играчите са помолени да се обадят на определен номер. Първият обаждащ се ще чуе поздравления за първото място, останалите ще получат покана за HR (шега)).

Между другото, ние сме отворени свободните работни места за инженери по техническа поддръжка и стажанти. Добре дошли в отбора!

Източник: www.habr.com