Kubersoektog van Veeam tegniese ondersteuningspan

Hierdie winter, of liewer, op een van die dae tussen Katolieke Kersfees en Nuwejaar, was Veeam tegniese ondersteuningsingenieurs besig met ongewone take: hulle was op soek na 'n groep kuberkrakers genaamd "Veeamonymous".

Kubersoektog van Veeam tegniese ondersteuningspan

Hy het vertel hoe die ouens self vorendag gekom het en 'n ware soeke in die werklikheid by hul werk gedoen het, met take "naby aan geveg" Kirill Stetsko, Eskalasie-ingenieur.

- Hoekom het jy dit selfs begin?

- Ongeveer dieselfde manier waarop mense op 'n tyd met Linux vorendag gekom het - net vir die pret, vir hul eie plesier.

Ons wou beweging hê, en terselfdertyd wou ons iets nuttigs doen, iets interessants. Boonop was dit nodig om 'n bietjie emosionele verligting aan die ingenieurs van hul alledaagse werk te gee.

- Wie het dit voorgestel? Wie se idee was dit?

— Die idee was ons bestuurder Katya Egorova, en toe is die konsep en alle verdere idees deur gesamentlike pogings gebore. Ons het aanvanklik daaraan gedink om 'n hackathon te doen. Maar tydens die ontwikkeling van die konsep het die idee gegroei tot 'n soeke; 'n tegniese ondersteuningsingenieur is immers 'n ander soort aktiwiteit as programmering.

So, ons het vriende, kamerade, kennisse gebel, verskillende mense het ons gehelp met die konsep - een persoon van T2 (die tweede lyn van ondersteuning is redakteur se nota), een persoon met T3, 'n paar mense van die SWAT-span (vinnige reaksiespan vir besonder dringende gevalle - redakteur se nota). Ons het almal bymekaar gekom, gaan sit en probeer om met take vorendag te kom vir ons soeke.

— Dit was baie onverwags om hieroor te leer, want, sover ek weet, word soektogmeganika gewoonlik deur gespesialiseerde draaiboekskrywers uitgewerk, dit wil sê, jy het nie net met so 'n komplekse ding te doen gehad nie, maar ook in verband met jou werk , na jou professionele aktiwiteitsveld.

— Ja, ons wou dit nie net vermaak maak nie, maar die tegniese vaardighede van ingenieurs “oppomp”. Een van die take in ons departement is die uitruil van kennis en opleiding, maar so 'n soeke is 'n uitstekende geleentheid om mense 'n paar nuwe tegnieke vir hulle te laat "aanraak".

— Hoe het jy aan take vorendag gekom?

— Ons het 'n dinkskrum gehad. Ons het 'n begrip gehad dat ons 'n paar tegniese toetse moes doen, en so dat dit interessant sou wees en terselfdertyd nuwe kennis sou bring.
Ons het byvoorbeeld gedink dat mense moet probeer om verkeer te snuffel, hex-redigeerders te gebruik, iets vir Linux te doen, 'n paar effens dieper dinge wat met ons produkte verband hou (Veeam Backup & Replication en ander).

Die konsep was ook 'n belangrike deel. Ons het besluit om voort te bou op die tema van kuberkrakers, anonieme toegang en 'n atmosfeer van geheimhouding. Die Guy Fawkes-masker is in 'n simbool gemaak, en die naam het natuurlik gekom - Veeamonymous.

"In die begin was die woord"

Om belangstelling te wek, het ons besluit om 'n missie-tema PR-veldtog voor die geleentheid te reël: ons het plakkate met die aankondiging rondom ons kantoor opgehang. En 'n paar dae later, in die geheim van almal, het hulle dit met spuitkanne geverf en 'n "eend" begin, hulle sê dat sommige aanvallers die plakkate verwoes het, hulle het selfs 'n foto met 'n bewys aangeheg ....

- So jy het dit self gedoen, dit wil sê die span organiseerders?!

— Ja, Vrydag, so 9-uur, toe almal reeds vertrek het, het ons die letter “V” in groen uit ballonne gaan teken.) Baie deelnemers aan die soektog het nooit geraai wie dit gedoen het nie – mense het na ons toe gekom en gevra wie het die plakkate verniel? Iemand het hierdie kwessie baie ernstig opgeneem en 'n hele ondersoek oor hierdie onderwerp gedoen.

Vir die soeke het ons ook oudiolêers geskryf, klanke "uitgeruk": byvoorbeeld, wanneer 'n ingenieur by ons [produksie CRM]-stelsel aanmeld, is daar 'n antwoordrobot wat allerhande frases, syfers sê... Hier is ons uit daardie woorde wat hy opgeneem het, min of meer betekenisvolle frases gekomponeer het, wel, miskien 'n bietjie krom - ons het byvoorbeeld "Geen vriende om jou te help nie" in 'n oudiolêer gekry.

Ons het byvoorbeeld die IP-adres in binêre kode voorgestel, en weer, met behulp van hierdie nommers [uitgespreek deur die robot], het ons allerhande skrikwekkende geluide bygevoeg. Ons het die video self verfilm: in die video het ons 'n man wat in 'n swart kappie sit en 'n Guy Fawkes-masker, maar in werklikheid is daar nie een persoon nie, maar drie, want twee staan ​​agter hom en hou 'n "agtergrond" van n kombers :).

- Wel, jy is deurmekaar, om dit reguit te stel.

- Ja, ons het aan die brand geslaan. Oor die algemeen het ons eers met ons tegniese spesifikasies vorendag gekom, en toe 'n literêre en speelse uiteensetting saamgestel oor die onderwerp van wat na bewering gebeur het. Volgens die scenario het die deelnemers 'n groep kuberkrakers genaamd "Veeamonymous" gejag. Die idee was ook dat ons as 't ware die 4de muur sou breek, dit wil sê ons sou gebeure in werklikheid oordra - ons het byvoorbeeld uit 'n spuitkannetjie geverf.

Een van die Engelssprekendes van ons departement het ons gehelp met die literêre verwerking van die teks.

- Wag, hoekom 'n moedertaalspreker? Het jy dit ook alles in Engels gedoen?!

— Ja, ons het dit vir die St. Petersburg- en Boekarest-kantore gedoen, so alles was in Engels.

Vir die eerste ervaring het ons probeer om alles net te laat werk, so die skrif was lineêr en redelik eenvoudig. Ons het meer omgewing bygevoeg: geheime tekste, kodes, prente.

Kubersoektog van Veeam tegniese ondersteuningspan

Ons het ook memes gebruik: daar was 'n klomp prente oor die onderwerpe van ondersoeke, UFO's, 'n paar gewilde gruwelverhale - sommige spanne is hierdeur afgelei, probeer om 'n paar versteekte boodskappe daar te vind, hul kennis van steganografie en ander dinge toe te pas ... maar daar was natuurlik niks soos dit was nie.

Oor dorings

Tydens die voorbereidingsproses het ons egter ook onverwagte uitdagings in die gesig gestaar.

Ons het baie met hulle gesukkel en allerhande onverwagte probleme opgelos, en omtrent 'n week voor die soeke het ons gedink dat alles verlore is.

Dit is waarskynlik die moeite werd om 'n bietjie te vertel oor die tegniese basis van die soeke.

Alles is in ons interne ESXi-laboratorium gedoen. Ons het 6 spanne gehad, wat beteken ons moes 6 hulpbronpoele toewys. Dus, vir elke span het ons 'n aparte poel met die nodige virtuele masjiene (dieselfde IP) ontplooi. Maar aangesien dit alles op bedieners geleë was wat op dieselfde netwerk is, het die huidige konfigurasie van ons VLAN's ons nie toegelaat om masjiene in verskillende poele te isoleer nie. En, byvoorbeeld, tydens 'n toetslopie het ons situasies ontvang waar 'n masjien van een swembad aan 'n masjien van 'n ander gekoppel is.

— Hoe kon jy die situasie regstel?

— Ons het eers lank gedink, allerhande opsies met toestemmings getoets, aparte vLAN's vir masjiene. As gevolg hiervan het hulle dit gedoen - elke span sien slegs die Veeam Backup-bediener, waardeur alle verdere werk plaasvind, maar sien nie die verborge subpoel nie, wat bevat:

  • verskeie Windows-masjiene
  • Windows kernbediener
  • Linux masjien
  • paar VTL (Virtual Tape Library)

Aan alle poele word 'n aparte groep poorte op die vDS-skakelaar en hul eie private VLAN toegeken. Hierdie dubbele isolasie is presies wat nodig is om die moontlikheid van netwerkinteraksie heeltemal uit te skakel.

Oor die dappers

— Kan iemand aan die soektog deelneem? Hoe is die spanne gevorm?

— Dit was ons eerste ervaring om so 'n geleentheid te hou, en die vermoëns van ons laboratorium was beperk tot 6 spanne.

Eerstens, soos ek reeds gesê het, het ons 'n PR-veldtog uitgevoer: met behulp van plakkate en e-posse het ons aangekondig dat 'n soektog gehou sal word. Ons het selfs 'n paar leidrade gehad - frases is in binêre kode op die plakkate self geïnkripteer. Op hierdie manier het ons mense laat belangstel, en mense het reeds ooreenkomste onder mekaar, met vriende, met vriende, en saamgewerk. Gevolglik het meer mense gereageer as wat ons poele gehad het, so ons moes 'n keuring doen: ons het met 'n eenvoudige toetstaak vorendag gekom en dit aan almal wat gereageer het, gestuur. Dit was 'n logiese probleem wat vinnig opgelos moes word.

'n Span is toegelaat tot 5 mense. Daar was nie 'n kaptein nodig nie, die idee was samewerking, kommunikasie met mekaar. Iemand is sterk, byvoorbeeld in Linux, iemand is sterk in bande (rugsteun na bande), en almal, wat die taak sien, kan hul pogings in die algehele oplossing belê. Almal het met mekaar gekommunikeer en 'n oplossing gevind.

Kubersoektog van Veeam tegniese ondersteuningspan

— Op watter stadium het hierdie gebeurtenis begin? Het jy 'n soort "uur X" gehad?

— Ja, ons het 'n streng aangewese dag gehad, ons het dit so gekies dat daar minder werklading in die departement was. Natuurlik is die spanleiers vooraf in kennis gestel dat sulke en sulke spanne genooi is om aan die soektog deel te neem, en hulle moes 'n mate van verligting gegee word [met betrekking tot laai] op daardie dag. Dit het gelyk of dit die einde van die jaar moes wees, 28 Desember, Vrydag. Ons het verwag dat dit ongeveer 5 uur sou neem, maar alle spanne het dit vinniger voltooi.

— Was almal op gelyke voet, het almal dieselfde take gehad op grond van werklike gevalle?

— Wel, ja, elkeen van die samestellers het 'n paar stories uit persoonlike ervaring geneem. Ons het van iets geweet dat dit in werklikheid kan gebeur, en dit sal interessant wees vir 'n persoon om dit te "voel", kyk en uit te vind. Hulle het ook 'n paar meer spesifieke dinge geneem - byvoorbeeld dataherwinning van beskadigde bande. Sommige met wenke, maar die meeste van die spanne het dit op hul eie gedoen.

Of dit was nodig om die magie van vinnige skrifte te gebruik - ons het byvoorbeeld 'n storie gehad dat een of ander "logiese bom" 'n multi-volume argief in ewekansige dopgehou langs die boom "geskeur" het, en dit was nodig om die data te versamel. Jy kan dit met die hand doen - vind en kopieer [lêers] een vir een, of jy kan 'n skrif met 'n masker skryf.

Oor die algemeen het ons probeer om te voldoen aan die standpunt dat een probleem op verskillende maniere opgelos kan word. As jy byvoorbeeld 'n bietjie meer ervare is of deurmekaar wil raak, dan kan jy dit vinniger oplos, maar daar is 'n direkte manier om dit reguit op te los - maar terselfdertyd sal jy meer tyd aan die probleem spandeer. Dit wil sê, byna elke taak het verskeie oplossings gehad, en dit was interessant watter paaie die spanne sou kies. Die nie-lineariteit was dus juis in die keuse van oplossing opsie.

Terloops, die Linux-probleem blyk die moeilikste te wees - net een span het dit onafhanklik opgelos, sonder enige wenke.

— Kan jy wenke neem? Soos in 'n regte soeke??

— Ja, dit was moontlik om dit te neem, want ons het verstaan ​​dat mense verskillend is, en diegene wat 'n bietjie kennis kort, kan in dieselfde span kom, so om nie die deurgang te vertraag nie en nie mededingende belangstelling te verloor nie, het ons besluit dat ons sou wenke. Om dit te doen is elke span deur 'n persoon van die organiseerders waargeneem. Wel, ons het seker gemaak dat niemand verneuk nie.

Kubersoektog van Veeam tegniese ondersteuningspan

Oor die sterre

— Was daar pryse vir die wenners?

— Ja, ons het probeer om die aangenaamste pryse vir beide alle deelnemers en die wenners te maak: die wenners het ontwerpersweathemde met die Veeam-logo en 'n frase wat in heksadesimale kode, swart geïnkripteer is, ontvang). Alle deelnemers het 'n Guy Fawkes-masker en 'n handelsmerksak met die logo en dieselfde kode ontvang.

- Dit wil sê, alles was soos in 'n regte soeke!

"Wel, ons wou 'n gawe, grootmens ding doen, en ek dink ons ​​het daarin geslaag."

- Dit is waar! Wat was die finale reaksie van diegene wat aan hierdie soektog deelgeneem het? Het jy jou doel bereik?

- Ja, baie het later opgekom en gesê dat hulle duidelik hul swak punte sien en dit wil verbeter. Iemand het opgehou om bang te wees vir sekere tegnologieë – byvoorbeeld om blokke van bande af te gooi en iets daar te probeer gryp... Iemand het besef dat hy Linux moet verbeter, ensovoorts. Ons het probeer om 'n redelike wye reeks take te gee, maar nie heeltemal onbenullige take nie.

Kubersoektog van Veeam tegniese ondersteuningspan
Die wenspan

"Wie ook al wil, sal dit bereik!"

— Het dit baie moeite geverg van diegene wat die soeke voorberei het?

- Trouens, ja. Maar dit was heel waarskynlik te wyte aan die feit dat ons geen ondervinding gehad het in die voorbereiding van sulke take, hierdie soort infrastruktuur nie. (Kom ons maak 'n voorbehoud dat dit nie ons regte infrastruktuur is nie - dit was bloot veronderstel om 'n paar speletjie-funksies te verrig.)

Dit was vir ons 'n baie interessante ervaring. Ek was eers skepties, want die idee het vir my te cool gelyk, ek het gedink dit sou baie moeilik wees om te implementeer. Maar ons het dit begin doen, ons het begin ploeg, alles het begin vlamvat, en op die ou end het ons daarin geslaag. En daar was selfs feitlik geen oorlegsels nie.

In totaal het ons 3 maande spandeer. Ons het vir die grootste deel met 'n konsep vorendag gekom en bespreek wat ons kan implementeer. In die proses het sekere dinge natuurlik verander, want ons het besef dat ons nie die tegniese vermoë het om iets te doen nie. Ons moes iets langs die pad oordoen, maar op so 'n manier dat die hele uiteensetting, geskiedenis en logika nie gebreek het nie. Ons het probeer om nie net 'n lys van tegniese take te gee nie, maar om dit in die storie te laat inpas, sodat dit samehangend en logies was. Die hoofwerk was die afgelope maand aan die gang, dit wil sê 3-4 weke voor dag X.

— So, benewens jou hoofaktiwiteit, het jy tyd vir voorbereiding toegeken?

— Ons het dit parallel met ons hoofwerk gedoen, ja.

- Word jy gevra om dit weer te doen?

- Ja, ons het baie versoeke om te herhaal.

- En jy?

- Ons het nuwe idees, nuwe konsepte, ons wil meer mense lok en dit mettertyd uitrek - beide die keuringsproses en die spelproses self. Oor die algemeen is ons geïnspireer deur die "Cicada"-projek, jy kan dit Google - dit is 'n baie oulike IT-onderwerp, mense van regoor die wêreld verenig daar, hulle begin drade op Reddit, op forums, hulle gebruik kode-vertalings, los raaisels op , en dit alles.

— Die idee was wonderlik, net respek vir die idee en implementering, want dit is regtig baie werd. Ek wens opreg dat jy nie hierdie inspirasie verloor nie en dat al jou nuwe projekte ook suksesvol is. Dankie!

Kubersoektog van Veeam tegniese ondersteuningspan

— Ja, kan jy kyk na 'n voorbeeld van 'n taak wat jy beslis nie sal hergebruik nie?

“Ek vermoed ons sal nie een van hulle hergebruik nie.” Daarom kan ek jou vertel van die vordering van die hele soeke.

BonussnitAan die begin het spelers die naam van die virtuele masjien en geloofsbriewe van vCenter. Nadat hulle daarby aangemeld het, sien hulle hierdie masjien, maar dit begin nie. Hier moet jy raai dat iets fout is met die .vmx-lêer. Sodra hulle dit afgelaai het, sien hulle die boodskap wat nodig is vir die tweede stap. In wese sê dit dat die databasis wat deur Veeam Backup & Replication gebruik word, geïnkripteer is.
Nadat hulle die prompt verwyder het, die .vmx-lêer teruggelaai het en die masjien suksesvol aangeskakel het, sien hulle dat een van die skywe eintlik 'n base64-geënkripteerde databasis bevat. Gevolglik is die taak om dit te dekripteer en 'n ten volle funksionele Veeam-bediener te kry.

'n Bietjie oor die virtuele masjien waarop dit alles gebeur. Soos ons onthou, volgens die intrige, is die hoofkarakter van die soeke 'n taamlik donker persoon en doen iets wat duidelik nie baie wettig is nie. Daarom moet sy werkrekenaar 'n heeltemal hacker-agtige voorkoms hê, wat ons moes skep, ten spyte van die feit dat dit Windows is. Die eerste ding wat ons gedoen het, was om baie rekwisiete by te voeg, soos inligting oor groot hacks, DDoS-aanvalle, en dies meer. Toe het hulle al die tipiese sagteware geïnstalleer en verskeie dumps, lêers met hashes, ens. oral geplaas. Alles is soos in die flieks. Daar was onder meer vouers met die naam closed-case*** en open-case***
Om verder te vorder, moet spelers wenke van rugsteunlêers herstel.

Hier moet gesê word dat die spelers aan die begin heelwat inligting gegee is, en hulle het die meeste van die data (soos IP, aanmeldings en wagwoorde) tydens die soektog ontvang, deur leidrade te vind in rugsteun of lêers wat op masjiene gestrooi is. . Aanvanklik is die rugsteunlêers op die Linux-bewaarplek geleë, maar die lêergids self op die bediener is met die vlag gemonteer noexec, dus kan die agent verantwoordelik vir lêerherwinning nie begin nie.

Deur die bewaarplek reg te maak, kry deelnemers toegang tot alle inhoud en kan uiteindelik enige inligting herstel. Dit bly om te verstaan ​​watter een dit is. En om dit te doen, moet hulle net die lêers wat op hierdie masjien gestoor is, bestudeer, bepaal watter van hulle "gebreek" is en wat presies herstel moet word.

Op hierdie stadium skuif die scenario weg van algemene IT-kennis na Veeam-spesifieke kenmerke.

In hierdie spesifieke voorbeeld (wanneer jy die lêernaam ken, maar nie weet waar om dit te soek nie), moet jy die soekfunksie in Enterprise Manager gebruik, ensovoorts. As gevolg hiervan, nadat die hele logiese ketting herstel is, het die spelers 'n ander login/wagwoord en nmap-uitvoer. Dit bring hulle na die Windows Core-bediener, en via RDP (sodat die lewe nie soos heuning lyk nie).

Die belangrikste kenmerk van hierdie bediener: met behulp van 'n eenvoudige skrif en verskeie woordeboeke is 'n absoluut betekenislose struktuur van dopgehou en lêers gevorm. En wanneer jy aanmeld, ontvang jy 'n welkome boodskap soos "Hier het 'n logiese bom ontplof, so jy sal die leidrade vir verdere stappe moet bymekaarmaak."

Die volgende leidraad is in 'n multi-volume argief (40-50 stukke) verdeel en ewekansig onder hierdie dopgehou versprei. Ons idee was dat spelers hul talente in die skryf van eenvoudige PowerShell-skrifte moet wys om 'n multi-volume argief saam te stel met 'n bekende masker en die nodige data te kry. (Maar dit het geblyk soos in daardie grappie - sommige van die vakke het geblyk buitengewoon fisies ontwikkel te wees.)

Die argief het 'n foto van 'n kasset (met die inskripsie "Laaste Avondmaal - Beste Oomblikke") bevat, wat 'n wenk gegee het van die gebruik van 'n gekoppelde bandbiblioteek, wat 'n kasset met 'n soortgelyke naam bevat het. Daar was net een probleem - dit het geblyk so onwerkbaar te wees dat dit nie eens gekatalogiseer is nie. Dit is waar waarskynlik die mees hardcore deel van die soeke begin het. Ons het die kopskrif van die kasset uitgevee, dus om data daaruit te herstel, hoef jy net die "rou" blokke te gooi en deur hulle in 'n heksredigeerder te kyk om lêerbeginmerkers te vind.
Ons vind die merker, kyk na die offset, vermenigvuldig die blok met sy grootte, voeg die offset by en, met behulp van die interne instrument, probeer om die lêer van 'n spesifieke blok te herstel. As alles reg gedoen word en die wiskunde stem ooreen, sal die spelers 'n .wav-lêer in hul hande hê.

Daarin word onder meer met behulp van 'n stemgenerator 'n binêre kode gedikteer, wat na 'n ander IP uitgebrei word.

Dit blyk dat dit 'n nuwe Windows-bediener is, waar alles dui op die behoefte om Wireshark te gebruik, maar dit is nie daar nie. Die belangrikste truuk is dat daar twee stelsels op hierdie masjien geïnstalleer is - slegs die skyf van die tweede word via die toestelbestuurder vanlyn ontkoppel, en die logiese ketting lei tot die behoefte om te herlaai. Dan blyk dit dat 'n heeltemal ander stelsel, waar Wireshark geïnstalleer is, by verstek moet begin. En al hierdie tyd was ons op die sekondêre bedryfstelsel.

Dit is nie nodig om iets spesiaals hier te doen nie, aktiveer net vaslegging op 'n enkele koppelvlak. 'n Betreklik noukeurige ondersoek van die stortingsterrein onthul 'n duidelik linkshandige pakkie wat met gereelde tussenposes vanaf die hulpmasjien gestuur is, wat 'n skakel bevat na 'n YouTube-video waar spelers gevra word om 'n sekere nommer te bel. Die eerste oproeper sal gelukwensing met die eerste plek hoor, die res sal 'n uitnodiging na HR (grap) ontvang.

Terloops, ons is oop werksgeleenthede vir tegniese ondersteuningsingenieurs en -leerlinge. Welkom by die span!

Bron: will.com

Voeg 'n opmerking