🥇Threat Hunting, eller Hur man skyddar sig mot 5 % av hoten

95% av hoten mot informationssäkerhet är kända, och man kan skydda sig mot dem med traditionella verktyg som antivirusprogram, brandväggar, IDS, WAF. De återstående 5% av hoten är okända och de farligaste. De utgör 70% av risken för företaget på grund av att de är mycket svåra att upptäcka och ännu svårare att skydda sig mot. Exempel på «svarta svanar» är epidemier av ransomware som WannaCry, NotPetya/ExPetr, kryptovaluta-gruvdrift, «cybervapen» som Stuxnet (som angrep Irans kärnanläggningar) och många (vem minns Kido/Conficker?) andra attacker, mot vilka det är svårt att skydda sig med klassiska säkerhetsmedel. Vi vill diskutera hur man kan motarbeta dessa 5% av hoten med hjälp av teknologin Threat Hunting.

Den ständiga utvecklingen av cyberattacker kräver kontinuerlig upptäck och motåtgärder, vilket i slutändan leder oss till insikten om en oändlig kapprustning mellan angripare och försvarare. Klassiska skyddssystem kan inte längre garantera en acceptabel nivå av säkerhet, där risknivån inte påverkar företagets nyckeltal (ekonomiska, politiska, rykte) utan att anpassas till den specifika infrastrukturen, men i stort sett hanterar de en del av riskerna. Redan under implementerings- och konfigurationsprocessen hamnar moderna skyddssystem i en reaktiv position och måste svara på utmaningarna i vår tid.

Källa

En av de möjliga svaren på samtidsutmaningarna för en säkerhetsspecialist kan vara teknologin Threat Hunting. Termen Threat Hunting (härefter kallad TH) dök upp för några år sedan. Själva teknologin är ganska intressant, men har ännu inga vedertagna standarder och regler. Det komplicerar också situationen med de heterogena informationskällorna och det fåtalet svenskspråkiga källor om detta ämne. Därför har vi på «LANIT-Integration» beslutat att skriva en översikt över denna teknologi.

Relevans

Teknologin TH bygger på processer för övervakning av infrastrukturen. Det finns två huvudsakliga scenarier för intern övervakning – Alerting och Hunting.Alerting (such as MSSP services) is a traditional method involving the search for previously developed signatures and attack indicators, and responding to them. This scenario is successfully performed by traditional signature-based protection tools. Hunting (an MDR-type service) is a monitoring method that answers the question, "Where do the signatures and rules come from?" It is the process of creating correlation rules by analyzing hidden or previously unknown attack indicators and signatures. This type of monitoring is what Threat Hunting refers to.

Only by combining both types of monitoring do we achieve protection that is close to ideal, yet there always remains some level of residual risk.

Protection using two types of monitoring

Here’s why TH (and hunting as a whole!) will become increasingly relevant:

Threats, protection methods, risks. Källa

95% of all threats are already well understood.These include types such as spam, DDoS, viruses, rootkits, and other classic malware. You can protect against these threats with the same classic protective measures.

During any project execution, 20% of the time is spent on 80% of the work., while the remaining 20% of work takes 80% of the time. Similarly, among the entire threat landscape, 5% of new type threats will account for 70% of the risk to a company. In a company where information security management processes are organized, we can manage 30% of the risk from known threats in one way or another, by avoiding (abandoning wireless networks altogether), accepting (implementing necessary protections), or transferring (for instance, to the integrator's liability) this risk. Protecting against zero-day vulnerabilities, APT attacks, phishing, supply chain attacks, cyber espionage, and national operations, as well as many other attacks is much more difficult. The consequences of these 5% of threats will be much more severe (the average loss for a bank from the buhtrap group is 143 million), than the consequences of spam or viruses, which antivirus software protects against.

Almost everyone faces 5% of threats. Recently, we had to install an open-source solution that uses an application from the PEAR (PHP Extension and Application Repository) repository. The attempt to install this application via pear install was unsuccessful, as webbplats var inte tillgänglig (nu finns det redan en ställplats på den), så vi var tvungna att installera den från GitHub. Och nyligen visade det sig att PEAR blev ett offer för en supply chain-attack.

Vi kan även nämna attacken med CCleaner, ransomwareepidemin NePetya genom programuppdateringsmodulen för skattehanteringsprogrammet M.E.Doc. Hoten blir allt mer sofistikerade, och en logisk fråga uppstår – "Hur ska vi egentligen motverka dessa 5% hot?"

Definition av Threat Hunting

Så, Threat Hunting är en process för proaktiv och iterativ sökning och upptäckte av avancerade hot som inte kan upptäckas med traditionella skyddsmetoder. Exempel på avancerade hot inkluderar attacker som APT, 0-dag sårbarheter, Living off the Land och så vidare.

Man kan också omformulera så att TH är en process för att verifiera hypoteser. Det är huvudsakligen en manuell process med inslag av automatisering, där analytikern, baserat på sin kunskap och kompetens, filtrerar stora mängder information i jakten på tecken på kompromiss, enligt en ursprungligen definierad hypotes om närvaron av ett visst hot. En utmärkande egenskap är mångfalden av informationskällor.

Det är viktigt att notera att Threat Hunting inte är en programvara eller hårdvaruprodukt. Det är inte varningar som man kan se i en viss lösning. Det är inte en process för att leta efter IOC (indikatorer på kompromiss). Och det är inte en passiv aktivitet som sker utan deltagande av cybersäkerhetsanalytiker. Threat Hunting är framför allt en process.

Komponenter av Threat Hunting

Tre huvudsakliga komponenter av Threat Hunting: data, teknik, människor.

Data (vad?), inklusive Big Data. Alla möjliga trafikströmmar, information om tidigare genomförda APT, analyser, data om användaraktivitet, nätverksdata, information från anställda, information från dark web och mycket mer.

Teknik (hur?) för bearbetning av dessa data – alla möjliga sätt att bearbeta dessa data, inklusive maskininlärning.

Människor (vem?) De som har stor erfarenhet av att analysera olika typer av attacker, har utvecklad intuition och förmåga att upptäcka attacker. Vanligtvis är detta informationssäkerhetsanalytiker som måste ha förmågan att generera hypoteser och bekräfta dem. De är den viktigaste länken i processen.

PARIS-modellen

Adam Bateman beskriver PARIS-modellen för den ideala TH-processen. Namnet antyder en välkänd sevärdhet i Frankrike. Denna modell kan ses från två perspektiv - uppifrån och nerifrån.

I hotjaktprocessen, rörande sig enligt modellen uppifrån och ner, kommer vi att hantera många bevis på skadlig aktivitet. Varje bevis har en viss grad av säkerhet - en egenskap som återspeglar vikten av detta bevis. Det finns "hårda", direkta bevis på skadlig aktivitet, som gör att vi omedelbart kan nå toppen av pyramiden och skapa ett faktabaserat larm om en exakt känd infektion. Och det finns indirekta bevis, vars samlade värde också kan föra oss till toppen av pyramiden. Som alltid finns det många fler indirekta bevis än direkta, vilket innebär att de måste sorteras och analyseras, genomföra ytterligare undersökningar och helst automatiseras.

PARIS-modellen. Källa

Den övre delen av modellen (1 och 2) baseras på automatiseringstekniker och varierande analys, medan den nedre delen (3 och 4) baseras på människor med viss kvalifikation som hanterar processen. Man kan betrakta modellen uppifrån och ner, där vi i den blå övre delen har larm från traditionella skyddssystem (antivirus, EDR, brandvägg, signaturer) med hög grad av säkerhet och förtroende, och längre ner indikatorer (IOC, URL, MD5 och andra) som har en lägre grad av säkerhet och kräver ytterligare studier. Och den allra nedersta och tjockaste nivån (4) - generering av hypoteser, skapandet av nya scenarier för arbete med traditionella skyddssystem. Denna nivå är inte begränsad till de angivna källorna för hypoteser. Ju lägre nivån är, desto högre krav ställs på analytikerns kvalifikation.

Det är mycket viktigt att analytikerna inte bara kontrollerar en slutgiltig uppsättning fördefinierade hypoteser, utan ständigt arbetar med att generera nya hypoteser och alternativ för deras testning.

Modellen för användningsmognad av TH

I en perfekt värld är TH en kontinuerlig process. Men eftersom det inte finns någon perfekt värld, låt oss analysera mognadsmodellen och metoderna i perspektivet av människor, processer och teknologier som används. Låt oss överväga modellen för perfekt sfärisk TH. Det finns 5 nivåer av användning av denna teknologi. Låt oss betrakta dem som ett exempel på utvecklingen av ett enskilt team av analytiker.

Mognadsnivåer
Människor
Processer
Teknologier

Nivå 0
SOC-analytiker
24/7
Traditionella verktyg:

Traditionell
Sätt att få larm
Passiv övervakning
IDS, AV, Sandboxning,

Utan TH
Arbeta med larm

signaturanalysverktyg, Threat Intelligence-data.

Nivå 1
SOC-analytiker
Engångs TH
EDR

Experimentell
Grundläggande kunskaper i forensik
Sökning av IOC
Delvis täckning av data från nätverksenheter

Experimentera med TH
Bra kunskap om nätverk och applikationer

Delvis tillämpning

Nivå 2
Tillfällig sysselsättning
Sprintar
EDR

Periodisk
Medelkunskaper i forensik
En vecka per månad
Fullständig tillämpning

Tillfällig TH
Utmärkt kunskap om nätverk och applikationer
Regelbunden TH
Fullständig automatisering av användningen av EDR-data

Delvis användning av utökade EDR-funktioner

Nivå 3
Dedikerat TH-team
24/7
Delvis förmåga att verifiera TH-hypoteser

Preventiv
Utbildade kunskaper inom forensik och skadlig programvara
Preventiv TH
Fullständig användning av utökade EDR-funktioner

Särskilda fall av TH
Utmärkt kännedom om angriparsidan
Särskilda fall av TH
Fullständig datatäckning från nätverksenheter

Konfiguration anpassad till behoven

Nivå 4
Dedikerat TH-team
24/7
Fullständig förmåga att verifiera TH-hypoteser

Ledande
Utbildade kunskaper inom forensik och skadlig programvara
Preventiv TH
Nivå 3, plus:

Användning av TH
Utmärkt kännedom om angriparsidan
Verifiering, automatisering och validering av TH-hypoteser
nära integration av datakällor;

Forskningens förmåga

utveckling anpassad till behov och icke-standardanvändning av API.

Mognadsnivåer av TH i perspektivet av människor, processer och teknologier

Nivå 0: traditionell, utan användning av TH. Vanliga analytiker arbetar med en standarduppsättning larm i passiv övervakning med hjälp av standardverktyg och teknologier: IDS, AV, sandboxar, signaturanalysverktyg.

Nivå 1: experimentell, med användning av TH. Samma analytiker med grundläggande kunskaper i forensik och god förståelse för nätverk och tillämpade aspekter kan genomföra en engångs Threat Hunting genom att söka efter indikatorer på kompromiss. Verktygen inkluderar EDR med delvis täckning av data från nätverksenheter. Verktygen används delvis.

Nivå 2: periodisk, tillfällig TH. Samma analytiker som redan har förbättrat sina kunskaper inom forensik, nätverk och tillämpade aspekter får i uppdrag att regelbundet engagera sig i (sprint) Threat Hunting, säg, en vecka i månaden. Verktygen inkluderar fullständig forskning av data från nätverksenheter, automatisering av dataanalys från EDR och delvis användning av avancerade EDR-funktioner.

Nivå 3: preventiv, frekventa fall av TH. Våra analytiker har organiserat sig i ett dedikerat team, fått utmärkta kunskaper inom forensik och skadlig programvara, samt kunskap om metoder och taktik som angriparna använder. Processen genomförs redan i 24/7-läge. Teamet kan delvis testa hypoteser för TH, helt använda avancerade EDR-funktioner med fullständig täckning av data från nätverksenheter. Dessutom kan analytikerna konfigurera verktygen efter sina behov.

Nivå 4: ledande, användning av TH. Samma team har fått förmågan att genomföra forskning, förmågan att generera och automatisera processen för att testa hypoteser för TH. Nu har verktygen en nära integration av datakällor, utveckling av programvara anpassad efter behov och icke-standardanvändning av API.

Tekniker för Threat Hunting

Grundläggande tekniker för Threat Hunting

Till tekniker TH i ordning efter mognad av den använda teknologin inkluderar: grundläggande sökningar, statistisk analys, visualiseringstekniker, enkla aggregationer, maskininlärning och bayesianska metoder.

Den enklaste metoden är grundläggande sökning, som används för att avgränsa forskningsområdet med hjälp av specifika frågor. Statistisk analys tillämpas till exempel för att bygga typisk användar- eller nätverksaktivitet i form av en statistisk modell. Visualiseringstekniker används för att tydligt visa och förenkla datanalys i form av diagram och grafer, där det är enklare att fånga mönster i urvalet. Tekniken med enkla aggregationer av nyckelfält används för att optimera sökningar och analyser. Ju högre mognadsgrad TH-processen når i en organisation, desto mer relevant blir användningen av maskininlärningsalgoritmer. Dessa används också i stor utsträckning vid filtrering av skräppost, upptäckten av skadlig trafik och detektering av bedrägliga handlingar. En mer avancerad typ av maskininlärningsalgoritmer är Bayesmetoder, som möjliggör klassificering, minskning av urvalsdimensioner och ämnesmodellering.

Diamantmodellen och TH-strategier

Sergio Caltagirone, Andrew Pendergast och Christopher Betz i sitt arbete "The Diamond Model of Intrusion Analysis" visade de viktigaste komponenterna i vilken skadlig aktivitet som helst och den grundläggande kopplingen mellan dem.

Diamantmodellen för skadlig aktivitet

Enligt denna modell finns det 4 strategier för Threat Hunting som är baserade på de relevanta grundkomponenterna.

1. Offerorienterad strategi. Vi antar att offret har fiender, och de kommer att leverera "möjligheter" via e-post. Vi letar efter fiendens data i e-posten. Söker efter länkar, bilagor osv. Vi söker bekräftelse på denna hypotes under en viss tidsperiod (en månad, två veckor); om vi inte hittar något, så har hypotesen misslyckats.

2. Infrastrukturorienterad strategi. Det finns flera metoder för att använda denna strategi. Beroende på tillgång och synlighet är vissa av dem lättare än andra. Till exempel övervakar vi domännamnservrar som är kända för att hysa skadliga domäner. Eller så genomför vi processen att spåra alla nya domänregistreringar för att se om det finns ett känt mönster som används av motståndaren.

3. Möjlighetsfokuserad strategi. Förutom den offererade strategin som används av de flesta nätverksförsvarare, finns det en strategi som fokuserar på möjligheter. Den är den näst mest populära och koncentrerar sig på att upptäcka möjligheter från motståndaren, specifikt "skadlig kod" och möjligheten att motståndaren kan använda legitima verktyg som psexec, powershell, certutil och andra.

4. Motståndarfokuserad strategi. Den motståndarfokuserade metoden koncentrerar sig på själva motståndaren. Detta inkluderar användandet av öppen information från offentliga källor (OSINT), insamling av data om motståndaren, deras teknikker och metoder (TTP), analys av tidigare inträffade incidenter, Threat Intelligence-data, och så vidare.

Informationskällor och hypoteser i TH

Några informationskällor för Threat Hunting

Det finns en mängd informationskällor. En idealisk analytiker bör kunna hämta information från allt som finns omkring. Typiska källor i nästan alla infrastrukturer är data från skyddssystem: DLP, SIEM, IDS/IPS, WAF/FW, EDR. Andra typiska källor är olika indikatorer på kompromiss, Threat Intelligence-tjänster, CERT-data och OSINT. Dessutom kan information från dark web (till exempel, plötsligt finns det en begäran om att hacka e-postkontot för en organisationsledare, eller en kandidat till nätverksingenjörspositionen har blivit synlig genom sin aktivitet), information från HR (omdömen om kandidaten från tidigare arbetsplats), och information från säkerhetstjänsten (till exempel, resultat från en kontroll av en partner) användas.

Men innan man använder alla tillgängliga källor, är det nödvändigt att ha åtminstone en hypotes.

Källa

För att kunna testa hypoteser, behöver de först formuleras. Och för att formulera många kvalitativa hypoteser är det viktigt att tillämpa en systematisk metod. Processen för att generera hypoteser beskrivs mer detaljerat i artikeln, det är praktiskt att utgå från denna modell för processen att formulera hypoteser.

Den huvudsakliga källan för hypoteser kommer att vara ATT&CK-matrisen (Adversarial Tactics, Techniques and Common Knowledge). Den är i grunden en kunskapsbas och en modell för att utvärdera angreppssätt hos angripare som genomför sina aktiviteter i de sista stegen av en attack, oftast beskriven med begreppet Kill Chain. Det vill säga i stegen efter att angriparen har trängt in i företagets interna nätverk eller en mobil enhet. Ursprungligen innehöll kunskapsbasen en beskrivning av 121 taktiker och tekniker som används vid angrepp, var och en noggrant beskriven i ett Wiki-format. En mångfald av hotanalys kan fungera som en bra källa för att generera hypoteser. Det är särskilt värt att notera resultaten från analysen av infrastruktur och penetrationstester – dessa är de mest värdefulla data som kan ge oss solida hypoteser eftersom de bygger på specifik infrastruktur med dess specifika brister.

Hypotestestningsprocessen

Sergey Soldatov presenterade ett bra schema med en detaljerad beskrivning av processen, den illustrerar processen för hypotesverifiering av TH i ett särskilt system. Jag kommer att ange de viktigaste stegen med en kort beskrivning.

Källa

Steg 1: TI Farm

I det här steget är det nödvändigt att identifiera objekt (genom att analysera dem tillsammans med all data om hot) och tilldela dem etiketter för deras egenskaper. Det kan vara en fil, URL, MD5, process, verktyg, händelse. Genom att köra dem genom Threat Intelligence-systemen måste etiketter sättas på. Det vill säga att denna webbplats har observerats i CNC något år, denna MD5 var kopplad till någon malware, denna MD5 laddades ner från en webbplats som delade ut malware.

Steg 2: Cases

I det andra steget ser vi på interaktionen mellan dessa objekt och identifierar sambanden mellan alla dessa objekt. Vi får märkta system som gör något ont.

Steg 3: Analytiker

I det tredje steget överlämnas ärendet till en erfaren analytiker, med stor erfarenhet av analys, som avger sitt yttrande. Han bryter ner byte för byte vad, varifrån, hur, varför och varför denna kod gör detta. Det här objektet var skadligt, den här datorn var infekterad. Han avslöjar sambanden mellan objekten, kontrollerar resultaten från körningen genom sandlådan.

Resultaten från analytikerns arbete överlämnas vidare. Digital Forensics undersöker avbilder, Malware Analysis granskar hittade "kroppar", medan Incident Response-teamet kan åka till platsen och undersöka något där. Resultatet av arbetet blir en bekräftad hypotes, identifierad attack och motåtgärder.

Källa

Sammanfattning

Threat Hunting är en relativt ny teknik som effektivt kan motverka anpassade, nya och ovanliga hot, med stora möjligheter i takt med att antalet sådana hot ökar och den företagsinfrastruktur som blir mer komplex. Den kräver tre komponenter – data, verktyg och analytiker. Fördelarna med Threat Hunting sträcker sig inte bara till att förebygga hotens genomförande. För att inte glömma att under sökprocessen dyker vi ner i vår infrastruktur och dess svaga punkter genom ögonen på en säkerhetsspecialist, vilket gör att vi kan förstärka dessa punkter ytterligare.

De första stegen som vi anser att man bör ta för att inleda TH-processen i sin organisation.

Se till att skydda slutpunkter och nätverksinfrastruktur. Säkerställ synlighet (NetFlow) och kontroll (brandvägg, IDS, IPS, DLP) för alla processer i ditt nätverk. Känn din nätverksstruktur från den gränsrouter till den sista värden.
Studera MITRE ATT&CK.
Genomför regelbundna pen-test på åtminstone nyckelresurser, analysera resultaten, identifiera huvudmålen för attack och åtgärda deras sårbarheter.
Implementera ett Threat Intelligence-system med öppen källkod (t.ex. MISP, Yeti) och genomföra logganalys i samarbete med det.
Införa en plattform för incidentrespons (IRP): R-Vision IRP, The Hive, sandlåda för analys av misstänkta filer (FortiSandbox, Cuckoo).
Automatisera rutinprocesser. Logganalys, registrering av incidenter och information till personalen – ett stort område för automatisering.
Lär dig att effektivt samarbeta med ingenjörer, utvecklare och teknisk support för att arbeta tillsammans kring incidenter.
Dokumentera hela processen, nyckelpunkterna och uppnådda resultat, så att du kan återgå till dem senare eller dela dessa data med kollegor.
Kom ihåg den sociala aspekten: var medveten om vad som händer med dina medarbetare, vem du anställer och vem du ger tillgång till organisatoriska informationsresurser.
Hålla sig uppdaterad om trender inom nya hot och skyddsåtgärder, öka sin tekniska kompetens (även när det gäller arbete med IT-tjänster och delsystem), delta i konferenser och nätverka med kollegor.

Redo att diskutera organisationen av TH-processen i kommentarerna.

Eller kom och arbeta hos oss!

Källor och material för studier