La oss telle agentene "Revisor"

Det er ingen hemmelighet at overvÄkningen av blokkeringer av listen over forbudt informasjon i Russland overvÄkes av det automatiserte systemet «Revisor». Hvordan dette fungerer, er godt beskrevet i denne artikkelen pÄ Habr, bilde fra samme kilde:

La oss telle agentene "Revisor"

Direkte hos leverandÞren installeres modulen «Agent Revisor»:

Modulen «Agent Revisor» er en strukturell del av det automatiserte systemet «Revisor» (AS «Revisor»). Dette systemet er beregnet pÄ Ä overvÄke teleoperatÞrenes overholdelse av kravene til tilgangsbegrensning i henhold til paragrafene 15.1-15.4 i den fÞderale loven av 27. juli 2006 nr. 149-FZ «Om informasjon, informasjonsteknologi og beskyttelse av informasjon».

HovedmÄlet med opprettelsen av AS «Revisor» er Ä sikre overvÄking av at teleoperatÞrene overholder kravene som er fastsatt i paragrafene 15.1-15.4 i den fÞderale loven av 27. juli 2006 nr. 149-FZ «Om informasjon, informasjonsteknologi og beskyttelse av informasjon» med hensyn til Ä avdekke tilfeller av tilgang til forbudt informasjon og innhente bekreftende materialer (data) om brudd pÄ tilgangsbegrensningene til forbudt informasjon.

Gjennom at, hvis ikke alle, sÄ mange leverandÞrer har installert denne enheten hos seg, burde det ha dannet seg et stort nettverk av prÞver-bÞyer som ligner pÄ RIPE Atlas og enda mer, men med lukket tilgang. Likevel, en bÞye er jo en bÞye for Ä sende signaler i alle retninger, men hva hvis vi fanger dem og ser hva vi har fanget og hvor mye?

FÞr vi teller, la oss se pÄ hvorfor dette i det hele tatt kan vÊre mulig.

Litt teori

Agentene sjekker tilgjengeligheten av ressurser, inkludert ved hjelp av HTTP(S) forespĂžrselene, som dette for eksempel:

TCP, 14678  >  80, "[SYN] Seq=0"
TCP, 80  >  14678, "[SYN, ACK] Seq=0 Ack=1"
TCP, 14678  >  80, "[ACK] Seq=1 Ack=1"

HTTP, "GET /somepage HTTP/1.1"
TCP, 80  >  14678, "[ACK] Seq=1 Ack=71"
HTTP, "HTTP/1.1 302 Found"

TCP, 14678  >  80, "[FIN, ACK] Seq=71 Ack=479"
TCP, 80  >  14678, "[FIN, ACK] Seq=479 Ack=72"
TCP, 14678  >  80, "[ACK] Seq=72 Ack=480"

ForespÞrselen, i tillegg til nyttelasten, bestÄr ogsÄ av en etableringsfase: utveksling SYN og SYN-ACK, og en avslutningsfase: FIN-ACK.

Registeret over forbudt informasjon inneholder flere typer blokkeringer. Det er Äpenbart at hvis en ressurs blir blokkert etter IP-adresse eller domene, vil vi ikke se noen forespÞrsel. Dette er de mest destruktive blokkeringene, som fÞrer til at alle ressurser pÄ én IP-adresse eller all informasjon pÄ domenet blir utilgjengelig. Det finnes ogsÄ en type blokkering «etter URL». I dette tilfellet mÄ filtreringssystemet analysere HTTP-headeren for Ä bestemme nÞyaktig hva som skal blokkeres. FÞr dette, som nevnt tidligere, mÄ det skje en tilkoblingsfase som man kan forsÞke Ä spore, da sannsynligvis filteret vil overse den.

For dette mÄ man velge et passende ledig domene med blokkeringstypen «etter URL» og HTTP for Ä lette arbeidet for filtreringssystemet. Det er Þnskelig at domenet er lenge forlatt for Ä minimere tilstrÞmming av uÞnsket trafikk bortsett fra fra agenter. Denne oppgaven viste seg Ä vÊre helt uproblematisk; det finnes mange ledige domener i registeret over forbudt informasjon og i alle mulige varianter. Derfor ble domenet kjÞpt, og knyttet til IP-adressene pÄ VPS med tcpdump og tellingen startet.

Revisjon av «Revisorene»

Jeg forventet Ä se periodiske bÞlger av forespÞrsel, noe som ville indikert et styrt tiltak etter min mening. Man kan ikke si at jeg ikke sÄ dette i det hele tatt, men det var absolutt ingen klar oversikt:

La oss telle agentene "Revisor"

Ikke overraskende, selv pÄ et domene som ingen trenger og en aldri brukt IP vil det komme en stor mengde uÞnsket informasjon; slik er det moderne internett. Men heldigvis trengte jeg kun forespÞrslene til en spesifikk URL, sÄ alle skannere og passordknekkerne ble raskt identifisert. Det var ogsÄ ganske enkelt Ä forstÄ hvor flommen av ensartede forespÞrsel kom fra. Deretter laget jeg en oversikt over frekvensene av IP-adresser og gikk manuelt gjennom hele toppen for Ä skille de som hadde sluppet gjennom tidligere. I tillegg fjernet jeg alle kilder som hadde sendt ett eneste pakke; det var ikke mange av dem. Og dette ble resultatet:

La oss telle agentene "Revisor"

En liten lyrisk avstickare. Lite mer Àn ett dygn senare skickade min hostingleverantör ett brev med ganska otydligt innehÄll, typ att det pÄ era resurser finns en resurs frÄn den förbjudna listan frÄn RKN, dÀrför blockeras det. Först tÀnkte jag att de hade blockerat mitt konto, men sÄ var det inte. Sedan trodde jag att de bara varnade mig om nÄgot jag redan visste. Men det visade sig att hosten aktiverade sin filter före min domÀn och i slutÀndan hamnade jag under dubbel filtrering: bÄde frÄn leverantörerna och frÄn hosten. Filtren slÀppte bara slutet av förfrÄgningarna: FIN-ACK og RST och skar av all HTTP genom den förbjudna URL:en. Som framgÄr av diagrammet ovan, efter de första dygnen började jag fÄ fÀrre data, men jag fick ÀndÄ dem, vilket rÀckte för att rÀkna kÀllorna till förfrÄgningarna.

NÀrmare bestÀmt. Jag tycker det Àr helt tydligt att det finns tvÄ toppar varje dag, den första mindre, efter midnatt i Moskva, den andra nÀrmare klockan 6 pÄ morgonen med en svans fram till klockan 12 pÄ dagen. Topparna infaller inte exakt vid samma tid. Först ville jag sÀrskilja IP-adresser som endast föll inom dessa perioder och varje enskild under alla perioder, baserat pÄ antagandet att kontrollerna görs periodiskt av agenterna. Men efter noggrann granskning upptÀckte jag snabbt att det finns perioder som faller in i andra intervall, med andra frekvenser, ner till en förfrÄgan varje timme. Sedan funderade jag pÄ tidszonerna och att det kanske Àr problemet, sedan tÀnkte jag att systemet överhuvudtaget kanske inte Àr globalt synkroniserat. Dessutom spelar NAT sÀkert en roll, och samma agent kan göra förfrÄgningar frÄn olika offentliga IP-adresser.

Eftersom mitt ursprungliga mĂ„l inte var noggrannhet, sĂ„ rĂ€knade jag faktiskt alla adresser som fĂ„ngades under en vecka och fick — 2791. Antalet TCP-sessioner som etablerades frĂ„n en adress var i genomsnitt 4, med en median pĂ„ 2. Topp-sessioner pĂ„ adresser: 464, 231, 149, 83, 77. Maximum av 95% av urvalet — 8 sessioner per adress. Medianen Ă€r inte sĂ„ hög, kom ihĂ„g att diagrammet visar en tydlig daglig periodicitet, sĂ„ man kunde förvĂ€nta sig nĂ„got runt 4 till 8 under 7 dagar. Om man tar bort alla sessioner som bara förekommit en gĂ„ng, sĂ„ fĂ„r man precis en median av 5. Men jag kunde inte utesluta dem pĂ„ nĂ„gon tydlig grund. TvĂ€rtom visade urvalskontrollen att de var relaterade till förfrĂ„gningarna av den förbjudna resursen.

Adresse er adresse, men i det digitale rom er autonome systemer — AS — viktigere, og det er blitt flere. 1510, i gjennomsnitt 2 adresser per AS med en median pĂ„ 1. Toppadressene pĂ„ AS: 288, 77, 66, 39, 27. Maksimum fra 95% av utvalget — 4 adresser per AS. Her er medianen forventet — Ă©n Agent per leverandĂžr. Toppene er ogsĂ„ forventet — her finnes de store aktĂžrene. I et stort nettverk mĂ„ Agenter sannsynligvis stĂ„ i hver region hvor operatĂžren er til stede, og vi mĂ„ ikke glemme NAT. NĂ„r vi ser pĂ„ landene, vil maksimumene vĂŠre: 1409 — RU, 42 — UA, 23 — CZ, 36 fra andre regioner, ikke RIPE NCC. ForespĂžrslene fra Russland vekker oppmerksomhet. Dette kan sannsynligvis forklares med feil i geolokalisering eller feil fra registratorene nĂ„r de fyller ut informasjon. Eller det faktum at et russisk selskap kan ha ikke-russiske rĂžtter eller ha et utenlandsk representasjonskontor fordi det er enklere, noe som er naturlig nĂ„r man har med den utenlandske organisasjonen RIPE NCC Ă„ gjĂžre. En viss del er uten tvil unĂždvendig, men det er vanskelig Ă„ skille det sikkert, da ressursen er blokkert, og fra andre dagene er det under dobbel blokkering, og de fleste Ăžktene bestĂ„r kun av bytte av noen fĂ„ styringspakker. La oss bli enige om at dette er en liten del.

Disse tallene kan allerede sammenlignes med antall leverandĂžrer i Russland. IfĂžlge RKN er det 6387 lisenser for «Tjenester for overfĂžring av data, unntatt tale», men dette er en sterkt oppblĂ„st vurdering, ikke alle disse lisensene gjelder nettopp for internettleverandĂžrer som trenger Ă„ plassere en Agent. I RIPE NCC-sonen er det et lignende antall AS registrert i Russland — 6230, hvorav ikke alle er leverandĂžrer. UserSide har gjort en strengere telling og fikk 3940 selskaper i 2017, og dette er trolig en oppblĂ„st vurdering. Uansett har vi antallet synlige AS som er to og en halv gang lavere. Men her mĂ„ man forstĂ„ at AS ikke er strengt lik en leverandĂžr. Noen leverandĂžrer har ikke sitt eget AS, mens andre har mer enn ett. Hvis vi antar at Agenter fortsatt stĂ„r hos alle, betyr det at noen filtrerer sterkere enn andre, slik at forespĂžrslene deres er uadskillelige fra sĂžppel hvis de overhodet nĂ„r frem. Men for en grov vurdering er det ganske akseptabelt, selv om noe kan ha gĂ„tt tapt pĂ„ grunn av min uflaks.

Om DPI

Til tross for at hostingleverandÞren min aktiverte filteret sitt fra den andre dagen, kan informasjonen fra den fÞrste dagen vise at blokkeringene fungerer effektivt. Bare 4 kilder klarte Ä bryte igjennom og har fullfÞrte HTTP- og TCP-Þkter (som i eksempelet ovenfor). Ytterligere 460 kan sende GET, men Þkten avbrytes umiddelbart pÄ RST. VÊr oppmerksom pÄ TTL:

TTL 50, TCP, 14678 > 80, "[SYN] Seq=0"
TTL 64, TCP, 80 > 14678, "[SYN, ACK] Seq=0 Ack=1"
TTL 50, TCP, 14678 > 80, "[ACK] Seq=1 Ack=1"

HTTP, "GET /filteredpage HTTP/1.1"
TTL 64, TCP, 80 > 14678, "[ACK] Seq=1 Ack=294"

# Dette ble sendt av filteret
TTL 53, TCP, 14678 > 80, "[RST] Seq=3458729893"
TTL 53, TCP, 14678 > 80, "[RST] Seq=3458729893"

HTTP, "HTTP/1.1 302 Found"

# Dette er et forsÞk fra kildeknutepunktet Ä fÄ tap
TTL 50, TCP ACKed unseen segment, 14678 > 80, "[ACK] Seq=294 Ack=145"

TTL 50, TCP, 14678 > 80, "[FIN, ACK] Seq=294 Ack=145"
TTL 64, TCP, 80 > 14678, "[FIN, ACK] Seq=171 Ack=295"

TTL 50, TCP Dup ACK 14678 > 80 "[ACK] Seq=295 Ack=145"

# Kildeknutepunktet forstÄr at sesjonen er Þdelagt
TTL 50, TCP, 14678 > 80, "[RST] Seq=294"
TTL 50, TCP, 14678 > 80, "[RST] Seq=295"

Variasjoner av dette kan vÊre forskjellige: fÊrre RST eller flere retransmisjoner - avhenger ogsÄ av hva filteret sender til kildeknutepunktet. Uansett er dette den mest pÄlitelige malen, der det er synlig at det ble forespurt en forbudt ressurs. I tillegg er det alltid et svar som dukker opp i sesjonen med TTL stÞrre enn i de foregÄende og pÄfÞlgende pakkene.

Fra de andre er det ikke engang synlig GET:

TTL 50, TCP, 14678 > 80, "[SYN] Seq=0"
TTL 64, TCP, 80 > 14678, "[SYN, ACK] Seq=0 Ack=1"

# Dette ble sendt av filteret
TTL 53, TCP, 14678 > 80, "[RST] Seq=1"

Eller sÄnn:

TTL 50, TCP, 14678 > 80, "[SYN] Seq=0"
TTL 64, TCP, 80 > 14678, "[SYN, ACK] Seq=0 Ack=1"
TTL 50, TCP, 14678 > 80, "[ACK] Seq=1 Ack=1"

# Dette ble sendt av filteret
TTL 53, TCP, 14678 > 80, "[RST, PSH] Seq=1"

TTL 50, TCP ACKed unseen segment, 14678 > 80, "[FIN, ACK] Seq=89 Ack=172"
TTL 50, TCP ACKed unseen segment, 14678 > 80, "[FIN, ACK] Seq=89 Ack=172"

# Igjen filteret, mange ganger
TTL 53, TCP, 14678 > 80, "[RST, PSH] Seq=1"
...

Det er alltid synlig forskjell i TTL hvis det kommer noe fra filteret. Men ofte kan det ikke komme noe i det hele tatt:

TCP, 14678 > 80, "[SYN] Seq=0"
TCP, 80 > 14678, "[SYN, ACK] Seq=0 Ack=1"
TCP Retransmission, 80 > 14678, "[SYN, ACK] Seq=0 Ack=1"
...

Eller sÄnn:

TCP, 14678 > 80, "[SYN] Seq=0"
TCP, 80 > 14678, "[SYN, ACK] Seq=0 Ack=1"
TCP, 14678 > 80, "[ACK] Seq=1 Ack=1"

# Det har gÄtt flere sekunder uten trafikk

TCP, 80 > 14678, "[FIN, ACK] Seq=1 Ack=1"
TCP Retransmission, 80 > 14678, "[FIN, ACK] Seq=1 Ack=1"
...

Og alt dette gjentar seg og gjentar seg og gjentar seg, som vist i grafen, definitivt mer enn én gang, hver dag.

Om IPv6

Gode nyheter – den eksisterer. Jeg kan med sikkerhet si at det skjer periodiske forespĂžrsel fra 5 forskjellige IPv6-adresser til et forbudt ressurs, akkurat den oppfĂžrselen fra Agenter som jeg forventet. En av IPv6-adressene kommer ikke inn under filtreringen, og jeg ser en fullverdig sesjon. Fra to andre sĂ„ jeg bare Ă©n uavsluttet sesjon, hvorav Ă©n avbrĂžt pĂ„ grunn av RST filtreringen, den andre pĂ„ grunn av tid. Totalt 7.

Siden det er fÄ adresser, har jeg studert dem i detalj, og det viser seg at det i realiteten bare er 3 leverandÞrer, som man kan applaudere stÄende! En annen adresse er en skyhosting i Russland (som ikke filtrerer), en annen er et forskningssenter i Tyskland (det er filtrering, hvor?). Men hvorfor de sjekker tilgjengeligheten til forbudte ressurser etter en timeplan er et godt spÞrsmÄl. De to gjenvÊrende gjorde én forespÞrsel hver og er utenfor Ruslands grenser, og en av dem blir filtrert (likevel pÄ transitt?).

Blokkeringer og Agenter er en stor hindring for IPv6, som allerede utvikler seg langsomt. Det er trist. De som har lĂžst dette problemet grundig kan vĂŠre stolte av seg selv.

Avslutningsvis

Jeg jaget ikke 100% nĂžyaktighet, ber om unnskyldning for det, hĂ„per noen vil Ăžnske Ă„ gjenta et slikt arbeid med stĂžrre nĂžyaktighet. For meg var det viktig Ă„ forstĂ„ om en slik tilnĂŠrming egentlig ville fungere. Svaret er – det vil. Tallene man fikk i fĂžrste omgang, tror jeg, er ganske pĂ„litelige.

Hva mer kunne jeg ha gjort og hva jeg gnikket for Ă„ gjĂžre – Ă„ telle forespĂžrslene til DNS. De blir ikke filtrert, men gir heller ikke hĂžy presisjon da de bare fungerer for domenet, ikke for hele URL-en. Periodisiteten skal vĂŠre synlig. Hvis man kombinerer det med det som er synlig i forespĂžrslene, vil det tillate Ă„ skille bort det overflĂždige og fĂ„ mer informasjon. Kanskje til og med bestemme utviklerne av DNS som leverandĂžrene bruker og mye mer.

Jeg forventet absolutt ikke at min VPS-leverandĂžr ville aktivere sin egen filtrering ogsĂ„. Kanskje det er vanlig praksis. Tross alt sender RKN forespĂžrselen om fjerning av ressursen nettopp til verten. Men det overrasket meg ikke, og til og med spilte det pĂ„ en mĂ„te til min fordel. Filtreringen fungerte veldig effektivt ved Ă„ kutte alle riktige HTTP-forespĂžrsel til det forbudte URL-et, men de uriktige, som tidligere hadde passert gjennom leverandĂžrens filtrering, nĂ„dde frem, bare i form av endepunkter: FIN-ACK og RST — minus pĂ„ minus og nesten ble det pluss. Forresten, ble ikke IPv6-hostingen filtrert. SelvfĂžlgelig pĂ„virket det kvaliteten pĂ„ det innsamlede materialet, men det ga likevel muligheten til Ă„ se periodicitet. Det viste seg Ă„ vĂŠre et viktig punkt nĂ„r man velger plattform for Ă„ plassere ressurser; glem ikke Ă„ spĂžrre om organiseringen av arbeidet med listen over forbudte nettsteder og forespĂžrslene fra RKN.

I begynnelsen sammenlignet jeg AS "Revisor" med RIPE Atlas. Denne sammenligningen er fullt berettiget, og et stort nettverk av agenter kan gi fordeler. For eksempel kan man bestemme kvaliteten pÄ tilgjengeligheten av ressursen fra ulike leverandÞrer i forskjellige deler av landet. Man kan beregne forsinkelser, bygge grafer og analysere alt for Ä se endringer som skjer bÄde lokalt og globalt. Dette er ikke den mest direkte veien, men astronomer bruker jo "standardlyskilder", hvorfor ikke bruke agenter? Ved Ä kjenne (finne) deres standardoppfÞrsel, kan man bestemme endringene rundt dem og hvordan dette pÄvirker kvaliteten pÄ de leverte tjenestene. Og samtidig trenger man ikke Ä plassere prÞver pÄ nettet selv; det har allerede blitt gjort av Roskomnadzor.

En annen ting jeg vil ta opp, er at hvert verktĂžy kan vĂŠre et vĂ„pen. AS "Revisor" er et lukket nettverk, men agenter avslĂžrer alt med detaljer ved Ă„ sende forespĂžrsler til alle ressurser fra den forbudte listen. Å fĂ„ tak i en slik ressurs er overhodet ikke noe problem. Til slutt, leverandĂžrene forteller gjennom agenter, uten Ă„ ville det, mye mer om nettverket sitt enn det som kanskje ville vĂŠrt tilrĂ„delig: typer DPI og DNS, posisjonen til agenten (sentralnoden og det administrative nettverket?), nettverksmarkeringer for forsinkelser og tap — og dette er bare det mest Ă„penbare. Akkurat som noen kan overvĂ„ke agentenes handlinger for Ă„ forbedre tilgjengeligheten av sine ressurser, kan andre gjĂžre det med andre mĂ„l, og det finnes ingen hindringer for dette. Det har blitt et tveegget og svĂŠrt mangfoldig verktĂžy; alle kan overbevise seg om dette.

Kilde: habr.com

KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere đŸ”„ KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere | ProHoster