Prebrojimo agente "Revizor"

Nije tajna da za kontrolu blokiranja u Rusiji prati automatizovani sistem „Revizor“. Kako to funkcioniše detaljno je objašnjeno u ovom članku na Habr, slika odatle:

Prebrojimo agente "Revizor"

Direktno kod provajdera instalira se modul „Agent Revizor“:

Modul „Agent Revizor“ je strukturalni element automatizovanog sistema „Revizor“ (AS „Revizor“). Ovaj sistem je namenjen kontrolisanju izvršavanja zahteva telekom operatera po ograničenju pristupa u okviru odredbi utvrđenih člancima 15.1-15.4 Saveznog zakona od 27. jula 2006. godine br. 149-FZ „O informacijama, informacijskim tehnologijama i zaštiti informacija“.

Osnovni cilj kreiranja AS „Revizor“ je obezbeđivanje monitoringa poštovanja zahteva telekom operatera utvrđenih člancima 15.1-15.4 Saveznog zakona od 27. jula 2006. godine br. 149-FZ „O informacijama, informacijskim tehnologijama i zaštiti informacija“ u smislu identifikovanja slučajeva pristupa zabranjenim informacijama i dobijanja potvrđujućih materijala (podataka) o prekršajima po ograničavanju pristupa zabranjenim informacijama.

S obzirom na to da su mnogi provajderi instalirali ovaj uređaj kod sebe, trebala bi da se formira velika mreža probnika-faroha sličnih RIPE Atlas i još više, ali sa zatvorenim pristupom. Međutim, faro je to što je, da šalje signale u svim pravcima, a šta ako ih uhvatimo i pogledamo šta smo uhvatili i koliko?

Pre nego što pređemo na brojke, hajde da vidimo zašto to uopšte može biti moguće.

Malo teorije

Agenti proveravaju dostupnost resursa, uključujući i putem HTTP(S) zahteva, kao što je ovaj na primer:

TCP, 14678  >  80, "[SYN] Seq=0"
TCP, 80  >  14678, "[SYN, ACK] Seq=0 Ack=1"
TCP, 14678  >  80, "[ACK] Seq=1 Ack=1"

HTTP, "GET /somepage HTTP/1.1"
TCP, 80  >  14678, "[ACK] Seq=1 Ack=71"
HTTP, "HTTP/1.1 302 Found"

TCP, 14678  >  80, "[FIN, ACK] Seq=71 Ack=479"
TCP, 80  >  14678, "[FIN, ACK] Seq=479 Ack=72"
TCP, 14678  >  80, "[ACK] Seq=72 Ack=480"

Zahtev, osim korisnog opterećenja, sastoji se još iz faze uspostavljanja veze: razmena SYN i SYN-ACK, i faze završetka veze: FIN-ACK.

Registar zabranjenih informacija sadrži nekoliko tipova blokada. Očigledno je da ako se resurs blokira prema IP adresi ili domeni, nećemo videti nikakve zahteve. Ovo su najrazorniji tipovi blokada, koji dovode do nedostupnosti svih resursa na jednoj IP adresi ili svih informacija na domenu. Takođe postoji tip blokade 'po URL-u'. U ovom slučaju, sistem filtriranja mora analizirati HTTP zaglavlje zahteva kako bi tačno odredio šta blokirati. A pre toga, kao što se može videti gore, mora se desiti faza uspostavljanja veze koju možemo pokušati da pratimo, jer će verovatno filtriranje to propustiti.

Za to je potrebno izabrati odgovarajući slobodan domen sa tipom blokade 'po URL-u' i HTTP, kako bi se olakšao rad sistemu filtriranja, poželjno je da bude davno napušten, kako bi se minimizirano prodiranje stranog saobraćaja osim od Agenta. Ova zadatak se pokazao kao sasvim jednostavan, slobodnih domena u registru zabranjenoj informacija ima dovoljno i za svaki ukus. Stoga je domen kupljen, vezan za IP adrese na VPS-u sa pokrenutim tcpdump i počeo je brojanje.

Revizija 'Revizora'

Očekivao sam da vidim povremene skokove zahteva, što bi, po mom mišljenju, ukazivalo na upravljanu akciju. Ne mogu reći da to nisam uopšte video, ali jasne slike definitivno nije bilo:

Prebrojimo agente "Revizor"

Što i nije iznenađujuće, čak i na beskorisnom domenu na nikad korišćenom IP-u dobiće mnogo nepriželjnih informacija, takav je savremeni Internet. Ali, srećom, potrebni su mi samo zahtevi za konkretnim URL-om, pa su svi skeneri i pokušavači lozinki brzo pronađeni. Takođe, bilo je prilično jednostavno shvatiti gde je spam od mase sličnih zahteva. Kasnije sam sastavio frekvencije pojavljivanja IP adresa i ručno prešao kroz sve top liste odvajajući one koji su prošli u prethodnim fazama. Dodatno sam isključio sve izvore koji su poslali po jedan paket, njih je već bilo malo. I ispalo je ovo:

Prebrojimo agente "Revizor"

Malo lirskog odustupanja. Malo više od jednog dana kasnije, moj hosting provajder poslao je prilično neodređeno pismo, govoreći da na vašim resursima postoji sadržaj sa zabranjene liste RKN, pa se blokira. Prvo sam pomislio da su blokirali moj nalog, što nije bio slučaj. Potom sam pomislio da me jednostavno upozoravaju na ono što već znam. Ali se ispostavilo da je hoster uključio svoj filter ispred mog domena i na kraju sam bio pod dvostrukom filtracijom: sa strane provajdera i sa strane hostera. Filter je propuštao samo krajeve zahteva: FIN-ACK i RST srezujući sav HTTP prema zabranjenom URL-u. Kao što se može videti iz grafikona iznad, nakon prvih 24 sata počeo sam da dobijam manje podataka, ali sam ih i dalje primao, što je bilo dovoljno za zadatak brojanja izvora zahteva.

Bliže stvari. Po mom mišljenju, savršeno se vide dva vrhunca svaki dan, prvi manji, nakon ponoći po moskovskom vremenu, a drugi bliže 6 sati ujutro, sa repom do 12 sati popodne. Vrh ne dolazi tačno u isto vreme. Isprva sam želeo da izdvojim IP adrese koje su se pojavile samo u ovim periodima i svaku u svim periodima, polazeći od pretpostavke da se provere vrše periodično. Ali tokom pažljivog razmatranja brzo sam otkrio periode koji se javljaju u drugim intervalima, sa drugim frekvencijama, sve do jednog zahteva svake sat. Kasnije sam pomislio na vremenske zone i da je možda u njima problem, a potom sam pomislio da sistem možda uopšte nije globalno sinhronizovan. Takođe, sigurno će svoju ulogu igrati NAT, i isti agent može slati zahteve sa različitih javnih IP adresa.

S obzirom na to da moja prvobitna svrha nije bila preciznost, prebrojao sam sve adrese koje su se pojavile tokom nedelje i dobio - 2791. Broj TCP sesija uspostavljenih sa jedne adrese u proseku je 4, sa medijanom 2. Top sesija po adresi: 464, 231, 149, 83, 77. Maksimum iz 95% uzorka - 8 sesija po adresi. Medijana nije previše visoka, podsećam da je na grafikonu vidljiva jasna dnevna periodičnost, tako da se moglo očekivati nešto između 4 i 8 za 7 dana. Ako isključimo sve sesije koje su se pojavile samo jednom, dobićemo medijanu od 5. Ali nisam mogao da ih isključim po jasnom kriterijumu. Naprotiv, uzorak provere pokazao je da one imaju veze sa zahtevima zabranjenog resursa.

Adrese su adrese, ali u internetu su važnije autonomne mreže — AS, kojih je napravljeno 1510, u prosjeku 2 adrese na AS s medijanom 1. Top adrese na AS: 288, 77, 66, 39, 27. Maksimum iz 95% uzorka — 4 adrese na AS. Ovdje je medijana očekivana — jedan Agenta po provajderu. Top također očekivan — u njemu su veliki igrači. U velikoj mreži Agenti bi, vjerovatno, trebali stajati u svakoj regiji prisutnosti operatera, ne zaboravljajući ni na NAT. Ako pogledamo po zemljama, maksimalne vrijednosti će biti: 1409 — RU, 42 — UA, 23 — CZ, 36 iz drugih regiona, ne RIPE NCC. Upiti koji nisu iz Rusije privlače pažnju. Vjerovatno se to može objasniti greškama u geolokaciji ili greškama registratora prilikom popunjavanja podataka. Ili time što ruska kompanija može imati ne ruske korijene, ili imati strano predstavništvo zbog toga što je jednostavnije kada se radi sa stranim organizacijama kao što je RIPE NCC. Neki dio nesumnjivo jeste suvišan, ali odvojiti ga tačno je teško, jer je resurs pod blokadom, a od druge večeri pod dvostrukom blokadom i većina sesija predstavljaju samo razmjenu nekoliko servisnih paketa. Dogovorimo se da je to mala količina.

Ove brojeve već možemo uporediti s brojem provajdera u Rusiji. Prema podacima RKN licencija za „Usluge komunikacije u prenosu podataka, osim glasovnih” — 6387, ali to je znatno precijenjena procjena, ne odnose se sve te licence upravo na Internet provajdere kojima je potreban Agent. U zoni RIPE NCC slično broj AS registriranih u Rusiji — 6230, od kojih nisu svi provajderi. UserSide je napravio strožiji broj i dobio 3940 kompanija u 2017. godini, što je vjerovatno gornja procjena. U svakom slučaju imamo broj vidljivih AS dva i pol puta manji. No, ovdje treba razumjeti da AS nije strogo jednako provajderu. Neki provajderi nemaju vlastitu AS, neki imaju više od jedne. Ako pretpostavimo da Agenti zapravo postoje kod svih, to znači da neko filtrira jače od ostalih, pa su njihovi upiti neodvojivi od smeća ako uopće dođu. No, za grubu procjenu je sasvim prihvatljivo, čak i ako je nešto izgubljeno zbog moje greške.

O DPI

Iako je moj hosting provajder uključi svoj filter počevši od drugog dana, prema informacijama prvog dana može se zaključiti da blokade uspevaju. Samo su 4 izvora uspela da prođu i imaju potpuno završene HTTP i TCP sesije (kao u gornjem primeru). Još 460 može da pošalje GET, ali se sesija odmah prekida putem RST. Obratite pažnju na TTL:

TTL 50, TCP, 14678 > 80, "[SYN] Seq=0"
TTL 64, TCP, 80 > 14678, "[SYN, ACK] Seq=0 Ack=1"
TTL 50, TCP, 14678 > 80, "[ACK] Seq=1 Ack=1"

HTTP, "GET /filteredpage HTTP/1.1"
TTL 64, TCP, 80 > 14678, "[ACK] Seq=1 Ack=294"

# Ovo je poslao filter
TTL 53, TCP, 14678 > 80, "[RST] Seq=3458729893"
TTL 53, TCP, 14678 > 80, "[RST] Seq=3458729893"

HTTP, "HTTP/1.1 302 Found"

# A ovo je pokušaj izvorne čvora da dobije gubitak
TTL 50, TCP ACKed unseen segment, 14678 > 80, "[ACK] Seq=294 Ack=145"
TTL 50, TCP, 14678 > 80, "[FIN, ACK] Seq=294 Ack=145"
TTL 64, TCP, 80 > 14678, "[FIN, ACK] Seq=171 Ack=295"

TTL 50, TCP Dup ACK 14678 > 80 "[ACK] Seq=295 Ack=145"

# Izvorni čvor shvata da je sesija uništena
TTL 50, TCP, 14678 > 80, "[RST] Seq=294"
TTL 50, TCP, 14678 > 80, "[RST] Seq=295"

Varijacije ovog mogu biti različite: manje RST ili više retransmisija — zavisi i od toga šta filter šalje izvornoj čvoru. U svakom slučaju, ovo je najpouzdaniji obrazac, iz kojeg se vidi da je tražen baš zabranjeni resurs. Pored toga, uvek postoji odgovor koji se pojavljuje u sesiji sa TTL većim nego u prethodnim i narednim paketima.

Od ostalih se ne vidi ni GET:

TTL 50, TCP, 14678 > 80, "[SYN] Seq=0"
TTL 64, TCP, 80 > 14678, "[SYN, ACK] Seq=0 Ack=1"

# Ovo je poslao filter
TTL 53, TCP, 14678 > 80, "[RST] Seq=1"

Ili tako:

TTL 50, TCP, 14678 > 80, "[SYN] Seq=0"
TTL 64, TCP, 80 > 14678, "[SYN, ACK] Seq=0 Ack=1"
TTL 50, TCP, 14678 > 80, "[ACK] Seq=1 Ack=1"

# Ovo je poslao filter
TTL 53, TCP, 14678 > 80, "[RST, PSH] Seq=1"

TTL 50, TCP ACKed unseen segment, 14678 > 80, "[FIN, ACK] Seq=89 Ack=172"
TTL 50, TCP ACKed unseen segment, 14678 > 80, "[FIN, ACK] Seq=89 Ack=172"

# Opet filter, mnogo puta
TTL 53, TCP, 14678 > 80, "[RST, PSH] Seq=1"
...

Obavezno je vidljiva razlika u TTL ako nešto dolazi od filtera. No, često može uopšte ništa ne doći:

TCP, 14678 > 80, "[SYN] Seq=0"
TCP, 80 > 14678, "[SYN, ACK] Seq=0 Ack=1"
TCP Retransmission, 80 > 14678, "[SYN, ACK] Seq=0 Ack=1"
...

Ili tako:

TCP, 14678 > 80, "[SYN] Seq=0"
TCP, 80 > 14678, "[SYN, ACK] Seq=0 Ack=1"
TCP, 14678 > 80, "[ACK] Seq=1 Ack=1"

# Prošlo je nekoliko sekundi bez prometa

TCP, 80 > 14678, "[FIN, ACK] Seq=1 Ack=1"
TCP Retransmission, 80 > 14678, "[FIN, ACK] Seq=1 Ack=1"
...

I sve se to ponavlja i ponavlja i ponavlja, kao što se može videti na grafiku, sigurno ne jednom, svaki dan.

O IPv6

Dobra vijest — postoji. Mogu sa sigurnošću reći da sa 5 različitih IPv6 adresa dolazi do povremenih zahtjeva za zabranjenim resursom, baš onakvo ponašanje Agenta koje sam očekivao. Osim toga, jedna od IPv6 adresa ne pada pod filtriranje i vidim potpunu sesiju. Od druge dvije sam vidio samo po jednu nedovršenu sesiju, od kojih se jedna prekinula zbog RST filtra, druga zbog vremena. Ukupno 7.

Budući da je adresa malo, detaljno sam proučio sve njih i pokazalo se da zapravo postoje tri pružatelja usluga, njima se može aplaudirati na nogama! Još jedna adresa je oblak hosting u Rusiji (ne filtrira), još jedan — istraživački centar u Njemačkoj (ima filtriranje, gdje?). A pitanje zašto provjeravaju dostupnost zabranjenih resursa prema rasporedu je dobro. Preostale dvije su napravile po jedan zahtjev i nalaze se van granica Rusije, a pri tom je jedna od njih filtrirana (zapravo na tranzitu?).

Filtracije i Agenti veliki su usporivači za IPv6, čija implementacija ionako napreduje sporo. To je žalosno. Oni koji su riješili ovaj problem mogu biti ponosni na sebe.

U zaključku

Nisam se trudio za 100% tačnost, izvinjavam se zbog toga, nadam se da će neko htjeti ponoviti ovaj rad s većom pažnjom. Važno mi je bilo razumjeti hoće li ovakav pristup uopšte funkcionirati. Odgovor — hoće. Dobijeni brojevi su u prvom približavanju, mislim, sasvim pouzdani.

Šta bi još moglo biti učinjeno i što sam se lijenio napraviti — prebrojati zahtjeve za DNS. Oni se ne filtriraju, ali ni ne pružaju veliku preciznost jer rade samo za domenu, a ne za cijeli URL. Periodičnost bi trebala biti očigledna. Ako se to kombinuje s onim što se izravno vidi u zahtjevima, to bi omogućilo odvajanje suvišnog i dobijanje više informacija. Možda čak i odrediti developere DNS-a koje koriste pružatelji usluga i mnogo toga još.

Sasvim nisam očekivao da će moj VPS hoster uveo svoj filtar. Možda je to uobičajena praksa. Na kraju krajeva, RKN šalje zahtjev za uklanjanjem resursa baš hosteru. No to me nije iznenadilo, pa čak i pomalo koristilo. Filtr je radio vrlo efikasno uklanjajući sve ispravne HTTP zahtjeve prema zabranjenom URL-u, ali ispravni, prošli kroz filtriranje pružatelja su došli, makar samo u obliku završetaka: FIN-ACK i RST — minus minus i skoro dobili plus. Usput, IPv6 provajder nije filtriran. Naravno, to je uticalo na kvalitet prikupljenog materijala, ali je ipak omogućilo uvid u periodičnost. Ispostavilo se da je to važan momenat prilikom izbora platforme za postavljanje resursa, ne zaboravite da se raspitate o organizaciji rada sa listom zabranjenih sajtova i zahtevima od RKN.

Na početku sam uporedio AS "Revizor" sa RIPE Atlas. Ova usporedba je sasvim opravdana i velika mreža agenata može doneti korist. Na primer, određivanje kvaliteta dostupnosti resursa iz različitih provajdera iz različitih delova zemlje. Može se izračunati kašnjenje, može se praviti grafikone, može se sve to analizirati i videti promene koje se dešavaju kako lokalno tako i globalno. Ovo nije najdirektniji put, ali astronomi koriste "standardne sveće", zašto ne koristiti agente? Poznavajući (nalazeći) njihovo standardno ponašanje može se utvrditi promene koje se dešavaju oko njih i kako to utiče na kvalitet pruženih usluga. A pritom nije potrebno samostalno postavljati probe po mreži, to je već uradio Roskomnadzor.

Još jedna stvar koju želim da dotaknem, svaki alat može biti oružje. AS "Revizor" je zatvorena mreža, ali agenti otkrivaju sve šaljući zahteve svim resursima sa liste zabranjenih. Nabaviti takav resurs ne predstavlja nikakav problem. Ukratko, provajderi putem agenata, sami to ne želeći, dele mnogo više informacija o svojoj mreži nego što bi možda trebalo: tipovi DPI i DNS, lokacija agenta (centralna tačka i servisna mreža?), mrežne oznake kašnjenja i gubitaka — a ovo je samo najočiglednije. Tako kao što neko može pratiti aktivnosti agenata radi poboljšanja dostupnosti svojih resursa, neko može to raditi u druge svrhe i tu nema prepreka. Dobio se dvosekan i veoma složen alat, svako može to da potvrdi.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster