Ki jan Entènèt kay la ap viv ak estatistik sèvè non domèn?

Yon routeur lakay (nan ka sa a FritzBox) ka anrejistre anpil: konbyen trafik ki prale lè, ki moun ki konekte ak ki vitès, elatriye. Yon sèvè non domèn (DNS) sou rezo lokal la te ede m 'jwenn sa ki kache dèyè benefisyè yo enkoni.

An jeneral, DNS te gen yon enpak pozitif sou rezo kay la: li te ajoute vitès, estabilite, ak jere.

Anba a se yon dyagram ki soulve kesyon ak bezwen pou konprann sa ki t ap pase. Rezilta yo deja filtre demann li te ye ak k ap travay nan serveurs non domèn.

Poukisa yo 60 domèn fènwa sondaj chak jou pandan tout moun toujou ap dòmi?

Chak jou, 440 domèn enkoni yo sondaj pandan lè aktif yo. Ki moun yo ye e kisa yo fè?

Mwayèn kantite demann pou chak jou pa èdtan

Ki jan Entènèt kay la ap viv ak estatistik sèvè non domèn?

Rapò rechèch SQL

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Line: DNS Requests per Day for Hours',
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch')) AS 'Day',
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS 'Requests per Day'
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY /* hour aggregate */
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))
ORDER BY strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))

Nan mitan lannwit, aksè san fil enfim ak aktivite aparèy yo espere, i.e. pa gen okenn biwo vòt pou domèn enkoni. Sa vle di ke pi gwo aktivite a soti nan aparèy ak sistèm opere tankou Android, iOS ak Blackberry OS.

Ann fè lis domèn yo ke yo sondaj entansif. Entansite a pral detèmine pa paramèt tankou kantite demann pou chak jou, kantite jou nan aktivite ak nan konbyen èdtan nan jounen an yo te remake.

Tout sispèk espere yo te sou lis la.

Entansif sondaj domèn

Ki jan Entènèt kay la ap viv ak estatistik sèvè non domèn?

Rapò rechèch SQL

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT 
  1 as 'Table: Havy DNS Requests',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests per Day',
  DH AS 'Hours per Day',
  DAYS AS 'Active Days'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  COUNT(DISTINCT REQUEST_NK) AS SUBD,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ,
  ROUND(1.0*COUNT(DISTINCT strftime('%d.%m %H', datetime(EVENT_DT, 'unixepoch')))/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS DH
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY REQUEST_NK )
WHERE DAYS > 9 -- long period
ORDER BY 4 DESC, 5 DESC
LIMIT 20

Nou bloke isс.blackberry.com ak iceberg.blackberry.com, ki manifakti a pral jistifye pou rezon sekirite. Rezilta: lè w ap eseye konekte ak WLAN, li montre paj la konekte epi pa janm konekte nenpòt kote ankò. Ann debloke li.

detectportal.firefox.com se menm mekanis lan, sèlman aplike nan navigatè Firefox. Si ou bezwen konekte nan rezo WLAN, li pral premye montre paj la konekte. Li pa totalman klè poukisa adrès la ta dwe ping tèlman souvan, men se mekanis la dekri klèman pa manifakti a.

skype. Aksyon yo nan pwogram sa a sanble ak yon vè k'ap manje kadav: li kache epi li pa tou senpleman pèmèt yo dwe touye tèt li nan ba travay la, jenere anpil trafik sou rezo a, ping 10 domèn chak 4 minit. Lè w fè yon apèl videyo, koneksyon entènèt la toujou ap kraze, lè li pa ka pi bon. Pou kounye a li nesesè, kidonk li rete.

upload.fp.measure.office.com - refere a Biwo 365, mwen pa t 'kapab jwenn yon deskripsyon desan.
browser.pipe.aria.microsoft.com - Mwen pa t 'kapab jwenn yon deskripsyon desan.
Nou bloke tou de.

connect.facebook.net - Facebook chat aplikasyon. Rete.

mediator.mail.ru Yon analiz de tout demann pou domèn nan mail.ru te montre prezans nan yon gwo kantite resous piblisite ak pèseptè estatistik, ki lakòz mefyans. Se domèn nan mail.ru voye antyèman nan lis nwa a.

google-analytics.com - pa afekte fonksyonalite aparèy yo, kidonk nou bloke li.
doubleclick.net - konte klike sou piblisite. Nou bloke.

Anpil demann ale nan googleapis.com. Bloke a te mennen nan fèmen la kè kontan nan mesaj kout sou tablèt la, ki sanble estipid pou mwen. Men, playstore a sispann travay, se konsa ann debloke li.

cloudflare.com - yo ekri ke yo renmen sous louvri epi, an jeneral, ekri anpil sou tèt yo. Entansite sondaj domèn pa totalman klè, ki souvan pi wo pase aktivite aktyèl la sou entènèt la. Ann kite l pou kounye a.

Kidonk, entansite demann yo souvan ki gen rapò ak fonksyonalite ki nesesè nan aparèy yo. Men, moun ki fè twòp li ak aktivite yo te dekouvri tou.

Premye a anpil

Lè entènèt la san fil vire sou, tout moun toujou ap dòmi epi li posib yo wè ki demann yo voye nan rezo a an premye. Se konsa, a 6:50 Entènèt la limen epi nan premye peryòd dis minit nan tan yo 60 domèn yo sondaj chak jou:

Ki jan Entènèt kay la ap viv ak estatistik sèvè non domèn?

Rapò rechèch SQL

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Table: First DNS Requests at 06:00',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests',
  DAYS AS 'Active Days',
  strftime('%H:%M', datetime(MIN_DT, 'unixepoch')) AS 'First Ping',
  strftime('%H:%M', datetime(MAX_DT, 'unixepoch')) AS 'Last Ping'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  MIN(EVENT_DT) AS MIN_DT,
  MAX(EVENT_DT) AS MAX_DT,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
  AND strftime('%H', datetime(EVENT_DT, 'unixepoch')) = strftime('%H', '2019-08-01 06:50:00')
GROUP BY REQUEST_NK
 )
WHERE DAYS > 3 -- at least 4 days activity
ORDER BY 5 DESC, 4 DESC

Firefox tcheke koneksyon WLAN pou prezans yon paj login.
Citrix ap fè ping sèvè li a menm si aplikasyon an pa fonksyone aktivman.
Symantec verifye sètifika yo.
Mozilla tcheke pou mizajou, byenke nan anviwònman yo mwen te mande pa fè sa.

mmo.de se yon sèvis jwèt. Gen plis chans demann lan inisye pa chat facebook. Nou bloke.

Apple pral aktive tout sèvis li yo. api-glb-fra.smoot.apple.com - jije dapre deskripsyon an, chak klike sou bouton yo voye isit la pou rezon optimize motè rechèch la. Trè sispèk, men ki gen rapò ak fonksyonalite. Nou kite li.

Sa ki anba la a se yon lis long nan demann nan Microsoft.com. Nou bloke tout domèn apati twazyèm nivo a.

Kantite premye subdomains
Ki jan Entènèt kay la ap viv ak estatistik sèvè non domèn?

Se konsa, premye 10 minit yo nan vire sou entènèt la san fil.
iOS biwo vòt ki pi sous-domaines - 32. Swiv pa Android - 24, Lè sa a, Windows - 15 ak anfen Blackberry - 9.
Aplikasyon facebook la pou kont li sondaj 10 domèn, skype sondaj 9 domèn.

Yon sous enfòmasyon

Sous analiz la se fichye jounal sèvè lokal Bind9, ki gen fòma sa a:

01-Aug-2019 20:03:30.996 client 192.168.0.2#40693 (api.aps.skype.com): query: api.aps.skype.com IN A + (192.168.0.102)

Fichye a te enpòte nan yon baz done sqlite ak analize lè l sèvi avèk SQL requêtes.
Sèvè a aji kòm yon kachèt; demann soti nan routeur la, kidonk toujou gen yon sèl kliyan demann. Yon estrikti tab senplifye ase, i.e. Rapò a mande lè demann lan, demann lan li menm, ak domèn nan dezyèm nivo pou gwoupman.

DDL tab

CREATE TABLE STG_BIND9_LOG (
  LINE_NK       INTEGER NOT NULL DEFAULT 1,
  DATE_NK       TEXT NOT NULL DEFAULT 'n.a.',
  TIME_NK       TEXT NOT NULL DEFAULT 'n.a.',
  CLI           TEXT, -- client
  IP            TEXT,
  REQUEST_NK    TEXT NOT NULL DEFAULT 'n.a.', -- requested domain
  DOMAIN        TEXT NOT NULL DEFAULT 'n.a.', -- domain second level
  QUERY         TEXT,
  UNIQUE (LINE_NK, DATE_NK, TIME_NK, REQUEST_NK)
);

Sòti

Se konsa, kòm yon rezilta nan analiz la nan boutèy la sèvè non domèn, plis pase 50 dosye yo te sansi ak mete yo sou lis la blòk.

Nesesite kèk requêtes byen dekri pa fabricants lojisyèl Et enspire konfidans. Sepandan, anpil nan aktivite a se san fondman ak dout.

Sous: www.habr.com

Add nouvo kòmantè