Nola bizi dira etxeko Internet eta domeinu-izenen zerbitzariaren estatistikak?

Etxeko bideratzaile batek (kasu honetan FritzBox-ek) asko graba dezake: zenbat trafiko doan noiz, nor dagoen zein abiaduratan konektatuta, etab. Sare lokaleko domeinu-izenen zerbitzari batek (DNS) hartzaile ezezagunen atzean zer ezkutatzen zen jakiten lagundu zidan.

Orokorrean, DNS-k eragin positiboa izan du etxeko sarean: abiadura, egonkortasuna eta kudeagarritasuna gehitu ditu.

Jarraian, galderak eta gertatzen ari zena ulertzeko beharra sortzen zuen diagrama bat dago. Emaitzek dagoeneko iragazten dituzte domeinu-izenen zerbitzarien eskaera ezagunak eta funtzionatzaileak.

Zergatik galdetzen dira egunero 60 domeinu ilun denak lo dauden bitartean?

Egunero, 440 domeinu ezezagun galdetzen dira ordu aktiboetan. Nor dira eta zer egiten dute?

Eguneko batez besteko eskaera kopurua orduz

SQL txostenaren kontsulta

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Line: DNS Requests per Day for Hours',
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch')) AS 'Day',
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS 'Requests per Day'
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY /* hour aggregate */
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))
ORDER BY strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))

Gauez, haririk gabeko sarbidea desgaituta dago eta gailuaren jarduera espero da, hau da. ez dago domeinu ezezagunetarako bozketarik. Horrek esan nahi du jarduerarik handiena Android, iOS eta Blackberry OS bezalako sistema eragileak dituzten gailuetatik datorrela.

Zerrenda ditzagun modu intentsiboan galdetzen diren domeinuak. Intentsitatea parametroek zehaztuko dute, hala nola eguneko eskaera kopurua, jarduera-egun kopurua eta eguneko zenbat ordutan ohartu diren.

Espero ziren susmagarri guztiak zeuden zerrendan.

Inkesta intentsiboko domeinuak

SQL txostenaren kontsulta

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT 
  1 as 'Table: Havy DNS Requests',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests per Day',
  DH AS 'Hours per Day',
  DAYS AS 'Active Days'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  COUNT(DISTINCT REQUEST_NK) AS SUBD,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ,
  ROUND(1.0*COUNT(DISTINCT strftime('%d.%m %H', datetime(EVENT_DT, 'unixepoch')))/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS DH
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY REQUEST_NK )
WHERE DAYS > 9 -- long period
ORDER BY 4 DESC, 5 DESC
LIMIT 20

Isс.blackberry.com eta iceberg.blackberry.com blokeatzen ditugu, fabrikatzaileak segurtasun arrazoiengatik justifikatuko dituena. Emaitza: WLANera konektatzen saiatzean, saioa hasteko orria erakusten du eta ez da berriro inora konektatzen. Desblokeatu dezagun.

detectportal.firefox.com mekanismo bera da, Firefox arakatzailean bakarrik inplementatuta. WLAN sarean saioa hasi behar baduzu, lehenengo saioa hasteko orria erakutsiko du. Ez dago guztiz argi zergatik egin behar zaion ping-a helbidea hain maiz, baina fabrikatzaileak argi deskribatzen du mekanismoa.

skype. Programa honen ekintzak harra baten antzekoak dira: ezkutatzen du eta ez du bere burua ataza-barran hiltzen uzten, sarean trafiko handia sortzen du, 10 domeinu ping egiten ditu 4 minuturo. Bideo-dei bat egitean, Interneteko konexioa etengabe hausten da, ezin denean hobea izan. Oraingoz beharrezkoa da, beraz, geratzen da.

upload.fp.measure.office.com - Office 365-ari egiten dio erreferentzia, ezin izan dut deskribapen duin bat aurkitu.
browser.pipe.aria.microsoft.com - Ezin izan dut deskribapen duin bat aurkitu.
Biak blokeatzen ditugu.

connect.facebook.net - Facebook txat aplikazioa. Hondarrak.

mediator.mail.ru mail.ru domeinuaren eskaera guztien azterketak publizitate-baliabide eta estatistika-biltzaile ugari daudela erakutsi zuen, eta horrek mesfidantza eragiten du. Mail.ru domeinua zerrenda beltzera bidaltzen da.

google-analytics.com - ez du gailuen funtzionaltasunean eragiten, beraz, blokeatzen dugu.
doubleclick.net - publizitate-klikak zenbatzen ditu. Blokeatzen dugu.

Eskaera asko googleapis.com helbidera joaten dira. Blokeoak tabletaren mezu laburren itzalaldi alaia ekarri du, ergelak iruditzen zaizkidanak. Baina playstoreak funtzionatzeari utzi zion, desblokeatu dezagun.

cloudflare.com - kode irekia maite dutela idazten dute eta, oro har, beren buruari buruz asko idazten dute. Domeinuaren inkestaren intentsitatea ez dago guztiz argia, askotan Interneten benetako jarduera baino askoz handiagoa dena. Utz dezagun oraingoz.

Horrela, eskaeren intentsitatea gailuen funtzionaltasunarekin lotuta egon ohi da. Baina jardueraz gainditzen zutenak ere aurkitu ziren.

Oso lehenengoa

Haririk gabeko Interneta aktibatuta dagoenean, denak oraindik lo daude eta lehenik sarera zein eskaera bidaltzen diren ikus daiteke. Beraz, 6:50ean Internet pizten da eta lehenengo hamar minutuko denboran 60 domeinu galdetzen dira egunero:

SQL txostenaren kontsulta

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Table: First DNS Requests at 06:00',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests',
  DAYS AS 'Active Days',
  strftime('%H:%M', datetime(MIN_DT, 'unixepoch')) AS 'First Ping',
  strftime('%H:%M', datetime(MAX_DT, 'unixepoch')) AS 'Last Ping'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  MIN(EVENT_DT) AS MIN_DT,
  MAX(EVENT_DT) AS MAX_DT,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
  AND strftime('%H', datetime(EVENT_DT, 'unixepoch')) = strftime('%H', '2019-08-01 06:50:00')
GROUP BY REQUEST_NK
 )
WHERE DAYS > 3 -- at least 4 days activity
ORDER BY 5 DESC, 4 DESC

Firefox-ek WLAN konexioa egiaztatzen du saioa hasteko orririk dagoen.
Citrix bere zerbitzariari ping egiten ari da aplikazioa aktiboki exekutatzen ez den arren.
Symantec-ek ziurtagiriak egiaztatzen ditu.
Mozillak eguneratzeak egiaztatzen ditu, nahiz eta ezarpenetan hau ez egiteko eskatu.

mmo.de joko-zerbitzu bat da. Litekeena da eskaera facebook txataren bidez hastea. Blokeatzen dugu.

Applek bere zerbitzu guztiak aktibatuko ditu. api-glb-fra.smoot.apple.com - deskribapenaren arabera, botoiaren klik bakoitza hemen bidaltzen da bilatzaileen optimizaziorako. Oso susmagarria, baina funtzionaltasunarekin lotuta. Guk uzten dugu.

Honako hau microsoft.com-i egindako eskaeren zerrenda luzea da. Hirugarren mailatik hasita domeinu guztiak blokeatzen ditugu.

Oso lehen azpidomeinu kopurua


Beraz, haririk gabeko Interneta pizteko lehen 10 minutuak.
iOS-ek azpidomeinu gehien galdetzen ditu - 32. Ondoren Android - 24, Windows - 15 eta azkenik Blackberry - 9.
Facebook aplikazioak bakarrik 10 domeinu galdetzen ditu, Skype 9 domeinu.

Informazio iturri bat

Analisiaren iturburua bind9 zerbitzari lokaleko erregistro-fitxategia izan zen, formatu hau daukana:

01-Aug-2019 20:03:30.996 client 192.168.0.2#40693 (api.aps.skype.com): query: api.aps.skype.com IN A + (192.168.0.102)

Fitxategia sqlite datu-base batera inportatu zen eta SQL kontsultak erabiliz aztertu zen.
Zerbitzariak cache gisa jokatzen du; eskaerak bideratzailetik datoz, beraz, beti dago eskaera bezero bat. Taula-egitura sinplifikatua nahikoa da, hau da. Txostenak eskaeraren ordua, eskaera bera eta taldekatzeko bigarren mailako domeinua eskatzen ditu.

DDL taulak

CREATE TABLE STG_BIND9_LOG (
  LINE_NK       INTEGER NOT NULL DEFAULT 1,
  DATE_NK       TEXT NOT NULL DEFAULT 'n.a.',
  TIME_NK       TEXT NOT NULL DEFAULT 'n.a.',
  CLI           TEXT, -- client
  IP            TEXT,
  REQUEST_NK    TEXT NOT NULL DEFAULT 'n.a.', -- requested domain
  DOMAIN        TEXT NOT NULL DEFAULT 'n.a.', -- domain second level
  QUERY         TEXT,
  UNIQUE (LINE_NK, DATE_NK, TIME_NK, REQUEST_NK)
);

Irteera

Horrela, domeinu-izenen zerbitzariaren erregistroaren analisiaren ondorioz, 50 erregistro baino gehiago zentsuratu eta blokeatu zerrendan jarri ziren.

Kontsulta batzuen beharra ondo deskribatzen dute software-ekoizleek eta konfiantza pizten dute. Hala ere, jardueraren zati handi bat funtsik gabekoa eta zalantzazkoa da.

Iturria: www.habr.com