Hoe wurket it thúsynternet en statistiken fan domeinnammetsjinner?

In thúsrouter (yn dit gefal FritzBox) kin in protte opnimme: hoefolle ferkear giet wannear, wa is ferbûn mei hokker snelheid, ensfh. In domeinnammeserver (DNS) op it lokale netwurk holp my út te finen wat efter de ûnbekende ûntfangers ferburgen wie.

Oer it algemien hat DNS in positive ynfloed hân op it thúsnetwurk: it hat snelheid, stabiliteit en behearberens tafoege.

Hjirûnder is in diagram dat fragen opwekke en de needsaak om te begripen wat der barde. De resultaten filterje al bekende en wurkjende fersiken nei domeinnammeservers.

Wêrom wurde 60 obskure domeinen elke dei ûndersocht, wylst elkenien noch sliept?

Alle dagen wurde 440 ûnbekende domeinen ûndersocht yn aktive oeren. Wa binne se en wat dogge se?

Gemiddelde oantal oanfragen per dei foar oere

SQL rapport query

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Line: DNS Requests per Day for Hours',
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch')) AS 'Day',
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS 'Requests per Day'
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY /* hour aggregate */
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))
ORDER BY strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))

Nachts is draadloze tagong útskeakele en wurdt apparaataktiviteit ferwachte, d.w.s. der is gjin polling foar ûnbekende domeinen. Dit betsjut dat de grutste aktiviteit komt fan apparaten mei bestjoeringssystemen lykas Android, iOS en Blackberry OS.

Litte wy de domeinen listje dy't yntinsyf ûnderfrege wurde. De yntinsiteit sil wurde bepaald troch parameters lykas it oantal oanfragen per dei, it oantal dagen fan aktiviteit en yn hoefolle oeren fan 'e dei se opmurken binne.

Alle ferwachte fertochten stiene op de list.

Yntinsyf ûndersochte domeinen

SQL rapport query

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT 
  1 as 'Table: Havy DNS Requests',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests per Day',
  DH AS 'Hours per Day',
  DAYS AS 'Active Days'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  COUNT(DISTINCT REQUEST_NK) AS SUBD,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ,
  ROUND(1.0*COUNT(DISTINCT strftime('%d.%m %H', datetime(EVENT_DT, 'unixepoch')))/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS DH
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY REQUEST_NK )
WHERE DAYS > 9 -- long period
ORDER BY 4 DESC, 5 DESC
LIMIT 20

Wy blokkearje isс.blackberry.com en iceberg.blackberry.com, dy't de fabrikant sil rjochtfeardigje foar feiligens redenen. Resultaat: as jo besykje te ferbinen mei it WLAN, toant it de oanmeldside en makket nea wer oeral ferbining. Litte wy it blokkearje.

detectportal.firefox.com is itselde meganisme, allinich ymplementearre yn 'e Firefox-blêder. As jo ​​moatte oanmelde by it WLAN-netwurk, sil it earst de oanmeldside sjen litte. It is net hielendal dúdlik wêrom't it adres sa faak moat wurde pinged, mar it meganisme wurdt dúdlik beskreaun troch de fabrikant.

skype. De aksjes fan dit programma binne fergelykber mei in wjirm: it ferberget en lit himsels net gewoan yn 'e taakbalke deadzje, genereart in soad ferkear op it netwurk, pingt 10 domeinen elke 4 minuten. By it meitsjen fan in fideoprop brekt de ynternetferbining konstant ôf, as it net better kin. Foar no is it nedich, sa bliuwt it.

upload.fp.measure.office.com - ferwiist nei Office 365, ik koe gjin fatsoenlike beskriuwing fine.
browser.pipe.aria.microsoft.com - Ik koe net fine in fatsoenlike beskriuwing.
Wy blokkearje beide.

connect.facebook.net - Facebook-petearapplikaasje. Oerbliuwsel.

mediator.mail.ru In analyze fan alle oanfragen foar it mail.ru-domein toande de oanwêzigens fan in grut oantal reklame-boarnen en statistyksamlers, wat mistrouwen feroarsaket. It domein mail.ru wurdt folslein nei de swarte list stjoerd.

google-analytics.com - hat gjin ynfloed op de funksjonaliteit fan apparaten, dus wy blokkearje it.
doubleclick.net - telt advertinsjeklikken. Wy blokkearje.

In protte oanfragen geane nei googleapis.com. It blokkearjen hat laat ta it fleurige ôfsluten fan koarte berjochten op 'e tablet, dy't my dom lykje. Mar de playstore stopte mei wurkjen, dus litte wy it blokkearje.

cloudflare.com - se skriuwe dat se fan iepen boarne hâlde en, yn 't algemien, in protte oer harsels skriuwe. De yntinsiteit fan it domeinûndersyk is net alhiel dúdlik, dat is faaks folle heger as de eigentlike aktiviteit op it ynternet. Litte wy it no litte.

Sa is de yntinsiteit fan oanfragen faak relatearre oan de fereaske funksjonaliteit fan 'e apparaten. Mar dejingen dy't it oerdieden mei aktiviteit waarden ek ûntdutsen.

De alderearste

As it draadloze ynternet ynskeakele is, sliept elkenien noch en is it mooglik om te sjen hokker oanfragen earst nei it netwurk stjoerd wurde. Dat, om 6:50 oere giet it ynternet yn en yn 'e earste perioade fan tsien minuten wurde alle dagen 60 domeinen ûndersocht:

SQL rapport query

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Table: First DNS Requests at 06:00',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests',
  DAYS AS 'Active Days',
  strftime('%H:%M', datetime(MIN_DT, 'unixepoch')) AS 'First Ping',
  strftime('%H:%M', datetime(MAX_DT, 'unixepoch')) AS 'Last Ping'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  MIN(EVENT_DT) AS MIN_DT,
  MAX(EVENT_DT) AS MAX_DT,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
  AND strftime('%H', datetime(EVENT_DT, 'unixepoch')) = strftime('%H', '2019-08-01 06:50:00')
GROUP BY REQUEST_NK
 )
WHERE DAYS > 3 -- at least 4 days activity
ORDER BY 5 DESC, 4 DESC

Firefox kontrolearret de WLAN-ferbining op de oanwêzigens fan in oanmeldside.
Citrix pinget syn tsjinner ek al is de applikaasje net aktyf rint.
Symantec ferifiearret sertifikaten.
Mozilla kontrolearret op updates, hoewol ik yn 'e ynstellings frege om dit net te dwaan.

mmo.de is in gaming tsjinst. Meast wierskynlik wurdt it fersyk inisjearre troch facebook chat. Wy blokkearje.

Apple sil al har tsjinsten aktivearje. api-glb-fra.smoot.apple.com - te oardieljen nei de beskriuwing, wurdt elke klik op de knop hjir stjoerd foar doelen fan sykmasino-optimalisaasje. Heech fertocht, mar relatearre oan funksjonaliteit. Wy litte it.

It folgjende is in lange list mei oanfragen oan microsoft.com. Wy blokkearje alle domeinen fanôf it tredde nivo.

Oantal alderearste subdomeinen


Dat, de earste 10 minuten fan it ynskeakeljen fan it draadloze ynternet.
iOS ûndersiket de measte subdomeinen - 32. Folgje troch Android - 24, dan Windows - 15 en as lêste Blackberry - 9.
De facebook-applikaasje allinich ûndersiket 10 domeinen, skype ûndersiket 9 domeinen.

In boarne fan ynformaasje

De boarne foar de analyze wie it bind9 lokale tsjinner logbestân, dat it folgjende formaat befettet:

01-Aug-2019 20:03:30.996 client 192.168.0.2#40693 (api.aps.skype.com): query: api.aps.skype.com IN A + (192.168.0.102)

It bestân waard ymportearre yn in SQLite-database en analysearre mei SQL-queries.
De tsjinner fungearret as cache; oanfragen komme fan 'e router, dus d'r is altyd ien fersykkliïnt. In ferienfâldige tabelstruktuer is genôch, d.w.s. It rapport fereasket de tiid fan it fersyk, it fersyk sels, en it twadde-nivo domein foar groepearring.

DDL tabellen

CREATE TABLE STG_BIND9_LOG (
  LINE_NK       INTEGER NOT NULL DEFAULT 1,
  DATE_NK       TEXT NOT NULL DEFAULT 'n.a.',
  TIME_NK       TEXT NOT NULL DEFAULT 'n.a.',
  CLI           TEXT, -- client
  IP            TEXT,
  REQUEST_NK    TEXT NOT NULL DEFAULT 'n.a.', -- requested domain
  DOMAIN        TEXT NOT NULL DEFAULT 'n.a.', -- domain second level
  QUERY         TEXT,
  UNIQUE (LINE_NK, DATE_NK, TIME_NK, REQUEST_NK)
);

konklúzje

Sa, as gefolch fan de analyze fan de domeinnamme tsjinner log, mear as 50 records waarden censored en pleatst op de blok list.

De needsaak fan guon fragen wurdt goed beskreaun troch softwarefabrikanten en ynspirearret fertrouwen. In protte fan 'e aktiviteit is lykwols ûnbegrûn en twifelich.

Boarne: www.habr.com