Kumaha Internet bumi hirup sareng statistik server ngaran domain?

A router home (dina hal ieu FritzBox) bisa ngarekam loba: sabaraha lalulintas bade nalika, anu disambungkeun di speed naon, jsb. A server ngaran domain (DNS) dina jaringan lokal mantuan kuring manggihan naon disumputkeun tukangeun panarima kanyahoan.

Gemblengna, DNS parantos ngagaduhan dampak anu positif dina jaringan asal: éta parantos nambihan kacepetan, stabilitas, sareng kamampuan.

Di handap ieu diagram anu ngangkat patarosan sareng kedah ngartos naon anu lumangsung. Hasilna geus nyaring kaluar requests dipikawanoh tur digawé pikeun server ngaran domain.

Naha 60 domain anu teu jelas dijajal unggal dinten nalika sadayana masih sare?

Saban poé, 440 domain anu teu dipikanyaho dijajal dina jam aktip. Saha aranjeunna sareng naon anu aranjeunna laksanakeun?

Jumlah rata-rata pamundut per dinten per jam

query laporan SQL

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Line: DNS Requests per Day for Hours',
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch')) AS 'Day',
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS 'Requests per Day'
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY /* hour aggregate */
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))
ORDER BY strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))

Peuting, aksés nirkabel ditumpurkeun sareng kagiatan alat diperkirakeun, i.e. euweuh polling pikeun domain kanyahoan. Ieu ngandung harti yén kagiatan greatest asalna tina alat jeung sistem operasi kayaning Android, ios sarta Blackberry OS.

Hayu urang daptar domain anu dipolling sacara intensif. Inténsitasna bakal ditangtukeun ku parameter sapertos jumlah pamundut per dinten, jumlah dinten kagiatan sareng sabaraha jam dina dinten aranjeunna diperhatoskeun.

Kabéh tersangka ekspektasi éta dina daptar.

Inténsif polling domain

query laporan SQL

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT 
  1 as 'Table: Havy DNS Requests',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests per Day',
  DH AS 'Hours per Day',
  DAYS AS 'Active Days'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  COUNT(DISTINCT REQUEST_NK) AS SUBD,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ,
  ROUND(1.0*COUNT(DISTINCT strftime('%d.%m %H', datetime(EVENT_DT, 'unixepoch')))/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS DH
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY REQUEST_NK )
WHERE DAYS > 9 -- long period
ORDER BY 4 DESC, 5 DESC
LIMIT 20

Urang meungpeuk isс.blackberry.com jeung iceberg.blackberry.com, nu produsén bakal menerkeun alesan kaamanan. Hasilna: nalika nyobian nyambung ka WLAN, éta nunjukkeun halaman login sareng henteu pernah nyambung ka mana waé deui. Hayu urang buka blokir.

detectportal.firefox.com nyaéta mékanisme sarua, ngan dilaksanakeun dina browser Firefox. Upami anjeun kedah asup kana jaringan WLAN, éta bakal nunjukkeun halaman login heula. Henteu jelas naha alamatna kedah sering di-ping, tapi mékanismena jelas dijelaskeun ku produsén.

skype. Laku lampah program ieu sami sareng cacing: nyumput sareng henteu ngan saukur ngantepkeun dirina dipaéhan dina taskbar, ngahasilkeun seueur lalu lintas dina jaringan, ping 10 domain unggal 4 menit. Nalika nelepon pidéo, sambungan Internét terus-terusan rusak, nalika éta henteu tiasa langkung saé. Pikeun ayeuna perlu, jadi tetep.

upload.fp.measure.office.com - nujul kana Office 365, kuring henteu mendakan pedaran anu santun.
browser.pipe.aria.microsoft.com - Abdi teu bisa manggihan pedaran santun.
Urang blokir duanana.

connect.facebook.net - Aplikasi obrolan Facebook. Tetep.

mediator.mail.ru Analisa sadaya pamundut pikeun domain mail.ru nunjukkeun ayana sajumlah ageung sumber iklan sareng kolektor statistik, anu nyababkeun teu percanten. The mail.ru domain dikirim sagemblengna ka blacklist.

google-analytics.com - henteu mangaruhan pungsionalitas alat, janten kami meungpeukna.
doubleclick.net - ngitung klik iklan. Urang blokir.

Loba requests buka googleapis.com. Meungpeuk parantos nyababkeun pareumna pesen pondok dina tablet, anu sigana bodo pikeun kuring. Tapi playstore eureun gawé, jadi hayu urang buka blokiran na.

cloudflare.com - aranjeunna nyerat yén aranjeunna resep open source sareng, sacara umum, seueur nyerat ngeunaan dirina. Inténsitas survéy domain teu sagemblengna jelas, nu mindeng loba nu leuwih luhur ti aktivitas sabenerna dina Internét. Hayu urang ninggalkeun pikeun ayeuna.

Ku kituna, inténsitas requests mindeng patali jeung fungsionalitas diperlukeun alat. Tapi jalma anu overdid eta kalawan aktivitas ogé kapanggih.

Anu pangheulana

Nalika Internét nirkabel dihurungkeun, sadayana masih saré sareng tiasa ningali pamundut mana anu dikirim ka jaringan heula. Janten, dina 6:50 Internét dihurungkeun sareng dina waktos sapuluh menit mimiti 60 domain dijajal unggal dinten:

query laporan SQL

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Table: First DNS Requests at 06:00',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests',
  DAYS AS 'Active Days',
  strftime('%H:%M', datetime(MIN_DT, 'unixepoch')) AS 'First Ping',
  strftime('%H:%M', datetime(MAX_DT, 'unixepoch')) AS 'Last Ping'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  MIN(EVENT_DT) AS MIN_DT,
  MAX(EVENT_DT) AS MAX_DT,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
  AND strftime('%H', datetime(EVENT_DT, 'unixepoch')) = strftime('%H', '2019-08-01 06:50:00')
GROUP BY REQUEST_NK
 )
WHERE DAYS > 3 -- at least 4 days activity
ORDER BY 5 DESC, 4 DESC

Firefox pariksa sambungan WLAN pikeun ayana kaca login.
Citrix nuju ping server na sanaos aplikasina henteu aktip dijalankeun.
Symantec verifikasi sertipikat.
Mozilla pariksa apdet, sanaos dina setélan kuring naroskeun henteu ngalakukeun ieu.

mmo.de nyaéta layanan kaulinan. Paling dipikaresep pamundut ieu diprakarsai ku facebook chat. Urang blokir.

Apple bakal ngaktipkeun sadaya jasa na. api-glb-fra.smoot.apple.com - ditilik ku katerangan, unggal tombol klik dikirim ka dieu pikeun tujuan optimasi search engine. Kacida curiga, tapi aya hubunganana sareng fungsionalitas. Urang tinggalkeun.

Di handap ieu daptar panjang pamundut ka microsoft.com. Urang meungpeuk sadaya domain mimitian ti tingkat katilu.

Jumlah subdomains pisan munggaran


Janten, 10 menit mimiti ngaktipkeun Internét nirkabel.
Ios polling panglobana subdomains - 32. Dituturkeun ku Android - 24, lajeng Windows - 15 sarta panungtungan Blackberry - 9.
Aplikasi facebook nyalira polling 10 domain, skype polling 9 domain.

Sumber inpormasi

Sumber pikeun analisa nyaéta file log server lokal bind9, anu ngandung format ieu:

01-Aug-2019 20:03:30.996 client 192.168.0.2#40693 (api.aps.skype.com): query: api.aps.skype.com IN A + (192.168.0.102)

Berkas ieu diimpor kana database sqlite sareng dianalisis nganggo queries SQL.
Server tindakan salaku cache a; requests datangna ti router, jadi aya salawasna hiji klien pamundut. Struktur tabel disederhanakeun cukup, i.e. Laporan merlukeun waktu pamundut, pamundut sorangan, sarta domain tingkat kadua pikeun grup.

tabél DDL

CREATE TABLE STG_BIND9_LOG (
  LINE_NK       INTEGER NOT NULL DEFAULT 1,
  DATE_NK       TEXT NOT NULL DEFAULT 'n.a.',
  TIME_NK       TEXT NOT NULL DEFAULT 'n.a.',
  CLI           TEXT, -- client
  IP            TEXT,
  REQUEST_NK    TEXT NOT NULL DEFAULT 'n.a.', -- requested domain
  DOMAIN        TEXT NOT NULL DEFAULT 'n.a.', -- domain second level
  QUERY         TEXT,
  UNIQUE (LINE_NK, DATE_NK, TIME_NK, REQUEST_NK)
);

kacindekan

Ku kituna, salaku hasil tina analisa log server ngaran domain, leuwih ti 50 rékaman anu censored sarta disimpen dina daptar blok.

Kabutuhan tina sababaraha patarosan dijelaskeun ogé ku produsén parangkat lunak sareng mere ilham kapercayaan. Sanajan kitu, loba kagiatan téh unfounded tur questionable.

sumber: www.habr.com