Како живее домашниот Интернет и статистиката на серверот за име на домен?

Домашен рутер (во овој случај FritzBox) може да снима многу: колку сообраќај се одвива кога, кој е поврзан со која брзина итн. Серверот за име на домен (DNS) на локалната мрежа ми помогна да откријам што се крие зад непознатите примачи.

Генерално, DNS имаше позитивно влијание врз домашната мрежа: додаде брзина, стабилност и управливост.

Подолу е дијаграм кој покрена прашања и потреба да се разбере што се случува. Резултатите веќе ги филтрираат познатите и работните барања до серверите за имиња на домени.

Зошто секој ден се анкетираат 60 нејасни домени додека сите сè уште спијат?

Секој ден, во активни часови се анкетираат 440 непознати домени. Кои се тие и што прават?

Просечен број на барања дневно на час

SQL барање за извештај

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Line: DNS Requests per Day for Hours',
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch')) AS 'Day',
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS 'Requests per Day'
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY /* hour aggregate */
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))
ORDER BY strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))

Ноќе, безжичниот пристап е оневозможен и се очекува активност на уредот, т.е. нема анкета за непознати домени. Тоа значи дека најголемата активност доаѓа од уредите со оперативни системи како Android, iOS и Blackberry OS.

Да ги наведеме домените кои интензивно се анкетираат. Интензитетот ќе се одредува според параметри како што се бројот на барања дневно, бројот на денови на активност и во колку часови од денот биле забележани.

Сите очекувани осомничени беа на списокот.

Интензивно анкетирани домени

SQL барање за извештај

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT 
  1 as 'Table: Havy DNS Requests',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests per Day',
  DH AS 'Hours per Day',
  DAYS AS 'Active Days'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  COUNT(DISTINCT REQUEST_NK) AS SUBD,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ,
  ROUND(1.0*COUNT(DISTINCT strftime('%d.%m %H', datetime(EVENT_DT, 'unixepoch')))/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS DH
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY REQUEST_NK )
WHERE DAYS > 9 -- long period
ORDER BY 4 DESC, 5 DESC
LIMIT 20

Ги блокираме isс.blackberry.com и iceberg.blackberry.com, што производителот ќе ги оправда од безбедносни причини. Резултат: кога се обидувате да се поврзете на WLAN, ја прикажува страницата за најавување и никогаш повеќе не се поврзува никаде. Ајде да го одблокираме.

detectportal.firefox.com е истиот механизам, имплементиран само во прелистувачот Firefox. Ако треба да се најавите на WLAN мрежата, таа прво ќе ја прикаже страницата за најавување. Не е сосема јасно зошто адресата треба да се пингира толку често, но механизмот е јасно опишан од производителот.

скајп. Дејствата на оваа програма се слични на црв: се крие и не дозволува едноставно да биде убиен во лентата со задачи, генерира многу сообраќај на мрежата, пингува 10 домени на секои 4 минути. Кога правите видео повик, интернет конекцијата постојано се распаѓа, кога не може да биде подобро. Засега е потребно, така останува.

upload.fp.measure.office.com - се однесува на Office 365, не можев да најдам пристоен опис.
browser.pipe.aria.microsoft.com - Не можев да најдам пристоен опис.
Ги блокираме и двете.

connect.facebook.net - апликација за разговор на Фејсбук. Останува.

mediator.mail.ru Анализата на сите барања за доменот mail.ru покажа присуство на огромен број рекламни ресурси и собирачи на статистика, што предизвикува недоверба. Доменот mail.ru е целосно испратен на црната листа.

google-analytics.com - не влијае на функционалноста на уредите, па затоа го блокираме.
doubleclick.net - брои кликови за рекламирање. Ние блокираме.

Многу барања одат на googleapis.com. Блокирањето доведе до радосно исклучување на кратките пораки на таблетот, кои ми изгледаат глупави. Но, плејсторот престана да работи, па ајде да го одблокираме.

cloudflare.com - пишуваат дека сакаат отворен код и, воопшто, пишуваат многу за себе. Интензитетот на истражувањето на доменот не е целосно јасен, што често е многу поголем од реалната активност на Интернет. Да оставиме засега.

Така, интензитетот на барањата често е поврзан со потребната функционалност на уредите. Но, откриени се и оние кои претерале со активност.

Уште првиот

Кога безжичниот интернет е вклучен, сите сè уште спијат и можно е да се видат кои барања прво се испраќаат до мрежата. Така, во 6:50 се вклучува интернетот и во првите десет минути дневно се анкетираат 60 домени:

SQL барање за извештај

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Table: First DNS Requests at 06:00',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests',
  DAYS AS 'Active Days',
  strftime('%H:%M', datetime(MIN_DT, 'unixepoch')) AS 'First Ping',
  strftime('%H:%M', datetime(MAX_DT, 'unixepoch')) AS 'Last Ping'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  MIN(EVENT_DT) AS MIN_DT,
  MAX(EVENT_DT) AS MAX_DT,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
  AND strftime('%H', datetime(EVENT_DT, 'unixepoch')) = strftime('%H', '2019-08-01 06:50:00')
GROUP BY REQUEST_NK
 )
WHERE DAYS > 3 -- at least 4 days activity
ORDER BY 5 DESC, 4 DESC

Firefox ја проверува WLAN врската за присуство на страница за најавување.
Citrix го пингува својот сервер иако апликацијата не работи активно.
Symantec ги потврдува сертификатите.
Мозила проверува дали има ажурирања, иако во поставките побарав да не го правам тоа.

mmo.de е услуга за игри. Најверојатно барањето е иницирано од Фејсбук чет. Ние блокираме.

Apple ќе ги активира сите свои услуги. api-glb-fra.smoot.apple.com - судејќи според описот, секое кликнување на копче се испраќа овде за целите на оптимизација на пребарувачите. Многу сомнително, но поврзано со функционалноста. Го оставаме.

Следното е долга листа на барања до microsoft.com. Ги блокираме сите домени почнувајќи од третото ниво.

Број на првите поддомени


Значи, првите 10 минути од вклучувањето на безжичниот интернет.
iOS анкетира најмногу поддомени - 32. Следуваат Android - 24, па Windows - 15 и на крај Blackberry - 9.
Само апликацијата Фејсбук анкетира 10 домени, скајп анкети 9 домени.

Изворот на информации

Изворот за анализа беше датотеката за евиденција на локалниот сервер bind9, која го содржи следниов формат:

01-Aug-2019 20:03:30.996 client 192.168.0.2#40693 (api.aps.skype.com): query: api.aps.skype.com IN A + (192.168.0.102)

Датотеката беше увезена во sqlite база на податоци и анализирана со помош на SQL пребарувања.
Серверот делува како кеш, барањата доаѓаат од рутерот, така што секогаш има еден клиент за барање. Доволна е поедноставена структура на табелата, т.е. Извештајот бара времето на барањето, самото барање и доменот од второ ниво за групирање.

DDL табели

CREATE TABLE STG_BIND9_LOG (
  LINE_NK       INTEGER NOT NULL DEFAULT 1,
  DATE_NK       TEXT NOT NULL DEFAULT 'n.a.',
  TIME_NK       TEXT NOT NULL DEFAULT 'n.a.',
  CLI           TEXT, -- client
  IP            TEXT,
  REQUEST_NK    TEXT NOT NULL DEFAULT 'n.a.', -- requested domain
  DOMAIN        TEXT NOT NULL DEFAULT 'n.a.', -- domain second level
  QUERY         TEXT,
  UNIQUE (LINE_NK, DATE_NK, TIME_NK, REQUEST_NK)
);

Излез

Така, како резултат на анализата на дневникот на серверот за име на домен, повеќе од 50 записи беа цензурирани и ставени на блок листата.

Потребата од некои прашања е добро опишана од производителите на софтвер и инспирира доверба. Сепак, голем дел од активноста е неоснована и сомнителна.

Извор: www.habr.com