Как живее домашният интернет и статистиката на сървъра за имена на домейни?

Домашният рутер (в този случай FritzBox) може да записва много: колко трафик кога минава, кой с каква скорост е свързан и т.н. Сървър за имена на домейни (DNS) в локалната мрежа ми помогна да разбера какво се крие зад неизвестните получатели.

Като цяло DNS има положително въздействие върху домашната мрежа: добавя скорост, стабилност и управляемост.

По-долу има диаграма, която повдига въпроси и необходимостта да се разбере какво се случва. Резултатите вече филтрират известни и работещи заявки към сървъри за имена на домейни.

Защо всеки ден се анкетират 60 неясни домейна, докато всички още спят?

Всеки ден се анкетират 440 неизвестни домейна по време на активни часове. Кои са те и какво правят?

Среден брой заявки на ден по час

SQL заявка за отчет

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Line: DNS Requests per Day for Hours',
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch')) AS 'Day',
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS 'Requests per Day'
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY /* hour aggregate */
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))
ORDER BY strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))

През нощта безжичният достъп е деактивиран и се очаква активност на устройството, т.е. няма гласуване за неизвестни домейни. Това означава, че най-голямата активност идва от устройства с операционни системи като Android, iOS и Blackberry OS.

Нека изброим домейните, които се анкетират интензивно. Интензитетът ще се определя от параметри като брой заявки на ден, брой дни на активност и в колко часа от деня са били забелязани.

Всички очаквани заподозрени бяха в списъка.

Интензивно анкетирани домейни

SQL заявка за отчет

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT 
  1 as 'Table: Havy DNS Requests',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests per Day',
  DH AS 'Hours per Day',
  DAYS AS 'Active Days'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  COUNT(DISTINCT REQUEST_NK) AS SUBD,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ,
  ROUND(1.0*COUNT(DISTINCT strftime('%d.%m %H', datetime(EVENT_DT, 'unixepoch')))/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS DH
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY REQUEST_NK )
WHERE DAYS > 9 -- long period
ORDER BY 4 DESC, 5 DESC
LIMIT 20

Блокираме isс.blackberry.com и iceberg.blackberry.com, което производителят ще оправдае от съображения за сигурност. Резултат: когато се опитвате да се свържете с WLAN, показва страницата за вход и никога повече не се свързва никъде. Нека го отблокираме.

detectportal.firefox.com е същият механизъм, само внедрен в браузъра Firefox. Ако трябва да влезете в WLAN мрежата, тя първо ще покаже страницата за вход. Не е съвсем ясно защо адресът трябва да се пингува толкова често, но механизмът е ясно описан от производителя.

скайп. Действията на тази програма са подобни на червей: тя се крие и не позволява просто да бъде убита в лентата на задачите, генерира много трафик в мрежата, пингва 10 домейна на всеки 4 минути. Когато правите видео разговор, интернет връзката постоянно прекъсва, когато не може да бъде по-добра. Засега е необходимо, така че остава.

upload.fp.measure.office.com - отнася се за Office 365, не можах да намеря прилично описание.
browser.pipe.aria.microsoft.com - не можах да намеря прилично описание.
Блокираме и двете.

connect.facebook.net - Facebook приложение за чат. останки.

mediator.mail.ru Анализът на всички заявки за домейна mail.ru показа наличието на огромен брой рекламни ресурси и колектори на статистически данни, което предизвиква недоверие. Домейнът mail.ru се изпраща изцяло в черния списък.

google-analytics.com - не засяга функционалността на устройствата, затова го блокираме.
doubleclick.net - отчита рекламните кликове. Ние блокираме.

Много заявки отиват към googleapis.com. Блокирането доведе до радостно изключване на кратки съобщения на таблета, което ми се струва глупаво. Но playstore спря да работи, така че нека го деблокираме.

cloudflare.com - те пишат, че обичат отворен код и като цяло пишат много за себе си. Не е съвсем ясна интензивността на проучването на домейна, която често е много по-висока от реалната активност в Интернет. Нека го оставим за сега.

По този начин интензивността на заявките често е свързана с необходимата функционалност на устройствата. Но се разкриха и прекалили с активността.

Най-първият

Когато безжичният интернет е включен, всички още спят и е възможно да се види кои заявки се изпращат първи към мрежата. И така, в 6:50 интернет се включва и през първите десет минути се анкетират 60 домейна дневно:

SQL заявка за отчет

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Table: First DNS Requests at 06:00',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests',
  DAYS AS 'Active Days',
  strftime('%H:%M', datetime(MIN_DT, 'unixepoch')) AS 'First Ping',
  strftime('%H:%M', datetime(MAX_DT, 'unixepoch')) AS 'Last Ping'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  MIN(EVENT_DT) AS MIN_DT,
  MAX(EVENT_DT) AS MAX_DT,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
  AND strftime('%H', datetime(EVENT_DT, 'unixepoch')) = strftime('%H', '2019-08-01 06:50:00')
GROUP BY REQUEST_NK
 )
WHERE DAYS > 3 -- at least 4 days activity
ORDER BY 5 DESC, 4 DESC

Firefox проверява WLAN връзката за наличие на страница за вход.
Citrix пингва своя сървър, въпреки че приложението не работи активно.
Symantec проверява сертификатите.
Mozilla проверява за актуализации, въпреки че в настройките поисках да не правя това.

mmo.de е услуга за игри. Най-вероятно заявката е инициирана от фейсбук чат. Ние блокираме.

Apple ще активира всички свои услуги. api-glb-fra.smoot.apple.com - съдейки по описанието, всяко щракване върху бутон се изпраща тук с цел оптимизиране на търсачките. Силно съмнително, но свързано с функционалността. Оставяме го.

Следва дълъг списък от заявки към microsoft.com. Ние блокираме всички домейни, започвайки от трето ниво.

Брой на първите поддомейни


И така, първите 10 минути от включването на безжичния интернет.
iOS анкетира най-много поддомейни - 32. Следват Android - 24, след това Windows - 15 и накрая Blackberry - 9.
Само фейсбук приложението анкетира 10 домейна, скайп анкети 9 домейна.

Източник на информация

Източникът за анализа беше регистрационният файл на локалния сървър bind9, който съдържа следния формат:

01-Aug-2019 20:03:30.996 client 192.168.0.2#40693 (api.aps.skype.com): query: api.aps.skype.com IN A + (192.168.0.102)

Файлът беше импортиран в база данни на sqlite и анализиран с помощта на SQL заявки.
Сървърът действа като кеш; заявките идват от рутера, така че винаги има един клиент за заявки. Достатъчна е опростена структура на таблицата, т.е. Отчетът изисква времето на заявката, самата заявка и домейна от второ ниво за групиране.

DDL таблици

CREATE TABLE STG_BIND9_LOG (
  LINE_NK       INTEGER NOT NULL DEFAULT 1,
  DATE_NK       TEXT NOT NULL DEFAULT 'n.a.',
  TIME_NK       TEXT NOT NULL DEFAULT 'n.a.',
  CLI           TEXT, -- client
  IP            TEXT,
  REQUEST_NK    TEXT NOT NULL DEFAULT 'n.a.', -- requested domain
  DOMAIN        TEXT NOT NULL DEFAULT 'n.a.', -- domain second level
  QUERY         TEXT,
  UNIQUE (LINE_NK, DATE_NK, TIME_NK, REQUEST_NK)
);

Продукция

По този начин, в резултат на анализа на дневника на сървъра за имена на домейни, повече от 50 записа бяха цензурирани и поставени в списъка за блокиране.

Необходимостта от някои запитвания е добре описана от производителите на софтуер и вдъхва доверие. Голяма част от дейността обаче е неоснователна и съмнителна.

Източник: www.habr.com