Үй Интернети кантип жашайт жана домендик аталыш серверинин статистикасы?

Үй роутери (бул учурда FritzBox) көп нерсени жаза алат: канча трафик качан кетип жатат, ким кандай ылдамдыкта туташкан ж.б.у.с. Жергиликтүү тармактагы домендик аталыш сервери (DNS) мага белгисиз алуучулардын артында эмне жашырылганын билүүгө жардам берди.

Жалпысынан алганда, DNS үй тармагына оң таасирин тийгизди: ал ылдамдыкты, туруктуулукту жана башкарууну кошту.

Төмөндө суроолорду жараткан диаграмма жана эмне болуп жатканын түшүнүү зарыл. Натыйжалар домендик аталыштын серверлерине белгилүү жана иштеп жаткан суроо-талаптарды чыпкалайт.

Эмне үчүн 60 бүдөмүк домен күн сайын баары уктап жатканда сурамжылоого алынат?

Күн сайын 440 белгисиз домен активдүү сааттарда сурамжылоо жүргүзүлөт. Алар кимдер жана алар эмне кылышат?

Суткасына суроо-талаптардын орточо саны

SQL отчет суроосу

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Line: DNS Requests per Day for Hours',
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch')) AS 'Day',
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS 'Requests per Day'
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY /* hour aggregate */
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))
ORDER BY strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))

Түнкүсүн зымсыз кирүү өчүрүлгөн жана түзмөктүн активдүүлүгү күтүлөт, б.а. белгисиз домендер үчүн добуш берүү жок. Бул эң чоң активдүүлүк Android, iOS жана Blackberry OS сыяктуу операциялык системалары бар түзмөктөрдөн келет дегенди билдирет.

Интенсивдүү сурамжылоого алынган домендерди тизмектейли. Интенсивдүүлүк суткадагы суроо-талаптардын саны, иш күндөрүнүн саны жана күндүн канча саатында байкалганы сыяктуу параметрлер менен аныкталат.

Күтүлгөн шектүүлөрдүн баары тизмеде болгон.

Интенсивдүү сурамжыланган домендер

SQL отчет суроосу

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT 
  1 as 'Table: Havy DNS Requests',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests per Day',
  DH AS 'Hours per Day',
  DAYS AS 'Active Days'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  COUNT(DISTINCT REQUEST_NK) AS SUBD,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ,
  ROUND(1.0*COUNT(DISTINCT strftime('%d.%m %H', datetime(EVENT_DT, 'unixepoch')))/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS DH
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY REQUEST_NK )
WHERE DAYS > 9 -- long period
ORDER BY 4 DESC, 5 DESC
LIMIT 20

Биз isс.blackberry.com жана iceberg.blackberry.com сайтын бөгөттөйбүз, аны өндүрүүчү коопсуздук себептеринен улам актайт. Натыйжа: WLANга туташууга аракет кылып жатканда, ал кирүү барагын көрсөтөт жана эч качан кайра эч жакка кошулбайт. Келгиле, аны бөгөттөн чыгаралы.

detectportal.firefox.com бир эле механизм, Firefox браузеринде гана ишке ашырылат. WLAN тармагына кирүү керек болсо, анда ал адегенде кирүү барагын көрсөтөт. Даректи эмне үчүн мынчалык тез-тез жазыш керек экендиги так эмес, бирок механизм өндүрүүчү тарабынан так сүрөттөлгөн.

скайп. Бул программанын иш-аракеттери куртка окшош: ал жашырынып, тапшырмалар панелинде өзүн өлтүрүүгө жөн эле жол бербейт, тармакта көп трафикти жаратат, ар бир 10 мүнөт сайын 4 доменди пинг кылат. Видео чалуу учурунда Интернет байланышы үзгүлтүккө учурайт, бирок андан жакшыраак болушу мүмкүн эмес. Азырынча бул зарыл, ошондуктан ал бойдон калууда.

upload.fp.measure.office.com - Office 365ти билдирет, мен татыктуу сүрөттөмө таба алган жокмун.
browser.pipe.aria.microsoft.com - Мен татыктуу сүрөттөмө таба алган жокмун.
Биз экөөнү тең бөгөттөйбүз.

connect.facebook.net - Facebook чат колдонмосу. калды.

mediator.mail.ru mail.ru доменине болгон бардык суроо-талаптарды талдоо ишенимсиздикти пайда кылган көптөгөн жарнамалык ресурстардын жана статистикалык коллекционерлердин бар экендигин көрсөттү. mail.ru домени толугу менен кара тизмеге жөнөтүлөт.

google-analytics.com - түзмөктөрдүн иштешине таасир этпейт, ошондуктан биз аны бөгөттөйбүз.
doubleclick.net - жарнамалык чыкылдатууларды эсептейт. Биз бөгөт коюу.

Көптөгөн сурамдар googleapis.com дарегине келет. Бөгөттөө планшеттеги кыска билдирүүлөрдүн кубанычтуу өчүрүлүшүнө алып келди, бул мага акылсыздай сезилет. Бирок playstore иштебей калды, андыктан аны бөгөттөн чыгаралы.

cloudflare.com - алар ачык булакты жакшы көрөрүн жазышат жана жалпысынан өздөрү жөнүндө көп жазышат. Домендик сурамжылоонун интенсивдүүлүгү так эмес, бул көбүнчө Интернеттеги иш жүзүндөгү активдүүлүктөн бир топ жогору. Азырынча аны калтыралы.

Ошентип, суроо-талаптардын интенсивдүүлүгү көбүнчө түзмөктөрдүн талап кылынган функционалдуулугуна байланыштуу. Бирок активдүүлүк менен ашыра аткаргандар да табылды.

Эң биринчи

Зымсыз Интернет күйгүзүлгөндө, баары дагы эле уктап жатышат жана тармакка кайсы суроо-талаптар биринчи жөнөтүлгөнүн көрүүгө болот. Ошентип, саат 6:50дө Интернет күйөт жана биринчи он мүнөттүк мезгилде күн сайын 60 домен сурамжыланат:

SQL отчет суроосу

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Table: First DNS Requests at 06:00',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests',
  DAYS AS 'Active Days',
  strftime('%H:%M', datetime(MIN_DT, 'unixepoch')) AS 'First Ping',
  strftime('%H:%M', datetime(MAX_DT, 'unixepoch')) AS 'Last Ping'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  MIN(EVENT_DT) AS MIN_DT,
  MAX(EVENT_DT) AS MAX_DT,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
  AND strftime('%H', datetime(EVENT_DT, 'unixepoch')) = strftime('%H', '2019-08-01 06:50:00')
GROUP BY REQUEST_NK
 )
WHERE DAYS > 3 -- at least 4 days activity
ORDER BY 5 DESC, 4 DESC

Firefox кирүү бетинин бар-жоктугу үчүн WLAN туташуусун текшерет.
Citrix тиркеме жигердүү иштебесе да серверине пинг жүргүзүп жатат.
Symantec сертификаттарды текшерет.
Mozilla жаңыртууларды текшерет, бирок жөндөөлөрдөн мен муну кылбоону сурандым.

mmo.de оюн кызматы. Кыязы, суроо-талап facebook чаты аркылуу башталган. Биз бөгөт коюу.

Apple өзүнүн бардык кызматтарын иштетет. api-glb-fra.smoot.apple.com - сүрөттөмөсүнө караганда, ар бир баскычты чыкылдатуу издөө системасын оптималдаштыруу максатында бул жерге жөнөтүлөт. Абдан шектүү, бирок функционалдуулукка байланыштуу. Биз аны калтырабыз.

Төмөндө microsoft.com сайтына кайрылуулардын узун тизмеси келтирилген. Биз үчүнчү деңгээлден баштап бардык домендерди бөгөттөйбүз.

Эң биринчи субдомендердин саны


Ошентип, зымсыз Интернетти күйгүзгөн алгачкы 10 мүнөт.
iOS эң көп субдомендерди сурамжылоодо - 32. Андан кийин Android - 24, андан кийин Windows - 15 жана эң акыркысында Blackberry - 9.
Жалгыз facebook тиркемеси 10 доменди, Skype 9 доменди сурамжылоодо.

Маалымат булагы

Анализдин булагы төмөнкү форматты камтыган bind9 локалдык серверинин журнал файлы болду:

01-Aug-2019 20:03:30.996 client 192.168.0.2#40693 (api.aps.skype.com): query: api.aps.skype.com IN A + (192.168.0.102)

Файл sqlite маалымат базасына импорттолгон жана SQL сурамдары менен талданган.
Сервер кэштин ролун аткарат; суроо-талаптар роутерден келет, андыктан ар дайым бир сурам кардары болот. Жөнөкөйлөштүрүлгөн үстөл структурасы жетиштүү, б.а. Отчет суроо-талаптын убактысын, сурамдын өзүн жана топтоо үчүн экинчи деңгээлдеги доменди талап кылат.

DDL таблицалары

CREATE TABLE STG_BIND9_LOG (
  LINE_NK       INTEGER NOT NULL DEFAULT 1,
  DATE_NK       TEXT NOT NULL DEFAULT 'n.a.',
  TIME_NK       TEXT NOT NULL DEFAULT 'n.a.',
  CLI           TEXT, -- client
  IP            TEXT,
  REQUEST_NK    TEXT NOT NULL DEFAULT 'n.a.', -- requested domain
  DOMAIN        TEXT NOT NULL DEFAULT 'n.a.', -- domain second level
  QUERY         TEXT,
  UNIQUE (LINE_NK, DATE_NK, TIME_NK, REQUEST_NK)
);

жыйынтыктоо

Ошентип, домендик аталыштардын серверинин журналын талдоонун натыйжасында 50дөн ашык жазуу цензурадан өтүп, блоктордун тизмесине киргизилген.

Кээ бир суроо-талаптардын зарылчылыгы программалык камсыздоону өндүрүүчүлөр тарабынан жакшы сүрөттөлгөн жана ишенимди жаратат. Бирок, көп иш негизсиз жана шектүү болуп саналат.

Source: www.habr.com