როგორ მუშაობს სახლის ინტერნეტი და დომენის სერვერის სტატისტიკა?

სახლის როუტერს (ამ შემთხვევაში FritzBox) შეუძლია ბევრი ჩაწეროს: რამდენი ტრაფიკი როდის მიდის, ვინ რა სიჩქარით არის დაკავშირებული და ა.შ. დომენის სახელების სერვერი (DNS) ლოკალურ ქსელში დამეხმარა გამეგო რა იმალებოდა უცნობი მიმღებების უკან.

საერთო ჯამში, DNS-მა დადებითი გავლენა მოახდინა სახლის ქსელზე: დაამატა სიჩქარე, სტაბილურობა და მართვადი.

ქვემოთ მოცემულია დიაგრამა, რომელიც აჩენს კითხვებს და საჭიროებს იმის გაგებას, თუ რა ხდებოდა. შედეგები უკვე ფილტრავს ცნობილ და სამუშაო მოთხოვნებს დომენის სახელების სერვერებზე.

რატომ იკითხება 60 ბუნდოვანი დომენი ყოველდღე, როცა ყველას ჯერ კიდევ სძინავს?

ყოველდღიურად აქტიურ საათებში 440 უცნობი დომენის გამოკითხვა ხდება. ვინ არიან ისინი და რას აკეთებენ?

მოთხოვნების საშუალო რაოდენობა დღეში საათში

SQL ანგარიშის მოთხოვნა

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Line: DNS Requests per Day for Hours',
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch')) AS 'Day',
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS 'Requests per Day'
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY /* hour aggregate */
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))
ORDER BY strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))

ღამით, უკაბელო წვდომა გამორთულია და მოსალოდნელია მოწყობილობის აქტივობა, ე.ი. უცნობი დომენების გამოკითხვა არ არის. ეს ნიშნავს, რომ ყველაზე დიდი აქტივობა მოდის ოპერაციული სისტემების მქონე მოწყობილობებზე, როგორიცაა Android, iOS და Blackberry OS.

ჩამოვთვალოთ ინტენსიურად გამოკითხული დომენები. ინტენსივობა განისაზღვრება ისეთი პარამეტრებით, როგორიცაა მოთხოვნის რაოდენობა დღეში, აქტივობის დღეების რაოდენობა და დღის რამდენ საათში შენიშნეს ისინი.

ყველა მოსალოდნელი ეჭვმიტანილი იყო სიაში.

ინტენსიურად გამოკითხული დომენები

SQL ანგარიშის მოთხოვნა

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT 
  1 as 'Table: Havy DNS Requests',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests per Day',
  DH AS 'Hours per Day',
  DAYS AS 'Active Days'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  COUNT(DISTINCT REQUEST_NK) AS SUBD,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ,
  ROUND(1.0*COUNT(DISTINCT strftime('%d.%m %H', datetime(EVENT_DT, 'unixepoch')))/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS DH
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY REQUEST_NK )
WHERE DAYS > 9 -- long period
ORDER BY 4 DESC, 5 DESC
LIMIT 20

ჩვენ ვბლოკავთ isс.blackberry.com-ს და iceberg.blackberry.com-ს, რასაც მწარმოებელი გაამართლებს უსაფრთხოების მიზეზების გამო. შედეგი: WLAN-თან დაკავშირების მცდელობისას, ის აჩვენებს შესვლის გვერდს და აღარასოდეს არსად უკავშირდება. მოდი განვბლოკოთ.

detectportal.firefox.com არის იგივე მექანიზმი, რომელიც დანერგილია მხოლოდ Firefox ბრაუზერში. თუ გჭირდებათ WLAN ქსელში შესვლა, ის ჯერ აჩვენებს შესვლის გვერდს. ბოლომდე გასაგები არ არის, რატომ უნდა მოხდეს მისამართის პინგი ასე ხშირად, მაგრამ მექანიზმი ნათლად არის აღწერილი მწარმოებლის მიერ.

სკაიპი. ამ პროგრამის მოქმედებები ჭიის მსგავსია: ის მალავს და არ აძლევს თავს უბრალოდ მოკვლის უფლებას დავალების პანელში, ქმნის უამრავ ტრაფიკს ქსელში, აგზავნის 10 დომენს ყოველ 4 წუთში. ვიდეოზარის განხორციელებისას ინტერნეტ კავშირი მუდმივად იშლება, როცა უკეთესი არ არის. ჯერჯერობით აუცილებელია, ასე რჩება.

upload.fp.measure.office.com - ეხება Office 365, მე ვერ ვიპოვე ღირსეული აღწერა.
browser.pipe.aria.microsoft.com - მე ვერ ვიპოვე ღირსეული აღწერა.
ორივეს ვბლოკავთ.

connect.facebook.net - Facebook ჩეთის აპლიკაცია. რჩება.

mediator.mail.ru mail.ru დომენის ყველა მოთხოვნის ანალიზმა აჩვენა სარეკლამო რესურსების და სტატისტიკის შემგროვებლების უზარმაზარი რაოდენობა, რაც იწვევს უნდობლობას. mail.ru დომენი მთლიანად იგზავნება შავ სიაში.

google-analytics.com - არ მოქმედებს მოწყობილობების ფუნქციონირებაზე, ამიტომ ჩვენ ვბლოკავთ მას.
doubleclick.net - ითვლის სარეკლამო დაწკაპუნებებს. ვბლოკავთ.

ბევრი მოთხოვნა მიდის googleapis.com-ზე. დაბლოკვამ გამოიწვია ტაბლეტზე მოკლე შეტყობინებების მხიარული გამორთვა, რაც სულელურად მეჩვენება. მაგრამ playstore-მა შეწყვიტა მუშაობა, მოდით განვბლოკოთ იგი.

cloudflare.com - წერენ, რომ უყვართ ღია კოდი და ზოგადად, ბევრს წერენ საკუთარ თავზე. დომენის კვლევის ინტენსივობა ბოლომდე არ არის ნათელი, რაც ხშირად ბევრად აღემატება რეალურ აქტივობას ინტერნეტში. მოდით დავტოვოთ ეს ახლა.

ამრიგად, მოთხოვნების ინტენსივობა ხშირად დაკავშირებულია მოწყობილობების საჭირო ფუნქციონალთან. მაგრამ ისინიც აღმოაჩინეს, ვინც აქტიურობით გადააჭარბა.

პირველივე

როდესაც უკაბელო ინტერნეტი ჩართულია, ყველას ჯერ კიდევ სძინავს და შესაძლებელია ნახოთ, რომელი მოთხოვნები იგზავნება პირველ რიგში ქსელში. ასე რომ, 6:50 საათზე ირთვება ინტერნეტი და პირველ ათ წუთში ყოველდღიურად 60 დომენის გამოკითხვა ხდება:

SQL ანგარიშის მოთხოვნა

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Table: First DNS Requests at 06:00',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests',
  DAYS AS 'Active Days',
  strftime('%H:%M', datetime(MIN_DT, 'unixepoch')) AS 'First Ping',
  strftime('%H:%M', datetime(MAX_DT, 'unixepoch')) AS 'Last Ping'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  MIN(EVENT_DT) AS MIN_DT,
  MAX(EVENT_DT) AS MAX_DT,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
  AND strftime('%H', datetime(EVENT_DT, 'unixepoch')) = strftime('%H', '2019-08-01 06:50:00')
GROUP BY REQUEST_NK
 )
WHERE DAYS > 3 -- at least 4 days activity
ORDER BY 5 DESC, 4 DESC

Firefox ამოწმებს WLAN კავშირს შესვლის გვერდის არსებობისთვის.
Citrix იყენებს თავის სერვერს, მიუხედავად იმისა, რომ აპლიკაცია აქტიურად არ მუშაობს.
Symantec ამოწმებს სერთიფიკატებს.
Mozilla ამოწმებს განახლებებს, თუმცა პარამეტრებში ვთხოვე არ გამეკეთებინა ეს.

mmo.de არის სათამაშო სერვისი. სავარაუდოდ მოთხოვნა ინიცირებულია ფეისბუქ ჩატით. ვბლოკავთ.

Apple გაააქტიურებს თავის ყველა სერვისს. api-glb-fra.smoot.apple.com - აღწერილობით ვიმსჯელებთ, ღილაკზე ყოველი დაწკაპუნება იგზავნება აქ საძიებო სისტემის ოპტიმიზაციის მიზნებისთვის. ძალიან საეჭვოა, მაგრამ დაკავშირებულია ფუნქციონალთან. ჩვენ მას ვტოვებთ.

ქვემოთ მოცემულია მოთხოვნების გრძელი სია microsoft.com-ისთვის. ჩვენ ვბლოკავთ ყველა დომენს მესამე დონიდან დაწყებული.

პირველივე ქვედომენების რაოდენობა


ასე რომ, უკაბელო ინტერნეტის ჩართვის პირველი 10 წუთი.
iOS გამოკითხვაში ყველაზე მეტი ქვედომენია - 32. მოჰყვება Android - 24, შემდეგ Windows - 15 და ბოლოს Blackberry - 9.
მარტო ფეისბუქის აპლიკაცია გამოკითხავს 10 დომენს, სკაიპი 9 დომენს.

ინფორმაციის წყარო

ანალიზის წყარო იყო bind9 ლოკალური სერვერის ჟურნალის ფაილი, რომელიც შეიცავს შემდეგ ფორმატს:

01-Aug-2019 20:03:30.996 client 192.168.0.2#40693 (api.aps.skype.com): query: api.aps.skype.com IN A + (192.168.0.102)

ფაილი იმპორტირებული იყო sqlite მონაცემთა ბაზაში და გაანალიზდა SQL მოთხოვნების გამოყენებით.
სერვერი მოქმედებს როგორც ქეში; მოთხოვნები მოდის როუტერიდან, ამიტომ ყოველთვის არის ერთი მოთხოვნის კლიენტი. საკმარისია ცხრილის გამარტივებული სტრუქტურა, ე.ი. ანგარიში მოითხოვს მოთხოვნის დროს, თავად მოთხოვნას და მეორე დონის დომენს დაჯგუფებისთვის.

DDL მაგიდები

CREATE TABLE STG_BIND9_LOG (
  LINE_NK       INTEGER NOT NULL DEFAULT 1,
  DATE_NK       TEXT NOT NULL DEFAULT 'n.a.',
  TIME_NK       TEXT NOT NULL DEFAULT 'n.a.',
  CLI           TEXT, -- client
  IP            TEXT,
  REQUEST_NK    TEXT NOT NULL DEFAULT 'n.a.', -- requested domain
  DOMAIN        TEXT NOT NULL DEFAULT 'n.a.', -- domain second level
  QUERY         TEXT,
  UNIQUE (LINE_NK, DATE_NK, TIME_NK, REQUEST_NK)
);

გამოყვანის

ამგვარად, დომენის სახელების სერვერის ჟურნალის ანალიზის შედეგად 50-ზე მეტი ჩანაწერი ცენზურას და ბლოკ სიაში მოთავსდა.

ზოგიერთი შეკითხვის აუცილებლობა კარგად არის აღწერილი პროგრამული უზრუნველყოფის მწარმოებლების მიერ და შთააგონებს ნდობას. თუმცა, საქმიანობის დიდი ნაწილი უსაფუძვლო და საეჭვოა.

წყარო: www.habr.com