כיצד פועל האינטרנט הביתי והסטטיסטיקה של שרת שמות הדומיין?

נתב ביתי (במקרה זה FritzBox) יכול להקליט הרבה: כמה תנועה עוברת מתי, מי מחובר באיזו מהירות וכו'. שרת שמות דומיין (DNS) ברשת המקומית עזר לי לגלות מה מסתתר מאחורי הנמענים הלא ידועים.

בסך הכל, ל-DNS הייתה השפעה חיובית על הרשת הביתית: הוא הוסיף מהירות, יציבות ויכולת ניהול.

להלן תרשים שהעלה שאלות ואת הצורך להבין מה קורה. התוצאות כבר מסננות בקשות ידועות ועובדות לשרתי שמות דומיין.

מדוע 60 דומיינים לא ברורים נבדקים כל יום בזמן שכולם עדיין ישנים?

מדי יום, 440 דומיינים לא ידועים נבדקים במהלך שעות פעילות. מי הם ומה הם עושים?

מספר בקשות ממוצע ליום לשעה

שאילתת דוח SQL

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Line: DNS Requests per Day for Hours',
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch')) AS 'Day',
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS 'Requests per Day'
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY /* hour aggregate */
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))
ORDER BY strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))

בלילה, הגישה האלחוטית מושבתת וצפויה פעילות מכשירים, כלומר. אין סקר עבור דומיינים לא ידועים. המשמעות היא שהפעילות הגדולה ביותר מגיעה ממכשירים עם מערכות הפעלה כמו אנדרואיד, iOS ו-Blackberry OS.

הבה נרשום את התחומים שנשאלים באופן אינטנסיבי. האינטנסיביות תיקבע לפי פרמטרים כמו מספר הבקשות ביום, מספר ימי הפעילות ובכמה שעות ביום הבחינו בהן.

כל החשודים הצפויים היו ברשימה.

תחומים שנשאלו באופן אינטנסיבי

שאילתת דוח SQL

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT 
  1 as 'Table: Havy DNS Requests',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests per Day',
  DH AS 'Hours per Day',
  DAYS AS 'Active Days'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  COUNT(DISTINCT REQUEST_NK) AS SUBD,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ,
  ROUND(1.0*COUNT(DISTINCT strftime('%d.%m %H', datetime(EVENT_DT, 'unixepoch')))/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS DH
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY REQUEST_NK )
WHERE DAYS > 9 -- long period
ORDER BY 4 DESC, 5 DESC
LIMIT 20

אנו חוסמים את isс.blackberry.com ואת iceberg.blackberry.com, מה שהיצרן יצדיק מטעמי אבטחה. תוצאה: כאשר מנסים להתחבר ל-WLAN, הוא מציג את דף הכניסה ולא מתחבר שוב לשום מקום. בואו נבטל את החסימה.

detectportal.firefox.com הוא אותו מנגנון, מיושם רק בדפדפן Firefox. אם אתה צריך להתחבר לרשת ה-WLAN, זה יציג תחילה את דף הכניסה. לא לגמרי ברור מדוע יש לבצע ping של הכתובת לעתים קרובות כל כך, אך המנגנון מתואר בבירור על ידי היצרן.

סקייפ. הפעולות של תוכנית זו דומות לתולעת: היא מתחבאת ואינה מאפשרת פשוט להיהרג בשורת המשימות, מייצרת תעבורה רבה ברשת, פינג 10 דומיינים כל 4 דקות. בעת ביצוע שיחת וידאו, החיבור לאינטרנט מתקלקל כל הזמן, כאשר זה לא יכול להיות טוב יותר. בינתיים זה הכרחי, אז זה נשאר.

upload.fp.measure.office.com - מתייחס ל-Office 365, לא הצלחתי למצוא תיאור הגון.
browser.pipe.aria.microsoft.com - לא הצלחתי למצוא תיאור הגון.
אנחנו חוסמים את שניהם.

connect.facebook.net - אפליקציית צ'אט בפייסבוק. שְׂרִידִים.

mediator.mail.ru ניתוח של כל הבקשות לדומיין mail.ru הראה נוכחות של מספר עצום של משאבי פרסום ואספני סטטיסטיקה, מה שגורם לחוסר אמון. הדומיין mail.ru נשלח כולו לרשימה השחורה.

google-analytics.com - אינו משפיע על הפונקציונליות של מכשירים, ולכן אנו חוסמים אותו.
doubleclick.net - סופר הקלקות פרסום. אנחנו חוסמים.

בקשות רבות עוברות אל googleapis.com. החסימה הובילה לכיבוי משמח של הודעות קצרות בטאבלט, שנראות לי מטופשות. אבל חנות הפלייסטיישן הפסיקה לעבוד, אז בואו נבטל את החסימה.

cloudflare.com - הם כותבים שהם אוהבים קוד פתוח ובאופן כללי כותבים הרבה על עצמם. עוצמת סקר התחום לא לגמרי ברורה, שלעיתים גבוהה בהרבה מהפעילות בפועל באינטרנט. בוא נעזוב את זה לעת עתה.

לפיכך, עוצמת הבקשות קשורה לרוב לפונקציונליות הנדרשת של המכשירים. אבל התגלו גם אלה שהגזימו בפעילות.

הראשון

כשהאינטרנט האלחוטי מופעל כולם עדיין ישנים וניתן לראות אילו בקשות נשלחות קודם לרשת. אז, בשעה 6:50 האינטרנט נדלק ובפרק הזמן הראשון של עשר דקות 60 דומיינים נבדקים מדי יום:

שאילתת דוח SQL

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Table: First DNS Requests at 06:00',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests',
  DAYS AS 'Active Days',
  strftime('%H:%M', datetime(MIN_DT, 'unixepoch')) AS 'First Ping',
  strftime('%H:%M', datetime(MAX_DT, 'unixepoch')) AS 'Last Ping'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  MIN(EVENT_DT) AS MIN_DT,
  MAX(EVENT_DT) AS MAX_DT,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
  AND strftime('%H', datetime(EVENT_DT, 'unixepoch')) = strftime('%H', '2019-08-01 06:50:00')
GROUP BY REQUEST_NK
 )
WHERE DAYS > 3 -- at least 4 days activity
ORDER BY 5 DESC, 4 DESC

Firefox בודק את חיבור ה-WLAN אם יש דף כניסה.
Citrix מבצעת פינג לשרת שלה למרות שהאפליקציה לא פועלת באופן פעיל.
סימנטק מאמתת אישורים.
מוזילה בודקת עדכונים, למרות שבהגדרות ביקשתי לא לעשות זאת.

mmo.de הוא שירות משחקים. סביר להניח שהבקשה יזומה בצ'אט בפייסבוק. אנחנו חוסמים.

אפל תפעיל את כל השירותים שלה. api-glb-fra.smoot.apple.com - אם לשפוט לפי התיאור, כל לחיצה על כפתור נשלחת לכאן למטרות אופטימיזציה למנועי חיפוש. חשוד מאוד, אבל קשור לפונקציונליות. אנחנו משאירים את זה.

להלן רשימה ארוכה של בקשות ל-microsoft.com. אנו חוסמים את כל הדומיינים החל מהרמה השלישית.

מספר תת-הדומיינים הראשונים


אז, 10 הדקות הראשונות של הפעלת האינטרנט האלחוטי.
ב-iOS סקרים הכי הרבה תת-דומיינים - 32. אחריו אנדרואיד - 24, אחר כך Windows - 15 ולבסוף Blackberry - 9.
אפליקציית פייסבוק לבדה סוקרת 10 דומיינים, סקייפ סוקרת 9 דומיינים.

מקור מידע

המקור לניתוח היה קובץ יומן השרת המקומי bind9, המכיל את הפורמט הבא:

01-Aug-2019 20:03:30.996 client 192.168.0.2#40693 (api.aps.skype.com): query: api.aps.skype.com IN A + (192.168.0.102)

הקובץ יובא למסד נתונים של sqlite ונותח באמצעות שאילתות SQL.
השרת פועל כמטמון; בקשות מגיעות מהנתב, כך שתמיד יש לקוח בקשה אחד. מספיק מבנה טבלה פשוט, כלומר. הדוח דורש את זמן הבקשה, את הבקשה עצמה ואת הדומיין ברמה השנייה לקיבוץ.

טבלאות DDL

CREATE TABLE STG_BIND9_LOG (
  LINE_NK       INTEGER NOT NULL DEFAULT 1,
  DATE_NK       TEXT NOT NULL DEFAULT 'n.a.',
  TIME_NK       TEXT NOT NULL DEFAULT 'n.a.',
  CLI           TEXT, -- client
  IP            TEXT,
  REQUEST_NK    TEXT NOT NULL DEFAULT 'n.a.', -- requested domain
  DOMAIN        TEXT NOT NULL DEFAULT 'n.a.', -- domain second level
  QUERY         TEXT,
  UNIQUE (LINE_NK, DATE_NK, TIME_NK, REQUEST_NK)
);

פלט

כך, כתוצאה מניתוח יומן שרת שמות הדומיין, צונזרו יותר מ-50 רשומות והוצבו ברשימת החסימות.

הנחיצות של כמה שאילתות מתוארת היטב על ידי יצרני תוכנה ומעוררת אמון. עם זאת, חלק ניכר מהפעילות מופרך ומפוקפק.

מקור: www.habr.com