কিভাবে হোম ইন্টারনেট লাইভ এবং ডোমেইন নাম সার্ভার পরিসংখ্যান?

একটি হোম রাউটার (এই ক্ষেত্রে FritzBox) অনেক কিছু রেকর্ড করতে পারে: কখন কত ট্র্যাফিক যাচ্ছে, কে কী গতিতে সংযুক্ত আছে ইত্যাদি। স্থানীয় নেটওয়ার্কে একটি ডোমেন নাম সার্ভার (DNS) আমাকে অজানা প্রাপকদের পিছনে কী লুকিয়ে ছিল তা খুঁজে বের করতে সাহায্য করেছে।

সামগ্রিকভাবে, DNS হোম নেটওয়ার্কে ইতিবাচক প্রভাব ফেলেছে: এটি গতি, স্থিতিশীলতা এবং পরিচালনাযোগ্যতা যোগ করেছে।

নীচে একটি চিত্র রয়েছে যা প্রশ্ন উত্থাপন করেছে এবং কী ঘটছিল তা বোঝার প্রয়োজন। ফলাফল ইতিমধ্যে ডোমেন নাম সার্ভারে পরিচিত এবং কার্যকরী অনুরোধ ফিল্টার আউট.

কেন 60টি অস্পষ্ট ডোমেন প্রতিদিন পোল করা হয় যখন সবাই এখনও ঘুমাচ্ছে?

প্রতিদিন, 440টি অজানা ডোমেন সক্রিয় সময়ে পোল করা হয়। তারা কারা এবং তারা কি করে?

ঘণ্টায় প্রতিদিন অনুরোধের গড় সংখ্যা

এসকিউএল রিপোর্ট ক্যোয়ারী

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Line: DNS Requests per Day for Hours',
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch')) AS 'Day',
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS 'Requests per Day'
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY /* hour aggregate */
  strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))
ORDER BY strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))

রাতে, ওয়্যারলেস অ্যাক্সেস অক্ষম করা হয় এবং ডিভাইস কার্যকলাপ প্রত্যাশিত, যেমন অজানা ডোমেনের জন্য কোন পোলিং নেই। এর মানে হল যে Android, iOS এবং Blackberry OS এর মতো অপারেটিং সিস্টেম সহ ডিভাইসগুলি থেকে সবচেয়ে বেশি কার্যকলাপ আসে৷

আসুন নিবিড়ভাবে পোল করা ডোমেনগুলির তালিকা করি। তীব্রতা নির্ধারণ করা হবে পরামিতিগুলির দ্বারা যেমন প্রতিদিন অনুরোধের সংখ্যা, কার্যকলাপের দিনের সংখ্যা এবং দিনের কত ঘন্টা তারা লক্ষ্য করা হয়েছিল।

সব প্রত্যাশিত সন্দেহভাজন তালিকায় ছিল.

নিবিড়ভাবে পোল করা ডোমেন

এসকিউএল রিপোর্ট ক্যোয়ারী

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT 
  1 as 'Table: Havy DNS Requests',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests per Day',
  DH AS 'Hours per Day',
  DAYS AS 'Active Days'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  COUNT(DISTINCT REQUEST_NK) AS SUBD,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ,
  ROUND(1.0*COUNT(DISTINCT strftime('%d.%m %H', datetime(EVENT_DT, 'unixepoch')))/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS DH
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
GROUP BY REQUEST_NK )
WHERE DAYS > 9 -- long period
ORDER BY 4 DESC, 5 DESC
LIMIT 20

আমরা isс.blackberry.com এবং iceberg.blackberry.com ব্লক করি, যা নির্মাতা নিরাপত্তার কারণে ন্যায্যতা দেবে। ফলাফল: WLAN এর সাথে সংযোগ করার চেষ্টা করার সময়, এটি লগইন পৃষ্ঠাটি দেখায় এবং আর কোথাও সংযোগ করে না। এর অবরোধ মুক্ত করা যাক।

detectportal.firefox.com একই প্রক্রিয়া, শুধুমাত্র ফায়ারফক্স ব্রাউজারে প্রয়োগ করা হয়। আপনি যদি WLAN নেটওয়ার্কে লগ ইন করতে চান তবে এটি প্রথমে লগইন পৃষ্ঠাটি দেখাবে। কেন ঠিকানাটি এত ঘন ঘন পিং করা উচিত তা সম্পূর্ণরূপে পরিষ্কার নয়, তবে প্রস্তুতকারকের দ্বারা প্রক্রিয়াটি স্পষ্টভাবে বর্ণনা করা হয়েছে।

স্কাইপ এই প্রোগ্রামের ক্রিয়াগুলি একটি কীটের মতো: এটি লুকিয়ে রাখে এবং কেবল টাস্কবারে নিজেকে মারার অনুমতি দেয় না, নেটওয়ার্কে প্রচুর ট্র্যাফিক তৈরি করে, প্রতি 10 মিনিটে 4টি ডোমেন পিং করে। একটি ভিডিও কল করার সময়, ইন্টারনেট সংযোগ ক্রমাগত ভেঙে যায়, যখন এটি ভাল হতে পারে না। আপাতত এটি প্রয়োজনীয়, তাই এটি থেকে যায়।

upload.fp.measure.office.com - অফিস 365 বোঝায়, আমি একটি উপযুক্ত বিবরণ খুঁজে পাইনি।
browser.pipe.aria.microsoft.com - আমি একটি শালীন বর্ণনা খুঁজে পাইনি।
আমরা উভয়ই ব্লক করি।

connect.facebook.net - ফেসবুক চ্যাট অ্যাপ্লিকেশন। থেকে যায়।

mediator.mail.ru mail.ru ডোমেনের জন্য সমস্ত অনুরোধের একটি বিশ্লেষণে বিপুল সংখ্যক বিজ্ঞাপন সংস্থান এবং পরিসংখ্যান সংগ্রাহকদের উপস্থিতি দেখানো হয়েছে, যা অবিশ্বাসের কারণ। mail.ru ডোমেইন সম্পূর্ণরূপে কালো তালিকায় পাঠানো হয়েছে।

google-analytics.com - ডিভাইসের কার্যকারিতা প্রভাবিত করে না, তাই আমরা এটি ব্লক করি।
doubleclick.net - বিজ্ঞাপনের ক্লিক গণনা করে। আমরা ব্লক করি।

অনেক অনুরোধ googleapis.com এ যান। ব্লক করার ফলে ট্যাবলেটে সংক্ষিপ্ত বার্তাগুলি আনন্দদায়ক বন্ধ হয়ে গেছে, যা আমার কাছে নির্বোধ বলে মনে হচ্ছে। কিন্তু প্লেস্টোরটি কাজ করা বন্ধ করে দিয়েছে, তাই এটিকে আনব্লক করা যাক।

cloudflare.com - তারা লিখে যে তারা ওপেন সোর্স পছন্দ করে এবং সাধারণভাবে নিজেদের সম্পর্কে অনেক কিছু লেখে। ডোমেন সমীক্ষার তীব্রতা সম্পূর্ণরূপে পরিষ্কার নয়, যা প্রায়শই ইন্টারনেটে প্রকৃত কার্যকলাপের চেয়ে অনেক বেশি। আপাতত রেখে দিই।

সুতরাং, অনুরোধের তীব্রতা প্রায়শই ডিভাইসগুলির প্রয়োজনীয় কার্যকারিতার সাথে সম্পর্কিত। কিন্তু যারা ক্রিয়াকলাপের সাথে এটি বাড়ায় তাদেরও আবিষ্কার করা হয়েছিল।

সর্ব প্রথম

যখন ওয়্যারলেস ইন্টারনেট চালু থাকে, তখনও সবাই ঘুমিয়ে থাকে এবং নেটওয়ার্কে প্রথমে কোন অনুরোধ পাঠানো হয় তা দেখা সম্ভব। সুতরাং, 6:50 এ ইন্টারনেট চালু হয় এবং প্রথম দশ মিনিটের সময়ের মধ্যে প্রতিদিন 60টি ডোমেইন পোল করা হয়:

এসকিউএল রিপোর্ট ক্যোয়ারী

WITH CLS AS ( /* prepare unique requests */
SELECT
DISTINCT DATE_NK,
STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' ||
	CASE SUBSTR(DATE_NK,4,3)
	WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06'
	WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11'
	ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT,
REQUEST_NK, DOMAIN
FROM STG_BIND9_LOG )
SELECT
  1 as 'Table: First DNS Requests at 06:00',
  REQUEST_NK AS 'Request',
  DOMAIN AS 'Domain',
  REQ AS 'Requests',
  DAYS AS 'Active Days',
  strftime('%H:%M', datetime(MIN_DT, 'unixepoch')) AS 'First Ping',
  strftime('%H:%M', datetime(MAX_DT, 'unixepoch')) AS 'Last Ping'
FROM (
SELECT
  REQUEST_NK, MAX(DOMAIN) AS DOMAIN,
  MIN(EVENT_DT) AS MIN_DT,
  MAX(EVENT_DT) AS MAX_DT,
  COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS,
  ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ
FROM CLS
WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org')
  AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days')
  AND strftime('%H', datetime(EVENT_DT, 'unixepoch')) = strftime('%H', '2019-08-01 06:50:00')
GROUP BY REQUEST_NK
 )
WHERE DAYS > 3 -- at least 4 days activity
ORDER BY 5 DESC, 4 DESC

ফায়ারফক্স একটি লগইন পৃষ্ঠার উপস্থিতির জন্য WLAN সংযোগ পরীক্ষা করে।
সিট্রিক্স তার সার্ভারকে পিং করছে যদিও অ্যাপ্লিকেশনটি সক্রিয়ভাবে চলছে না।
Symantec সার্টিফিকেট যাচাই করে।
Mozilla আপডেটের জন্য চেক করে, যদিও সেটিংসে আমি এটি না করতে বলেছি।

mmo.de একটি গেমিং পরিষেবা। খুব সম্ভবত অনুরোধটি ফেসবুক চ্যাটের মাধ্যমে শুরু হয়েছে। আমরা ব্লক করি।

অ্যাপল তার সমস্ত পরিষেবা সক্রিয় করবে। api-glb-fra.smoot.apple.com - বর্ণনা দ্বারা বিচার, প্রতিটি বোতাম ক্লিক সার্চ ইঞ্জিন অপ্টিমাইজেশান উদ্দেশ্যে এখানে পাঠানো হয়. অত্যন্ত সন্দেহজনক, কিন্তু কার্যকারিতা সম্পর্কিত। আমরা এটা ছেড়ে.

নিচে microsoft.com-এর অনুরোধের একটি দীর্ঘ তালিকা রয়েছে। আমরা তৃতীয় স্তর থেকে শুরু করে সমস্ত ডোমেইন ব্লক করি।

প্রথম সাবডোমেনের সংখ্যা


সুতরাং, ওয়্যারলেস ইন্টারনেট চালু করার প্রথম 10 মিনিট।
iOS সবচেয়ে বেশি সাবডোমেন পোল করে - 32. এরপর অ্যান্ড্রয়েড - 24, তারপরে উইন্ডোজ - 15 এবং সবশেষে ব্ল্যাকবেরি - 9।
ফেসবুক অ্যাপ্লিকেশন একা পোল 10 ডোমেইন, স্কাইপ পোল 9 ডোমেন.

তথ্য উত্স

বিশ্লেষণের উত্সটি ছিল bind9 স্থানীয় সার্ভার লগ ফাইল, যা নিম্নলিখিত বিন্যাস ধারণ করে:

01-Aug-2019 20:03:30.996 client 192.168.0.2#40693 (api.aps.skype.com): query: api.aps.skype.com IN A + (192.168.0.102)

ফাইলটি একটি sqlite ডাটাবেসে আমদানি করা হয়েছিল এবং SQL কোয়েরি ব্যবহার করে বিশ্লেষণ করা হয়েছিল।
সার্ভার একটি ক্যাশে হিসাবে কাজ করে; অনুরোধ রাউটার থেকে আসে, তাই সবসময় একটি অনুরোধ ক্লায়েন্ট থাকে। একটি সরলীকৃত টেবিল গঠন যথেষ্ট, যেমন প্রতিবেদনের জন্য অনুরোধের সময়, অনুরোধ নিজেই এবং গ্রুপিংয়ের জন্য দ্বিতীয়-স্তরের ডোমেন প্রয়োজন।

ডিডিএল টেবিল

CREATE TABLE STG_BIND9_LOG (
  LINE_NK       INTEGER NOT NULL DEFAULT 1,
  DATE_NK       TEXT NOT NULL DEFAULT 'n.a.',
  TIME_NK       TEXT NOT NULL DEFAULT 'n.a.',
  CLI           TEXT, -- client
  IP            TEXT,
  REQUEST_NK    TEXT NOT NULL DEFAULT 'n.a.', -- requested domain
  DOMAIN        TEXT NOT NULL DEFAULT 'n.a.', -- domain second level
  QUERY         TEXT,
  UNIQUE (LINE_NK, DATE_NK, TIME_NK, REQUEST_NK)
);

উপসংহার

এইভাবে, ডোমেন নাম সার্ভার লগ বিশ্লেষণের ফলে, 50 টিরও বেশি রেকর্ড সেন্সর করা হয়েছিল এবং ব্লক তালিকায় রাখা হয়েছিল।

কিছু প্রশ্নের প্রয়োজনীয়তা সফ্টওয়্যার নির্মাতারা ভালভাবে বর্ণনা করেছেন এবং আত্মবিশ্বাসকে অনুপ্রাণিত করে। যাইহোক, কর্মকান্ডের বেশিরভাগই ভিত্তিহীন এবং সন্দেহজনক।

উত্স: www.habr.com