AOL Moloch 2.3 নেটওয়ার্ক ট্রাফিক ইনডেক্সিং সিস্টেম প্রকাশ করে

AOL কোম্পানি মুক্তি পেয়েছে নেটওয়ার্ক প্যাকেট ক্যাপচার, সংরক্ষণ এবং সূচীকরণের জন্য একটি সিস্টেম প্রকাশ করা মোলোচ 2.3, যা দৃশ্যত ট্রাফিক প্রবাহের মূল্যায়ন এবং নেটওয়ার্ক কার্যকলাপ সম্পর্কিত তথ্য অনুসন্ধানের জন্য সরঞ্জাম সরবরাহ করে। কোডটি C ভাষায় লেখা হয় (Node.js/JavaScript-এ ইন্টারফেস) এবং দ্বারা বিতরণ Apache 2.0 এর অধীনে লাইসেন্সপ্রাপ্ত। লিনাক্স এবং ফ্রিবিএসডি-তে কাজ সমর্থন করে। প্রস্তুত প্যাকেজ CentOS এবং উবুন্টুর বিভিন্ন সংস্করণের জন্য প্রস্তুত।

একটি বাণিজ্যিক নেটওয়ার্ক প্যাকেট প্রসেসিং প্ল্যাটফর্মের জন্য একটি উন্মুক্ত প্রতিস্থাপন তৈরির লক্ষ্য নিয়ে 2012 সালে প্রকল্পটি তৈরি করা হয়েছিল যা AOL ট্র্যাফিকের পরিমাণে স্কেল করতে পারে। AOL-তে একটি নতুন সিস্টেম বাস্তবায়নের ফলে এটির সার্ভারে স্থাপনার কারণে পরিকাঠামোর উপর সম্পূর্ণ নিয়ন্ত্রণ অর্জন করা সম্ভব হয়েছে এবং খরচ উল্লেখযোগ্যভাবে হ্রাস করা সম্ভব হয়েছে - Moloch ব্যবহার করে সমস্ত AOL নেটওয়ার্কে ট্র্যাফিক সম্পূর্ণরূপে ক্যাপচার করার জন্য একই পরিমাণ খরচ হয়। বাণিজ্যিক সমাধান পূর্বে, এটি শুধুমাত্র একটি নেটওয়ার্কে ট্র্যাফিক ক্যাপচার করার জন্য ব্যয় করা হয়েছিল। সিস্টেমটি প্রতি সেকেন্ডে দশ গিগাবিট গতিতে ট্র্যাফিক প্রক্রিয়া করতে স্কেল করতে পারে। সঞ্চিত ডেটার পরিমাণ শুধুমাত্র উপলব্ধ ডিস্ক অ্যারের আকার দ্বারা সীমাবদ্ধ।
সেশন মেটাডেটা ইঞ্জিন-ভিত্তিক ক্লাস্টারে ইন্ডেক্স করা হয় Elasticsearch.

Moloch নেটিভ PCAP ফরম্যাটে ট্র্যাফিক ক্যাপচার এবং ইন্ডেক্স করার জন্য সরঞ্জামগুলি অন্তর্ভুক্ত করে, সেইসাথে সূচীকৃত ডেটাতে দ্রুত অ্যাক্সেসের জন্য। জমে থাকা তথ্য বিশ্লেষণ করতে, একটি ওয়েব ইন্টারফেস দেওয়া হয় যা আপনাকে নমুনা নেভিগেট, অনুসন্ধান এবং রপ্তানি করতে দেয়। এছাড়াও প্রদান করা হয় এপিআই, যা আপনাকে PCAP ফর্ম্যাটে ক্যাপচার করা প্যাকেটগুলি এবং JSON ফর্ম্যাটে পার্স করা সেশনগুলি তৃতীয়-পক্ষের অ্যাপ্লিকেশনগুলিতে স্থানান্তর করতে দেয়৷ PCAP ফর্ম্যাটের ব্যবহার ওয়্যারশার্কের মতো বিদ্যমান ট্রাফিক বিশ্লেষকগুলির সাথে একীকরণকে ব্যাপকভাবে সহজ করে।

মোলোচ তিনটি মৌলিক উপাদান নিয়ে গঠিত:

• ট্র্যাফিক ক্যাপচার সিস্টেম হল একটি মাল্টি-থ্রেডেড সি অ্যাপ্লিকেশান যা ট্র্যাফিক নিরীক্ষণ, ডিস্কে PCAP ফর্ম্যাটে ডাম্প লেখা, ক্যাপচার করা প্যাকেট পার্সিং এবং সেশন (SPI, স্টেটফুল প্যাকেট পরিদর্শন) এবং ইলাস্টিকসার্চ ক্লাস্টারে প্রোটোকল সম্পর্কে মেটাডেটা পাঠানোর জন্য। এনক্রিপ্ট করা আকারে PCAP ফাইল সংরক্ষণ করা সম্ভব।
• Node.js প্ল্যাটফর্মের উপর ভিত্তি করে একটি ওয়েব ইন্টারফেস, যা প্রতিটি ট্র্যাফিক ক্যাপচার সার্ভারে চলে এবং সূচীকৃত ডেটা অ্যাক্সেস এবং এর মাধ্যমে PCAP ফাইল স্থানান্তর সম্পর্কিত অনুরোধগুলি প্রক্রিয়া করে এপিআই.
• ইলাস্টিক সার্চের উপর ভিত্তি করে মেটাডেটা স্টোরেজ।

ওয়েব ইন্টারফেসটি বিভিন্ন দেখার মোড প্রদান করে - সাধারণ পরিসংখ্যান, সংযোগ মানচিত্র এবং নেটওয়ার্ক কার্যকলাপের পরিবর্তনের ডেটা সহ ভিজ্যুয়াল গ্রাফ থেকে শুরু করে পৃথক সেশনগুলি অধ্যয়নের জন্য সরঞ্জামগুলি, ব্যবহৃত প্রোটোকলগুলির পরিপ্রেক্ষিতে কার্যকলাপ বিশ্লেষণ করা এবং PCAP ডাম্প থেকে ডেটা পার্স করা।

В নতুন মুক্তিপ্রাপ্ত:

• ইলাস্টিকসার্চে সূচীকরণের জন্য একটি টাইপলেস বিন্যাস ব্যবহার করার জন্য একটি রূপান্তর করা হয়েছে।
• লুয়াতে ট্রাফিক ক্যাপচার ফিল্টারের উদাহরণ যোগ করা হয়েছে।
• QUIC প্রোটোকলের 46-খসড়া সংস্করণের জন্য সমর্থন বাস্তবায়িত হয়েছে।
• প্রোটোকল পার্স করার জন্য কোডটি পুনরায় কাজ করা হয়েছে, যার ফলে ইথারনেট এবং আইপি লেভেল প্রোটোকলের জন্য পার্সার লেখা সম্ভব হয়েছে।
• নতুন পার্সারগুলি arp, bgp, igmp, isis, lldp, ospf এবং পিম প্রোটোকলের জন্য, সেইসাথে অজানা unkEthernet এবং unkIpProtocol প্রোটোকলগুলির জন্য পার্সারগুলির জন্য প্রস্তাব করা হয়েছে৷
• নির্বাচনীভাবে পার্সার (অক্ষম পার্সার) অক্ষম করার জন্য একটি বিকল্প যোগ করা হয়েছে।
• সেটিংস পৃষ্ঠায় সেট করা চার্টে যেকোনো পূর্ণসংখ্যা ক্ষেত্র প্রদর্শন করার ক্ষমতা ওয়েব ইন্টারফেসে যোগ করা হয়েছে।
• গ্রাফ এবং শিরোনাম এখন হিমায়িত করা যেতে পারে এবং পৃষ্ঠা স্ক্রোল করার সময় সরানো যাবে না।
• বেশিরভাগ নেভিগেশন বার ডিফল্টরূপে লুকানো বা ভেঙে পড়ে।

উত্স: opennet.ru