ইলাস্টিক স্ট্যাকে মেশিন লার্নিং বোঝা (ওরফে ইলাস্টিকসার্চ, ওরফে ELK)

মনে রাখবেন যে ইলাস্টিক স্ট্যাকটি অ-রিলেশনাল ডাটাবেস ইলাস্টিকসার্চ, কিবানা ওয়েব ইন্টারফেস এবং ডেটা সংগ্রাহক (সবচেয়ে বিখ্যাত লগস্ট্যাশ, বিভিন্ন বিটস, এপিএম এবং অন্যান্য) এর উপর ভিত্তি করে তৈরি। তালিকাভুক্ত সমগ্র পণ্যের স্ট্যাকের একটি চমৎকার সংযোজন হল মেশিন লার্নিং অ্যালগরিদম ব্যবহার করে ডেটা বিশ্লেষণ। নিবন্ধে আমরা বুঝতে পারি এই অ্যালগরিদমগুলি কী। দয়া করে বিড়ালের নিচে।

মেশিন লার্নিং হল শেয়ারওয়্যার ইলাস্টিক স্ট্যাকের একটি প্রদত্ত বৈশিষ্ট্য এবং এটি এক্স-প্যাকের অন্তর্ভুক্ত। এটি ব্যবহার শুরু করার জন্য, এটি ইনস্টলেশনের পরে 30-দিনের ট্রায়াল সক্রিয় করার জন্য যথেষ্ট। ট্রায়ালের মেয়াদ শেষ হওয়ার পরে, আপনি এটি পুনর্নবীকরণ করতে বা সদস্যতা কিনতে সহায়তার অনুরোধ করতে পারেন। সাবস্ক্রিপশন মূল্য ডেটার পরিমাণের উপর নয়, ব্যবহৃত নোডের সংখ্যার উপর গণনা করা হয়। না, ডেটার পরিমাণ অবশ্যই, প্রয়োজনীয় নোডের সংখ্যাকে প্রভাবিত করে, কিন্তু তারপরও লাইসেন্স দেওয়ার এই পদ্ধতিটি কোম্পানির বাজেটের ক্ষেত্রে আরও মানবিক। উচ্চ কর্মক্ষমতা জন্য কোন প্রয়োজন না হলে, আপনি অর্থ সঞ্চয় করতে পারেন.

ইলাস্টিক স্ট্যাকের এমএল C++ এ লেখা আছে এবং JVM এর বাইরে চলে যেখানে ইলাস্টিকসার্চ নিজেই চলে। অর্থাৎ, প্রক্রিয়াটি (উপায় দ্বারা, এটিকে অটোডিটেক্ট বলা হয়) সবকিছু গ্রাস করে যা JVM গ্রাস করে না। ডেমো স্ট্যান্ডে, এটি এতটা সমালোচনামূলক নয়, তবে একটি উত্পাদনশীল পরিবেশে, এমএল কাজের জন্য আলাদা নোড বরাদ্দ করা গুরুত্বপূর্ণ।

মেশিন লার্নিং অ্যালগরিদম দুটি বিভাগে পড়ে - একজন শিক্ষকের সাথে и শিক্ষক ছাড়া. ইলাস্টিক স্ট্যাকে, অ্যালগরিদমটি "নিরীক্ষণহীন" বিভাগ থেকে। দ্বারা এই লিঙ্কটি আপনি মেশিন লার্নিং অ্যালগরিদমের গাণিতিক যন্ত্রপাতি দেখতে পারেন।

মেশিন লার্নিং অ্যালগরিদম বিশ্লেষণ করতে ইলাস্টিক সার্চ ইনডেক্সে সংরক্ষিত ডেটা ব্যবহার করে। আপনি কিবানা ইন্টারফেস এবং API এর মাধ্যমে বিশ্লেষণের জন্য কাজ তৈরি করতে পারেন। যদি আপনি কিবানার মাধ্যমে এটি করেন তবে আপনাকে কিছু জিনিস জানার দরকার নেই। উদাহরণস্বরূপ, অতিরিক্ত সূচকগুলি যা অ্যালগরিদম অপারেশনের সময় ব্যবহার করে।

বিশ্লেষণ প্রক্রিয়ায় ব্যবহৃত অতিরিক্ত সূচক.ml-state - পরিসংখ্যানগত মডেল সম্পর্কে তথ্য (বিশ্লেষণ সেটিংস);
.ml-অসংগতি-* - ML অ্যালগরিদমের ফলাফল;
.ml-notifications — বিশ্লেষণ ফলাফলের উপর ভিত্তি করে বিজ্ঞপ্তি সেটিংস।

ইলাস্টিকসার্চ ডাটাবেসের ডাটা স্ট্রাকচার ইনডেক্স এবং সেগুলিতে সঞ্চিত নথিগুলি নিয়ে গঠিত। একটি রিলেশনাল ডাটাবেসের সাথে তুলনা করে, একটি সূচককে একটি ডাটাবেস স্কিমার সাথে এবং একটি নথিকে একটি টেবিলের রেকর্ডের সাথে তুলনা করা যেতে পারে। এই তুলনা শর্তসাপেক্ষ এবং যারা শুধুমাত্র ইলাস্টিকসার্চ সম্পর্কে শুনেছেন তাদের জন্য আরও উপাদান বোঝা সহজ করার জন্য দেওয়া হয়েছে।

ওয়েব ইন্টারফেসের মতো API-এর মাধ্যমে একই কার্যকারিতা পাওয়া যায়, তাই ধারণাগুলির স্পষ্টতা এবং বোঝার জন্য, আমরা দেখাব কিভাবে কিবানার মাধ্যমে কনফিগার করা যায়। বাম দিকের মেনুতে একটি মেশিন লার্নিং বিভাগ রয়েছে, যেখানে আপনি একটি নতুন চাকরি (চাকরি) তৈরি করতে পারেন। কিবানা ইন্টারফেসে, এটি নীচের ছবির মত দেখায়। এখন আমরা প্রতিটি ধরণের টাস্ক বিশ্লেষণ করব এবং বিশ্লেষণের ধরনগুলি দেখাব যা এখানে তৈরি করা যেতে পারে।

একক মেট্রিক - এক মেট্রিকের বিশ্লেষণ, মাল্টি মেট্রিক - দুই বা ততোধিক মেট্রিকের বিশ্লেষণ। উভয় ক্ষেত্রেই, প্রতিটি মেট্রিক একটি বিচ্ছিন্ন পরিবেশে বিশ্লেষণ করা হয়, যেমন অ্যালগরিদম সমান্তরালভাবে বিশ্লেষণ করা মেট্রিকের আচরণকে বিবেচনা করে না, যেমনটি মাল্টি মেট্রিকের ক্ষেত্রে মনে হতে পারে। বিভিন্ন মেট্রিক্সের পারস্পরিক সম্পর্ক বিবেচনা করে গণনা করতে, আপনি জনসংখ্যা বিশ্লেষণ প্রয়োগ করতে পারেন। এবং অ্যাডভান্সড হল কিছু নির্দিষ্ট কাজের জন্য অতিরিক্ত বিকল্প সহ অ্যালগরিদমের একটি সূক্ষ্ম-টিউনিং।

একক মেট্রিক

একটি একক মেট্রিকের পরিবর্তন বিশ্লেষণ করা এখানে সবচেয়ে সহজ কাজ। Create Job-এ ক্লিক করার পর, অ্যালগরিদম অসঙ্গতিগুলো দেখবে।

ক্ষেত্রে মোট পরিমাণ আপনি অসঙ্গতিগুলি অনুসন্ধান করার পদ্ধতি বেছে নিতে পারেন। উদাহরণস্বরূপ, যখন ন্যূনতম সাধারণ মানের নীচের মানগুলি অস্বাভাবিক হিসাবে বিবেচিত হবে। খাওয়া সর্বোচ্চ, উচ্চ গড়, নিম্ন, গড়, স্বতন্ত্র এবং অন্যদের. সব ফাংশন বিবরণ পাওয়া যাবে লিংক.

ক্ষেত্রে ক্ষেত্র নথিতে সাংখ্যিক ক্ষেত্রটি নির্দেশিত হয়েছে, যা অনুসারে আমরা বিশ্লেষণ করব।

ক্ষেত্রে বালতি স্প্যান - টাইমলাইনে ফাঁকগুলির গ্রানুলারিটি, যার ভিত্তিতে বিশ্লেষণ করা হবে। আপনি অটোমেশন বিশ্বাস করতে পারেন বা ম্যানুয়ালি চয়ন করতে পারেন। নীচের চিত্রটি খুব কম গ্রানুলারিটির একটি উদাহরণ দেখায় - আপনি অসঙ্গতি মিস করতে পারেন। এই সেটিং দিয়ে, আপনি অ্যালগরিদমের সংবেদনশীলতা পরিবর্তন করতে পারেন।

সংগৃহীত ডেটার সময়কাল একটি মূল জিনিস যা বিশ্লেষণের কার্যকারিতাকে প্রভাবিত করে। বিশ্লেষণের সময়, অ্যালগরিদম পুনরাবৃত্তি ব্যবধান নির্ধারণ করে, আত্মবিশ্বাসের ব্যবধান (বেসলাইন) গণনা করে এবং অসংগতিগুলি সনাক্ত করে - মেট্রিকের স্বাভাবিক আচরণ থেকে অ্যাটিপিকাল বিচ্যুতি। শুধু উদাহরণস্বরূপ:

একটি ছোট ডেটা সেগমেন্টের জন্য বেসলাইন:

যখন অ্যালগরিদম থেকে কিছু শেখার থাকে, তখন বেসলাইনগুলি এইরকম দেখায়:

কাজটি শুরু করার পরে, অ্যালগরিদম আদর্শ থেকে অস্বাভাবিক বিচ্যুতি নির্ধারণ করে এবং অসঙ্গতির সম্ভাব্যতা অনুসারে সেগুলিকে স্থান দেয় (সংশ্লিষ্ট লেবেলের রঙটি বন্ধনীতে নির্দেশিত হয়):

সতর্কতা (নীল): 25 এর কম
অপ্রাপ্তবয়স্ক (হলুদ): 25-50
প্রধান (কমলা): 50-75
ক্রিটিক্যাল (লাল): 75-100

নীচের গ্রাফটি পাওয়া অসঙ্গতির সাথে একটি উদাহরণ দেখায়।

এখানে আপনি 94 নম্বর দেখতে পারেন, যা একটি অসঙ্গতির সম্ভাবনা নির্দেশ করে। এটা স্পষ্ট যে যেহেতু মান 100 এর কাছাকাছি, তাহলে আমাদের একটি অসঙ্গতি আছে। গ্রাফের নীচের কলামটি সেখানে উপস্থিত মেট্রিক মানের 0.000063634% এর একটি নিন্দনীয়ভাবে ছোট সম্ভাবনা নির্দেশ করে৷

কিবানায় অসঙ্গতিগুলি অনুসন্ধান করার পাশাপাশি, আপনি পূর্বাভাস চালাতে পারেন। এটি প্রাথমিকভাবে এবং অসঙ্গতিগুলির সাথে একই উপস্থাপনা থেকে করা হয় - বোতাম পূর্বাভাস উপরের ডান কোণায়।

পূর্বাভাসটি 8 সপ্তাহ আগে পর্যন্ত তৈরি করা হয়েছে। এমনকি যদি আপনি সত্যিই চান, আপনি নকশা দ্বারা আর পারবেন না.

কিছু পরিস্থিতিতে, পূর্বাভাস খুব দরকারী হবে, উদাহরণস্বরূপ, যখন অবকাঠামোতে ব্যবহারকারীর লোড নিরীক্ষণ করা হয়।

মাল্টিমেট্রিক

চলুন ইলাস্টিক স্ট্যাকের পরবর্তী এমএল বৈশিষ্ট্যে যাওয়া যাক - একটি ব্যাচে বেশ কয়েকটি মেট্রিক্সের বিশ্লেষণ। কিন্তু এর মানে এই নয় যে এক মেট্রিকের উপর অন্য মেট্রিকের নির্ভরতা বিশ্লেষণ করা হবে। এটি একটির উপর একটির প্রভাবের সহজ তুলনা করার জন্য শুধুমাত্র একটি স্ক্রিনে একাধিক মেট্রিক সহ একক মেট্রিকের মতোই৷ আমরা জনসংখ্যা অংশে একটি মেট্রিকের উপর অন্য মেট্রিকের নির্ভরতার বিশ্লেষণ সম্পর্কে কথা বলব।

মাল্টি মেট্রিক সহ স্কোয়ারে ক্লিক করার পরে, সেটিংস সহ একটি উইন্ডো প্রদর্শিত হবে। আসুন আরো বিস্তারিতভাবে তাদের উপর বসবাস করা যাক।

প্রথমে আপনাকে বিশ্লেষণের জন্য ক্ষেত্রগুলি নির্বাচন করতে হবে এবং সেগুলিতে ডেটা একত্রিত করতে হবে। এখানে একত্রীকরণ বিকল্পগুলি একক মেট্রিকের মতোই (সর্বোচ্চ, উচ্চ গড়, নিম্ন, গড়, স্বতন্ত্র এবং অন্যদের). আরও, ডেটা, যদি ইচ্ছা হয়, ক্ষেত্রগুলির একটিতে বিভক্ত করা হয় (ক্ষেত্র বিভক্ত তথ্য) উদাহরণে, আমরা মাঠ জুড়ে এটি করেছি OriginAirportID. লক্ষ্য করুন যে ডানদিকের মেট্রিক্স গ্রাফটি এখন গ্রাফের একটি সেট হিসাবে উপস্থাপন করা হয়েছে।

ক্ষেত্র মূল ক্ষেত্র (প্রভাবক) পাওয়া অসঙ্গতিগুলিকে সরাসরি প্রভাবিত করে। ডিফল্টরূপে, সর্বদা কমপক্ষে একটি মান থাকবে এবং আপনি আরও যোগ করতে পারেন। অ্যালগরিদম বিশ্লেষণে এই ক্ষেত্রগুলির প্রভাব বিবেচনা করবে এবং সর্বাধিক "প্রভাবশালী" মানগুলি দেখাবে৷

লঞ্চের পরে, কিবানা ইন্টারফেসে নিম্নলিখিত ছবিটি প্রদর্শিত হবে।

এই তথাকথিত হয়. প্রতিটি ক্ষেত্রের মানের জন্য অসঙ্গতির তাপ মানচিত্র OriginAirportIDযা আমরা ইঙ্গিত করেছি বিভক্ত তথ্য. একক মেট্রিকের মতো, রঙটি আউটলারের স্তর নির্দেশ করে। অনুরূপ বিশ্লেষণ করা সুবিধাজনক, উদাহরণস্বরূপ, ওয়ার্কস্টেশনগুলিতে যেখানে সন্দেহজনকভাবে অনেক অনুমোদন রয়েছে, ইত্যাদির সন্ধান করা। আমরা ইতিমধ্যে লিখেছি উইন্ডোজ ইভেন্টলগে সন্দেহজনক ঘটনা সম্পর্কে, যা এখানে সংগ্রহ ও বিশ্লেষণ করা যেতে পারে।

তাপ মানচিত্রের নীচে অসামঞ্জস্যগুলির একটি তালিকা রয়েছে, প্রতিটি থেকে আপনি বিশদ বিশ্লেষণের জন্য একক মেট্রিক ভিউতে যেতে পারেন।

জনসংখ্যা

বিভিন্ন মেট্রিক্সের মধ্যে পারস্পরিক সম্পর্কগুলির মধ্যে অসামঞ্জস্যগুলি সন্ধান করতে, ইলাস্টিক স্ট্যাকের একটি বিশেষ জনসংখ্যা বিশ্লেষণ রয়েছে। এটির সাহায্যে কেউ একটি সার্ভারের কার্যক্ষমতার মধ্যে বাকীগুলির সাথে তুলনা করে অস্বাভাবিক মানগুলি সন্ধান করতে পারে যখন, উদাহরণস্বরূপ, লক্ষ্য সিস্টেমে অনুরোধের সংখ্যা বৃদ্ধি পায়।

এই দৃষ্টান্তে, জনসংখ্যা ক্ষেত্রটি সেই মান নির্দেশ করে যা বিশ্লেষণ করা মেট্রিক্স উল্লেখ করবে। এই ক্ষেত্রে, এটি প্রক্রিয়াটির নাম। ফলস্বরূপ, আমরা দেখব কিভাবে প্রতিটি প্রক্রিয়ার প্রসেসর লোড একে অপরকে প্রভাবিত করেছে।

অনুগ্রহ করে মনে রাখবেন যে বিশ্লেষণ করা ডেটার প্লট একক মেট্রিক এবং মাল্টি মেট্রিকের ক্ষেত্রে থেকে আলাদা। বিশ্লেষণ করা ডেটার মানগুলির বিতরণের উপলব্ধি উন্নত করার জন্য ডিজাইনের মাধ্যমে এটি কিবানায় করা হয়।

গ্রাফটি দেখায় যে প্রক্রিয়াটি অস্বাভাবিকভাবে আচরণ করেছে জোর (যাইভাবে, একটি বিশেষ ইউটিলিটি দ্বারা উত্পন্ন) সার্ভারে poipu, যা এই অসঙ্গতির ঘটনাকে প্রভাবিত করেছে (বা একজন প্রভাবশালী হতে পরিণত হয়েছে)।

অগ্রসর

সূক্ষ্ম টিউনিং সঙ্গে বিশ্লেষণ. কিবানায় উন্নত বিশ্লেষণের সাথে, অতিরিক্ত সেটিংস উপস্থিত হয়। ক্রিয়েট মেনুতে অ্যাডভান্সড টাইলে ক্লিক করার পরে, নিম্নলিখিত ট্যাবযুক্ত উইন্ডোটি প্রদর্শিত হবে। ট্যাব চাকরির বিস্তারিত ইচ্ছাকৃতভাবে বাদ দেওয়া হয়েছে, এমন মৌলিক সেটিংস রয়েছে যা বিশ্লেষণ সেটআপের সাথে সরাসরি সম্পর্কিত নয়।

В সারাংশ_গণনা_ক্ষেত্র_নাম ঐচ্ছিকভাবে, আপনি সমষ্টিগত মান ধারণকারী নথি থেকে ক্ষেত্রের নাম উল্লেখ করতে পারেন। এই উদাহরণে, প্রতি মিনিটে ইভেন্টের সংখ্যা। ভিতরে শ্রেণীকরণ_ক্ষেত্র_নাম নথি থেকে ক্ষেত্রের মানটির নাম নির্দেশিত হয়, যা একটি নির্দিষ্ট পরিবর্তনশীল মান ধারণ করে। এই ক্ষেত্রের মুখোশ দ্বারা, আপনি বিশ্লেষণ করা ডেটাকে উপসেটে বিভক্ত করতে পারেন। বোতামে মনোযোগ দিন ডিটেক্টর যোগ করুন আগের চিত্রে নীচে এই বোতামে ক্লিক করার ফলাফল।

এখানে একটি নির্দিষ্ট কাজের জন্য অ্যানোমালি ডিটেক্টর সেট আপ করার জন্য সেটিংসের একটি অতিরিক্ত ব্লক রয়েছে। আমরা নিম্নলিখিত নিবন্ধগুলিতে নির্দিষ্ট ব্যবহারের ক্ষেত্রে (বিশেষ করে সুরক্ষাগুলি) বিশ্লেষণ করার পরিকল্পনা করছি। উদাহরণ স্বরূপ, একবার দেখুন কেস স্টাডিগুলির মধ্যে একটি। এটি খুব কমই ঘটতে থাকা মানগুলির অনুসন্ধানের সাথে যুক্ত এবং প্রয়োগ করা হয় বিরল ফাংশন.

ক্ষেত্রে ক্রিয়া আপনি অসঙ্গতিগুলি অনুসন্ধান করতে একটি নির্দিষ্ট ফাংশন নির্বাচন করতে পারেন। ছাড়া বিরল, কিছু আকর্ষণীয় ফাংশন আছে - দিনের সময় и সপ্তাহের_সময়. তারা যথাক্রমে সারা দিন বা সপ্তাহ জুড়ে মেট্রিক্সের আচরণে অসঙ্গতি প্রকাশ করে। অন্যান্য বিশ্লেষণ ফাংশন ডকুমেন্টেশনে আছে.

В ক্ষেত্র নাম নথির ক্ষেত্র যা দ্বারা বিশ্লেষণ করা হবে তা নির্দেশিত হয়। দ্বারা_ক্ষেত্র_নাম এখানে নির্দিষ্ট করা নথি ক্ষেত্রের প্রতিটি পৃথক মানের জন্য বিশ্লেষণ ফলাফলগুলিকে আলাদা করতে ব্যবহার করা যেতে পারে। যদি পূরণ করুন over_field_name আমরা জনসংখ্যা-বিশ্লেষণ পাই, যা আমরা উপরে বিবেচনা করেছি। যদি আপনি একটি মান উল্লেখ করেন partition_field_name, তারপর নথির এই ক্ষেত্রের জন্য প্রতিটি মানের জন্য পৃথক বেসলাইন গণনা করা হবে (উদাহরণস্বরূপ, সার্ভারের নাম বা সার্ভারে প্রক্রিয়া একটি মান হিসাবে কাজ করতে পারে)। ভিতরে বাদ দিন নির্বাচন করতে পারেন সব বা না, যার অর্থ সাধারণত ঘটে যাওয়া নথি ক্ষেত্রের মানগুলি বাদ দেওয়া (বা সহ)।

নিবন্ধে, আমরা ইলাস্টিক স্ট্যাকে মেশিন লার্নিংয়ের সম্ভাবনার সবচেয়ে সংক্ষিপ্ত ধারণা দেওয়ার চেষ্টা করেছি, পর্দার পিছনে এখনও অনেক বিবরণ রয়েছে। ইলাস্টিক স্ট্যাকের সাহায্যে আপনি কোন ক্ষেত্রে সমাধান করতে পেরেছেন এবং কোন কাজের জন্য আপনি এটি ব্যবহার করেছেন তা মন্তব্যে আমাদের বলুন। আমাদের সাথে যোগাযোগ করতে, আপনি Habré বা ব্যক্তিগত বার্তা ব্যবহার করতে পারেন ওয়েবসাইটে প্রতিক্রিয়া ফর্ম.

উত্স: www.habr.com