সাইটে অনুপ্রবেশকারীদের বিরুদ্ধে লড়াই করার জন্য একটি স্বয়ংক্রিয় সিস্টেম তৈরি করা (জালিয়াতি)

গত প্রায় ছয় মাস ধরে, আমি এর জন্য প্রাথমিক অবকাঠামো ছাড়াই প্রতারণা (প্রতারণামূলক কার্যকলাপ, জালিয়াতি ইত্যাদি) মোকাবেলার জন্য একটি ব্যবস্থা তৈরি করছি। আজকের ধারনা যেগুলি আমরা আমাদের সিস্টেমে পেয়েছি এবং প্রয়োগ করেছি সেগুলি আমাদের অনেক প্রতারণামূলক কার্যকলাপ সনাক্ত করতে এবং বিশ্লেষণ করতে সাহায্য করে৷ এই নিবন্ধে, আমি যে নীতিগুলি অনুসরণ করেছি এবং আমাদের সিস্টেমের বর্তমান অবস্থা অর্জনের জন্য আমরা প্রযুক্তিগত অংশে না গিয়ে কী করেছি সে সম্পর্কে কথা বলতে চাই।

আমাদের সিস্টেমের মূলনীতি

আপনি যখন "স্বয়ংক্রিয়" এবং "জালিয়াতি" শব্দগুলি শুনবেন তখন আপনি সম্ভবত মেশিন লার্নিং, Apache Spark, Hadoop, Python, Airflow, এবং Apache Foundation ইকোসিস্টেম এবং ডেটা সায়েন্স ক্ষেত্রের অন্যান্য প্রযুক্তির কথা ভাবতে শুরু করবেন। আমি মনে করি এই সরঞ্জামগুলি ব্যবহার করার একটি দিক রয়েছে যা সাধারণত উল্লেখ করা হয় না: আপনি সেগুলি ব্যবহার করার আগে আপনার এন্টারপ্রাইজ সিস্টেমে তাদের নির্দিষ্ট পূর্বশর্তগুলি থাকা প্রয়োজন৷ সংক্ষেপে, আপনার একটি এন্টারপ্রাইজ ডেটা প্ল্যাটফর্ম প্রয়োজন যাতে একটি ডেটা লেক এবং স্টোরেজ অন্তর্ভুক্ত থাকে। কিন্তু আপনার যদি এমন একটি প্ল্যাটফর্ম না থাকে এবং এখনও এই অনুশীলনটি বিকাশের প্রয়োজন হয় তবে কী করবেন? নিম্নলিখিত নীতিগুলি, যা আমি নীচে বর্ণনা করছি, আমাদেরকে এমন জায়গায় যেতে সাহায্য করেছে যেখানে আমরা একটি কার্যকরী খুঁজে না পেয়ে আমাদের ধারণাগুলিকে উন্নত করার দিকে মনোনিবেশ করতে পারি৷ যাইহোক, এটি প্রকল্পের একটি "মালভূমি" নয়। প্রযুক্তিগত এবং পণ্যের দৃষ্টিকোণ থেকে পরিকল্পনায় আরও অনেক কিছু রয়েছে।

নীতি 1: ব্যবসায়িক মূল্য প্রথম

আমরা আমাদের সমস্ত প্রচেষ্টার অগ্রভাগে "ব্যবসায়িক মূল্য" রাখি। সাধারণভাবে, যে কোনও স্বয়ংক্রিয় বিশ্লেষণ সিস্টেম উচ্চ স্তরের অটোমেশন এবং প্রযুক্তিগত জটিলতা সহ জটিল সিস্টেমগুলির গ্রুপের অন্তর্গত। আপনি স্ক্র্যাচ থেকে এটি তৈরি করলে একটি সম্পূর্ণ সমাধান তৈরি করতে অনেক সময় লাগবে। আমরা ব্যবসায়িক মূল্য প্রথম এবং প্রযুক্তিগত পরিপক্কতা দ্বিতীয় রাখার সিদ্ধান্ত নিয়েছি। বাস্তব জীবনে, এর মানে হল যে আমরা উন্নত প্রযুক্তিকে একটি মতবাদ হিসাবে গ্রহণ করি না। এই মুহূর্তে আমাদের জন্য সবচেয়ে ভালো কাজ করে এমন প্রযুক্তি আমরা বেছে নিই। সময়ের সাথে সাথে, মনে হতে পারে যে আমাদের কিছু মডিউল পুনরায় প্রয়োগ করতে হবে। এই আপস আমরা গ্রহণ.

নীতি 2: বর্ধিত বুদ্ধিমত্তা

আমি বাজি ধরে বলতে পারি যে বেশিরভাগ লোকেরা যারা মেশিন লার্নিং সমাধানগুলি বিকাশের সাথে গভীরভাবে জড়িত নয় তারা মনে করতে পারে যে মানুষের প্রতিস্থাপনই লক্ষ্য। প্রকৃতপক্ষে, মেশিন লার্নিং সমাধানগুলি নিখুঁত থেকে অনেক দূরে এবং শুধুমাত্র নির্দিষ্ট কিছু ক্ষেত্রে প্রতিস্থাপন সম্ভব। আমরা বিভিন্ন কারণে শুরু থেকেই এই ধারণাটি পরিত্যাগ করেছি: প্রতারণামূলক কার্যকলাপের ভারসাম্যহীন ডেটা এবং মেশিন লার্নিং মডেলগুলির জন্য বৈশিষ্ট্যগুলির একটি সম্পূর্ণ তালিকা প্রদান করতে অক্ষমতা৷ বিপরীতে, আমরা বর্ধিত বুদ্ধিমত্তা বিকল্পটি বেছে নিয়েছি। এটি কৃত্রিম বুদ্ধিমত্তার একটি বিকল্প ধারণা যা AI এর সহায়ক ভূমিকার উপর দৃষ্টি নিবদ্ধ করে, এই সত্যটির উপর জোর দেয় যে জ্ঞানীয় প্রযুক্তিগুলি মানুষের বুদ্ধিমত্তাকে উন্নত করার জন্য ডিজাইন করা হয়েছে, এটি প্রতিস্থাপন নয়। [১]

এটি মাথায় রেখে, শুরু থেকেই একটি সম্পূর্ণ মেশিন লার্নিং সমাধান তৈরি করতে প্রচুর পরিশ্রমের প্রয়োজন হবে যা আমাদের ব্যবসার জন্য মূল্য তৈরি করতে বিলম্ব করবে। আমরা আমাদের ডোমেন বিশেষজ্ঞদের নির্দেশনায় মেশিন লার্নিং এর পুনরাবৃত্তিমূলকভাবে ক্রমবর্ধমান দিক সহ একটি সিস্টেম তৈরি করার সিদ্ধান্ত নিয়েছি। এই ধরনের একটি সিস্টেম বিকাশের চতুর অংশ হল যে এটি আমাদের বিশ্লেষকদের কেস স্টাডি প্রদান করতে হবে না শুধুমাত্র এটি একটি প্রতারণামূলক কার্যকলাপ কিনা তা বিবেচনা করে। সাধারণভাবে, গ্রাহকদের আচরণে যে কোনও অসঙ্গতি একটি সন্দেহজনক কেস যা বিশেষজ্ঞদের তদন্ত করতে হবে এবং কোনওভাবে প্রতিক্রিয়া জানাতে হবে। এই রেকর্ডকৃত কেসগুলোর মধ্যে মাত্র কয়েকটিকে সত্যিই জালিয়াতি হিসাবে শ্রেণীবদ্ধ করা যেতে পারে।

নীতি 3: সমৃদ্ধ অন্তর্দৃষ্টি প্ল্যাটফর্ম

আমাদের সিস্টেমের সবচেয়ে কঠিন অংশ হল সিস্টেমের কার্যপ্রবাহের এন্ড-টু-এন্ড যাচাইকরণ। বিশ্লেষক এবং বিকাশকারীদের সহজেই বিশ্লেষণের জন্য ব্যবহৃত সমস্ত মেট্রিক্স সহ ঐতিহাসিক ডেটাসেটগুলি পাওয়া উচিত। উপরন্তু, ডেটা প্ল্যাটফর্মটি একটি বিদ্যমান সূচকের একটি নতুন সেটের সাথে সম্পূরক করার একটি সহজ উপায় প্রদান করবে। আমরা যে প্রক্রিয়াগুলি তৈরি করি, এবং এগুলি কেবল সফ্টওয়্যার প্রক্রিয়া নয়, এটিকে পূর্ববর্তী সময়ের পুনঃগণনা করা, নতুন মেট্রিক্স যোগ করা এবং ডেটা পূর্বাভাস পরিবর্তন করা সহজ করা উচিত। আমরা আমাদের উত্পাদন সিস্টেম উত্পন্ন সমস্ত ডেটা জমা করে এটি অর্জন করতে পারি। সেক্ষেত্রে ডেটা ধীরে ধীরে বাধা হয়ে দাঁড়াবে। আমাদের ক্রমবর্ধমান পরিমাণ ডেটা সংরক্ষণ করতে হবে যা আমরা ব্যবহার করি না এবং এটিকে রক্ষা করতে হবে। এই ধরনের পরিস্থিতিতে, ডেটা সময়ের সাথে আরও বেশি অপ্রাসঙ্গিক হয়ে উঠবে, কিন্তু তবুও এটি পরিচালনা করার জন্য আমাদের প্রচেষ্টার প্রয়োজন। আমাদের জন্য, ডেটা হোর্ডিং অর্থহীন ছিল, এবং আমরা একটি ভিন্ন পদ্ধতি ব্যবহার করার সিদ্ধান্ত নিয়েছি। আমরা শ্রেণীবদ্ধ করতে চাই এমন টার্গেট সত্তাগুলির চারপাশে রিয়েল-টাইম ডেটা গুদামগুলি সংগঠিত করার সিদ্ধান্ত নিয়েছি, এবং শুধুমাত্র সেই ডেটা সংরক্ষণ করব যা আমাদের সাম্প্রতিক এবং আপ-টু-ডেট সময়কালগুলি পরীক্ষা করতে দেয়। এই প্রচেষ্টার সাথে চ্যালেঞ্জ হল যে আমাদের সিস্টেমটি একাধিক ডেটা স্টোর এবং সফ্টওয়্যার মডিউল সহ ভিন্নধর্মী যার জন্য একটি সামঞ্জস্যপূর্ণ পদ্ধতিতে কাজ করার জন্য সতর্ক পরিকল্পনা প্রয়োজন।

আমাদের সিস্টেমের ডিজাইন ধারণা

আমাদের সিস্টেমে আমাদের চারটি প্রধান উপাদান রয়েছে: একটি ইনজেশন সিস্টেম, একটি কম্পিউটেশনাল সিস্টেম, একটি BI বিশ্লেষণ এবং একটি ট্র্যাকিং সিস্টেম৷ তারা নির্দিষ্ট বিচ্ছিন্ন উদ্দেশ্যে পরিবেশন করে এবং আমরা নির্দিষ্ট উন্নয়ন পদ্ধতি অনুসরণ করে তাদের বিচ্ছিন্ন রাখি।

চুক্তিভিত্তিক নকশা

প্রথমত, আমরা সম্মত হয়েছি যে উপাদানগুলি শুধুমাত্র নির্দিষ্ট ডেটা স্ট্রাকচারের (চুক্তি) উপর নির্ভর করবে যা তাদের মধ্যে পাস করা হয়। এটি তাদের মধ্যে সংহত করা এবং উপাদানগুলির একটি নির্দিষ্ট রচনা (এবং ক্রম) চাপিয়ে না দেওয়া সহজ করে তোলে। উদাহরণস্বরূপ, কিছু ক্ষেত্রে এটি আমাদের সরাসরি সতর্কতা ট্র্যাকিং সিস্টেমের সাথে গ্রহণকারী সিস্টেমকে সংহত করতে দেয়। এই ধরনের ক্ষেত্রে, এটি সম্মত বিজ্ঞপ্তি চুক্তি অনুযায়ী করা হবে। এর মানে হল যে উভয় উপাদান একটি চুক্তি ব্যবহার করে একত্রিত করা হবে যা অন্য কোন উপাদান ব্যবহার করতে পারে। আমরা ইনপুট সিস্টেম থেকে ট্র্যাকিং সিস্টেমে সতর্কতা যোগ করার জন্য একটি অতিরিক্ত চুক্তি যোগ করা হবে না. এই পদ্ধতির জন্য পূর্বনির্ধারিত ন্যূনতম সংখ্যক চুক্তির ব্যবহার প্রয়োজন এবং সিস্টেম এবং যোগাযোগকে সরল করে। মূলত, আমরা "কন্ট্রাক্ট ফার্স্ট ডিজাইন" নামে একটি পদ্ধতি গ্রহণ করছি এবং স্ট্রিমিং চুক্তিতে এটি প্রয়োগ করছি। [২]

সর্বত্র স্ট্রিমিং

সিস্টেমে রাষ্ট্রকে সংরক্ষণ এবং পরিচালনা করা অনিবার্যভাবে এর বাস্তবায়নে জটিলতার দিকে নিয়ে যাবে। সাধারণভাবে, রাষ্ট্রকে অবশ্যই যেকোনো উপাদান থেকে অ্যাক্সেসযোগ্য হতে হবে, এটি অবশ্যই সামঞ্জস্যপূর্ণ হতে হবে এবং সমস্ত উপাদান জুড়ে সর্বাধিক আপ-টু-ডেট মান প্রদান করতে হবে এবং এটি অবশ্যই সঠিক মানগুলির সাথে নির্ভরযোগ্য হতে হবে। উপরন্তু, সর্বশেষ অবস্থা পেতে অবিরাম স্টোরেজ কল করা I/O এর পরিমাণ এবং আমাদের রিয়েল-টাইম পাইপলাইনে ব্যবহৃত অ্যালগরিদমগুলির জটিলতা বৃদ্ধি করবে। এই কারণে, আমরা আমাদের সিস্টেম থেকে রাষ্ট্রীয় স্টোরেজ, যদি সম্ভব হয়, সম্পূর্ণরূপে অপসারণ করার সিদ্ধান্ত নিয়েছি। এই পদ্ধতির প্রয়োজন যে সমস্ত প্রয়োজনীয় ডেটা প্রেরণ করা ডেটা ইউনিটে (বার্তা) অন্তর্ভুক্ত করা উচিত। উদাহরণস্বরূপ, যদি আমাদের কিছু পর্যবেক্ষণের মোট সংখ্যা গণনা করতে হয় (নির্দিষ্ট বৈশিষ্ট্যযুক্ত অপারেশন বা ক্ষেত্রের সংখ্যা), আমরা এটি মেমরিতে গণনা করি এবং এই জাতীয় মানগুলির একটি স্ট্রীম তৈরি করি। নির্ভরশীল মডিউলগুলি সত্তা দ্বারা স্ট্রীমকে বিভক্ত করতে এবং সর্বশেষ মানগুলিতে কাজ করতে পার্টিশন এবং ব্যাচিং ব্যবহার করবে। এই পদ্ধতিটি এই জাতীয় ডেটার জন্য অবিরাম ডিস্ক স্টোরেজ থাকার প্রয়োজনীয়তা দূর করে। আমাদের সিস্টেম কাফকাকে একটি বার্তা ব্রোকার হিসাবে ব্যবহার করে এবং এটি KSQL এর সাথে একটি ডাটাবেস হিসাবে ব্যবহার করা যেতে পারে। [৩] কিন্তু এটি ব্যবহার করে কাফকার সাথে আমাদের সমাধান দৃঢ়ভাবে বেঁধে যাবে এবং আমরা এটি ব্যবহার না করার সিদ্ধান্ত নিয়েছি। আমরা যে পদ্ধতিটি বেছে নিয়েছি তা আমাদের সিস্টেমে বড় অভ্যন্তরীণ পরিবর্তন ছাড়াই কাফকাকে অন্য বার্তা ব্রোকারের সাথে প্রতিস্থাপন করতে দেয়।

এই ধারণার মানে এই নয় যে আমরা ডিস্ক স্টোরেজ এবং ডাটাবেস ব্যবহার করি না। সিস্টেমের কর্মক্ষমতা পরীক্ষা এবং বিশ্লেষণ করার জন্য, আমাদের ডিস্কে একটি উল্লেখযোগ্য পরিমাণ ডেটা সংরক্ষণ করতে হবে, যা বিভিন্ন সূচক এবং অবস্থার প্রতিনিধিত্ব করে। এখানে গুরুত্বপূর্ণ বিষয় হল যে রিয়েল-টাইম অ্যালগরিদমগুলি এই ধরনের ডেটার উপর নির্ভর করে না। বেশিরভাগ ক্ষেত্রে, আমরা অফলাইন বিশ্লেষণ, ডিবাগিং এবং নির্দিষ্ট ক্ষেত্রে এবং সিস্টেমের ফলাফলগুলি ট্র্যাক করার জন্য সংরক্ষিত ডেটা ব্যবহার করি।

আমাদের সিস্টেমে সমস্যা

কিছু সমস্যা আছে যা আমরা একটি নির্দিষ্ট স্তরে সমাধান করেছি, কিন্তু তাদের আরও চিন্তাশীল সমাধান প্রয়োজন। আপাতত, আমি এখানে সেগুলি উল্লেখ করতে চাই, কারণ প্রতিটি আইটেমের নিজস্ব নিবন্ধের মূল্য রয়েছে।

• আমাদের এখনও প্রক্রিয়া এবং নীতিগুলি সংজ্ঞায়িত করতে হবে যা আমাদের স্বয়ংক্রিয় বিশ্লেষণ, ডেটা আবিষ্কার এবং অনুসন্ধানের জন্য অর্থপূর্ণ এবং প্রাসঙ্গিক ডেটা তৈরি করতে সহায়তা করে।
• সর্বশেষ ডেটা সহ এটি আপডেট করার জন্য সিস্টেমটিকে স্বয়ংক্রিয়ভাবে টিউন করার প্রক্রিয়ায় একজন ব্যক্তির দ্বারা বিশ্লেষণের ফলাফলের প্রবর্তন। এটি কেবল আমাদের মডেলের একটি আপডেট নয়, আমাদের প্রক্রিয়াগুলির একটি আপডেট এবং আমাদের ডেটা সম্পর্কে আরও ভাল বোঝারও।
• IF-ELSE এবং ML-এর নির্ধারক পদ্ধতির মধ্যে একটি ভারসাম্য খোঁজা৷ কেউ বলেছেন: "ML হল মরিয়াদের জন্য একটি হাতিয়ার।" এর মানে হল যে আপনি ML ব্যবহার করতে চাইবেন যখন আপনি আর বুঝতে পারবেন না কিভাবে আপনার অ্যালগরিদম অপ্টিমাইজ করা যায় এবং উন্নত করা যায়। অন্যদিকে, নির্ণায়ক পদ্ধতি এমন অসঙ্গতি সনাক্ত করার অনুমতি দেয় না যা পূর্বাভাস ছিল না।
• ডেটাতে মেট্রিক্সের মধ্যে আমাদের অনুমান বা পারস্পরিক সম্পর্ক পরীক্ষা করার জন্য আমাদের একটি সহজ উপায় প্রয়োজন।
• সিস্টেমে সত্য ইতিবাচক ফলাফলের একাধিক স্তর থাকতে হবে। জালিয়াতির ঘটনাগুলি সমস্ত ক্ষেত্রের একটি ভগ্নাংশ যা সিস্টেমের জন্য ইতিবাচক হিসাবে বিবেচিত হতে পারে৷ উদাহরণস্বরূপ, বিশ্লেষকরা পর্যালোচনার জন্য সমস্ত সন্দেহজনক কেস পেতে চান এবং তাদের মধ্যে শুধুমাত্র একটি ছোট অংশই প্রতারণামূলক। সিস্টেমটিকে অবশ্যই কার্যকরভাবে সমস্ত ক্ষেত্রে বিশ্লেষকদের সরবরাহ করতে হবে, তা প্রকৃত জালিয়াতি বা কেবল সন্দেহজনক আচরণই হোক না কেন।
• ডেটা প্ল্যাটফর্মটি ফ্লাইতে তৈরি এবং গণনা করা গণনার সাথে ঐতিহাসিক ডেটাসেটগুলি পুনরুদ্ধার করতে সক্ষম হওয়া উচিত।
• কমপক্ষে তিনটি ভিন্ন পরিবেশে সিস্টেম উপাদানগুলির যেকোনো একটি সহজ এবং স্বয়ংক্রিয় স্থাপনা: উত্পাদন, পরীক্ষামূলক (বিটা), এবং বিকাশকারীদের জন্য।
• এবং শেষ কিন্তু না অন্তত। আমাদের একটি বিস্তৃত বেঞ্চমার্কিং প্ল্যাটফর্ম তৈরি করতে হবে যার ভিত্তিতে আমরা আমাদের মডেলগুলি বিশ্লেষণ করতে পারি। [৪]

রেফারেন্স

1. অগমেন্টেড ইন্টেলিজেন্স কি?
2. একটি API-প্রথম ডিজাইন পদ্ধতি বাস্তবায়ন
3. কাফকা "ইভেন্ট স্ট্রিমিং ডেটাবেসে" রূপান্তরিত হচ্ছে
4. AUC-ROC বক্ররেখা বোঝা

উত্স: www.habr.com