নিরাপত্তা এবং গোপনীয়তার জন্য মাপযোগ্য ডেটা শ্রেণীবিভাগ

বিষয়বস্তু ভিত্তিক তথ্য শ্রেণীবিভাগ একটি উন্মুক্ত সমস্যা। ঐতিহ্যগত ডেটা ক্ষতি প্রতিরোধ (DLP) সিস্টেমগুলি প্রাসঙ্গিক ডেটা আঙুলের ছাপ এবং আঙ্গুলের ছাপের জন্য শেষ পয়েন্টগুলি পর্যবেক্ষণ করে এই সমস্যার সমাধান করে। Facebook-এ প্রচুর পরিমাণে ক্রমাগত পরিবর্তনশীল ডেটা সংস্থানগুলির পরিপ্রেক্ষিতে, এই পদ্ধতিটি কেবলমাত্র মাপযোগ্য নয়, ডেটা কোথায় থাকে তা নির্ধারণের জন্যও অকার্যকর। এই কাগজটি ফেসবুকে সংবেদনশীল শব্দার্থিক প্রকারের স্কেলে সনাক্ত করতে এবং স্বয়ংক্রিয়ভাবে ডেটা সঞ্চয়স্থান এবং অ্যাক্সেস নিয়ন্ত্রণ প্রয়োগ করার জন্য নির্মিত একটি এন্ড-টু-এন্ড সিস্টেমের উপর ফোকাস করে।

এখানে বর্ণিত পদ্ধতি হল আমাদের প্রথম এন্ড-টু-এন্ড প্রাইভেসি সিস্টেম যা Facebook-এ সমস্ত ডেটা ম্যাপ এবং শ্রেণীবদ্ধ করার জন্য ডেটা সিগন্যাল, মেশিন লার্নিং এবং ঐতিহ্যগত ফিঙ্গারপ্রিন্টিং কৌশলগুলিকে অন্তর্ভুক্ত করে এই সমস্যাটি সমাধান করার চেষ্টা করে৷ বর্ণিত সিস্টেমটি একটি উৎপাদন পরিবেশে চালিত হয়, যা বিভিন্ন গোপনীয়তা ক্লাসে 2+ এর গড় F0,9 স্কোর অর্জন করে এবং কয়েক ডজন রিপোজিটরি জুড়ে প্রচুর পরিমাণে ডেটা সংস্থান প্রক্রিয়াকরণ করে। মেশিন লার্নিং এর উপর ভিত্তি করে নিরাপত্তা এবং গোপনীয়তার জন্য স্কেলযোগ্য ডেটা শ্রেণীবিভাগের উপর Facebook এর ArXiv পেপারের একটি অনুবাদ উপস্থাপন করা হচ্ছে।

ভূমিকা

আজ, সংস্থাগুলি বিভিন্ন ফরম্যাট এবং অবস্থানগুলিতে প্রচুর পরিমাণে ডেটা সংগ্রহ এবং সঞ্চয় করে [1], তারপরে ডেটা অনেক জায়গায় ব্যবহার করা হয়, কখনও কখনও কপি বা একাধিকবার ক্যাশে করা হয়, যার ফলে মূল্যবান এবং সংবেদনশীল ব্যবসায়িক তথ্য অনেক এন্টারপ্রাইজ ডেটা জুড়ে ছড়িয়ে পড়ে। দোকান যখন একটি সংস্থাকে কিছু আইনি বা নিয়ন্ত্রক প্রয়োজনীয়তা পূরণ করতে হয়, যেমন দেওয়ানী কার্যধারায় প্রবিধানগুলির সাথে সম্মতি, তখন প্রয়োজনীয় ডেটার অবস্থান সম্পর্কে ডেটা সংগ্রহ করা প্রয়োজন হয়ে ওঠে। যখন একটি গোপনীয়তা প্রবিধান বলে যে অননুমোদিত সত্তার সাথে ব্যক্তিগত তথ্য ভাগ করার সময় একটি সংস্থাকে অবশ্যই সমস্ত সামাজিক নিরাপত্তা নম্বর (SSNs) মাস্ক করতে হবে, স্বাভাবিক প্রথম পদক্ষেপ হল সংস্থার ডেটা স্টোর জুড়ে সমস্ত SSN অনুসন্ধান করা৷ এই ধরনের পরিস্থিতিতে, তথ্য শ্রেণীবিভাগ সমালোচনামূলক হয়ে ওঠে [1]। শ্রেণিবিন্যাস ব্যবস্থা প্রতিষ্ঠানগুলিকে স্বয়ংক্রিয়ভাবে গোপনীয়তা এবং সুরক্ষা নীতিগুলি প্রয়োগ করার অনুমতি দেবে, যেমন অ্যাক্সেস নিয়ন্ত্রণ নীতিগুলি সক্ষম করা, ডেটা ধারণ করা৷ Facebook একটি সিস্টেম চালু করছে যা আমরা Facebook-এ তৈরি করেছি যেটি একাধিক ডেটা সিগন্যাল, স্কেলযোগ্য সিস্টেম আর্কিটেকচার এবং সংবেদনশীল শব্দার্থিক ডেটা প্রকারগুলি আবিষ্কার করতে মেশিন লার্নিং ব্যবহার করে৷

ডেটা আবিষ্কার এবং শ্রেণীবিভাগ হল ডেটা অনুসন্ধান এবং লেবেল করার প্রক্রিয়া যাতে প্রাসঙ্গিক তথ্য দ্রুত এবং দক্ষতার সাথে পুনরুদ্ধার করা যায় যখন প্রয়োজন হয়। বর্তমান প্রক্রিয়াটি বরং ম্যানুয়াল প্রকৃতির এবং প্রাসঙ্গিক আইন বা প্রবিধানগুলি পরীক্ষা করে, কোন ধরনের তথ্যকে সংবেদনশীল হিসাবে বিবেচনা করা উচিত এবং সংবেদনশীলতার বিভিন্ন স্তরগুলি নির্ধারণ করা এবং তারপর সেই অনুযায়ী শ্রেণী এবং শ্রেণিবিন্যাস নীতিগুলি তৈরি করা [1]। ডেটা লস প্রতিরোধ (DLP) তারপর ডেটা ফিঙ্গারপ্রিন্ট করে এবং আঙুলের ছাপ পেতে ডাউনস্ট্রিম এন্ডপয়েন্ট ট্র্যাক করে। পেটাবাইট ডেটা সহ একটি সম্পদ-ভারী গুদাম নিয়ে কাজ করার সময়, এই পদ্ধতিটি কেবল মাত্রায় আসে না।

আমাদের লক্ষ্য হল একটি ডেটা শ্রেণীবিভাগ সিস্টেম তৈরি করা যা ডেটা টাইপ বা বিন্যাসে কোনও অতিরিক্ত বিধিনিষেধ ছাড়াই শক্তিশালী এবং ক্ষণস্থায়ী উভয় ব্যবহারকারীর ডেটাতে স্কেল করে। এটি একটি সাহসী লক্ষ্য এবং স্বাভাবিকভাবেই এটি চ্যালেঞ্জের সাথে আসে। একটি প্রদত্ত ডেটা রেকর্ড হাজার হাজার অক্ষর দীর্ঘ হতে পারে।

চিত্র 1. অনলাইন এবং অফলাইন পূর্বাভাস প্রবাহ

অতএব, আমাদের অবশ্যই এটিকে দক্ষতার সাথে উপস্থাপন করতে হবে বৈশিষ্ট্যগুলির একটি সাধারণ সেট ব্যবহার করে যা পরবর্তীতে একত্রিত করা যায় এবং সহজেই চারপাশে সরানো যায়। এই বৈশিষ্ট্যগুলি শুধুমাত্র সঠিক শ্রেণীবিভাগ প্রদান করবে না, বরং ভবিষ্যতে নতুন ডেটা প্রকারগুলি সহজে যোগ করতে এবং আবিষ্কার করার জন্য নমনীয়তা এবং সম্প্রসারণযোগ্যতা প্রদান করবে। দ্বিতীয়ত, আপনাকে বড় অফলাইন টেবিলের সাথে মোকাবিলা করতে হবে। টেকসই ডেটা টেবিলে সংরক্ষণ করা যেতে পারে যার আকার অনেক পেটাবাইট। এর ফলে স্ক্যানের গতি কম হতে পারে। তৃতীয়ত, আমাদের অবশ্যই উদ্বায়ী ডেটার উপর কঠোর SLA শ্রেণীবিভাগ মেনে চলতে হবে। এটি সিস্টেমটিকে অত্যন্ত দক্ষ, দ্রুত এবং নির্ভুল হতে বাধ্য করে। অবশেষে, রিয়েল-টাইম শ্রেণীবিভাগের পাশাপাশি ইন্টারনেট ব্যবহারের ক্ষেত্রে উদ্বায়ী ডেটার জন্য আমাদের অবশ্যই কম লেটেন্সি ডেটা শ্রেণীবিভাগ প্রদান করতে হবে।

এই কাগজটি বর্ণনা করে যে আমরা উপরের চ্যালেঞ্জগুলির সাথে কীভাবে মোকাবিলা করেছি এবং একটি দ্রুত এবং মাপযোগ্য শ্রেণিবিন্যাস ব্যবস্থা উপস্থাপন করে যা বৈশিষ্ট্যগুলির একটি সাধারণ সেটের উপর ভিত্তি করে সমস্ত ধরণের, বিন্যাস এবং উত্সের ডেটা উপাদানগুলিকে শ্রেণীবদ্ধ করে৷ আমরা সিস্টেম আর্কিটেকচার প্রসারিত করেছি এবং অফলাইন এবং অনলাইন ডেটা দ্রুত শ্রেণীবদ্ধ করার জন্য একটি কাস্টম মেশিন লার্নিং মডেল তৈরি করেছি। এই কাগজটি নিম্নরূপ সংগঠিত: বিভাগ 2 সিস্টেমের সামগ্রিক নকশা উপস্থাপন করে। বিভাগ 3 একটি মেশিন লার্নিং সিস্টেমের অংশগুলি নিয়ে আলোচনা করে। অধ্যায় 4 এবং 5 সম্পর্কিত কাজ হাইলাইট করে এবং কাজের ভবিষ্যত দিকনির্দেশনা দেয়।

স্থাপত্য

ক্রমাগত এবং ফেসবুক-স্কেল অনলাইন ডেটার চ্যালেঞ্জ মোকাবেলা করার জন্য, শ্রেণিবিন্যাস ব্যবস্থার দুটি পৃথক স্ট্রিম রয়েছে, যা আমরা বিস্তারিতভাবে আলোচনা করব।

টেকসই ডেটা

প্রাথমিকভাবে, সিস্টেমটিকে Facebook এর অনেক তথ্য সম্পদ সম্পর্কে জানতে হবে। প্রতিটি সংগ্রহস্থলের জন্য, কিছু মৌলিক তথ্য সংগ্রহ করা হয়, যেমন সেই ডেটা ধারণকারী ডেটা সেন্টার, সেই ডেটা ধারণকারী সিস্টেম এবং নির্দিষ্ট ডেটা ভান্ডারে অবস্থিত সম্পদ। এটি একটি মেটাডেটা ক্যাটালগ তৈরি করে যা সিস্টেমটিকে অন্যান্য ইঞ্জিনিয়ারদের দ্বারা ব্যবহৃত ক্লায়েন্ট এবং সংস্থানগুলিকে ওভারলোড না করে দক্ষতার সাথে ডেটা পুনরুদ্ধার করতে দেয়।

এই মেটাডেটা ক্যাটালগ সমস্ত স্ক্যান করা সম্পদের জন্য একটি প্রামাণিক উৎস প্রদান করে এবং আপনাকে বিভিন্ন সম্পদের অবস্থা ট্র্যাক করতে দেয়। এই তথ্য ব্যবহার করে, সিস্টেম থেকে সংগৃহীত ডেটা এবং অভ্যন্তরীণ তথ্যের উপর ভিত্তি করে সময় নির্ধারণের অগ্রাধিকার প্রতিষ্ঠিত হয়, যেমন সম্পদটি শেষবার সফলভাবে স্ক্যান করার সময় এবং এটি তৈরি করার সময়, সেইসাথে সেই সম্পদের জন্য অতীত মেমরি এবং CPU প্রয়োজনীয়তা এটা আগে স্ক্যান করা হয়েছে. তারপরে, প্রতিটি ডেটা রিসোর্সের জন্য (সম্পদ উপলব্ধ হওয়ার সাথে সাথে), একটি কাজকে আসলে সংস্থানটি স্ক্যান করার জন্য বলা হয়।

প্রতিটি কাজ একটি সংকলিত বাইনারি ফাইল যা প্রতিটি সম্পদের জন্য উপলব্ধ সর্বশেষ ডেটার উপর Bernoulli স্যাম্পলিং সম্পাদন করে। সম্পদ পৃথক কলামে বিভক্ত করা হয়, যেখানে প্রতিটি কলামের শ্রেণীবিভাগ ফলাফল স্বাধীনভাবে প্রক্রিয়া করা হয়। উপরন্তু, সিস্টেম কলামের মধ্যে যেকোন স্যাচুরেটেড ডেটার জন্য স্ক্যান করে। JSON, অ্যারে, এনকোডেড স্ট্রাকচার, ইউআরএল, বেস 64 সিরিয়ালাইজড ডেটা এবং আরও অনেক কিছু স্ক্যান করা হয়েছে। এটি স্ক্যান সম্পাদনের সময় উল্লেখযোগ্যভাবে বৃদ্ধি করতে পারে কারণ একটি একক টেবিলে একটি ব্লবে হাজার হাজার নেস্টেড কলাম থাকতে পারে json.

ডেটা সম্পদে নির্বাচিত প্রতিটি সারির জন্য, শ্রেণীবিন্যাস সিস্টেম বিষয়বস্তু থেকে ফ্লোট এবং টেক্সট অবজেক্টগুলিকে বের করে এবং প্রতিটি বস্তুকে সেই কলামের সাথে সংযুক্ত করে যেখান থেকে এটি নেওয়া হয়েছিল। বৈশিষ্ট্য নিষ্কাশন পদক্ষেপের আউটপুট ডেটা সম্পদে পাওয়া প্রতিটি কলামের জন্য সমস্ত বৈশিষ্ট্যের একটি মানচিত্র।

জন্য লক্ষণ কি?

গুণাবলী ধারণা মূল. ফ্লোট এবং টেক্সট বৈশিষ্ট্যের পরিবর্তে, আমরা কাঁচা স্ট্রিং নমুনাগুলি পাস করতে পারি যা সরাসরি প্রতিটি ডেটা সংস্থান থেকে বের করা হয়। উপরন্তু, মেশিন লার্নিং মডেলগুলিকে প্রতিটি নমুনায় সরাসরি প্রশিক্ষণ দেওয়া যেতে পারে, শত শত বৈশিষ্ট্য গণনার পরিবর্তে যা শুধুমাত্র নমুনার আনুমানিক চেষ্টা করে। এর বেশ কয়েকটি কারণ রয়েছে:

1. গোপনীয়তা প্রথম: সবচেয়ে গুরুত্বপূর্ণ, বৈশিষ্ট্যের ধারণা আমাদের মেমরিতে শুধুমাত্র সেই প্যাটার্নগুলি সংরক্ষণ করতে দেয় যা আমরা পুনরুদ্ধার করি। এটি নিশ্চিত করে যে আমরা একটি একক উদ্দেশ্যে নমুনাগুলি সংরক্ষণ করি এবং আমাদের নিজস্ব প্রচেষ্টার মাধ্যমে সেগুলিকে কখনই লগ করি না। এটি উদ্বায়ী ডেটার জন্য বিশেষভাবে গুরুত্বপূর্ণ, যেহেতু একটি ভবিষ্যদ্বাণী দেওয়ার আগে পরিষেবাটিকে অবশ্যই কিছু শ্রেণিবিন্যাসের অবস্থা বজায় রাখতে হবে।
2. মেমরি: কিছু নমুনা হাজার হাজার অক্ষর দীর্ঘ হতে পারে। এই জাতীয় ডেটা সংরক্ষণ করা এবং সিস্টেমের অংশগুলিতে প্রেরণ করা অপ্রয়োজনীয়ভাবে অনেক অতিরিক্ত বাইট গ্রহণ করে। দুটি কারণ সময়ের সাথে একত্রিত হতে পারে, এই কারণে যে হাজার হাজার কলাম সহ অনেক ডেটা সংস্থান রয়েছে।
3. বৈশিষ্ট্য একত্রীকরণ: বৈশিষ্ট্যগুলি বৈশিষ্ট্যগুলির একটি সেটের মাধ্যমে প্রতিটি স্ক্যানের ফলাফলগুলিকে স্পষ্টভাবে উপস্থাপন করে, যা সিস্টেমটিকে সুবিধাজনক উপায়ে একই ডেটা সম্পদের পূর্ববর্তী স্ক্যানগুলির ফলাফলগুলিকে একত্রিত করতে দেয়৷ এটি একাধিক রান জুড়ে একটি একক ডেটা সংস্থান থেকে স্ক্যান ফলাফলগুলিকে একত্রিত করার জন্য কার্যকর হতে পারে।

বৈশিষ্ট্যগুলি তারপর একটি ভবিষ্যদ্বাণী পরিষেবাতে পাঠানো হয় যেখানে আমরা প্রতিটি কলামের ডেটা লেবেলগুলির পূর্বাভাস দিতে নিয়ম-ভিত্তিক শ্রেণিবিন্যাস এবং মেশিন লার্নিং ব্যবহার করি। পরিষেবাটি নিয়ম ক্লাসিফায়ার এবং মেশিন লার্নিং উভয়ের উপর নির্ভর করে এবং প্রতিটি ভবিষ্যদ্বাণী বস্তু থেকে প্রদত্ত সেরা ভবিষ্যদ্বাণী নির্বাচন করে।

নিয়ম শ্রেণীবদ্ধকারী হ'ল ম্যানুয়াল হিউরিস্টিকস, তারা 0 থেকে 100 রেঞ্জে একটি বস্তুকে স্বাভাবিক করার জন্য গণনা এবং সহগ ব্যবহার করে। একবার সেই ডেটার সাথে যুক্ত প্রতিটি ডেটা টাইপ এবং কলামের জন্য এই ধরনের একটি প্রাথমিক স্কোর তৈরি করা হলে, এটি কোনও "নিষেধাজ্ঞা"তে অন্তর্ভুক্ত হয় না তালিকা" ,নিয়ম শ্রেণীবিভাগকারী, সমস্ত ডেটা প্রকারের মধ্যে সর্বোচ্চ স্বাভাবিক স্কোর নির্বাচন করে।

শ্রেণিবিন্যাসের জটিলতার কারণে, শুধুমাত্র ম্যানুয়াল হিউরিস্টিকসের উপর নির্ভর করলে শ্রেণীবিভাগের সঠিকতা কম হয়, বিশেষ করে অসংগঠিত ডেটার জন্য। এই কারণে, আমরা ব্যবহারকারীর বিষয়বস্তু এবং ঠিকানার মতো অসংগঠিত ডেটার শ্রেণীবিভাগের সাথে কাজ করার জন্য একটি মেশিন লার্নিং সিস্টেম তৈরি করেছি। মেশিন লার্নিং ম্যানুয়াল হিউরিস্টিক থেকে দূরে সরে যাওয়া এবং অতিরিক্ত ডেটা সিগন্যাল প্রয়োগ করা সম্ভব করেছে (যেমন কলামের নাম, ডেটা প্রোভেন্যান্স), সনাক্তকরণের সঠিকতা উল্লেখযোগ্যভাবে উন্নত করে। আমরা পরে আমাদের মেশিন লার্নিং আর্কিটেকচারে গভীরভাবে ডুব দেব।

ভবিষ্যদ্বাণী পরিষেবা স্ক্যানের সময় এবং অবস্থা সম্পর্কিত মেটাডেটা সহ প্রতিটি কলামের ফলাফল সংরক্ষণ করে। যেকোন ভোক্তা এবং ডাউনস্ট্রিম প্রসেস যা এই ডেটার উপর নির্ভর করে তারা দৈনিক প্রকাশিত ডেটাসেট থেকে এটি পড়তে পারে। এই সেটটি এই সমস্ত স্ক্যান কাজের বা রিয়েল-টাইম ডেটা ক্যাটালগ API-এর ফলাফলগুলিকে একত্রিত করে৷ প্রকাশিত পূর্বাভাস হল গোপনীয়তা এবং নিরাপত্তা নীতির স্বয়ংক্রিয় প্রয়োগের ভিত্তি।

অবশেষে, পূর্বাভাস পরিষেবা সমস্ত ডেটা লিখে এবং সমস্ত পূর্বাভাস সংরক্ষণ করার পরে, আমাদের ডেটা ক্যাটালগ API রিয়েল টাইমে রিসোর্সের জন্য সমস্ত ডেটা টাইপ পূর্বাভাস ফেরত দিতে পারে। প্রতিদিন সিস্টেম প্রতিটি সম্পদের জন্য সমস্ত সাম্প্রতিক পূর্বাভাস ধারণকারী একটি ডেটাসেট প্রকাশ করে।

উদ্বায়ী তথ্য

যদিও উপরের প্রক্রিয়াটি স্থায়ী সম্পদের জন্য ডিজাইন করা হয়েছে, অস্থায়ী ট্র্যাফিককে একটি সংস্থার ডেটার অংশ হিসাবে বিবেচনা করা হয় এবং এটি গুরুত্বপূর্ণ হতে পারে। এই কারণে, সিস্টেমটি যেকোন বিরতিহীন ট্র্যাফিকের জন্য রিয়েল-টাইম শ্রেণীবিভাগ পূর্বাভাস তৈরি করার জন্য একটি অনলাইন API প্রদান করে। রিয়েল-টাইম পূর্বাভাস সিস্টেম ব্যাপকভাবে আউটবাউন্ড ট্র্যাফিক, মেশিন লার্নিং মডেল এবং বিজ্ঞাপনদাতার ডেটাতে অন্তর্মুখী ট্র্যাফিক শ্রেণিবদ্ধ করতে ব্যবহৃত হয়।

এখানে API দুটি প্রধান আর্গুমেন্ট নেয়: গ্রুপিং কী এবং কাঁচা ডেটা যা ভবিষ্যদ্বাণী করা হয়। পরিষেবাটি উপরে বর্ণিত হিসাবে একই বস্তু পুনরুদ্ধার করে এবং একই কী এর জন্য বস্তুগুলিকে একত্রিত করে। এই বৈশিষ্ট্যগুলি ব্যর্থতা পুনরুদ্ধারের জন্য অধ্যবসায় ক্যাশে সমর্থিত। প্রতিটি গ্রুপিং কী-এর জন্য, পরিষেবা নিশ্চিত করে যে পূর্বাভাস পরিষেবাতে কল করার আগে এটি উপরে বর্ণিত প্রক্রিয়া অনুসরণ করে পর্যাপ্ত নমুনা দেখেছে।

অপ্টিমাইজেশান

কিছু স্টোরেজ স্ক্যান করার জন্য, আমরা হট স্টোরেজ থেকে পড়া অপ্টিমাইজ করার জন্য লাইব্রেরি এবং কৌশল ব্যবহার করি [2] এবং নিশ্চিত করি যে একই স্টোরেজ অ্যাক্সেস করার জন্য অন্য ব্যবহারকারীদের থেকে কোনও বাধা নেই।

অত্যন্ত বড় টেবিলের জন্য (50+ পেটাবাইট), সমস্ত অপ্টিমাইজেশন এবং মেমরি দক্ষতা থাকা সত্ত্বেও, সিস্টেমটি মেমরি ফুরিয়ে যাওয়ার আগে সবকিছু স্ক্যান এবং গণনা করার জন্য কাজ করে। সর্বোপরি, স্ক্যানটি সম্পূর্ণরূপে মেমরিতে গণনা করা হয় এবং স্ক্যানের সময় সংরক্ষণ করা হয় না। যদি বড় সারণিতে হাজার হাজার কলাম থাকে যার অসংগঠিত ক্লাম্প ডেটা থাকে, পুরো টেবিলে ভবিষ্যদ্বাণী করার সময় অপর্যাপ্ত মেমরি সংস্থানের কারণে কাজটি ব্যর্থ হতে পারে। এর ফলে কভারেজ কমে যাবে। এটি মোকাবেলা করার জন্য, সিস্টেমটি বর্তমান কাজের চাপ কতটা ভালভাবে পরিচালনা করে তার জন্য প্রক্সি হিসাবে স্ক্যান গতি ব্যবহার করার জন্য আমরা সিস্টেমটিকে অপ্টিমাইজ করেছি। আমরা মেমরি সমস্যা দেখতে এবং বৈশিষ্ট্য মানচিত্র ভবিষ্যদ্বাণীমূলকভাবে গণনা করতে একটি ভবিষ্যদ্বাণীমূলক প্রক্রিয়া হিসাবে গতি ব্যবহার করি। একই সময়ে, আমরা স্বাভাবিকের চেয়ে কম ডেটা ব্যবহার করি।

ডেটা সংকেত

একটি শ্রেণীবিভাগ সিস্টেম শুধুমাত্র তথ্য থেকে সংকেত হিসাবে ভাল. এখানে আমরা ক্লাসিফিকেশন সিস্টেম দ্বারা ব্যবহৃত সমস্ত সংকেত দেখব।

• বিষয়বস্তু ভিত্তিক: অবশ্যই, প্রথম এবং সবচেয়ে গুরুত্বপূর্ণ সংকেত হল বিষয়বস্তু। Bernoulli স্যাম্পলিং প্রতিটি ডেটা সম্পদের উপর সঞ্চালিত হয় যা আমরা ডেটা সামগ্রীর উপর ভিত্তি করে বৈশিষ্ট্যগুলি স্ক্যান করি এবং বের করি। বিষয়বস্তু থেকে অনেক লক্ষণ আসে। যেকোন সংখ্যক ভাসমান বস্তু সম্ভব, যা একটি নির্দিষ্ট নমুনার ধরন কতবার দেখা হয়েছে তার গণনার প্রতিনিধিত্ব করে। উদাহরণস্বরূপ, আমাদের কাছে একটি নমুনায় দেখা ইমেলের সংখ্যা বা একটি নমুনায় কতগুলি ইমোজি দেখা গেছে তার লক্ষণ থাকতে পারে। এই বৈশিষ্ট্য গণনা স্বাভাবিক করা যেতে পারে এবং বিভিন্ন স্ক্যান জুড়ে একত্রিত করা যেতে পারে।
• ডেটা প্রোভেনেন্স: একটি গুরুত্বপূর্ণ সংকেত যা মূল সারণী থেকে বিষয়বস্তু পরিবর্তিত হলে সাহায্য করতে পারে। একটি সাধারণ উদাহরণ হ্যাশ করা ডেটা। যখন একটি চাইল্ড টেবিলের ডেটা হ্যাশ করা হয়, এটি প্রায়শই প্যারেন্ট টেবিল থেকে আসে, যেখানে এটি পরিষ্কার থাকে। বংশগত ডেটা নির্দিষ্ট ধরণের ডেটা শ্রেণীবদ্ধ করতে সাহায্য করে যখন সেগুলি পরিষ্কারভাবে পড়া হয় না বা একটি আপস্ট্রিম টেবিল থেকে রূপান্তরিত হয়।
• টীকা: আরেকটি উচ্চ-মানের সংকেত যা অসংগঠিত ডেটা সনাক্ত করতে সহায়তা করে। প্রকৃতপক্ষে, টীকা এবং মূল তথ্য বিভিন্ন ডেটা সম্পদ জুড়ে বৈশিষ্ট্য প্রচার করতে একসাথে কাজ করতে পারে। টীকাগুলি অসংগঠিত ডেটার উত্স শনাক্ত করতে সহায়তা করে, যখন বংশগত তথ্যগুলি সংগ্রহস্থল জুড়ে সেই ডেটার প্রবাহকে ট্র্যাক করতে সহায়তা করতে পারে।
• ডেটা ইনজেকশন এমন একটি কৌশল যেখানে বিশেষ, অপঠিত অক্ষরগুলি ইচ্ছাকৃতভাবে পরিচিত ডেটা প্রকারের পরিচিত উত্সগুলিতে প্রবর্তন করা হয়। তারপর, যখনই আমরা একই অপঠনযোগ্য অক্ষর ক্রম দিয়ে বিষয়বস্তু স্ক্যান করি, আমরা অনুমান করতে পারি যে বিষয়বস্তু সেই পরিচিত ডেটা টাইপ থেকে এসেছে। এটি টীকাগুলির অনুরূপ আরেকটি গুণগত ডেটা সংকেত। তা ছাড়া বিষয়বস্তু-ভিত্তিক সনাক্তকরণ প্রবেশ করা ডেটা আবিষ্কার করতে সহায়তা করে।

মেট্রিক্স পরিমাপ

একটি গুরুত্বপূর্ণ উপাদান হল মেট্রিক্স পরিমাপের জন্য একটি কঠোর পদ্ধতি। শ্রেণীবিন্যাস উন্নতির পুনরাবৃত্তির প্রধান মেট্রিক্স হল প্রতিটি লেবেলের নির্ভুলতা এবং প্রত্যাহার, যেখানে F2 স্কোর সবচেয়ে গুরুত্বপূর্ণ।

এই মেট্রিক্সগুলি গণনা করার জন্য, ডেটা সম্পদের লেবেল করার জন্য একটি স্বাধীন পদ্ধতির প্রয়োজন যা সিস্টেমের থেকে স্বাধীন, তবে এটির সাথে সরাসরি তুলনা করার জন্য ব্যবহার করা যেতে পারে। নিচে আমরা বর্ণনা করি কিভাবে আমরা Facebook থেকে গ্রাউন্ড ট্রুথ সংগ্রহ করি এবং আমাদের ক্লাসিফিকেশন সিস্টেমকে প্রশিক্ষণের জন্য ব্যবহার করি।

নির্ভরযোগ্য তথ্য সংগ্রহ

আমরা নীচে তালিকাভুক্ত প্রতিটি উৎস থেকে তার নিজস্ব টেবিলে নির্ভরযোগ্য তথ্য সংগ্রহ করি। প্রতিটি টেবিল সেই নির্দিষ্ট উত্স থেকে সর্বশেষ পর্যবেক্ষণ করা মানগুলিকে একত্রিত করার জন্য দায়ী। প্রতিটি উত্সের জন্য পর্যবেক্ষণ করা মানগুলি উচ্চ মানের এবং সর্বশেষ ডেটা টাইপ লেবেল রয়েছে তা নিশ্চিত করতে প্রতিটি উত্সের ডেটা গুণমান পরীক্ষা করা হয়৷

• লগিং প্ল্যাটফর্ম কনফিগারেশন: হাইভ টেবিলের কিছু ক্ষেত্র একটি নির্দিষ্ট ধরনের ডেটা দিয়ে পূর্ণ হয়। এই তথ্যের ব্যবহার এবং প্রচার সত্যের একটি নির্ভরযোগ্য উৎস হিসেবে কাজ করে।
• ম্যানুয়াল লেবেলিং: সিস্টেম রক্ষণাবেক্ষণকারী ডেভেলপারদের পাশাপাশি বহিরাগত লেবেলারদের কলাম লেবেল করার জন্য প্রশিক্ষিত করা হয়। এটি সাধারণত গুদামের সমস্ত ধরণের ডেটার জন্য ভাল কাজ করে এবং কিছু অসংগঠিত ডেটার জন্য সত্যের প্রাথমিক উত্স হতে পারে, যেমন বার্তা ডেটা বা ব্যবহারকারীর সামগ্রী৷
• প্যারেন্ট টেবিলের কলামগুলিকে নির্দিষ্ট ডেটা ধারণ করে চিহ্নিত বা টীকা করা যেতে পারে এবং আমরা বাচ্চাদের টেবিলে সেই ডেটা ট্র্যাক করতে পারি।
• এক্সিকিউশনের থ্রেড আনা: Facebook-এ এক্সিকিউশনের থ্রেড নির্দিষ্ট ধরনের ডেটা বহন করে। আমাদের স্ক্যানারকে একটি পরিষেবা আর্কিটেকচার হিসাবে ব্যবহার করে, আমরা স্ট্রীমগুলির নমুনা দিতে পারি যেগুলির ডেটা প্রকারগুলি জানা আছে এবং সেগুলিকে সিস্টেমের মাধ্যমে পাঠাতে পারি৷ সিস্টেম এই তথ্য সংরক্ষণ না করার প্রতিশ্রুতি.
• নমুনা টেবিল: বড় হাইভ টেবিল, যা পুরো ডেটা কর্পাস ধারণ করে বলে পরিচিত, প্রশিক্ষণ ডেটা হিসাবেও ব্যবহার করা যেতে পারে এবং পরিষেবা হিসাবে স্ক্যানারের মাধ্যমে পাস করা যেতে পারে। ডাটা টাইপের সম্পূর্ণ পরিসরের সারণির জন্য এটি দুর্দান্ত, যাতে এলোমেলোভাবে একটি কলামের নমুনা করা সেই ডেটা টাইপের সম্পূর্ণ সেটের নমুনা নেওয়ার সমতুল্য।
• সিন্থেটিক ডেটা: আমরা এমন লাইব্রেরিগুলিও ব্যবহার করতে পারি যা উড়ে এসে ডেটা তৈরি করে। এটি একটি ঠিকানা বা GPS এর মতো সাধারণ, সর্বজনীন ডেটা প্রকারের জন্য ভাল কাজ করে।
• ডেটা স্টুয়ার্ডস: গোপনীয়তা প্রোগ্রামগুলি সাধারণত ডেটা স্টুয়ার্ডদের ব্যবহার করে ডেটার টুকরোগুলিতে ম্যানুয়ালি নীতি নির্ধারণ করতে। এটি সত্যের অত্যন্ত সঠিক উৎস হিসেবে কাজ করে।

আমরা সত্যের প্রতিটি প্রধান উত্সকে সেই সমস্ত ডেটার সাথে একটি কর্পাসে একত্রিত করি। বৈধতার সাথে সবচেয়ে বড় চ্যালেঞ্জ হল নিশ্চিত করা যে এটি ডেটা গুদামের প্রতিনিধি। অন্যথায়, শ্রেণীবিন্যাস ইঞ্জিন ওভারট্রেন হতে পারে। এটি মোকাবেলা করার জন্য, মডেল বা মেট্রিক্স গণনা করার সময় ভারসাম্য নিশ্চিত করতে উপরের সমস্ত উত্স ব্যবহার করা হয়। উপরন্তু, হিউম্যান লেবেলার একইভাবে ভান্ডারে বিভিন্ন কলামের নমুনা তৈরি করে এবং সেই অনুযায়ী ডেটা লেবেল করে যাতে স্থল সত্যের সংগ্রহ নিরপেক্ষ থাকে।

একটানা সমাকলান

দ্রুত পুনরাবৃত্তি এবং উন্নতি নিশ্চিত করতে, রিয়েল টাইমে সিস্টেমের কর্মক্ষমতা পরিমাপ করা গুরুত্বপূর্ণ। আমরা আজ সিস্টেমের বিরুদ্ধে প্রতিটি শ্রেণীবিভাগের উন্নতি পরিমাপ করতে পারি, তাই আমরা ডেটার উপর ভিত্তি করে ভবিষ্যতের উন্নতিগুলিকে কৌশলগতভাবে গাইড করতে পারি। এখানে আমরা দেখব কিভাবে সিস্টেম ফিডব্যাক লুপ সম্পূর্ণ করে যা বৈধ ডেটা দ্বারা প্রদান করা হয়।

যখন শিডিউলিং সিস্টেম এমন একটি সম্পদের সম্মুখীন হয় যার একটি বিশ্বস্ত উৎস থেকে একটি লেবেল আছে, আমরা দুটি কাজের সময় নির্ধারণ করি। প্রথমটি আমাদের উত্পাদন স্ক্যানার এবং এইভাবে আমাদের উত্পাদন ক্ষমতা ব্যবহার করে। দ্বিতীয় কাজটি সর্বশেষ বৈশিষ্ট্য সহ সর্বশেষ বিল্ড স্ক্যানার ব্যবহার করে। প্রতিটি কাজ তার নিজস্ব টেবিলে তার আউটপুট লেখে, শ্রেণীবিভাগের ফলাফলের সাথে সংস্করণ ট্যাগ করে।

এইভাবে আমরা রিয়েল টাইমে রিলিজ প্রার্থীর শ্রেণীবিভাগ ফলাফল এবং উৎপাদন মডেলের তুলনা করি।

ডেটাসেটগুলি RC এবং PROD বৈশিষ্ট্যগুলির তুলনা করার সময়, ভবিষ্যদ্বাণী পরিষেবার ML শ্রেণিবিন্যাস ইঞ্জিনের অনেক বৈচিত্র লগ করা হয়েছে৷ অতি সম্প্রতি নির্মিত মেশিন লার্নিং মডেল, উৎপাদনে বর্তমান মডেল এবং যেকোনো পরীক্ষামূলক মডেল। একই পন্থা আমাদেরকে মডেলের বিভিন্ন সংস্করণ (আমাদের নিয়ম শ্রেণীবদ্ধকারীর কাছে অজ্ঞেয়বাদী) এবং রিয়েল টাইমে মেট্রিক্স তুলনা করতে দেয়। এটি একটি এমএল পরীক্ষা কখন উৎপাদনে যেতে প্রস্তুত তা নির্ধারণ করা সহজ করে তোলে।

প্রতি রাতে, সেই দিনের জন্য গণনা করা RC বৈশিষ্ট্যগুলি ML প্রশিক্ষণ পাইপলাইনে পাঠানো হয়, যেখানে মডেলটিকে সর্বশেষ RC বৈশিষ্ট্যগুলির উপর প্রশিক্ষণ দেওয়া হয় এবং গ্রাউন্ড ট্রুথ ডেটাসেটের বিপরীতে এর কার্যকারিতা মূল্যায়ন করা হয়।

প্রতি সকালে, মডেল প্রশিক্ষণ সম্পন্ন করে এবং স্বয়ংক্রিয়ভাবে একটি পরীক্ষামূলক মডেল হিসাবে প্রকাশিত হয়। এটি স্বয়ংক্রিয়ভাবে পরীক্ষামূলক তালিকায় অন্তর্ভুক্ত করা হয়েছে।

কিছু ফলাফল

100 টিরও বেশি বিভিন্ন ধরণের ডেটা উচ্চ নির্ভুলতার সাথে লেবেলযুক্ত। ইমেল এবং ফোন নম্বরের মতো সুগঠিত প্রকারগুলি 2-এর বেশি f0,95 স্কোর দিয়ে শ্রেণীবদ্ধ করা হয়। বিনামূল্যের ডেটা প্রকার যেমন ব্যবহারকারী-উত্পাদিত বিষয়বস্তু এবং নামও খুব ভাল পারফর্ম করে, F2 স্কোর 0,85-এর বেশি।

স্থায়ী এবং উদ্বায়ী ডেটার একটি বড় সংখ্যক পৃথক কলাম প্রতিদিন সমস্ত সংগ্রহস্থলে শ্রেণীবদ্ধ করা হয়। 500 টিরও বেশি ডেটা গুদাম জুড়ে প্রতিদিন 10 টেরাবাইটের বেশি স্ক্যান করা হয়। এই সংগ্রহস্থলগুলির বেশিরভাগেরই 98% এর বেশি কভারেজ রয়েছে।

সময়ের সাথে সাথে, শ্রেণীবিভাগ অত্যন্ত দক্ষ হয়ে উঠেছে, একটি স্থায়ী অফলাইন স্ট্রীমে শ্রেণীবিভাগের কাজগুলি প্রতিটি কলামের জন্য পূর্বাভাস গণনা করার জন্য একটি সম্পদ স্ক্যান করা থেকে গড়ে 35 সেকেন্ড সময় নেয়।

ভাত। 2. RC বস্তু কিভাবে তৈরি হয় এবং মডেলে পাঠানো হয় তা বোঝার জন্য ক্রমাগত ইন্টিগ্রেশন প্রবাহের বর্ণনা দেয়।

চিত্র 3. একটি মেশিন লার্নিং উপাদানের উচ্চ-স্তরের চিত্র।

মেশিন লার্নিং সিস্টেম উপাদান

পূর্ববর্তী বিভাগে, আমরা সামগ্রিক সিস্টেম আর্কিটেকচার, হাইলাইটিং স্কেল, অপ্টিমাইজেশান এবং অফলাইন এবং অনলাইন ডেটা প্রবাহের মধ্যে গভীরভাবে ডুব দিয়েছি। এই বিভাগে, আমরা পূর্বাভাস পরিষেবাটি দেখব এবং মেশিন লার্নিং সিস্টেমটি বর্ণনা করব যা পূর্বাভাস পরিষেবাকে ক্ষমতা দেয়৷

100 টিরও বেশি ডেটা টাইপ এবং কিছু অসংগঠিত বিষয়বস্তু যেমন বার্তা ডেটা এবং ব্যবহারকারীর বিষয়বস্তু সহ, বিশুদ্ধভাবে ম্যানুয়াল হিউরিস্টিক ব্যবহার করে সাবপ্যারামেট্রিক শ্রেণিবিন্যাস নির্ভুলতা লাভ করে, বিশেষত অসংগঠিত ডেটার জন্য। এই কারণে, আমরা অসংগঠিত ডেটার জটিলতাগুলি মোকাবেলা করার জন্য একটি মেশিন লার্নিং সিস্টেমও তৈরি করেছি। মেশিন লার্নিং ব্যবহার করা আপনাকে ম্যানুয়াল হিউরিস্টিক থেকে দূরে সরে যেতে এবং সঠিকতা উন্নত করতে বৈশিষ্ট্য এবং অতিরিক্ত ডেটা সিগন্যাল (উদাহরণস্বরূপ, কলামের নাম, ডেটা উত্স) নিয়ে কাজ করতে দেয়।

বাস্তবায়িত মডেল পৃথকভাবে ঘন এবং বিক্ষিপ্ত বস্তুর উপর ভেক্টর উপস্থাপনা [3] অধ্যয়ন করে। তারপরে এগুলিকে একত্রিত করে একটি ভেক্টর তৈরি করা হয়, যা চূড়ান্ত ফলাফল তৈরির জন্য ব্যাচ স্বাভাবিককরণ [৪] এবং অরৈখিক পদক্ষেপগুলির একটি সিরিজের মধ্য দিয়ে যায়। শেষ ফলাফল হল প্রতিটি লেবেলের জন্য [4-0] এর মধ্যে একটি ফ্লোটিং পয়েন্ট নম্বর, সম্ভাব্যতা নির্দেশ করে যে উদাহরণটি সেই সংবেদনশীলতার প্রকারের অন্তর্গত। মডেলের জন্য PyTorch ব্যবহার করা আমাদেরকে দ্রুত গতিতে যেতে দেয়, দলের বাইরের বিকাশকারীদের দ্রুত পরিবর্তন করতে এবং পরীক্ষা করতে দেয়।

আর্কিটেকচার ডিজাইন করার সময়, তাদের অন্তর্নিহিত পার্থক্যের কারণে স্পারস (যেমন টেক্সট) এবং ঘন (যেমন সাংখ্যিক) অবজেক্টকে আলাদাভাবে মডেল করা গুরুত্বপূর্ণ ছিল। চূড়ান্ত আর্কিটেকচারের জন্য, শেখার হার, ব্যাচের আকার এবং অন্যান্য হাইপারপ্যারামিটারের জন্য সর্বোত্তম মান খুঁজে পেতে একটি প্যারামিটার সুইপ করাও গুরুত্বপূর্ণ ছিল। অপ্টিমাইজারের পছন্দটিও একটি গুরুত্বপূর্ণ হাইপারপ্যারামিটার ছিল। আমরা খুঁজে পেয়েছি যে একটি জনপ্রিয় অপ্টিমাইজার আদমপ্রায়ই overfitting বাড়ে, যেখানে একটি মডেল সঙ্গে SGD আরো স্থিতিশীল. অতিরিক্ত সূক্ষ্মতা ছিল যা আমাদের সরাসরি মডেলটিতে অন্তর্ভুক্ত করতে হয়েছিল। উদাহরণ স্বরূপ, স্ট্যাটিক নিয়ম যা নিশ্চিত করে যে মডেলটি একটি নির্ধারক ভবিষ্যদ্বাণী করে যখন একটি বৈশিষ্ট্যের একটি নির্দিষ্ট মান থাকে। এই স্ট্যাটিক নিয়ম আমাদের ক্লায়েন্ট দ্বারা সংজ্ঞায়িত করা হয়. আমরা দেখতে পেয়েছি যে মডেলটিতে সরাসরি তাদের অন্তর্ভুক্ত করার ফলে এই বিশেষ প্রান্তের ক্ষেত্রেগুলি পরিচালনা করার জন্য একটি পোস্ট-প্রসেসিং পদক্ষেপ বাস্তবায়নের বিপরীতে একটি আরও স্বয়ংসম্পূর্ণ এবং শক্তিশালী আর্কিটেকচার তৈরি হয়েছে। এছাড়াও মনে রাখবেন যে এই নিয়মগুলি প্রশিক্ষণের সময় অক্ষম করা হয় যাতে গ্রেডিয়েন্ট ডিসেন্ট প্রশিক্ষণ প্রক্রিয়াতে হস্তক্ষেপ না হয়।

সমস্যার

একটি চ্যালেঞ্জ ছিল উচ্চ-মানের, নির্ভরযোগ্য ডেটা সংগ্রহ করা। মডেলটির প্রতিটি শ্রেণীর জন্য আত্মবিশ্বাসের প্রয়োজন যাতে এটি বস্তু এবং লেবেলের মধ্যে সম্পর্ক শিখতে পারে। পূর্ববর্তী বিভাগে, আমরা সিস্টেম পরিমাপ এবং মডেল প্রশিক্ষণ উভয়ের জন্য ডেটা সংগ্রহের পদ্ধতি নিয়ে আলোচনা করেছি। বিশ্লেষণে দেখা গেছে যে ক্রেডিট কার্ড এবং ব্যাঙ্ক অ্যাকাউন্ট নম্বরের মতো ডেটা ক্লাস আমাদের গুদামে খুব সাধারণ নয়। এটি মডেলদের প্রশিক্ষণের জন্য প্রচুর পরিমাণে নির্ভরযোগ্য ডেটা সংগ্রহ করা কঠিন করে তোলে। এই সমস্যাটির সমাধান করার জন্য, আমরা এই ক্লাসগুলির জন্য সিন্থেটিক গ্রাউন্ড ট্রুথ ডেটা পাওয়ার জন্য প্রক্রিয়াগুলি তৈরি করেছি। আমরা সহ সংবেদনশীল প্রকারের জন্য এই ধরনের ডেটা তৈরি করি এসএসএন, ক্রেডিট কার্ড নম্বর и IBAN রয়েছে-সংখ্যা যার জন্য মডেল পূর্বে ভবিষ্যদ্বাণী করতে পারেনি। এই পদ্ধতিটি সংবেদনশীল ডেটা প্রকারগুলিকে প্রকৃত সংবেদনশীল ডেটা লুকানোর সাথে সম্পর্কিত গোপনীয়তার ঝুঁকি ছাড়াই প্রক্রিয়া করার অনুমতি দেয়।

গ্রাউন্ড ট্রুথ ইস্যুগুলি ছাড়াও, খোলা স্থাপত্য সংক্রান্ত সমস্যা রয়েছে যা আমরা কাজ করছি, যেমন বিচ্ছিন্নতা পরিবর্তন и তাড়াতাড়ি স্টপ. পরিবর্তন বিচ্ছিন্নতা নিশ্চিত করার জন্য গুরুত্বপূর্ণ যে যখন নেটওয়ার্কের বিভিন্ন অংশে বিভিন্ন পরিবর্তন করা হয়, প্রভাবটি নির্দিষ্ট শ্রেণীতে বিচ্ছিন্ন হয় এবং সামগ্রিক পূর্বাভাস কর্মক্ষমতার উপর বিস্তৃত প্রভাব না পড়ে। প্রাথমিকভাবে থামানোর মানদণ্ডের উন্নতি করাও গুরুত্বপূর্ণ যাতে আমরা প্রশিক্ষণ প্রক্রিয়াটিকে সব শ্রেণীর জন্য একটি স্থিতিশীল পয়েন্টে থামাতে পারি, যেখানে কিছু ক্লাস ওভারট্রেন করে এবং অন্যরা না করে।

বৈশিষ্ট্য গুরুত্ব

যখন একটি মডেলে একটি নতুন বৈশিষ্ট্য চালু করা হয়, আমরা মডেলের উপর এর সামগ্রিক প্রভাব জানতে চাই। আমরা নিশ্চিত করতে চাই যে ভবিষ্যদ্বাণীগুলি মানুষের ব্যাখ্যাযোগ্য যাতে আমরা বুঝতে পারি যে প্রতিটি ধরণের ডেটার জন্য কোন বৈশিষ্ট্যগুলি ব্যবহার করা হচ্ছে৷ এই উদ্দেশ্যে আমরা বিকাশ এবং প্রবর্তন করেছি ক্লাস দ্বারা PyTorch মডেলের জন্য বৈশিষ্ট্যের গুরুত্ব। মনে রাখবেন যে এটি সামগ্রিক বৈশিষ্ট্যের গুরুত্ব থেকে ভিন্ন, যা সাধারণত সমর্থিত, কারণ এটি আমাদের বলে না যে কোন বৈশিষ্ট্যগুলি একটি নির্দিষ্ট শ্রেণীর জন্য গুরুত্বপূর্ণ। আমরা বস্তুটিকে পুনর্বিন্যাস করার পরে ভবিষ্যদ্বাণী ত্রুটির বৃদ্ধি গণনা করে একটি বস্তুর গুরুত্ব পরিমাপ করি। একটি বৈশিষ্ট্য "গুরুত্বপূর্ণ" যখন মান অদলবদল মডেলের ত্রুটি বাড়ায় কারণ এই ক্ষেত্রে মডেলটি তার ভবিষ্যদ্বাণী করতে বৈশিষ্ট্যটির উপর নির্ভর করে। একটি বৈশিষ্ট্য "অগুরুত্বপূর্ণ" হয় যখন এর মানগুলি এলোমেলো করে মডেল ত্রুটিটিকে অপরিবর্তিত রাখে, যেহেতু এই ক্ষেত্রে মডেলটি এটিকে উপেক্ষা করেছে [5]।

প্রতিটি শ্রেণীর জন্য বৈশিষ্ট্যের গুরুত্ব আমাদের মডেলটিকে ব্যাখ্যাযোগ্য করে তুলতে দেয় যাতে আমরা দেখতে পারি লেবেলের পূর্বাভাস দেওয়ার সময় মডেলটি কী দেখছে। উদাহরণস্বরূপ, যখন আমরা বিশ্লেষণ করি সহ ADDR, তাহলে আমরা গ্যারান্টি দিই যে ঠিকানার সাথে যুক্ত চিহ্ন যেমন ঠিকানা লাইন গণনা, প্রতিটি শ্রেণীর জন্য বৈশিষ্ট্যের গুরুত্বের সারণীতে উচ্চ স্থান পায় যাতে মডেলটি যা শিখেছে তার সাথে আমাদের মানুষের অন্তর্দৃষ্টি ভালভাবে মেলে।

মূল্যায়ন

সাফল্যের জন্য একটি একক মেট্রিক সংজ্ঞায়িত করা গুরুত্বপূর্ণ। আমরা করতে বেছে নেওয়া F2 - প্রত্যাহার এবং নির্ভুলতার মধ্যে ভারসাম্য (রিকল পক্ষপাত সামান্য বড়)। প্রাইভেসি ব্যবহারের ক্ষেত্রে নির্ভুলতার চেয়ে রিকল বেশি গুরুত্বপূর্ণ কারণ দলটির জন্য কোনো সংবেদনশীল ডেটা মিস না করা (যথাযথ নির্ভুলতা নিশ্চিত করার সময়) গুরুত্বপূর্ণ। আমাদের মডেলের প্রকৃত F2 কর্মক্ষমতা মূল্যায়ন এই কাগজের সুযোগের বাইরে। যাইহোক, সাবধানে টিউনিংয়ের মাধ্যমে আমরা সবচেয়ে গুরুত্বপূর্ণ সংবেদনশীল ক্লাসের জন্য উচ্চ (0,9+) F2 স্কোর অর্জন করতে পারি।

সম্পর্কিত কাজ

বিভিন্ন পদ্ধতি যেমন প্যাটার্ন ম্যাচিং, নথির মিল অনুসন্ধান এবং বিভিন্ন মেশিন লার্নিং পদ্ধতি (বায়েসিয়ান, ডিসিশন ট্রি, কে-নেয়ারস্ট প্রতিবেশী এবং আরও অনেক) ব্যবহার করে অসংগঠিত নথিগুলির স্বয়ংক্রিয় শ্রেণীবিভাগের জন্য অনেক অ্যালগরিদম রয়েছে [6]। এই যে কোনো একটি শ্রেণীবিভাগের অংশ হিসাবে ব্যবহার করা যেতে পারে. যাইহোক, সমস্যা হল মাপযোগ্যতা। এই নিবন্ধে শ্রেণীবিন্যাস পদ্ধতি নমনীয়তা এবং কর্মক্ষমতা প্রতি পক্ষপাতদুষ্ট. এটি আমাদের ভবিষ্যতে নতুন ক্লাস সমর্থন করতে এবং লেটেন্সি কম রাখতে দেয়।

ডাটা ফিঙ্গারপ্রিন্টিং নিয়েও অনেক কাজ আছে। উদাহরণস্বরূপ, [7] এর লেখকরা একটি সমাধান বর্ণনা করেছেন যা সংবেদনশীল ডেটা ফাঁস ক্যাপচার করার সমস্যার উপর দৃষ্টি নিবদ্ধ করে। অন্তর্নিহিত অনুমান হল যে ডেটাটি পরিচিত সংবেদনশীল ডেটার সেটের সাথে মেলে আঙ্গুলের ছাপ করা যেতে পারে। [৮] এর লেখকরা গোপনীয়তা ফাঁসের একটি অনুরূপ সমস্যা বর্ণনা করেছেন, তবে তাদের সমাধান একটি নির্দিষ্ট অ্যান্ড্রয়েড আর্কিটেকচারের উপর ভিত্তি করে এবং শুধুমাত্র তখনই শ্রেণিবদ্ধ করা হয় যদি ব্যবহারকারীর ক্রিয়াকলাপের ফলে ব্যক্তিগত তথ্য শেয়ার করা হয় বা অন্তর্নিহিত অ্যাপ্লিকেশন ব্যবহারকারীর ডেটা ফাঁস করে। এখানে পরিস্থিতি কিছুটা ভিন্ন কারণ ব্যবহারকারীর ডেটাও অত্যন্ত অসংগঠিত হতে পারে। অতএব, আমাদের আঙ্গুলের ছাপের চেয়ে আরও জটিল কৌশল দরকার।

অবশেষে, কিছু ধরণের সংবেদনশীল ডেটার জন্য ডেটা ঘাটতি মোকাবেলা করার জন্য, আমরা সিন্থেটিক ডেটা প্রবর্তন করেছি। তথ্য বৃদ্ধির উপর সাহিত্যের একটি বৃহৎ অংশ রয়েছে, উদাহরণস্বরূপ, [9] এর লেখকরা প্রশিক্ষণের সময় শব্দ ইঞ্জেকশনের ভূমিকা অন্বেষণ করেছেন এবং তত্ত্বাবধানে শেখার ক্ষেত্রে ইতিবাচক ফলাফল লক্ষ্য করেছেন। গোপনীয়তার প্রতি আমাদের দৃষ্টিভঙ্গি ভিন্ন কারণ কোলাহলপূর্ণ ডেটা প্রবর্তন করা বিপরীত হতে পারে, এবং আমরা এর পরিবর্তে উচ্চ-মানের সিন্থেটিক ডেটার উপর ফোকাস করি।

উপসংহার

এই কাগজে, আমরা এমন একটি সিস্টেম উপস্থাপন করেছি যা ডেটার একটি অংশকে শ্রেণীবদ্ধ করতে পারে। এটি আমাদের গোপনীয়তা এবং নিরাপত্তা নীতি প্রয়োগ করার জন্য সিস্টেম তৈরি করতে দেয়। আমরা দেখিয়েছি যে পরিমাপযোগ্য পরিকাঠামো, ক্রমাগত একীকরণ, মেশিন লার্নিং এবং উচ্চ-মানের ডেটা নিশ্চয়তা আমাদের অনেক গোপনীয়তা উদ্যোগের সাফল্যে মুখ্য ভূমিকা পালন করে।

ভবিষ্যতের কাজের জন্য অনেক দিকনির্দেশনা রয়েছে। এর মধ্যে অন্তর্ভুক্ত থাকতে পারে অ-পরিকল্পিত ডেটা (ফাইল) এর জন্য সমর্থন প্রদান করা, শুধুমাত্র ডেটা টাইপ নয়, সংবেদনশীলতার স্তরও শ্রেণীবদ্ধ করা এবং সঠিক কৃত্রিম উদাহরণ তৈরি করে প্রশিক্ষণের সময় স্ব-তত্ত্বাবধানে শিক্ষা ব্যবহার করা। যা, পরিবর্তে, মডেলটিকে সর্বাধিক পরিমাণে ক্ষতি কমাতে সহায়তা করবে। ভবিষ্যতের কাজ তদন্তের কর্মপ্রবাহের উপরও ফোকাস করতে পারে, যেখানে আমরা সনাক্তকরণের বাইরে চলে যাই এবং বিভিন্ন গোপনীয়তা লঙ্ঘনের মূল কারণ বিশ্লেষণ প্রদান করি। এটি সংবেদনশীলতা বিশ্লেষণের মতো ক্ষেত্রে সাহায্য করবে (যেমন ডেটা টাইপের গোপনীয়তা সংবেদনশীলতা বেশি (যেমন ব্যবহারকারীর আইপি) বা কম (যেমন Facebook অভ্যন্তরীণ আইপি))।

গ্রন্থ-পঁজী

1. ডেভিড বেন-ডেভিড, তামার ডোমানি এবং অ্যাবিগেল তারেম। শব্দার্থিক ওয়েব প্রযুক্তি ব্যবহার করে এন্টারপ্রাইজ ডেটা শ্রেণীবিভাগ। পিটার এফ.Ï প্যাটেল-শ্নেইডার, ইউ প্যান, প্যাসকেল হিটজলার, পিটার মিকা, লেই ঝাং, জেফ জেড প্যান, ইয়ান হরকস, এবং বির্ট গ্লিম, সম্পাদক, শব্দার্থিক ওয়েব – ISWC 2010, পৃষ্ঠা 66–81, বার্লিন, হাইডেলবার্গ, 2010। স্প্রিংগার বার্লিন হাইডেলবার্গ।
2. সুব্রামানিয়ান মুরলীধর, ওয়াট লয়েড, সব্যসাচী রায়, কোরি হিল, আর্নেস্ট লিন, ওয়েইভেন লিউ, সাতদ্রু পান, শিব শঙ্কর, বিশ্বনাথ শিবকুমার, লিনপেং তাং এবং সঞ্জীব কুমার। f4: ফেসবুকের উষ্ণ BLOB স্টোরেজ সিস্টেম। ভিতরে অপারেটিং সিস্টেম ডিজাইন এবং ইমপ্লিমেন্টেশনের উপর 11 তম ইউসেনিক্স সিম্পোজিয়াম (OSDI 14), পৃষ্ঠা 383–398, Broomfield, CO, অক্টোবর 2014। USENIX অ্যাসোসিয়েশন।
3. টমাস মিকোলভ, ইলিয়া সুটস্কেভার, কাই চেন, গ্রেগ এস কোরাডো এবং জেফ ডিন। শব্দ এবং বাক্যাংশের উপস্থাপনা এবং তাদের গঠনগততা। C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, এবং K. Q. Weinberger, সম্পাদকদের মধ্যে, নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমে অগ্রগতি 26, পৃষ্ঠা 3111-3119। Curran Associates, Inc., 2013.
4. সের্গেই ইওফে এবং ক্রিশ্চিয়ান সেজেডি। ব্যাচ স্বাভাবিকীকরণ: অভ্যন্তরীণ কোভারিয়েট শিফট হ্রাস করে গভীর নেটওয়ার্ক প্রশিক্ষণকে ত্বরান্বিত করা। ফ্রান্সিস বাখ এবং ডেভিড ব্লেই, সম্পাদকদের মধ্যে, মেশিন লার্নিং এর উপর 32 তম আন্তর্জাতিক সম্মেলনের কার্যক্রম, ভলিউম 37 মেশিন লার্নিং গবেষণা কার্যক্রম, পৃষ্ঠা 448–456, লিলে, ফ্রান্স, 07-09 জুলাই 2015। PMLR।
5. লিও ব্রেইম্যান। এলোমেলো বন। মাখ। শিখুন।, 45(1):5–32, অক্টোবর 2001।
6. থাইর নু ফিউ। ডেটা মাইনিংয়ে শ্রেণিবিন্যাস কৌশলগুলির সমীক্ষা।
7. X. Shu, D. Yao, এবং E. Bertino. সংবেদনশীল ডেটা এক্সপোজারের গোপনীয়তা-সংরক্ষণ সনাক্তকরণ। তথ্য ফরেনসিক এবং নিরাপত্তা IEEE লেনদেন, 10(5):1092–1103, 2015.
8. জেমিন ইয়াং, মিন ইয়াং, ইউয়ান ঝাং, গুওফেই গু, পেং নিং এবং জিয়াওয়াং ওয়াং। নিয়োগকারী: গোপনীয়তা ফাঁস সনাক্তকরণের জন্য অ্যান্ড্রয়েডে সংবেদনশীল ডেটা ট্রান্সমিশন বিশ্লেষণ করা। পৃষ্ঠা 1043–1054, 11 2013।
9. কিঝে জি, জিহাং দাই, এডুয়ার্ড এইচ হোভি, মিন-থাং লুওং এবং কুওক ভি লে। তত্ত্বাবধানহীন ডেটা বৃদ্ধি।

স্কিলফ্যাক্টরি অনলাইন কোর্স করে দক্ষতা এবং বেতনের পরিপ্রেক্ষিতে স্ক্র্যাচ বা লেভেল আপ থেকে কীভাবে একটি চাওয়া-পাওয়া পেশা পেতে হয় সে সম্পর্কে বিস্তারিত জানুন:

• স্ক্র্যাচ থেকে ডেটা সায়েন্সের পেশা শিক্ষকতা (12 মাস)
• মেশিন লার্নিং কোর্স (12 সপ্তাহ)
• উন্নত কোর্স "মেশিন লার্নিং প্রো + ডিপ লার্নিং" (20 সপ্তাহ)
• কোর্স "ডেটা সায়েন্সের জন্য গণিত এবং মেশিন লার্নিং" (20 সপ্তাহ)

আরও কোর্স

• ওয়েব ডেভেলপমেন্ট কোর্সের জন্য পাইথন (9 মাস)
• পেশা ওয়েব ডেভেলপার (8 মাস)
• বিশ্লেষক পেশা যে কোনো প্রারম্ভিক স্তরের সাথে (9 মাস)
• DevOps কোর্স (12 মাস)
• স্ক্র্যাচ থেকে পেশা জাভা বিকাশকারী (18 মাস)
• জাভাস্ক্রিপ্ট কোর্স (12 মাস)
• স্ক্র্যাচ থেকে পেশা UX ডিজাইনার (9 মাস)
• পেশা ওয়েব ডিজাইনার (7 মাস)

উত্স: www.habr.com