কিভাবে মন্তব্য খুলবেন এবং স্প্যামে ডুবে যাবেন না

আপনার কাজ যখন সুন্দর কিছু তৈরি করা, আপনাকে এটি নিয়ে বেশি কথা বলতে হবে না, কারণ ফলাফলটি সবার চোখের সামনে। কিন্তু যদি আপনি বেড়া থেকে শিলালিপি মুছে ফেলেন, যতক্ষণ না বেড়াগুলি শালীন দেখায় বা আপনি কিছু ভুল মুছে ফেলছেন ততক্ষণ পর্যন্ত কেউ আপনার কাজটি লক্ষ্য করবে না।

যে কোনও পরিষেবা যেখানে আপনি একটি মন্তব্য, পর্যালোচনা, একটি বার্তা পাঠাতে বা ছবি আপলোড করতে পারেন শীঘ্র বা পরে স্প্যাম, জালিয়াতি এবং অশ্লীলতার সমস্যার সম্মুখীন হয়৷ এটি এড়ানো যাবে না, তবে এটি মোকাবেলা করা আবশ্যক।

আমার নাম মিখাইল, আমি অ্যান্টিস্প্যাম দলে কাজ করি, যা ইয়ানডেক্স পরিষেবার ব্যবহারকারীদের এই ধরনের সমস্যা থেকে রক্ষা করে। আমাদের কাজ খুব কমই লক্ষ্য করা যায় (এবং এটি একটি ভাল জিনিস!), তাই আজ আমি আপনাকে এটি সম্পর্কে আরও বলব। আপনি শিখবেন কখন সংযম অকেজো এবং কেন নির্ভুলতাই এর কার্যকারিতার একমাত্র সূচক নয়। আমরা বিড়াল এবং কুকুরের উদাহরণ ব্যবহার করে শপথ নেওয়ার বিষয়েও কথা বলব এবং কেন এটি কখনও কখনও "একজন শপথকারীর মতো চিন্তা করা" উপযোগী।

ইয়ানডেক্সে আরও অনেক পরিষেবা উপস্থিত হচ্ছে যেখানে ব্যবহারকারীরা তাদের সামগ্রী প্রকাশ করে। আপনি Yandex.Q-এ একটি প্রশ্ন জিজ্ঞাসা করতে বা উত্তর লিখতে পারেন, Yandex.District-এ ইয়ার্ডের খবর নিয়ে আলোচনা করতে পারেন, Yandex.Maps-এ কথোপকথনে ট্রাফিক পরিস্থিতি শেয়ার করতে পারেন। কিন্তু যখন পরিষেবার শ্রোতা বাড়ে, তখন এটি স্ক্যামার এবং স্প্যামারদের কাছে আকর্ষণীয় হয়ে ওঠে। তারা আসে এবং মন্তব্য পূরণ করে: তারা সহজ অর্থ প্রদান করে, অলৌকিক নিরাময়ের বিজ্ঞাপন দেয় এবং সামাজিক সুবিধার প্রতিশ্রুতি দেয়। স্প্যামারদের কারণে, কিছু ব্যবহারকারী অর্থ হারাচ্ছেন, অন্যরা স্প্যাম দ্বারা পরিপূর্ণ একটি অপ্রতুল পরিষেবায় সময় কাটানোর ইচ্ছা হারান।

এবং এই একমাত্র সমস্যা নয়। আমরা শুধুমাত্র স্ক্যামারদের থেকে ব্যবহারকারীদের রক্ষা করার জন্য নয়, যোগাযোগের জন্য একটি আরামদায়ক পরিবেশ তৈরি করার জন্যও চেষ্টা করি। লোকেরা যদি মন্তব্যে শপথ এবং অপমানের মুখোমুখি হয়, তবে তারা সম্ভবত চলে যাবে এবং কখনই ফিরে আসবে না। এর মানে হল যে আপনাকে এটি মোকাবেলা করতে সক্ষম হতে হবে।

ক্লিন ওয়েব

যেমনটি প্রায়শই আমাদের ক্ষেত্রে হয়, প্রথম বিকাশের জন্ম হয়েছিল অনুসন্ধানে, যে অংশটি অনুসন্ধান ফলাফলে স্প্যামের বিরুদ্ধে লড়াই করে। প্রায় দশ বছর আগে, পারিবারিক অনুসন্ধানের জন্য এবং 18+ বিভাগের উত্তরের প্রয়োজন নেই এমন প্রশ্নের জন্য প্রাপ্তবয়স্কদের সামগ্রী ফিল্টার করার কাজটি সেখানে উপস্থিত হয়েছিল। এইভাবে পর্ণ এবং শপথের প্রথম ম্যানুয়ালি টাইপ করা অভিধানগুলি উপস্থিত হয়েছিল, সেগুলি বিশ্লেষকরা পুনরায় পূরণ করেছিলেন। প্রধান কাজ ছিল যেখানে প্রাপ্তবয়স্কদের বিষয়বস্তু দেখানো গ্রহণযোগ্য এবং যেখানে নয় সেখানে অনুরোধগুলিকে শ্রেণীবদ্ধ করা। এই কাজের জন্য, মার্কআপ সংগ্রহ করা হয়েছিল, হিউরিস্টিকস তৈরি করা হয়েছিল এবং মডেলগুলিকে প্রশিক্ষণ দেওয়া হয়েছিল। এভাবেই অবাঞ্ছিত বিষয়বস্তু ফিল্টার করার প্রথম বিকাশ ঘটেছে।

সময়ের সাথে সাথে, ইউজিসি (ব্যবহারকারীর তৈরি বিষয়বস্তু) ইয়ানডেক্স-এ প্রদর্শিত হতে শুরু করে - বার্তা যা ব্যবহারকারীরা নিজেরাই লিখেছেন এবং ইয়ানডেক্স শুধুমাত্র প্রকাশ করে। উপরে বর্ণিত কারণে, অনেক বার্তা না দেখে প্রকাশ করা যায়নি - সংযম প্রয়োজন ছিল। তারপরে তারা এমন একটি পরিষেবা তৈরি করার সিদ্ধান্ত নিয়েছে যা সমস্ত Yandex UGC পণ্যগুলির জন্য স্প্যাম এবং আক্রমণকারীদের বিরুদ্ধে সুরক্ষা প্রদান করবে এবং অনুসন্ধানে অবাঞ্ছিত বিষয়বস্তু ফিল্টার করতে উন্নয়ন ব্যবহার করবে৷ পরিষেবাটির নাম ছিল "ক্লিন ওয়েব"।

নতুন কাজ এবং pushers থেকে সাহায্য

প্রথমে, শুধুমাত্র সাধারণ অটোমেশন আমাদের জন্য কাজ করেছিল: পরিষেবাগুলি আমাদের পাঠ্য পাঠায়, এবং আমরা সেগুলিতে অশ্লীল অভিধান, পর্ণ অভিধান এবং নিয়মিত অভিব্যক্তি চালাতাম - বিশ্লেষকরা ম্যানুয়ালি সবকিছু সংকলন করেছিলেন। কিন্তু সময়ের সাথে সাথে, পরিষেবাটি ইয়ানডেক্স পণ্যের ক্রমবর্ধমান সংখ্যায় ব্যবহৃত হয়েছিল এবং আমাদের নতুন সমস্যাগুলির সাথে কাজ করতে শিখতে হয়েছিল।

প্রায়শই, একটি পর্যালোচনার পরিবর্তে, ব্যবহারকারীরা তাদের কৃতিত্ব বাড়ানোর চেষ্টা করে একটি অর্থহীন অক্ষর প্রকাশ করে, কখনও কখনও তারা একটি প্রতিযোগী সংস্থার পর্যালোচনাতে তাদের সংস্থার বিজ্ঞাপন দেয় এবং কখনও কখনও তারা কেবল সংস্থাগুলিকে বিভ্রান্ত করে এবং একটি পোষা প্রাণীর দোকান সম্পর্কে একটি পর্যালোচনাতে লিখে: “ পুরোপুরি রান্না করা মাছ!” হয়তো কোনো দিন কৃত্রিম বুদ্ধিমত্তা যেকোনো পাঠ্যের অর্থ নিখুঁতভাবে উপলব্ধি করতে শিখবে, কিন্তু এখন অটোমেশন কখনো কখনো মানুষের চেয়েও খারাপ মোকাবেলা করে।

এটা স্পষ্ট হয়ে গেল যে আমরা ম্যানুয়াল মার্কিং ছাড়া এটি করতে পারি না, এবং আমরা আমাদের সার্কিটে একটি দ্বিতীয় পর্যায় যোগ করেছি - এটি একজন ব্যক্তির দ্বারা ম্যানুয়াল পরিদর্শনের জন্য পাঠানো। যে সমস্ত প্রকাশিত পাঠ্যগুলির জন্য শ্রেণিবিন্যাসকারী কোনও সমস্যা দেখেনি সেখানে অন্তর্ভুক্ত করা হয়েছিল। আপনি সহজেই এই জাতীয় কাজের স্কেল কল্পনা করতে পারেন, তাই আমরা কেবল মূল্যায়নকারীদের উপর নির্ভর করিনি, তবে "ভিড়ের জ্ঞান" এর সুবিধাও নিয়েছি, অর্থাৎ আমরা সাহায্যের জন্য টোকারদের দিকে ফিরেছি। তারাই আমাদেরকে মেশিনটি কী মিস করেছে তা শনাক্ত করতে সাহায্য করে এবং এর মাধ্যমে শেখায়।

স্মার্ট ক্যাশিং এবং LSH হ্যাশিং

মন্তব্যের সাথে কাজ করার সময় আমরা আরেকটি সমস্যার সম্মুখীন হয়েছিলাম তা হল স্প্যাম, বা আরও সঠিকভাবে, এর পরিমাণ এবং বিস্তারের গতি। যখন Yandex.Region শ্রোতা দ্রুত বাড়তে শুরু করে, তখন স্প্যামাররা সেখানে আসে। তারা পাঠ্য সামান্য পরিবর্তন করে নিয়মিত অভিব্যক্তি বাইপাস করতে শিখেছে। স্প্যাম, অবশ্যই, এখনও পাওয়া গেছে এবং মুছে ফেলা হয়েছে, কিন্তু ইয়ানডেক্সের স্কেলে, 5 মিনিটের জন্য পোস্ট করা একটি অগ্রহণযোগ্য বার্তা শত শত লোক দেখতে পারে।

অবশ্যই, এটি আমাদের জন্য উপযুক্ত নয়, এবং আমরা LSH এর উপর ভিত্তি করে স্মার্ট টেক্সট ক্যাশিং করেছি (স্থানীয়-সংবেদনশীল হ্যাশিং) এটি এইভাবে কাজ করে: আমরা পাঠ্যটিকে স্বাভাবিক করেছি, এটি থেকে লিঙ্কগুলি সরিয়েছি এবং এটিকে n-গ্রামে (n অক্ষরের ক্রম) কেটেছি। এর পরে, এন-গ্রামের হ্যাশগুলি গণনা করা হয়েছিল, এবং নথির LSH ভেক্টর তাদের থেকে তৈরি করা হয়েছিল। মোদ্দা কথা হল অনুরূপ টেক্সটগুলি, এমনকি যদি সেগুলি সামান্য পরিবর্তিত হয়, অনুরূপ ভেক্টরে পরিণত হয়।

এই সমাধানটি অনুরূপ পাঠ্যের জন্য শ্রেণিবিন্যাসকারী এবং টোলোকারদের রায় পুনরায় ব্যবহার করা সম্ভব করেছে। একটি স্প্যাম আক্রমণের সময়, প্রথম বার্তাটি স্ক্যান করার সাথে সাথে এবং একটি "স্প্যাম" রায় সহ ক্যাশে প্রবেশ করার সাথে সাথে, সমস্ত নতুন অনুরূপ বার্তা, এমনকি সংশোধিতগুলিও একই রায় পেয়েছে এবং স্বয়ংক্রিয়ভাবে মুছে ফেলা হয়েছে৷ পরে, আমরা শিখেছি কীভাবে স্প্যাম শ্রেণীবিভাগকে স্বয়ংক্রিয়ভাবে প্রশিক্ষণ দিতে হয় এবং পুনরায় প্রশিক্ষণ দিতে হয়, কিন্তু এই "স্মার্ট ক্যাশে" আমাদের সাথেই থেকে যায় এবং এখনও প্রায়শই আমাদের সাহায্য করে।

ভালো টেক্সট ক্লাসিফায়ার

স্প্যামের বিরুদ্ধে লড়াই থেকে বিরতি নেওয়ার জন্য সময় না পেয়ে, আমরা বুঝতে পেরেছি যে আমাদের 95% বিষয়বস্তু ম্যানুয়ালি সংযত করা হয়েছে: শ্রেণিবিন্যাসকারীরা শুধুমাত্র লঙ্ঘনের প্রতিক্রিয়া জানায় এবং বেশিরভাগ পাঠ্যই ভাল। আমরা ক্লিনার লোড করি যারা 95 টির মধ্যে 100 টি ক্ষেত্রে "সবকিছু ঠিক আছে" রেটিং দেয়। আমাকে একটি অস্বাভাবিক কাজ করতে হয়েছিল - ভাল সামগ্রীর শ্রেণীবিভাগ তৈরি করা, সৌভাগ্যবশত এই সময়ে যথেষ্ট মার্কআপ জমা হয়েছিল।

প্রথম শ্রেণিবিন্যাসকারীটি এইরকম দেখায়: আমরা পাঠ্যটিকে লেম্যাটাইজ করি (শব্দগুলিকে তাদের প্রাথমিক আকারে কমিয়ে দেই), বক্তৃতার সমস্ত সহায়ক অংশগুলি ফেলে দেই এবং একটি পূর্ব-প্রস্তুত "ভাল লেমার অভিধান" ব্যবহার করি। যদি পাঠ্যের সমস্ত শব্দ "ভাল" হয়, তবে পুরো পাঠ্যটিতে কোনও লঙ্ঘন থাকে না। বিভিন্ন পরিষেবাতে, এই পদ্ধতিটি অবিলম্বে ম্যানুয়াল মার্কআপের 25 থেকে 35% অটোমেশন দিয়েছে। অবশ্যই, এই পদ্ধতিটি আদর্শ নয়: বেশ কয়েকটি নির্দোষ শব্দকে একত্রিত করা এবং খুব আপত্তিকর বিবৃতি পাওয়া সহজ, তবে এটি আমাদের দ্রুত অটোমেশনের একটি ভাল স্তরে পৌঁছানোর অনুমতি দেয় এবং আরও জটিল মডেলগুলিকে প্রশিক্ষণ দেওয়ার জন্য আমাদের সময় দেয়।

ভাল টেক্সট ক্লাসিফায়ারগুলির পরবর্তী সংস্করণগুলিতে ইতিমধ্যেই রৈখিক মডেল, সিদ্ধান্ত গাছ এবং তাদের সমন্বয় অন্তর্ভুক্ত রয়েছে। অভদ্রতা এবং অপমান চিহ্নিত করতে, উদাহরণস্বরূপ, আমরা BERT নিউরাল নেটওয়ার্ক চেষ্টা করি। প্রেক্ষাপটে একটি শব্দের অর্থ এবং বিভিন্ন বাক্য থেকে শব্দের মধ্যে সংযোগ উপলব্ধি করা গুরুত্বপূর্ণ, এবং BERT এটির একটি ভাল কাজ করে। (প্রসঙ্গক্রমে, সম্প্রতি সংবাদের সহকর্মীরা বলা, কীভাবে প্রযুক্তি একটি অ-মানক কাজের জন্য ব্যবহার করা হয় - হেডারগুলিতে ত্রুটিগুলি অনুসন্ধান করা।) ফলস্বরূপ, পরিষেবার উপর নির্ভর করে 90% পর্যন্ত প্রবাহ স্বয়ংক্রিয় করা সম্ভব হয়েছিল।

নির্ভুলতা, সম্পূর্ণতা এবং গতি

বিকাশের জন্য, আপনাকে বুঝতে হবে নির্দিষ্ট স্বয়ংক্রিয় শ্রেণিবদ্ধকারীরা কী সুবিধা নিয়ে আসে, সেগুলিতে পরিবর্তন আনে এবং ম্যানুয়াল চেকের গুণমান অবনতি হয় কিনা। এটি করার জন্য, আমরা নির্ভুলতা এবং রিকল মেট্রিক্স ব্যবহার করি।

সঠিকতা হল খারাপ বিষয়বস্তু সম্পর্কে সমস্ত রায়ের মধ্যে সঠিক রায়ের অনুপাত। নির্ভুলতা যত বেশি, মিথ্যা ইতিবাচক কম। আপনি যদি নির্ভুলতার দিকে মনোযোগ না দেন, তবে তাত্ত্বিকভাবে আপনি সমস্ত স্প্যাম এবং অশ্লীলতা মুছে ফেলতে পারেন এবং তাদের সাথে অর্ধেক ভাল বার্তা মুছে ফেলতে পারেন। অন্যদিকে, আপনি যদি শুধুমাত্র নির্ভুলতার উপর নির্ভর করেন, তাহলে সেরা প্রযুক্তি হবে এমন একটি যা কাউকেই ধরবে না। অতএব, সম্পূর্ণতার একটি সূচকও রয়েছে: খারাপ সামগ্রীর মোট ভলিউমের মধ্যে চিহ্নিত খারাপ সামগ্রীর ভাগ। এই দুটি মেট্রিক একে অপরের ভারসাম্য বজায় রাখে।

পরিমাপ করতে, আমরা প্রতিটি পরিষেবার জন্য সম্পূর্ণ আগত স্ট্রীম নমুনা করি এবং বিশেষজ্ঞদের মূল্যায়ন এবং মেশিন সমাধানের সাথে তুলনা করার জন্য মূল্যায়নকারীদের সামগ্রীর নমুনা দিই।

কিন্তু আরেকটি গুরুত্বপূর্ণ সূচক আছে।

আমি উপরে লিখেছি যে একটি অগ্রহণযোগ্য বার্তা শত শত মানুষ এমনকি 5 মিনিটের মধ্যে দেখতে পারে। তাই আমরা গণনা করি কতবার আমরা লোকেদেরকে খারাপ কন্টেন্ট লুকানোর আগে দেখিয়েছি। এটি গুরুত্বপূর্ণ কারণ এটি দক্ষতার সাথে কাজ করার জন্য যথেষ্ট নয় - আপনাকে দ্রুত কাজ করতে হবে। এবং যখন আমরা শপথের বিরুদ্ধে একটি প্রতিরক্ষা তৈরি করেছি, তখন আমরা এটি সম্পূর্ণরূপে অনুভব করেছি।

বিড়াল এবং কুকুরের উদাহরণ ব্যবহার করে অ্যান্টিম্যাটিজম

একটি ছোট লিরিক্যাল ডিগ্রেশন। কেউ কেউ বলতে পারে যে অশ্লীলতা এবং অপমান ক্ষতিকারক লিঙ্কগুলির মতো বিপজ্জনক নয় এবং স্প্যামের মতো বিরক্তিকর নয়৷ কিন্তু আমরা লক্ষ লক্ষ ব্যবহারকারীর জন্য যোগাযোগের জন্য আরামদায়ক পরিস্থিতি বজায় রাখার চেষ্টা করি এবং লোকেরা অপমানিত হয় এমন জায়গায় ফিরে যেতে পছন্দ করে না। এটা কিছুর জন্য নয় যে হ্যাব্রে সহ অনেক সম্প্রদায়ের নিয়মে শপথ করা এবং অপমান করার উপর নিষেধাজ্ঞা রয়েছে। কিন্তু আমরা বিমুখ।

শপথকারী অভিধানগুলি রাশিয়ান ভাষার সমস্ত সমৃদ্ধির সাথে মানিয়ে নিতে পারে না। শুধুমাত্র চারটি প্রধান শপথের শিকড় থাকা সত্ত্বেও, সেগুলি থেকে আপনি অগণিত সংখ্যক শব্দ তৈরি করতে পারেন যা কোনও নিয়মিত ইঞ্জিন দ্বারা ধরা যায় না। উপরন্তু, আপনি ট্রান্সলিটারেশনে একটি শব্দের কিছু অংশ লিখতে পারেন, অনুরূপ সংমিশ্রণে অক্ষর প্রতিস্থাপন করতে পারেন, অক্ষর পুনর্বিন্যাস করতে পারেন, তারকাচিহ্ন যোগ করতে পারেন, ইত্যাদি। কখনও কখনও, প্রসঙ্গ ছাড়া, ব্যবহারকারী একটি শপথ শব্দ বোঝাতে চেয়েছেন তা নির্ধারণ করা মূলত অসম্ভব। আমরা হাবরের নিয়মকে সম্মান করি, তাই আমরা লাইভ উদাহরণ দিয়ে নয়, বিড়াল এবং কুকুর দিয়ে এটি প্রদর্শন করব।

"আইন," বিড়াল বলল। কিন্তু আমরা বুঝতে পারি যে বিড়াল একটি ভিন্ন শব্দ বলেছে...

আমরা আমাদের অভিধানের জন্য "ফজি ম্যাচিং" অ্যালগরিদম সম্পর্কে এবং আরও স্মার্ট প্রিপ্রসেসিং সম্পর্কে চিন্তা করতে শুরু করেছি: আমরা লিপ্যন্তর, আঠালো স্থান এবং বিরাম চিহ্ন একসাথে প্রদান করেছি, নিদর্শনগুলি সন্ধান করেছি এবং সেগুলিতে পৃথক নিয়মিত অভিব্যক্তি লিখেছি। এই পদ্ধতিটি ফলাফল এনেছে, কিন্তু প্রায়শই সঠিকতা হ্রাস করে এবং কাঙ্ক্ষিত সম্পূর্ণতা প্রদান করে না।

তারপরে আমরা "শপথকারীদের মতো চিন্তা করার" সিদ্ধান্ত নিয়েছিলাম। আমরা নিজেরাই ডেটাতে গোলমাল প্রবর্তন করতে শুরু করেছি: আমরা অক্ষর পুনর্বিন্যাস করেছি, টাইপো তৈরি করেছি, অনুরূপ বানান সহ অক্ষর প্রতিস্থাপিত করেছি এবং আরও অনেক কিছু। এর জন্য প্রাথমিক মার্কআপটি টেক্সটগুলির বড় কর্পোরাতে ম্যাট অভিধান প্রয়োগ করে নেওয়া হয়েছিল। আপনি যদি একটি বাক্য গ্রহণ করেন এবং এটিকে বিভিন্ন উপায়ে মোচড় দেন, আপনি অনেক বাক্য দিয়ে শেষ করবেন। এইভাবে আপনি কয়েকবার প্রশিক্ষণের নমুনা বাড়াতে পারেন। যা অবশিষ্ট ছিল তা হল প্রেক্ষাপট বিবেচনায় নেওয়া কিছু কম-বেশি স্মার্ট মডেলের ফলাফলের পুলে প্রশিক্ষণ দেওয়া।

চূড়ান্ত সিদ্ধান্ত নিয়ে কথা বলা খুব তাড়াতাড়ি। আমরা এখনও এই সমস্যার পন্থা নিয়ে পরীক্ষা-নিরীক্ষা করছি, কিন্তু আমরা ইতিমধ্যে দেখতে পাচ্ছি যে বেশ কয়েকটি স্তরের একটি সাধারণ প্রতীকী রূপান্তরমূলক নেটওয়ার্ক উল্লেখযোগ্যভাবে অভিধান এবং নিয়মিত ইঞ্জিনকে ছাড়িয়ে যায়: এটি যথার্থতা এবং স্মরণ উভয়ই বৃদ্ধি করা সম্ভব।

অবশ্যই, আমরা বুঝতে পারি যে সর্বদা এমনকি সবচেয়ে উন্নত অটোমেশনকে বাইপাস করার উপায় থাকবে, বিশেষ করে যখন বিষয়টি এত বিপজ্জনক: এমনভাবে লিখুন যাতে একটি বোকা মেশিন বুঝতে না পারে। এখানে, স্প্যামের বিরুদ্ধে লড়াইয়ের মতো, আমাদের লক্ষ্য অশ্লীল কিছু লেখার সম্ভাবনাকে নির্মূল করা নয়; আমাদের কাজটি নিশ্চিত করা যে গেমটি মোমবাতির মূল্য নয়।

আপনার মতামত শেয়ার করার, যোগাযোগ এবং মন্তব্য করার সুযোগ খোলা কঠিন নয়। নিরাপদ, আরামদায়ক অবস্থা এবং মানুষের সম্মানজনক আচরণ অর্জন করা অনেক বেশি কঠিন। আর এটা ছাড়া কোনো জনগোষ্ঠীর উন্নয়ন হবে না।

উত্স: www.habr.com