കമന്റുകൾ തുറക്കുന്നതും സ്പാമിൽ മുങ്ങാതിരിക്കുന്നതും എങ്ങനെ

നിങ്ങളുടെ ജോലി മനോഹരമായ എന്തെങ്കിലും സൃഷ്ടിക്കുമ്പോൾ, നിങ്ങൾ അതിനെക്കുറിച്ച് വളരെയധികം സംസാരിക്കേണ്ടതില്ല, കാരണം ഫലം എല്ലാവരുടെയും കണ്ണുകൾക്ക് മുന്നിലാണ്. എന്നാൽ നിങ്ങൾ വേലികളിൽ നിന്ന് ലിഖിതങ്ങൾ മായ്‌ക്കുകയാണെങ്കിൽ, വേലികൾ മാന്യമായി കാണുമ്പോഴോ അല്ലെങ്കിൽ നിങ്ങൾ എന്തെങ്കിലും തെറ്റ് മായ്‌ക്കുന്നതുവരെയോ നിങ്ങളുടെ ജോലി ആരും ശ്രദ്ധിക്കില്ല.

നിങ്ങൾക്ക് അഭിപ്രായമിടാനോ അവലോകനം ചെയ്യാനോ സന്ദേശം അയയ്‌ക്കാനോ ചിത്രങ്ങൾ അപ്‌ലോഡ് ചെയ്യാനോ കഴിയുന്ന ഏതൊരു സേവനവും സ്പാം, വഞ്ചന, അശ്ലീലം എന്നിവയുടെ പ്രശ്‌നത്തെ അഭിമുഖീകരിക്കുന്നു. ഇത് ഒഴിവാക്കാനാവില്ല, പക്ഷേ അത് കൈകാര്യം ചെയ്യണം.

എന്റെ പേര് മിഖായേൽ, ഞാൻ ആന്റിസ്പാം ടീമിൽ പ്രവർത്തിക്കുന്നു, ഇത് Yandex സേവനങ്ങളുടെ ഉപയോക്താക്കളെ അത്തരം പ്രശ്നങ്ങളിൽ നിന്ന് സംരക്ഷിക്കുന്നു. ഞങ്ങളുടെ ജോലി വളരെ അപൂർവമായി മാത്രമേ ശ്രദ്ധിക്കപ്പെടുന്നുള്ളൂ (അത് ഒരു നല്ല കാര്യമാണ്!), അതിനാൽ ഇന്ന് ഞാൻ അതിനെക്കുറിച്ച് കൂടുതൽ നിങ്ങളോട് പറയും. മോഡറേഷൻ ഉപയോഗശൂന്യമാണെന്നും അതിന്റെ ഫലപ്രാപ്തിയുടെ ഏക സൂചകം കൃത്യതയല്ലെന്നും നിങ്ങൾ മനസ്സിലാക്കും. പൂച്ചകളുടെയും നായ്ക്കളുടെയും ഉദാഹരണം ഉപയോഗിച്ച് ആണയിടുന്നതിനെ കുറിച്ചും ഞങ്ങൾ സംസാരിക്കും, അത് ചിലപ്പോൾ "ഒരു ആണയിട്ട് ചിന്തിക്കുന്നത്" ഉപയോഗപ്രദമാകുന്നത് എന്തുകൊണ്ട്?

ഉപയോക്താക്കൾ അവരുടെ ഉള്ളടക്കം പ്രസിദ്ധീകരിക്കുന്ന Yandex-ൽ കൂടുതൽ കൂടുതൽ സേവനങ്ങൾ ദൃശ്യമാകുന്നു. Yandex.Q-ൽ നിങ്ങൾക്ക് ഒരു ചോദ്യം ചോദിക്കാം അല്ലെങ്കിൽ ഉത്തരം എഴുതാം, Yandex.District-ൽ യാർഡ് വാർത്തകൾ ചർച്ച ചെയ്യുക, Yandex.Maps-ലെ സംഭാഷണങ്ങളിൽ ട്രാഫിക് അവസ്ഥകൾ പങ്കിടുക. എന്നാൽ സേവനത്തിന്റെ പ്രേക്ഷകർ വർദ്ധിക്കുമ്പോൾ, അത് സ്കാമർമാർക്കും സ്പാമർമാർക്കും ആകർഷകമാകും. അവർ വന്ന് അഭിപ്രായങ്ങൾ പൂരിപ്പിക്കുന്നു: അവർ എളുപ്പത്തിൽ പണം വാഗ്ദാനം ചെയ്യുന്നു, അത്ഭുത രോഗശാന്തികൾ പരസ്യം ചെയ്യുന്നു, സാമൂഹിക ആനുകൂല്യങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നു. സ്‌പാമർമാർ കാരണം, ചില ഉപയോക്താക്കൾക്ക് പണം നഷ്‌ടപ്പെടുന്നു, മറ്റുള്ളവർക്ക് സ്‌പാമിൽ പടർന്നുകയറുന്ന ഒരു വൃത്തികെട്ട സേവനത്തിൽ സമയം ചെലവഴിക്കാനുള്ള ആഗ്രഹം നഷ്‌ടപ്പെടും.

ഇത് മാത്രമല്ല പ്രശ്നം. സ്‌കാമർമാരിൽ നിന്ന് ഉപയോക്താക്കളെ സംരക്ഷിക്കാൻ മാത്രമല്ല, ആശയവിനിമയത്തിന് സുഖപ്രദമായ അന്തരീക്ഷം സൃഷ്ടിക്കാനും ഞങ്ങൾ ശ്രമിക്കുന്നു. അഭിപ്രായങ്ങളിൽ ആളുകൾ അസഭ്യവും അപമാനവും നേരിടുകയാണെങ്കിൽ, അവർ പോകാനും ഒരിക്കലും മടങ്ങിവരാതിരിക്കാനും സാധ്യതയുണ്ട്. ഇതിനർത്ഥം നിങ്ങൾക്കും ഇത് കൈകാര്യം ചെയ്യാൻ കഴിയണം എന്നാണ്.

വെബ് ക്ലീൻ ചെയ്യുക

പലപ്പോഴും നമ്മുടെ കാര്യത്തിലെന്നപോലെ, തിരയൽ ഫലങ്ങളിൽ സ്പാമിനെതിരെ പോരാടുന്ന ഭാഗത്താണ് തിരയലിൽ ആദ്യ സംഭവവികാസങ്ങൾ ജനിച്ചത്. ഏകദേശം പത്ത് വർഷം മുമ്പ്, കുടുംബ തിരയലുകൾക്കും 18+ വിഭാഗത്തിൽ നിന്നുള്ള ഉത്തരങ്ങൾ ആവശ്യമില്ലാത്ത ചോദ്യങ്ങൾക്കും മുതിർന്നവർക്കുള്ള ഉള്ളടക്കം ഫിൽട്ടർ ചെയ്യുന്നതിനുള്ള ചുമതല അവിടെ പ്രത്യക്ഷപ്പെട്ടു. ആദ്യമായി സ്വമേധയാ ടൈപ്പ് ചെയ്ത അശ്ലീലത്തിന്റെയും ശകാരത്തിന്റെയും നിഘണ്ടുക്കൾ പ്രത്യക്ഷപ്പെട്ടത് ഇങ്ങനെയാണ്, അവ വിശകലന വിദഗ്ധർ നിറച്ചു. അഭ്യർത്ഥനകളെ മുതിർന്നവർക്കുള്ള ഉള്ളടക്കം കാണിക്കാൻ സ്വീകാര്യമായവ, അല്ലാത്തവ എന്നിങ്ങനെ തരംതിരിക്കുക എന്നതായിരുന്നു പ്രധാന ചുമതല. ഈ ടാസ്ക്കിനായി, മാർക്ക്അപ്പ് ശേഖരിക്കുകയും ഹ്യൂറിസ്റ്റിക്സ് നിർമ്മിക്കുകയും മോഡലുകൾ പരിശീലിപ്പിക്കുകയും ചെയ്തു. അനാവശ്യ ഉള്ളടക്കം ഫിൽട്ടർ ചെയ്യുന്നതിനുള്ള ആദ്യ സംഭവവികാസങ്ങൾ പ്രത്യക്ഷപ്പെട്ടത് ഇങ്ങനെയാണ്.

കാലക്രമേണ, യുജിസി (ഉപയോക്താവ് സൃഷ്ടിച്ച ഉള്ളടക്കം) Yandex-ൽ പ്രത്യക്ഷപ്പെടാൻ തുടങ്ങി - ഉപയോക്താക്കൾ സ്വയം എഴുതിയ സന്ദേശങ്ങൾ, Yandex മാത്രം പ്രസിദ്ധീകരിക്കുന്നു. മുകളിൽ വിവരിച്ച കാരണങ്ങളാൽ, പല സന്ദേശങ്ങളും നോക്കാതെ പ്രസിദ്ധീകരിക്കാൻ കഴിഞ്ഞില്ല - മോഡറേഷൻ ആവശ്യമാണ്. എല്ലാ Yandex UGC ഉൽപ്പന്നങ്ങൾക്കും സ്‌പാമിൽ നിന്നും ആക്രമണകാരികളിൽ നിന്നും പരിരക്ഷ നൽകുന്ന ഒരു സേവനം സൃഷ്‌ടിക്കാനും തിരയലിൽ അനാവശ്യ ഉള്ളടക്കം ഫിൽട്ടർ ചെയ്യുന്നതിന് സംഭവവികാസങ്ങൾ ഉപയോഗിക്കാനും അവർ തീരുമാനിച്ചു. സേവനത്തെ "ക്ലീൻ വെബ്" എന്ന് വിളിച്ചിരുന്നു.

പുഷർമാരിൽ നിന്നുള്ള പുതിയ ജോലികളും സഹായവും

ആദ്യം, ലളിതമായ ഓട്ടോമേഷൻ മാത്രമേ ഞങ്ങൾക്ക് പ്രവർത്തിച്ചുള്ളൂ: സേവനങ്ങൾ ഞങ്ങൾക്ക് ടെക്സ്റ്റുകൾ അയച്ചു, ഞങ്ങൾ അശ്ലീല നിഘണ്ടുക്കളും അശ്ലീല നിഘണ്ടുക്കളും അവയിൽ പതിവ് പദപ്രയോഗങ്ങളും നടത്തി - വിശകലന വിദഗ്ധർ എല്ലാം സ്വമേധയാ സമാഹരിച്ചു. എന്നാൽ കാലക്രമേണ, വർദ്ധിച്ചുവരുന്ന Yandex ഉൽപ്പന്നങ്ങളിൽ ഈ സേവനം ഉപയോഗിച്ചു, പുതിയ പ്രശ്നങ്ങളുമായി പ്രവർത്തിക്കാൻ ഞങ്ങൾ പഠിക്കേണ്ടതുണ്ട്.

പലപ്പോഴും, ഒരു അവലോകനത്തിനുപകരം, ഉപയോക്താക്കൾ അർത്ഥശൂന്യമായ ഒരു കൂട്ടം അക്ഷരങ്ങൾ പ്രസിദ്ധീകരിക്കുന്നു, അവരുടെ നേട്ടങ്ങൾ വർദ്ധിപ്പിക്കാൻ ശ്രമിക്കുന്നു, ചിലപ്പോൾ അവർ ഒരു എതിരാളിയുടെ കമ്പനിയുടെ അവലോകനങ്ങളിൽ അവരുടെ കമ്പനിയെ പരസ്യം ചെയ്യുന്നു, ചിലപ്പോൾ അവർ ഓർഗനൈസേഷനുകളെ ആശയക്കുഴപ്പത്തിലാക്കുകയും ഒരു പെറ്റ് സ്റ്റോറിനെക്കുറിച്ച് ഒരു അവലോകനത്തിൽ എഴുതുകയും ചെയ്യുന്നു: " നന്നായി പാകം ചെയ്ത മത്സ്യം! ” ഒരുപക്ഷേ ഒരു ദിവസം കൃത്രിമബുദ്ധി ഏതെങ്കിലും വാചകത്തിന്റെ അർത്ഥം നന്നായി മനസ്സിലാക്കാൻ പഠിക്കും, എന്നാൽ ഇപ്പോൾ ഓട്ടോമേഷൻ ചിലപ്പോൾ മനുഷ്യരെക്കാൾ മോശമായി നേരിടുന്നു.

സ്വമേധയാലുള്ള അടയാളപ്പെടുത്തൽ കൂടാതെ ഞങ്ങൾക്ക് ഇത് ചെയ്യാൻ കഴിയില്ലെന്ന് വ്യക്തമായി, ഞങ്ങളുടെ സർക്യൂട്ടിലേക്ക് ഞങ്ങൾ ഒരു രണ്ടാം ഘട്ടം ചേർത്തു-ഒരു വ്യക്തിയുടെ മാനുവൽ പരിശോധനയ്ക്കായി ഇത് അയയ്ക്കുന്നു. ക്ലാസിഫയർ പ്രശ്‌നങ്ങളൊന്നും കാണാത്ത പ്രസിദ്ധീകരിച്ച പാഠങ്ങൾ അവിടെ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്. അത്തരമൊരു ടാസ്ക്കിന്റെ തോത് നിങ്ങൾക്ക് എളുപ്പത്തിൽ സങ്കൽപ്പിക്കാൻ കഴിയും, അതിനാൽ ഞങ്ങൾ മൂല്യനിർണ്ണയക്കാരെ ആശ്രയിക്കുക മാത്രമല്ല, "ആൾക്കൂട്ടത്തിന്റെ ജ്ഞാനം" പ്രയോജനപ്പെടുത്തുകയും ചെയ്തു, അതായത്, സഹായത്തിനായി ഞങ്ങൾ ടോളോക്കറുകളിലേക്ക് തിരിഞ്ഞു. യന്ത്രത്തിന് എന്താണ് നഷ്ടമായതെന്ന് തിരിച്ചറിയാനും അതുവഴി അത് പഠിപ്പിക്കാനും ഞങ്ങളെ സഹായിക്കുന്നത് അവരാണ്.

സ്മാർട്ട് കാഷിംഗും LSH ഹാഷിംഗും

അഭിപ്രായങ്ങളുമായി പ്രവർത്തിക്കുമ്പോൾ ഞങ്ങൾ നേരിട്ട മറ്റൊരു പ്രശ്നം സ്പാം ആയിരുന്നു, അല്ലെങ്കിൽ കൂടുതൽ കൃത്യമായി പറഞ്ഞാൽ, അതിന്റെ വ്യാപനവും വേഗതയും. Yandex.Region പ്രേക്ഷകർ അതിവേഗം വളരാൻ തുടങ്ങിയപ്പോൾ, സ്പാമർമാർ അവിടെയെത്തി. വാചകം ചെറുതായി മാറ്റിക്കൊണ്ട് പതിവ് പദപ്രയോഗങ്ങൾ മറികടക്കാൻ അവർ പഠിച്ചു. സ്പാം, തീർച്ചയായും, ഇപ്പോഴും കണ്ടെത്തി ഇല്ലാതാക്കി, എന്നാൽ Yandex സ്കെയിലിൽ, 5 മിനിറ്റ് പോലും പോസ്റ്റ് ചെയ്ത അസ്വീകാര്യമായ സന്ദേശം നൂറുകണക്കിന് ആളുകൾക്ക് കാണാൻ കഴിയും.

തീർച്ചയായും, ഇത് ഞങ്ങൾക്ക് അനുയോജ്യമല്ല, കൂടാതെ ഞങ്ങൾ LSH അടിസ്ഥാനമാക്കി സ്മാർട്ട് ടെക്സ്റ്റ് കാഷിംഗ് ഉണ്ടാക്കി (പ്രാദേശിക-സെൻസിറ്റീവ് ഹാഷിംഗ്). ഇത് ഇതുപോലെ പ്രവർത്തിക്കുന്നു: ഞങ്ങൾ വാചകം നോർമലൈസ് ചെയ്യുകയും അതിൽ നിന്ന് ലിങ്കുകൾ നീക്കം ചെയ്യുകയും n-ഗ്രാമുകളായി മുറിക്കുകയും ചെയ്തു (n അക്ഷരങ്ങളുടെ ക്രമങ്ങൾ). അടുത്തതായി, n-ഗ്രാമുകളുടെ ഹാഷുകൾ കണക്കാക്കി, അവയിൽ നിന്ന് പ്രമാണത്തിന്റെ LSH വെക്റ്റർ നിർമ്മിച്ചു. സാമ്യമുള്ള ഗ്രന്ഥങ്ങൾ, ചെറുതായി മാറ്റിയാലും, സമാനമായ വെക്റ്ററുകളായി മാറി എന്നതാണ് കാര്യം.

സമാന ഗ്രന്ഥങ്ങൾക്കായി ക്ലാസിഫയർമാരുടെയും ടോളോക്കർമാരുടെയും വിധികൾ വീണ്ടും ഉപയോഗിക്കാൻ ഈ പരിഹാരം സാധ്യമാക്കി. ഒരു സ്പാം ആക്രമണ സമയത്ത്, ആദ്യത്തെ സന്ദേശം സ്കാൻ പാസ്സാക്കി ഒരു "സ്പാം" വിധിയോടെ കാഷെയിൽ പ്രവേശിച്ചയുടനെ, എല്ലാ പുതിയ സമാന സന്ദേശങ്ങളും, പരിഷ്കരിച്ചവ പോലും, ഒരേ വിധി സ്വീകരിക്കുകയും യാന്ത്രികമായി ഇല്ലാതാക്കുകയും ചെയ്തു. പിന്നീട്, സ്പാം ക്ലാസിഫയറുകൾ എങ്ങനെ പരിശീലിപ്പിക്കാമെന്നും യാന്ത്രികമായി വീണ്ടും പരിശീലിപ്പിക്കാമെന്നും ഞങ്ങൾ പഠിച്ചു, എന്നാൽ ഈ "സ്മാർട്ട് കാഷെ" ഞങ്ങളോടൊപ്പം തുടർന്നു, ഇപ്പോഴും പലപ്പോഴും ഞങ്ങളെ സഹായിക്കുന്നു.

നല്ല ടെക്സ്റ്റ് ക്ലാസിഫയർ

സ്‌പാമിനെതിരെ പോരാടുന്നതിൽ നിന്ന് ഒരു ഇടവേള എടുക്കാതെ, ഞങ്ങളുടെ ഉള്ളടക്കത്തിന്റെ 95% സ്വമേധയാ മോഡറേറ്റ് ചെയ്‌തിരിക്കുന്നുവെന്ന് ഞങ്ങൾ മനസ്സിലാക്കി: ക്ലാസിഫയറുകൾ ലംഘനങ്ങളോട് മാത്രമേ പ്രതികരിക്കൂ, മിക്ക ടെക്‌സ്‌റ്റുകളും മികച്ചതാണ്. 95 കേസുകളിൽ 100 കേസുകളിലും "എല്ലാം ശരിയാണ്" എന്ന റേറ്റിംഗ് നൽകുന്ന ക്ലീനർമാരെ ഞങ്ങൾ ലോഡ് ചെയ്യുന്നു. എനിക്ക് അസാധാരണമായ ഒരു ജോലി ചെയ്യേണ്ടിവന്നു - നല്ല ഉള്ളടക്കത്തിന്റെ ക്ലാസിഫയറുകൾ നിർമ്മിക്കുന്നു, ഭാഗ്യവശാൽ മതിയായ മാർക്ക്അപ്പ് ഈ സമയത്ത് ശേഖരിച്ചു.

ആദ്യത്തെ ക്ലാസിഫയർ ഇതുപോലെ കാണപ്പെട്ടു: ഞങ്ങൾ വാചകം ലെമറ്റൈസ് ചെയ്യുന്നു (വാക്കുകൾ അവയുടെ പ്രാരംഭ രൂപത്തിലേക്ക് കുറയ്ക്കുക), സംഭാഷണത്തിന്റെ എല്ലാ സഹായ ഭാഗങ്ങളും വലിച്ചെറിയുകയും മുൻകൂട്ടി തയ്യാറാക്കിയ "നല്ല ലെമ്മകളുടെ നിഘണ്ടു" ഉപയോഗിക്കുകയും ചെയ്യുന്നു. വാചകത്തിലെ എല്ലാ വാക്കുകളും "നല്ലത്" ആണെങ്കിൽ, മുഴുവൻ വാചകത്തിലും ലംഘനങ്ങളൊന്നും അടങ്ങിയിട്ടില്ല. വ്യത്യസ്ത സേവനങ്ങളിൽ, ഈ സമീപനം ഉടൻ തന്നെ മാനുവൽ മാർക്ക്അപ്പിന്റെ 25 മുതൽ 35% വരെ ഓട്ടോമേഷൻ നൽകി. തീർച്ചയായും, ഈ സമീപനം അനുയോജ്യമല്ല: നിരവധി നിരപരാധികളായ വാക്കുകൾ സംയോജിപ്പിച്ച് വളരെ നിന്ദ്യമായ പ്രസ്താവന നേടുന്നത് എളുപ്പമാണ്, എന്നാൽ ഇത് ഒരു നല്ല ഓട്ടോമേഷൻ വേഗത്തിൽ എത്താൻ ഞങ്ങളെ അനുവദിക്കുകയും കൂടുതൽ സങ്കീർണ്ണമായ മോഡലുകൾ പരിശീലിപ്പിക്കാൻ സമയം നൽകുകയും ചെയ്തു.

നല്ല ടെക്സ്റ്റ് ക്ലാസിഫയറുകളുടെ അടുത്ത പതിപ്പുകളിൽ ഇതിനകം തന്നെ ലീനിയർ മോഡലുകൾ, ഡിസിഷൻ ട്രീകൾ, അവയുടെ കോമ്പിനേഷനുകൾ എന്നിവ ഉൾപ്പെടുന്നു. പരുഷതയും അപമാനവും അടയാളപ്പെടുത്തുന്നതിന്, ഉദാഹരണത്തിന്, ഞങ്ങൾ BERT ന്യൂറൽ നെറ്റ്‌വർക്ക് പരീക്ഷിക്കുന്നു. സന്ദർഭത്തിൽ ഒരു വാക്കിന്റെ അർത്ഥവും വ്യത്യസ്ത വാക്യങ്ങളിൽ നിന്നുള്ള പദങ്ങൾ തമ്മിലുള്ള ബന്ധവും മനസ്സിലാക്കേണ്ടത് പ്രധാനമാണ്, കൂടാതെ BERT ഇത് ഒരു നല്ല ജോലി ചെയ്യുന്നു. (വഴിയിൽ, അടുത്തിടെ ന്യൂസിൽ നിന്നുള്ള സഹപ്രവർത്തകർ പറഞ്ഞു, നിലവാരമില്ലാത്ത ടാസ്ക്കിനായി സാങ്കേതികവിദ്യ എങ്ങനെ ഉപയോഗിക്കുന്നു - തലക്കെട്ടുകളിൽ പിശകുകൾ കണ്ടെത്തൽ.) ഫലമായി, സേവനത്തെ ആശ്രയിച്ച് 90% വരെ ഫ്ലോ ഓട്ടോമേറ്റ് ചെയ്യാൻ സാധിച്ചു.

കൃത്യത, പൂർണ്ണത, വേഗത

വികസിപ്പിക്കുന്നതിന്, ചില ഓട്ടോമാറ്റിക് ക്ലാസിഫയറുകൾ എന്ത് നേട്ടങ്ങളാണ് കൊണ്ടുവരുന്നത്, അവയിലെ മാറ്റങ്ങൾ, മാനുവൽ ചെക്കുകളുടെ ഗുണനിലവാരം കുറയുന്നുണ്ടോ എന്ന് നിങ്ങൾ മനസ്സിലാക്കേണ്ടതുണ്ട്. ഇത് ചെയ്യുന്നതിന്, ഞങ്ങൾ കൃത്യതയും തിരിച്ചുവിളിക്കുന്ന അളവുകളും ഉപയോഗിക്കുന്നു.

മോശം ഉള്ളടക്കത്തെക്കുറിച്ചുള്ള എല്ലാ വിധിന്യായങ്ങളും തമ്മിലുള്ള ശരിയായ വിധികളുടെ അനുപാതമാണ് കൃത്യത. കൃത്യത കൂടുന്തോറും തെറ്റായ പോസിറ്റീവുകൾ കുറയും. നിങ്ങൾ കൃത്യതയിൽ ശ്രദ്ധ ചെലുത്തുന്നില്ലെങ്കിൽ, സൈദ്ധാന്തികമായി നിങ്ങൾക്ക് എല്ലാ സ്പാമുകളും അശ്ലീലങ്ങളും ഇല്ലാതാക്കാൻ കഴിയും, അവയ്ക്കൊപ്പം നല്ല സന്ദേശങ്ങളിൽ പകുതിയും. മറുവശത്ത്, നിങ്ങൾ കൃത്യതയിൽ മാത്രം ആശ്രയിക്കുകയാണെങ്കിൽ, ഏറ്റവും മികച്ച സാങ്കേതികവിദ്യ ആരെയും പിടിക്കാത്ത ഒന്നായിരിക്കും. അതിനാൽ, സമ്പൂർണ്ണതയുടെ ഒരു സൂചകവുമുണ്ട്: മോശം ഉള്ളടക്കത്തിന്റെ മൊത്തം വോള്യത്തിൽ തിരിച്ചറിഞ്ഞ മോശം ഉള്ളടക്കത്തിന്റെ പങ്ക്. ഈ രണ്ട് അളവുകളും പരസ്പരം സന്തുലിതമാക്കുന്നു.

അളക്കുന്നതിന്, ഓരോ സേവനത്തിനും വേണ്ടിയുള്ള മുഴുവൻ ഇൻകമിംഗ് സ്ട്രീമും ഞങ്ങൾ സാമ്പിൾ ചെയ്യുകയും മെഷീൻ സൊല്യൂഷനുകളുമായി താരതമ്യപ്പെടുത്താനും വിദഗ്‌ദ്ധ മൂല്യനിർണ്ണയത്തിനുമായി മൂല്യനിർണ്ണയക്കാർക്ക് ഉള്ളടക്ക സാമ്പിളുകൾ നൽകുകയും ചെയ്യുന്നു.

എന്നാൽ മറ്റൊരു പ്രധാന സൂചകമുണ്ട്.

അസ്വീകാര്യമായ ഒരു സന്ദേശം 5 മിനിറ്റിനുള്ളിൽ നൂറുകണക്കിന് ആളുകൾക്ക് കാണാൻ കഴിയുമെന്ന് ഞാൻ മുകളിൽ എഴുതി. അതിനാൽ, മോശമായ ഉള്ളടക്കം മറയ്ക്കുന്നതിന് മുമ്പ് ഞങ്ങൾ എത്ര തവണ ആളുകളെ കാണിച്ചുവെന്ന് ഞങ്ങൾ കണക്കാക്കുന്നു. ഇത് പ്രധാനമാണ്, കാരണം കാര്യക്ഷമമായി പ്രവർത്തിക്കാൻ ഇത് പര്യാപ്തമല്ല - നിങ്ങൾ വേഗത്തിൽ പ്രവർത്തിക്കേണ്ടതുണ്ട്. ആണത്തത്തിനെതിരെ ഞങ്ങൾ ഒരു പ്രതിരോധം കെട്ടിപ്പടുത്തപ്പോൾ, ഞങ്ങൾ അത് പൂർണ്ണമായും അനുഭവിച്ചു.

പൂച്ചകളുടെയും നായ്ക്കളുടെയും ഉദാഹരണം ഉപയോഗിച്ച് ആന്റിമാറ്റിസം

ഒരു ചെറിയ ലിറിക്കൽ ഡൈഗ്രഷൻ. അശ്ലീലവും അപമാനവും ക്ഷുദ്ര ലിങ്കുകൾ പോലെ അപകടകരമല്ലെന്നും സ്പാം പോലെ ശല്യപ്പെടുത്തുന്നതല്ലെന്നും ചിലർ പറഞ്ഞേക്കാം. എന്നാൽ ദശലക്ഷക്കണക്കിന് ഉപയോക്താക്കൾക്ക് ആശയവിനിമയത്തിന് സുഖപ്രദമായ സാഹചര്യങ്ങൾ നിലനിർത്താൻ ഞങ്ങൾ ശ്രമിക്കുന്നു, ആളുകൾ അപമാനിക്കപ്പെട്ട സ്ഥലങ്ങളിലേക്ക് മടങ്ങാൻ ഇഷ്ടപ്പെടുന്നില്ല. അസഭ്യം പറയുന്നതിനും അപമാനിക്കുന്നതിനുമുള്ള നിരോധനം ഹബ്രെ ഉൾപ്പെടെ നിരവധി കമ്മ്യൂണിറ്റികളുടെ നിയമങ്ങളിൽ പറഞ്ഞിരിക്കുന്നത് വെറുതെയല്ല. എന്നാൽ ഞങ്ങൾ വ്യതിചലിക്കുന്നു.

സത്യപ്രതിജ്ഞ ചെയ്യുന്ന നിഘണ്ടുക്കൾക്ക് റഷ്യൻ ഭാഷയുടെ എല്ലാ സമ്പത്തും നേരിടാൻ കഴിയില്ല. നാല് പ്രധാന ആണത്ത വേരുകൾ മാത്രമേ ഉള്ളൂ എന്ന വസ്തുത ഉണ്ടായിരുന്നിട്ടും, അവയിൽ നിന്ന് നിങ്ങൾക്ക് ഒരു സാധാരണ എഞ്ചിനുകൾക്കും പിടിക്കാൻ കഴിയാത്ത എണ്ണമറ്റ വാക്കുകൾ നിർമ്മിക്കാൻ കഴിയും. കൂടാതെ, നിങ്ങൾക്ക് ലിപ്യന്തരണത്തിൽ ഒരു പദത്തിന്റെ ഒരു ഭാഗം എഴുതാനും സമാന കോമ്പിനേഷനുകൾ ഉപയോഗിച്ച് അക്ഷരങ്ങൾ മാറ്റിസ്ഥാപിക്കാനും അക്ഷരങ്ങൾ പുനഃക്രമീകരിക്കാനും നക്ഷത്രചിഹ്നങ്ങൾ ചേർക്കാനും കഴിയും. ചിലപ്പോൾ, സന്ദർഭം കൂടാതെ, ഉപയോക്താവ് ഒരു ശപഥ പദമാണ് ഉദ്ദേശിച്ചതെന്ന് നിർണ്ണയിക്കാൻ അടിസ്ഥാനപരമായി അസാധ്യമാണ്. ഞങ്ങൾ ഹബറിന്റെ നിയമങ്ങളെ മാനിക്കുന്നു, അതിനാൽ ഞങ്ങൾ ഇത് തത്സമയ ഉദാഹരണങ്ങളിലൂടെയല്ല, മറിച്ച് പൂച്ചകളെയും നായ്ക്കളെയും ഉപയോഗിച്ച് കാണിക്കും.

“നിയമം,” പൂച്ച പറഞ്ഞു. എന്നാൽ പൂച്ച മറ്റൊരു വാക്ക് പറഞ്ഞതായി ഞങ്ങൾ മനസ്സിലാക്കുന്നു ...

ഞങ്ങളുടെ നിഘണ്ടുവിനുള്ള "അവ്യക്തമായ പൊരുത്തപ്പെടുത്തൽ" അൽഗോരിതങ്ങളെക്കുറിച്ചും മികച്ച പ്രീപ്രൊസസ്സിംഗിനെക്കുറിച്ചുമുള്ള ചിന്തകൾ ഞങ്ങൾ തുടങ്ങി: ഞങ്ങൾ ലിപ്യന്തരണം, ഒട്ടിച്ച ഇടങ്ങൾ, വിരാമചിഹ്നങ്ങൾ എന്നിവ ഒരുമിച്ച് നൽകി, പാറ്റേണുകൾക്കായി തിരയുകയും അവയിൽ പ്രത്യേകം പതിവ് പദപ്രയോഗങ്ങൾ എഴുതുകയും ചെയ്തു. ഈ സമീപനം ഫലങ്ങൾ കൊണ്ടുവന്നു, പക്ഷേ പലപ്പോഴും കൃത്യത കുറയ്ക്കുകയും ആവശ്യമുള്ള പൂർണ്ണത നൽകുകയും ചെയ്തില്ല.

അപ്പോൾ ഞങ്ങൾ "സത്യം ചെയ്യുന്നവരെപ്പോലെ ചിന്തിക്കാൻ" തീരുമാനിച്ചു. ഞങ്ങൾ സ്വയം ഡാറ്റയിലേക്ക് ശബ്‌ദം അവതരിപ്പിക്കാൻ തുടങ്ങി: ഞങ്ങൾ അക്ഷരങ്ങൾ പുനഃക്രമീകരിച്ചു, അക്ഷരത്തെറ്റുകൾ സൃഷ്ടിച്ചു, സമാനമായ അക്ഷരവിന്യാസങ്ങൾ ഉപയോഗിച്ച് അക്ഷരങ്ങൾ മാറ്റി, അങ്ങനെ പലതും. ടെക്‌സ്‌റ്റുകളുടെ വലിയ കോർപ്പറയിൽ മാറ്റ് നിഘണ്ടുക്കൾ പ്രയോഗിച്ചാണ് ഇതിന്റെ പ്രാരംഭ മാർക്ക്അപ്പ് എടുത്തത്. നിങ്ങൾ ഒരു വാചകം എടുത്ത് പല തരത്തിൽ വളച്ചൊടിച്ചാൽ, നിങ്ങൾ നിരവധി വാക്യങ്ങളിൽ അവസാനിക്കും. ഈ രീതിയിൽ നിങ്ങൾക്ക് പരിശീലന സാമ്പിൾ പതിനായിരക്കണക്കിന് തവണ വർദ്ധിപ്പിക്കാൻ കഴിയും. തത്ഫലമായുണ്ടാകുന്ന പൂളിൽ സന്ദർഭം കണക്കിലെടുത്ത് കൂടുതലോ കുറവോ സ്മാർട്ട് മോഡൽ പരിശീലിപ്പിക്കുക മാത്രമാണ് അവശേഷിക്കുന്നത്.

അന്തിമ തീരുമാനത്തെക്കുറിച്ച് സംസാരിക്കാൻ വളരെ നേരത്തെ തന്നെ. ഈ പ്രശ്‌നത്തിലേക്കുള്ള സമീപനങ്ങൾ ഞങ്ങൾ ഇപ്പോഴും പരീക്ഷിച്ചുകൊണ്ടിരിക്കുകയാണ്, എന്നാൽ നിരവധി ലെയറുകളുടെ ഒരു ലളിതമായ പ്രതീകാത്മക കൺവല്യൂഷണൽ നെറ്റ്‌വർക്ക് നിഘണ്ടുക്കളെയും സാധാരണ എഞ്ചിനുകളേയും ഗണ്യമായി മറികടക്കുന്നതായി നമുക്ക് ഇതിനകം കാണാൻ കഴിയും: കൃത്യത വർദ്ധിപ്പിക്കാനും തിരിച്ചുവിളിക്കാനും ഇത് സാധ്യമാണ്.

തീർച്ചയായും, ഏറ്റവും നൂതനമായ ഓട്ടോമേഷനെപ്പോലും മറികടക്കാൻ എല്ലായ്‌പ്പോഴും വഴികളുണ്ടെന്ന് ഞങ്ങൾ മനസ്സിലാക്കുന്നു, പ്രത്യേകിച്ചും കാര്യം വളരെ അപകടകരമാകുമ്പോൾ: ഒരു മണ്ടൻ മെഷീന് മനസ്സിലാകാത്ത വിധത്തിൽ എഴുതുക. ഇവിടെ, സ്പാമിനെതിരായ പോരാട്ടത്തിലെന്നപോലെ, അശ്ലീലമായി എന്തെങ്കിലും എഴുതാനുള്ള സാധ്യത ഇല്ലാതാക്കുകയല്ല ഞങ്ങളുടെ ലക്ഷ്യം; ഗെയിം മെഴുകുതിരിക്ക് വിലയുള്ളതല്ലെന്ന് ഉറപ്പാക്കുക എന്നതാണ് ഞങ്ങളുടെ ചുമതല.

നിങ്ങളുടെ അഭിപ്രായം പങ്കിടാനും ആശയവിനിമയം നടത്താനും അഭിപ്രായമിടാനുമുള്ള അവസരം തുറക്കുന്നത് ബുദ്ധിമുട്ടുള്ള കാര്യമല്ല. സുരക്ഷിതവും സുഖപ്രദവുമായ സാഹചര്യങ്ങളും ആളുകളോട് മാന്യമായ പെരുമാറ്റവും കൈവരിക്കുന്നത് വളരെ ബുദ്ധിമുട്ടാണ്. ഇതില്ലാതെ ഒരു സമുദായത്തിന്റെയും വികസനം ഉണ്ടാകില്ല.

അവലംബം: www.habr.com