സൈറ്റിലെ നുഴഞ്ഞുകയറ്റക്കാരെ ചെറുക്കുന്നതിന് ഒരു ഓട്ടോമാറ്റിക് സിസ്റ്റം സൃഷ്ടിക്കൽ (വഞ്ചന)

കഴിഞ്ഞ ആറ് മാസമായി ഞാൻ വഞ്ചനയെ (വഞ്ചനാപരമായ പ്രവർത്തനം, വഞ്ചന മുതലായവ) ചെറുക്കുന്നതിനുള്ള ഒരു സംവിധാനം ഉണ്ടാക്കുകയാണ്. ഞങ്ങളുടെ സിസ്റ്റത്തിൽ ഞങ്ങൾ കണ്ടെത്തി നടപ്പിലാക്കിയ ഇന്നത്തെ ആശയങ്ങൾ പല വഞ്ചനാപരമായ പ്രവർത്തനങ്ങൾ കണ്ടെത്താനും വിശകലനം ചെയ്യാനും സഹായിക്കുന്നു. ഈ ലേഖനത്തിൽ, സാങ്കേതിക ഭാഗത്തേക്ക് പോകാതെ, ഞങ്ങൾ പിന്തുടരുന്ന തത്വങ്ങളെക്കുറിച്ചും ഞങ്ങളുടെ സിസ്റ്റത്തിന്റെ നിലവിലെ അവസ്ഥ കൈവരിക്കാൻ ഞങ്ങൾ എന്താണ് ചെയ്തതെന്നതിനെക്കുറിച്ചും സംസാരിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു.

ഞങ്ങളുടെ സിസ്റ്റത്തിന്റെ തത്വങ്ങൾ

"ഓട്ടോമാറ്റിക്", "വഞ്ചന" തുടങ്ങിയ പദങ്ങൾ കേൾക്കുമ്പോൾ, നിങ്ങൾ മിക്കവാറും മെഷീൻ ലേണിംഗ്, അപ്പാച്ചെ സ്പാർക്ക്, ഹഡൂപ്പ്, പൈത്തൺ, എയർഫ്ലോ, അപ്പാച്ചെ ഫൗണ്ടേഷൻ ഇക്കോസിസ്റ്റം, ഡാറ്റാ സയൻസ് ഫീൽഡ് എന്നിവയിൽ നിന്നുള്ള മറ്റ് സാങ്കേതികവിദ്യകളെ കുറിച്ച് ചിന്തിക്കാൻ തുടങ്ങും. ഈ ടൂളുകൾ ഉപയോഗിക്കുന്നതിന് സാധാരണയായി പരാമർശിക്കാത്ത ഒരു വശമുണ്ടെന്ന് ഞാൻ കരുതുന്നു: നിങ്ങൾ അവ ഉപയോഗിക്കാൻ തുടങ്ങുന്നതിന് മുമ്പ് അവയ്ക്ക് നിങ്ങളുടെ എന്റർപ്രൈസ് സിസ്റ്റത്തിൽ ചില മുൻവ്യവസ്ഥകൾ ആവശ്യമാണ്. ചുരുക്കത്തിൽ, നിങ്ങൾക്ക് ഒരു ഡാറ്റ തടാകവും വെയർഹൗസും ഉൾപ്പെടുന്ന ഒരു എന്റർപ്രൈസ് ഡാറ്റ പ്ലാറ്റ്ഫോം ആവശ്യമാണ്. എന്നാൽ നിങ്ങൾക്ക് അത്തരമൊരു പ്ലാറ്റ്ഫോം ഇല്ലെങ്കിലോ ഇപ്പോഴും ഈ പരിശീലനം വികസിപ്പിക്കേണ്ടതുണ്ടെങ്കിൽ? ഞാൻ താഴെ പങ്കിടുന്ന ഇനിപ്പറയുന്ന തത്ത്വങ്ങൾ, പ്രവർത്തിക്കുന്ന ഒരെണ്ണം കണ്ടെത്തുന്നതിനുപകരം ഞങ്ങളുടെ ആശയങ്ങൾ മെച്ചപ്പെടുത്തുന്നതിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ കഴിയുന്ന ഒരു ഘട്ടത്തിലെത്താൻ ഞങ്ങളെ സഹായിച്ചു. എന്നിരുന്നാലും, ഇതൊരു പദ്ധതി പീഠഭൂമിയല്ല. സാങ്കേതികപരവും ഉൽപ്പന്നപരവുമായ വീക്ഷണകോണിൽ നിന്ന് പ്ലാനിൽ ഇനിയും ധാരാളം കാര്യങ്ങൾ ഉണ്ട്.

തത്വം 1: ബിസിനസ് മൂല്യം ആദ്യം

ഞങ്ങളുടെ എല്ലാ പ്രയത്നങ്ങളുടെയും മുൻ‌നിരയിൽ ഞങ്ങൾ "ബിസിനസ് മൂല്യം" വെക്കുന്നു. പൊതുവേ, ഏതൊരു ഓട്ടോമാറ്റിക് വിശകലന സംവിധാനവും ഉയർന്ന തോതിലുള്ള ഓട്ടോമേഷനും സാങ്കേതിക സങ്കീർണ്ണതയും ഉള്ള സങ്കീർണ്ണ സംവിധാനങ്ങളുടെ ഗ്രൂപ്പിൽ പെടുന്നു. നിങ്ങൾ ആദ്യം മുതൽ അത് സൃഷ്ടിക്കുകയാണെങ്കിൽ ഒരു സമ്പൂർണ്ണ പരിഹാരം സൃഷ്ടിക്കുന്നത് വളരെയധികം സമയമെടുക്കും. ബിസിനസ്സ് മൂല്യം ഒന്നാമതും സാങ്കേതിക സമ്പൂർണ്ണത രണ്ടാമതുമാക്കാൻ ഞങ്ങൾ തീരുമാനിച്ചു. യഥാർത്ഥ ജീവിതത്തിൽ, നൂതന സാങ്കേതികവിദ്യയെ ഞങ്ങൾ പിടിവാശിയായി അംഗീകരിക്കുന്നില്ല എന്നാണ് ഇതിനർത്ഥം. ഇപ്പോൾ ഞങ്ങൾക്ക് ഏറ്റവും അനുയോജ്യമായ സാങ്കേതികവിദ്യ ഞങ്ങൾ തിരഞ്ഞെടുക്കുന്നു. കാലക്രമേണ, നമുക്ക് ചില മൊഡ്യൂളുകൾ വീണ്ടും നടപ്പിലാക്കേണ്ടിവരുമെന്ന് തോന്നിയേക്കാം. ഇതാണ് ഞങ്ങൾ അംഗീകരിച്ച ഒത്തുതീർപ്പ്.

തത്വം 2: ആഗ്മെന്റഡ് ഇന്റലിജൻസ്

മെഷീൻ ലേണിംഗ് സൊല്യൂഷനുകൾ വികസിപ്പിക്കുന്നതിൽ ആഴത്തിൽ ഏർപ്പെടാത്ത മിക്ക ആളുകളും മനുഷ്യരെ മാറ്റിസ്ഥാപിക്കുക എന്നതാണ് ലക്ഷ്യമെന്ന് കരുതിയേക്കാമെന്ന് ഞാൻ വാതുവെക്കുന്നു. വാസ്തവത്തിൽ, മെഷീൻ ലേണിംഗ് സൊല്യൂഷനുകൾ തികഞ്ഞതല്ല, ചില മേഖലകളിൽ മാത്രമേ മാറ്റിസ്ഥാപിക്കാൻ കഴിയൂ. പല കാരണങ്ങളാൽ ഞങ്ങൾ ഈ ആശയം തുടക്കം മുതൽ നിരസിച്ചു: വഞ്ചനാപരമായ പ്രവർത്തനത്തെക്കുറിച്ചുള്ള അസന്തുലിതമായ ഡാറ്റയും മെഷീൻ ലേണിംഗ് മോഡലുകൾക്കായുള്ള സവിശേഷതകളുടെ സമഗ്രമായ ലിസ്റ്റ് നൽകാനുള്ള കഴിവില്ലായ്മയും. വിപരീതമായി, ഞങ്ങൾ മെച്ചപ്പെടുത്തിയ ഇന്റലിജൻസ് ഓപ്ഷൻ തിരഞ്ഞെടുത്തു. ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസിന്റെ ഒരു ബദൽ ആശയമാണിത്, അത് AI-യുടെ പിന്തുണയുള്ള റോളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു, കോഗ്നിറ്റീവ് ടെക്നോളജികൾ മനുഷ്യന്റെ ബുദ്ധിയെ മാറ്റിസ്ഥാപിക്കുന്നതിനുപകരം മെച്ചപ്പെടുത്താൻ ഉദ്ദേശിച്ചുള്ളതാണ് എന്ന വസ്തുത ഊന്നിപ്പറയുന്നു. [1]

ഇത് കണക്കിലെടുക്കുമ്പോൾ, തുടക്കം മുതൽ ഒരു സമ്പൂർണ്ണ മെഷീൻ ലേണിംഗ് സൊല്യൂഷൻ വികസിപ്പിക്കുന്നതിന് വലിയ പരിശ്രമം ആവശ്യമായി വരും, ഇത് ഞങ്ങളുടെ ബിസിനസ്സിന് മൂല്യം സൃഷ്ടിക്കുന്നത് വൈകും. ഞങ്ങളുടെ ഡൊമെയ്ൻ വിദഗ്ധരുടെ മാർഗ്ഗനിർദ്ദേശത്തിന് കീഴിൽ ആവർത്തിച്ച് വളരുന്ന മെഷീൻ ലേണിംഗ് വശമുള്ള ഒരു സിസ്റ്റം നിർമ്മിക്കാൻ ഞങ്ങൾ തീരുമാനിച്ചു. അത്തരമൊരു സംവിധാനം വികസിപ്പിക്കുന്നതിലെ വെല്ലുവിളി നിറഞ്ഞ ഭാഗം, അത് വഞ്ചനാപരമായ പ്രവർത്തനമാണോ അല്ലയോ എന്ന കാര്യത്തിൽ മാത്രമല്ല, ഞങ്ങളുടെ വിശകലന വിദഗ്ധർക്ക് കേസുകൾ നൽകേണ്ടതുണ്ട് എന്നതാണ്. പൊതുവേ, ഉപഭോക്തൃ പെരുമാറ്റത്തിലെ ഏതെങ്കിലും അപാകത സംശയാസ്പദമായ ഒരു കേസാണ്, അത് സ്പെഷ്യലിസ്റ്റുകൾ എങ്ങനെയെങ്കിലും അന്വേഷിക്കുകയും പ്രതികരിക്കുകയും വേണം. ഈ റിപ്പോർട്ട് ചെയ്യപ്പെട്ട കേസുകളിൽ ഒരു ഭാഗം മാത്രമേ വഞ്ചനയായി വർഗ്ഗീകരിക്കാൻ കഴിയൂ.

തത്വം 3: റിച്ച് അനലിറ്റിക്സ് പ്ലാറ്റ്ഫോം

ഞങ്ങളുടെ സിസ്റ്റത്തിന്റെ ഏറ്റവും വെല്ലുവിളി നിറഞ്ഞ ഭാഗം സിസ്റ്റത്തിന്റെ വർക്ക്ഫ്ലോയുടെ എൻഡ്-ടു-എൻഡ് സ്ഥിരീകരണമാണ്. വിശകലനത്തിനായി ഉപയോഗിക്കുന്ന എല്ലാ മെട്രിക്കുകളുമുള്ള ചരിത്രപരമായ ഡാറ്റ സെറ്റുകൾ വിശകലന വിദഗ്ധരും ഡവലപ്പർമാരും എളുപ്പത്തിൽ നേടണം. കൂടാതെ, ഡാറ്റ പ്ലാറ്റ്‌ഫോം നിലവിലുള്ള മെട്രിക്‌സിന്റെ ഒരു കൂട്ടം പുതിയവയുമായി പൂർത്തീകരിക്കുന്നതിനുള്ള ഒരു എളുപ്പവഴി നൽകണം. ഞങ്ങൾ സൃഷ്‌ടിക്കുന്ന പ്രക്രിയകൾ, ഇവ വെറും സോഫ്‌റ്റ്‌വെയർ പ്രക്രിയകൾ മാത്രമല്ല, മുൻ കാലയളവുകൾ എളുപ്പത്തിൽ വീണ്ടും കണക്കാക്കാനും പുതിയ മെട്രിക്‌സ് ചേർക്കാനും ഡാറ്റാ പ്രവചനം മാറ്റാനും ഞങ്ങളെ അനുവദിക്കണം. ഞങ്ങളുടെ ഉൽ‌പാദന സംവിധാനം സൃഷ്ടിക്കുന്ന എല്ലാ ഡാറ്റയും ശേഖരിക്കുന്നതിലൂടെ ഞങ്ങൾക്ക് ഇത് നേടാനാകും. ഈ സാഹചര്യത്തിൽ, ഡാറ്റ ക്രമേണ ഒരു ശല്യമായി മാറും. ഞങ്ങൾ ഉപയോഗിക്കാത്ത ഡാറ്റയുടെ വർദ്ധിച്ചുവരുന്ന അളവ് സംഭരിക്കുകയും അത് സംരക്ഷിക്കുകയും ചെയ്യേണ്ടതുണ്ട്. അത്തരമൊരു സാഹചര്യത്തിൽ, ഡാറ്റ കാലക്രമേണ കൂടുതൽ അപ്രസക്തമാകും, പക്ഷേ അത് മാനേജ് ചെയ്യാൻ ഞങ്ങളുടെ ശ്രമങ്ങൾ ആവശ്യമാണ്. ഞങ്ങളെ സംബന്ധിച്ചിടത്തോളം, ഡാറ്റ ഹോർഡിംഗ് അർത്ഥമാക്കുന്നില്ല, അതിനാൽ ഞങ്ങൾ മറ്റൊരു സമീപനം സ്വീകരിക്കാൻ തീരുമാനിച്ചു. ഞങ്ങൾ തരംതിരിക്കാൻ ആഗ്രഹിക്കുന്ന ടാർഗെറ്റ് എന്റിറ്റികൾക്ക് ചുറ്റും തത്സമയ ഡാറ്റ സ്റ്റോറുകൾ സംഘടിപ്പിക്കാനും ഏറ്റവും പുതിയതും പ്രസക്തവുമായ കാലയളവുകൾ പരിശോധിക്കാൻ ഞങ്ങളെ അനുവദിക്കുന്ന ഡാറ്റ മാത്രം സംഭരിക്കാനും ഞങ്ങൾ തീരുമാനിച്ചു. സ്ഥിരമായ രീതിയിൽ പ്രവർത്തിക്കാൻ ശ്രദ്ധാപൂർവം ആസൂത്രണം ചെയ്യേണ്ട ഒന്നിലധികം ഡാറ്റ സ്റ്റോറുകളും സോഫ്റ്റ്‌വെയർ മൊഡ്യൂളുകളുമുള്ള ഞങ്ങളുടെ സിസ്റ്റം വൈവിധ്യപൂർണ്ണമാണ് എന്നതാണ് ഈ ശ്രമത്തിനുള്ള വെല്ലുവിളി.

ഞങ്ങളുടെ സിസ്റ്റത്തിന്റെ ഡിസൈൻ ആശയങ്ങൾ

ഞങ്ങളുടെ സിസ്റ്റത്തിൽ നാല് പ്രധാന ഘടകങ്ങളുണ്ട്: ഇൻജഷൻ സിസ്റ്റം, കമ്പ്യൂട്ടേഷണൽ, ബിഐ അനാലിസിസ്, ട്രാക്കിംഗ് സിസ്റ്റം. അവ നിർദ്ദിഷ്ടവും ഒറ്റപ്പെട്ടതുമായ ഉദ്ദേശ്യങ്ങൾ നിറവേറ്റുന്നു, നിർദ്ദിഷ്ട ഡിസൈൻ സമീപനങ്ങൾ പിന്തുടർന്ന് ഞങ്ങൾ അവയെ ഒറ്റപ്പെടുത്തുന്നു.

കരാർ അടിസ്ഥാനമാക്കിയുള്ള ഡിസൈൻ

ഒന്നാമതായി, ഘടകങ്ങൾ അവയ്ക്കിടയിൽ കൈമാറുന്ന ചില ഡാറ്റാ ഘടനകളെ (കരാർ) മാത്രമേ ആശ്രയിക്കാവൂ എന്ന് ഞങ്ങൾ സമ്മതിച്ചു. ഇത് അവയ്ക്കിടയിൽ സംയോജിപ്പിക്കുന്നത് എളുപ്പമാക്കുന്നു, കൂടാതെ ഘടകങ്ങളുടെ ഒരു പ്രത്യേക കോമ്പോസിഷൻ (ഓർഡർ) അടിച്ചേൽപ്പിക്കരുത്. ഉദാഹരണത്തിന്, ചില സന്ദർഭങ്ങളിൽ, ഇൻടേക്ക് സിസ്റ്റത്തെ അലേർട്ട് ട്രാക്കിംഗ് സിസ്റ്റവുമായി നേരിട്ട് സംയോജിപ്പിക്കാൻ ഇത് ഞങ്ങളെ അനുവദിക്കുന്നു. അത്തരമൊരു സാഹചര്യത്തിൽ, സമ്മതിച്ച അലേർട്ട് കരാർ അനുസരിച്ച് ഇത് ചെയ്യപ്പെടും. മറ്റേതെങ്കിലും ഘടകത്തിന് ഉപയോഗിക്കാൻ കഴിയുന്ന ഒരു കരാർ ഉപയോഗിച്ച് രണ്ട് ഘടകങ്ങളും സംയോജിപ്പിക്കും എന്നാണ് ഇതിനർത്ഥം. ഇൻപുട്ട് സിസ്റ്റത്തിൽ നിന്ന് ട്രാക്കിംഗ് സിസ്റ്റത്തിലേക്ക് അലേർട്ടുകൾ ചേർക്കുന്നതിന് ഞങ്ങൾ ഒരു അധിക കരാർ ചേർക്കില്ല. ഈ സമീപനത്തിന് മുൻകൂട്ടി നിശ്ചയിച്ചിട്ടുള്ള മിനിമം എണ്ണം കരാറുകളുടെ ഉപയോഗം ആവശ്യമാണ് കൂടാതെ സിസ്റ്റവും ആശയവിനിമയങ്ങളും ലളിതമാക്കുന്നു. അടിസ്ഥാനപരമായി, ഞങ്ങൾ "കോൺട്രാക്റ്റ് ഫസ്റ്റ് ഡിസൈൻ" എന്ന ഒരു സമീപനം സ്വീകരിക്കുകയും അത് സ്ട്രീമിംഗ് കരാറുകളിൽ പ്രയോഗിക്കുകയും ചെയ്യുന്നു. [2]

എല്ലായിടത്തും സ്ട്രീം ചെയ്യുന്നു

ഒരു സിസ്റ്റത്തിൽ അവസ്ഥ സംരക്ഷിക്കുന്നതും കൈകാര്യം ചെയ്യുന്നതും അനിവാര്യമായും അത് നടപ്പിലാക്കുന്നതിൽ സങ്കീർണതകളിലേക്ക് നയിക്കും. പൊതുവേ, ഏത് ഘടകത്തിൽ നിന്നും സംസ്ഥാനം ആക്‌സസ് ചെയ്യാവുന്നതായിരിക്കണം, അത് സ്ഥിരതയുള്ളതും എല്ലാ ഘടകങ്ങളിൽ ഉടനീളം ഏറ്റവും നിലവിലെ മൂല്യം നൽകുന്നതും ശരിയായ മൂല്യങ്ങൾക്കൊപ്പം വിശ്വസനീയമായിരിക്കണം. കൂടാതെ, ഏറ്റവും പുതിയ അവസ്ഥ വീണ്ടെടുക്കാൻ സ്ഥിരമായ സംഭരണത്തിലേക്ക് കോളുകൾ ഉണ്ടാകുന്നത് I/O പ്രവർത്തനങ്ങളുടെ എണ്ണവും ഞങ്ങളുടെ തത്സമയ പൈപ്പ്ലൈനുകളിൽ ഉപയോഗിക്കുന്ന അൽഗരിതങ്ങളുടെ സങ്കീർണ്ണതയും വർദ്ധിപ്പിക്കും. ഇക്കാരണത്താൽ, സാധ്യമെങ്കിൽ, ഞങ്ങളുടെ സിസ്റ്റത്തിൽ നിന്ന് സംസ്ഥാന സംഭരണം പൂർണ്ണമായും നീക്കം ചെയ്യാൻ ഞങ്ങൾ തീരുമാനിച്ചു. ഈ സമീപനത്തിന് ആവശ്യമായ എല്ലാ ഡാറ്റയും ട്രാൻസ്മിറ്റ് ചെയ്ത ഡാറ്റ ബ്ലോക്കിൽ (സന്ദേശം) ഉൾപ്പെടുത്തേണ്ടതുണ്ട്. ഉദാഹരണത്തിന്, ചില നിരീക്ഷണങ്ങളുടെ ആകെ എണ്ണം (ചില സ്വഭാവസവിശേഷതകളുള്ള പ്രവർത്തനങ്ങളുടെ എണ്ണം അല്ലെങ്കിൽ കേസുകളുടെ എണ്ണം) കണക്കാക്കണമെങ്കിൽ, ഞങ്ങൾ അത് മെമ്മറിയിൽ കണക്കാക്കുകയും അത്തരം മൂല്യങ്ങളുടെ ഒരു സ്ട്രീം സൃഷ്ടിക്കുകയും ചെയ്യുന്നു. സ്ട്രീമിനെ എന്റിറ്റികളായി വിഭജിക്കാനും ഏറ്റവും പുതിയ മൂല്യങ്ങളിൽ പ്രവർത്തിക്കാനും ആശ്രിത മൊഡ്യൂളുകൾ പാർട്ടീഷനും ബാച്ചിംഗും ഉപയോഗിക്കും. ഈ സമീപനം അത്തരം ഡാറ്റയ്ക്ക് സ്ഥിരമായ ഡിസ്ക് സംഭരണത്തിന്റെ ആവശ്യകത ഇല്ലാതാക്കി. ഞങ്ങളുടെ സിസ്റ്റം കാഫ്കയെ ഒരു സന്ദേശ ബ്രോക്കറായി ഉപയോഗിക്കുന്നു, ഇത് KSQL-നൊപ്പം ഒരു ഡാറ്റാബേസായി ഉപയോഗിക്കാം. [3] എന്നാൽ ഇത് ഉപയോഗിക്കുന്നത് കാഫ്കയുമായി ഞങ്ങളുടെ പരിഹാരത്തെ വളരെയധികം ബന്ധിപ്പിക്കും, അത് ഉപയോഗിക്കേണ്ടെന്ന് ഞങ്ങൾ തീരുമാനിച്ചു. സിസ്റ്റത്തിൽ വലിയ ആന്തരിക മാറ്റങ്ങളില്ലാതെ മറ്റൊരു സന്ദേശ ബ്രോക്കർ ഉപയോഗിച്ച് കാഫ്കയെ മാറ്റിസ്ഥാപിക്കാൻ ഞങ്ങൾ തിരഞ്ഞെടുത്ത സമീപനം ഞങ്ങളെ അനുവദിക്കുന്നു.

ഈ ആശയം ഞങ്ങൾ ഡിസ്ക് സ്റ്റോറേജും ഡാറ്റാബേസുകളും ഉപയോഗിക്കുന്നില്ല എന്നല്ല അർത്ഥമാക്കുന്നത്. സിസ്റ്റം പ്രകടനം പരിശോധിക്കുന്നതിനും വിശകലനം ചെയ്യുന്നതിനും, വിവിധ അളവുകളെയും അവസ്ഥകളെയും പ്രതിനിധീകരിക്കുന്ന ഡിസ്കിൽ ഞങ്ങൾക്ക് ഗണ്യമായ അളവിൽ ഡാറ്റ സംഭരിക്കേണ്ടതുണ്ട്. തൽസമയ അൽഗോരിതങ്ങൾ അത്തരം ഡാറ്റയെ ആശ്രയിക്കുന്നില്ല എന്നതാണ് ഇവിടെ പ്രധാന കാര്യം. മിക്ക കേസുകളിലും, സിസ്റ്റം ഉൽപ്പാദിപ്പിക്കുന്ന നിർദ്ദിഷ്ട കേസുകളുടെയും ഫലങ്ങളുടെയും ഓഫ്‌ലൈൻ വിശകലനത്തിനും ഡീബഗ്ഗിംഗിനും ട്രാക്കിംഗിനും ഞങ്ങൾ സംഭരിച്ച ഡാറ്റ ഉപയോഗിക്കുന്നു.

നമ്മുടെ സിസ്റ്റത്തിന്റെ പ്രശ്നങ്ങൾ

ഞങ്ങൾ ഒരു നിശ്ചിത തലത്തിൽ പരിഹരിച്ച ചില പ്രശ്നങ്ങളുണ്ട്, എന്നാൽ അവയ്ക്ക് കൂടുതൽ ചിന്തനീയമായ പരിഹാരങ്ങൾ ആവശ്യമാണ്. ഇപ്പോൾ ഞാൻ അവ ഇവിടെ പരാമർശിക്കാൻ ആഗ്രഹിക്കുന്നു, കാരണം ഓരോ പോയിന്റും അതിന്റേതായ ലേഖനത്തിന് മൂല്യമുള്ളതാണ്.

• ഞങ്ങളുടെ സ്വയമേവയുള്ള ഡാറ്റ വിശകലനം, കണ്ടെത്തൽ, പര്യവേക്ഷണം എന്നിവയ്‌ക്കായി അർത്ഥവത്തായതും പ്രസക്തവുമായ ഡാറ്റയുടെ ശേഖരണത്തെ പിന്തുണയ്ക്കുന്ന പ്രക്രിയകളും നയങ്ങളും ഞങ്ങൾ ഇപ്പോഴും നിർവചിക്കേണ്ടതുണ്ട്.
• ഏറ്റവും പുതിയ ഡാറ്റ ഉപയോഗിച്ച് അത് അപ്‌ഡേറ്റ് ചെയ്യുന്നതിനായി സിസ്റ്റം സ്വയമേവ സജ്ജീകരിക്കുന്ന പ്രക്രിയയിലേക്ക് മനുഷ്യ വിശകലനത്തിന്റെ സംയോജനം ഫലം നൽകുന്നു. ഇത് ഞങ്ങളുടെ മോഡൽ അപ്‌ഡേറ്റ് ചെയ്യുക മാത്രമല്ല, ഞങ്ങളുടെ പ്രക്രിയകൾ അപ്‌ഡേറ്റ് ചെയ്യുകയും ഞങ്ങളുടെ ഡാറ്റയെക്കുറിച്ചുള്ള ഞങ്ങളുടെ ധാരണ മെച്ചപ്പെടുത്തുകയും ചെയ്യുന്നു.
• IF-ELSE, ML എന്നിവയുടെ നിർണ്ണായക സമീപനം തമ്മിലുള്ള സന്തുലിതാവസ്ഥ കണ്ടെത്തുന്നു. ആരോ പറഞ്ഞു, "ML നിരാശയുള്ളവർക്കുള്ള ഒരു ഉപകരണമാണ്." നിങ്ങളുടെ അൽ‌ഗോരിതം എങ്ങനെ ഒപ്റ്റിമൈസ് ചെയ്യാമെന്നും മെച്ചപ്പെടുത്താമെന്നും നിങ്ങൾക്ക് ഇനി മനസ്സിലാകാത്തപ്പോൾ ML ഉപയോഗിക്കാൻ നിങ്ങൾ ആഗ്രഹിക്കും എന്നാണ് ഇതിനർത്ഥം. മറുവശത്ത്, നിർണ്ണായക സമീപനം മുൻകൂട്ടി കണ്ടിട്ടില്ലാത്ത അപാകതകൾ കണ്ടുപിടിക്കാൻ അനുവദിക്കുന്നില്ല.
• ഡാറ്റയിലെ മെട്രിക്കുകൾ തമ്മിലുള്ള ഞങ്ങളുടെ അനുമാനങ്ങൾ അല്ലെങ്കിൽ പരസ്പര ബന്ധങ്ങൾ പരിശോധിക്കാൻ ഞങ്ങൾക്ക് ഒരു ലളിതമായ മാർഗം ആവശ്യമാണ്.
• സിസ്റ്റത്തിന് യഥാർത്ഥ പോസിറ്റീവ് ഫലങ്ങളുടെ നിരവധി തലങ്ങൾ ഉണ്ടായിരിക്കണം. വഞ്ചന കേസുകൾ സിസ്റ്റത്തിന് പോസിറ്റീവ് ആയി കണക്കാക്കാവുന്ന എല്ലാ കേസുകളിലും ഒരു ഭാഗം മാത്രമാണ്. ഉദാഹരണത്തിന്, പരിശോധനയ്ക്കായി സംശയാസ്പദമായ എല്ലാ കേസുകളും സ്വീകരിക്കാൻ വിശകലന വിദഗ്ധർ ആഗ്രഹിക്കുന്നു, അവയിൽ ഒരു ചെറിയ ഭാഗം മാത്രമാണ് തട്ടിപ്പുകൾ. ഇത് യഥാർത്ഥ വഞ്ചനയാണോ അതോ സംശയാസ്പദമായ പെരുമാറ്റമാണോ എന്നത് പരിഗണിക്കാതെ, സിസ്റ്റം എല്ലാ കേസുകളും വിശകലന വിദഗ്ധർക്ക് കാര്യക്ഷമമായി അവതരിപ്പിക്കണം.
• ഡാറ്റ പ്ലാറ്റ്‌ഫോമിന് ചരിത്രപരമായ ഡാറ്റാ സെറ്റുകൾ ജനറേറ്റുചെയ്‌തതും ഈച്ചയിൽ കണക്കാക്കിയതുമായ കണക്കുകൂട്ടലുകൾ വീണ്ടെടുക്കാൻ കഴിയണം.
• കുറഞ്ഞത് മൂന്ന് വ്യത്യസ്ത പരിതസ്ഥിതികളിലെങ്കിലും ഏതെങ്കിലും സിസ്റ്റം ഘടകങ്ങളെ എളുപ്പത്തിലും സ്വയമേവയും വിന്യസിക്കുക: ഉത്പാദനം, പരീക്ഷണാത്മകം (ബീറ്റ), ഡെവലപ്പർമാർക്കായി.
• അവസാനമായി. ഞങ്ങളുടെ മോഡലുകൾ വിശകലനം ചെയ്യാൻ കഴിയുന്ന ഒരു സമ്പന്നമായ പ്രകടന ടെസ്റ്റിംഗ് പ്ലാറ്റ്ഫോം ഞങ്ങൾ നിർമ്മിക്കേണ്ടതുണ്ട്. [4]

റെഫറൻസുകൾ

1. എന്താണ് ഓഗ്മെന്റഡ് ഇന്റലിജൻസ്?
2. ഒരു API-ഫസ്റ്റ് ഡിസൈൻ മെത്തഡോളജി നടപ്പിലാക്കുന്നു
3. കാഫ്ക "ഇവന്റ് സ്ട്രീമിംഗ് ഡാറ്റാബേസ്" ആയി മാറുന്നു
4. AUC - ROC കർവ് മനസ്സിലാക്കുന്നു

അവലംബം: www.habr.com