MLOps: മെഷീൻ ലേണിംഗ് ലോകത്തിലെ DevOps

2018 ൽ, MLOps എന്ന ആശയം പ്രൊഫഷണൽ സർക്കിളുകളിലും AI ക്കായി സമർപ്പിച്ച തീമാറ്റിക് കോൺഫറൻസുകളിലും പ്രത്യക്ഷപ്പെട്ടു, അത് വ്യവസായത്തിൽ പെട്ടെന്ന് പിടിമുറുക്കുകയും ഇപ്പോൾ ഒരു സ്വതന്ത്ര ദിശയായി വികസിക്കുകയും ചെയ്യുന്നു. ഭാവിയിൽ, ഐടിയിലെ ഏറ്റവും ജനപ്രിയമായ മേഖലകളിലൊന്നായി MLOps മാറിയേക്കാം. അത് എന്താണ്, എന്തിനൊപ്പം കഴിക്കുന്നു? നമുക്ക് ചുവടെ കണ്ടെത്താം.

എന്താണ് MLOps

MLOps (മെഷീൻ ലേണിംഗ് ടെക്നോളജികളും പ്രോസസുകളും സംയോജിപ്പിച്ച് വികസിത മോഡലുകൾ ബിസിനസ് പ്രോസസുകളായി നടപ്പിലാക്കുന്നതിനുള്ള സമീപനങ്ങളും) കൃത്രിമ ബുദ്ധി സംവിധാനങ്ങൾ സൃഷ്ടിക്കുമ്പോൾ ബിസിനസ് പ്രതിനിധികൾ, ശാസ്ത്രജ്ഞർ, ഗണിതശാസ്ത്രജ്ഞർ, മെഷീൻ ലേണിംഗ് സ്പെഷ്യലിസ്റ്റുകൾ, ഐടി എഞ്ചിനീയർമാർ എന്നിവർ തമ്മിലുള്ള സഹകരണത്തിനുള്ള ഒരു പുതിയ മാർഗമാണ്.

മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, ബിസിനസ്സ് പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിനുള്ള ഒരു ഉപയോഗപ്രദമായ ഉപകരണമാക്കി മെഷീൻ ലേണിംഗ് രീതികളും സാങ്കേതികവിദ്യകളും മാറ്റുന്നതിനുള്ള ഒരു മാർഗമാണിത്. 

മോഡലിന്റെ വികസനത്തിന് വളരെ മുമ്പുതന്നെ ഉൽപാദനക്ഷമതയുടെ ശൃംഖല ആരംഭിക്കുന്നുവെന്ന് മനസ്സിലാക്കേണ്ടത് ആവശ്യമാണ്. ഒരു ബിസിനസ് പ്രശ്നം, ഡാറ്റയിൽ നിന്ന് വേർതിരിച്ചെടുക്കാൻ കഴിയുന്ന മൂല്യത്തെക്കുറിച്ചുള്ള ഒരു സിദ്ധാന്തം, അത് പ്രയോഗിക്കുന്നതിനുള്ള ഒരു ബിസിനസ്സ് ആശയം എന്നിവ നിർവചിക്കുക എന്നതാണ് അതിന്റെ ആദ്യപടി. 

മെഷീൻ ലേണിംഗ് മോഡലുകളുമായും സാങ്കേതിക വിദ്യകളുമായും ബന്ധപ്പെട്ട് DevOps എന്ന ആശയത്തിന്റെ സാദൃശ്യമായാണ് MLOps എന്ന ആശയം ഉടലെടുത്തത്. സോഫ്റ്റ്‌വെയർ വികസനത്തിനായുള്ള ഒരു സമീപനമാണ് DevOps, തുടർച്ചയായ വികസനം, നിരവധി സ്വതന്ത്ര മൈക്രോസർവീസുകളായി ഫംഗ്‌ഷനുകളുടെ വിഭജനം, ഓട്ടോമേറ്റഡ് ടെസ്റ്റിംഗ്, വ്യക്തിഗത വിന്യാസം എന്നിവ ഉൾപ്പെടെ നിരവധി സമീപനങ്ങൾ ഉപയോഗിച്ച് വഴക്കവും വിശ്വാസ്യതയും നിലനിർത്തിക്കൊണ്ട് വ്യക്തിഗത മാറ്റങ്ങൾ നടപ്പിലാക്കുന്നതിന്റെ വേഗത വർദ്ധിപ്പിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു. മാറ്റങ്ങൾ, ആഗോള ആരോഗ്യ നിരീക്ഷണം, കണ്ടെത്തിയ പരാജയങ്ങൾക്കുള്ള ദ്രുത പ്രതികരണ സംവിധാനം മുതലായവ. 

DevOps സോഫ്‌റ്റ്‌വെയർ ജീവിതചക്രം നിർവചിച്ചു, വലിയ ഡാറ്റയിലും അതേ രീതിശാസ്ത്രം പ്രയോഗിക്കുക എന്ന ആശയവുമായി കമ്മ്യൂണിറ്റി വന്നിരിക്കുന്നു. വ്യത്യസ്‌തവും പരസ്പര പ്രവർത്തനക്ഷമവുമായ പ്ലാറ്റ്‌ഫോമുകളിൽ വലിയ അളവിലുള്ള ഡാറ്റ സംഭരിക്കുന്നതിനും കൈമാറ്റം ചെയ്യുന്നതിനും പ്രോസസ്സ് ചെയ്യുന്നതിനുമുള്ള സവിശേഷതകൾ കണക്കിലെടുത്ത് രീതിശാസ്ത്രം പൊരുത്തപ്പെടുത്താനും വികസിപ്പിക്കാനുമുള്ള ശ്രമമാണ് DataOps.
  
എന്റർപ്രൈസസിന്റെ ബിസിനസ്സ് പ്രക്രിയകളിൽ നടപ്പിലാക്കിയ ഒരു നിശ്ചിത നിർണായകമായ മെഷീൻ ലേണിംഗ് മോഡലുകളുടെ വരവോടെ, ഗണിതശാസ്ത്ര മെഷീൻ ലേണിംഗ് മോഡലുകളുടെ ജീവിത ചക്രവും സോഫ്റ്റ്വെയർ ജീവിത ചക്രവും തമ്മിൽ ശക്തമായ സാമ്യം ശ്രദ്ധയിൽപ്പെട്ടു. മെഷീൻ ലേണിംഗ് ടൂളുകളും രീതികളും ഉപയോഗിച്ചാണ് മോഡൽ അൽഗോരിതങ്ങൾ സൃഷ്ടിച്ചിരിക്കുന്നത് എന്നതാണ് വ്യത്യാസം. അതിനാൽ, മെഷീൻ ലേണിംഗ് മോഡലുകൾക്കായി സോഫ്‌റ്റ്‌വെയർ വികസനത്തിന് ഇതിനകം അറിയപ്പെടുന്ന സമീപനങ്ങൾ പ്രയോഗിക്കാനും പൊരുത്തപ്പെടുത്താനുമുള്ള ആശയം സ്വാഭാവികമായും ഉയർന്നുവന്നു. അതിനാൽ, മെഷീൻ ലേണിംഗ് മോഡലുകളുടെ ജീവിത ചക്രത്തിൽ ഇനിപ്പറയുന്ന പ്രധാന ഘട്ടങ്ങൾ വേർതിരിച്ചറിയാൻ കഴിയും:

• ഒരു ബിസിനസ്സ് ആശയം നിർവചിക്കുന്നു;
• മാതൃകാ പരിശീലനം;
• ബിസിനസ്സ് പ്രക്രിയയിൽ മോഡൽ പരീക്ഷിക്കുകയും നടപ്പിലാക്കുകയും ചെയ്യുക;
• മോഡലിന്റെ പ്രവർത്തനം.

ഓപ്പറേഷൻ സമയത്ത് പുതിയ ഡാറ്റയിൽ മോഡൽ മാറ്റുകയോ വീണ്ടും പരിശീലിപ്പിക്കുകയോ ചെയ്യേണ്ട ആവശ്യമുണ്ടെങ്കിൽ, സൈക്കിൾ വീണ്ടും ആരംഭിക്കുന്നു - മോഡൽ പരിഷ്ക്കരിക്കുകയും പരീക്ഷിക്കുകയും ഒരു പുതിയ പതിപ്പ് വിന്യസിക്കുകയും ചെയ്യുന്നു.

പിൻവാങ്ങുക. എന്തുകൊണ്ട് വീണ്ടും പരിശീലിപ്പിക്കണം, വീണ്ടും പരിശീലിപ്പിക്കരുത്? "മോഡൽ റീട്രെയിനിംഗ്" എന്ന പദത്തിന് രണ്ട് വ്യാഖ്യാനങ്ങളുണ്ട്: വിദഗ്ധർക്കിടയിൽ ഇത് ഒരു മോഡൽ വൈകല്യത്തെ അർത്ഥമാക്കുന്നു, മോഡൽ നന്നായി പ്രവചിക്കുമ്പോൾ, പരിശീലന സെറ്റിൽ പ്രവചിച്ച പാരാമീറ്റർ യഥാർത്ഥത്തിൽ ആവർത്തിക്കുന്നു, പക്ഷേ ബാഹ്യ ഡാറ്റ സാമ്പിളിൽ വളരെ മോശമാണ്. സ്വാഭാവികമായും, അത്തരമൊരു മാതൃക ഒരു വൈകല്യമാണ്, കാരണം ഈ വൈകല്യം അതിന്റെ ഉപയോഗം അനുവദിക്കുന്നില്ല.

ഈ ജീവിത ചക്രത്തിൽ, DevOps ടൂളുകൾ ഉപയോഗിക്കുന്നത് യുക്തിസഹമാണെന്ന് തോന്നുന്നു: ഓട്ടോമേറ്റഡ് ടെസ്റ്റിംഗ്, വിന്യാസം, നിരീക്ഷണം, പ്രത്യേക മൈക്രോസർവീസുകളുടെ രൂപത്തിൽ മോഡൽ കണക്കുകൂട്ടലുകൾ രൂപകൽപ്പന ചെയ്യുക. എന്നാൽ അധിക ML ബൈൻഡിംഗ് ഇല്ലാതെ ഈ ടൂളുകളുടെ നേരിട്ടുള്ള ഉപയോഗം തടയുന്ന നിരവധി സവിശേഷതകളും ഉണ്ട്.

മോഡലുകൾ എങ്ങനെ പ്രവർത്തിക്കുകയും ലാഭകരമാക്കുകയും ചെയ്യാം

MLOps സമീപനത്തിന്റെ ഉപയോഗം ഞങ്ങൾ പ്രകടമാക്കുന്ന ഒരു ഉദാഹരണമെന്ന നിലയിൽ, ഒരു ബാങ്കിംഗ് (അല്ലെങ്കിൽ മറ്റേതെങ്കിലും) ഉൽപ്പന്നത്തിനായി ഒരു ചാറ്റ് പിന്തുണ റോബോട്ടൈസ് ചെയ്യുക എന്ന ക്ലാസിക് ടാസ്‌ക് ഞങ്ങൾ ഏറ്റെടുക്കും. സാധാരണഗതിയിൽ, ഒരു ചാറ്റ് സപ്പോർട്ട് ബിസിനസ് പ്രോസസ് ഇതുപോലെയാണ് കാണപ്പെടുന്നത്: ഒരു ക്ലയന്റ് ഒരു ചാറ്റിൽ ഒരു ചോദ്യവുമായി ഒരു സന്ദേശം നൽകുകയും മുൻകൂട്ടി നിശ്ചയിച്ച ഡയലോഗ് ട്രീയിലെ ഒരു സ്പെഷ്യലിസ്റ്റിൽ നിന്ന് പ്രതികരണം സ്വീകരിക്കുകയും ചെയ്യുന്നു. അത്തരം ഒരു ചാറ്റ് ഓട്ടോമേറ്റ് ചെയ്യുന്നതിനുള്ള ചുമതല സാധാരണയായി വിദഗ്ദമായി നിർവചിക്കപ്പെട്ടിട്ടുള്ള നിയമങ്ങൾ ഉപയോഗിച്ചാണ് പരിഹരിക്കപ്പെടുന്നത്, അവ വികസിപ്പിക്കുന്നതിനും പരിപാലിക്കുന്നതിനും വളരെ അധ്വാനം ആവശ്യമാണ്. അത്തരം ഓട്ടോമേഷന്റെ കാര്യക്ഷമത, ചുമതലയുടെ സങ്കീർണ്ണതയുടെ തോത് അനുസരിച്ച്, 20-30% ആകാം. സ്വാഭാവികമായും, ഒരു ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് മൊഡ്യൂൾ നടപ്പിലാക്കുന്നത് കൂടുതൽ ലാഭകരമാണെന്ന ആശയം ഉയർന്നുവരുന്നു - മെഷീൻ ലേണിംഗ് ഉപയോഗിച്ച് വികസിപ്പിച്ച ഒരു മോഡൽ, ഇത്:

• ഓപ്പറേറ്റർ പങ്കാളിത്തമില്ലാതെ കൂടുതൽ അഭ്യർത്ഥനകൾ പ്രോസസ്സ് ചെയ്യാൻ കഴിയും (വിഷയത്തെ ആശ്രയിച്ച്, ചില സന്ദർഭങ്ങളിൽ കാര്യക്ഷമത 70-80% വരെ എത്താം);
• സംഭാഷണത്തിലെ നിലവാരമില്ലാത്ത പദങ്ങളുമായി നന്നായി പൊരുത്തപ്പെടുന്നു - വ്യക്തമായി രൂപപ്പെടുത്താത്ത അഭ്യർത്ഥനയെ അടിസ്ഥാനമാക്കി ഉപയോക്താവിന്റെ ഉദ്ദേശ്യം, യഥാർത്ഥ ആഗ്രഹം എന്നിവ നിർണ്ണയിക്കാൻ കഴിയും;
• മോഡലിന്റെ ഉത്തരം പര്യാപ്തമാകുമ്പോൾ എങ്ങനെ നിർണ്ണയിക്കണമെന്ന് അറിയാം, കൂടാതെ ഈ ഉത്തരത്തിന്റെ "അവബോധം" സംബന്ധിച്ച് സംശയങ്ങൾ ഉണ്ടാകുമ്പോൾ നിങ്ങൾ ഒരു അധിക വ്യക്തതയുള്ള ചോദ്യം ചോദിക്കുകയോ ഓപ്പറേറ്ററിലേക്ക് മാറുകയോ ചെയ്യേണ്ടതുണ്ട്;
• അധികമായി സ്വയമേവ പരിശീലിപ്പിക്കാൻ കഴിയും (ഒരു കൂട്ടം ഡെവലപ്പർമാർ പ്രതികരണ സ്ക്രിപ്റ്റുകൾ നിരന്തരം പൊരുത്തപ്പെടുത്തുകയും ശരിയാക്കുകയും ചെയ്യുന്നതിനുപകരം, ഉചിതമായ മെഷീൻ ലേണിംഗ് ലൈബ്രറികൾ ഉപയോഗിച്ച് ഒരു ഡാറ്റാ സയൻസ് സ്പെഷ്യലിസ്റ്റ് മോഡലിനെ അധികമായി പരിശീലിപ്പിക്കുന്നു). 

അത്തരമൊരു വിപുലമായ മോഡൽ എങ്ങനെ പ്രവർത്തിക്കും? 

മറ്റേതെങ്കിലും പ്രശ്നം പരിഹരിക്കുന്നതുപോലെ, അത്തരമൊരു മൊഡ്യൂൾ വികസിപ്പിക്കുന്നതിന് മുമ്പ്, ഒരു ബിസിനസ് പ്രക്രിയ നിർവചിക്കുകയും മെഷീൻ ലേണിംഗ് രീതി ഉപയോഗിച്ച് ഞങ്ങൾ പരിഹരിക്കുന്ന നിർദ്ദിഷ്ട ടാസ്ക്ക് ഔപചാരികമായി വിവരിക്കുകയും ചെയ്യേണ്ടത് ആവശ്യമാണ്. ഈ ഘട്ടത്തിൽ, ഓപ്‌സ് എന്ന ചുരുക്കപ്പേരിൽ നിയുക്തമാക്കിയ പ്രവർത്തന പ്രക്രിയ ആരംഭിക്കുന്നു. 

അടുത്ത ഘട്ടം, ഡാറ്റാ എഞ്ചിനീയറുമായി സഹകരിച്ച്, ഡാറ്റാ സയന്റിസ്റ്റ്, ഡാറ്റയുടെ ലഭ്യതയും പര്യാപ്തതയും, ബിസിനസ് ആശയത്തിന്റെ പ്രവർത്തനക്ഷമതയെക്കുറിച്ചുള്ള ബിസിനസ്സ് സിദ്ധാന്തവും പരിശോധിക്കുന്നു, ഒരു പ്രോട്ടോടൈപ്പ് മോഡൽ വികസിപ്പിക്കുകയും അതിന്റെ യഥാർത്ഥ ഫലപ്രാപ്തി പരിശോധിക്കുകയും ചെയ്യുന്നു. ബിസിനസ്സ് സ്ഥിരീകരിച്ചതിന് ശേഷം മാത്രമേ ഒരു മോഡൽ വികസിപ്പിക്കുന്നതിൽ നിന്ന് ഒരു നിർദ്ദിഷ്ട ബിസിനസ്സ് പ്രക്രിയ നടത്തുന്ന സിസ്റ്റങ്ങളിലേക്ക് അത് സംയോജിപ്പിക്കുന്നതിലേക്കുള്ള മാറ്റം ആരംഭിക്കാൻ കഴിയൂ. എൻഡ്-ടു-എൻഡ് ഇംപ്ലിമെന്റേഷൻ പ്ലാനിംഗ്, മോഡൽ എങ്ങനെ ഉപയോഗിക്കും, അത് എന്ത് സാമ്പത്തിക ഫലമുണ്ടാക്കും എന്നതിന്റെ ഓരോ ഘട്ടത്തിലും ആഴത്തിലുള്ള ധാരണ, കമ്പനിയുടെ സാങ്കേതിക ലാൻഡ്‌സ്‌കേപ്പിലേക്ക് MLOps സമീപനങ്ങൾ അവതരിപ്പിക്കുന്ന പ്രക്രിയയിലെ ഒരു അടിസ്ഥാന പോയിന്റാണ്.

AI സാങ്കേതികവിദ്യകളുടെ വികാസത്തോടെ, മെഷീൻ ലേണിംഗ് ഉപയോഗിച്ച് പരിഹരിക്കാവുന്ന പ്രശ്നങ്ങളുടെ എണ്ണവും വൈവിധ്യവും ക്രമാതീതമായി വർദ്ധിച്ചുകൊണ്ടിരിക്കുകയാണ്. ബഹുജന സ്ഥാനങ്ങളിലെ ജീവനക്കാരുടെ ജോലിയുടെ ഓട്ടോമേഷൻ (കോൾ സെന്റർ, ഡോക്യുമെന്റുകൾ പരിശോധിക്കലും അടുക്കലും മുതലായവ) കാരണം അത്തരം ഓരോ ബിസിനസ്സ് പ്രക്രിയയും കമ്പനിക്ക് ലാഭകരമാണ്, ഇത് പുതിയ ആകർഷകവും സൗകര്യപ്രദവുമായ പ്രവർത്തനങ്ങൾ ചേർത്ത് ക്ലയന്റ് അടിത്തറയുടെ വിപുലീകരണമാണ്. , അത് അവരുടെ ഒപ്റ്റിമൽ ഉപയോഗവും വിഭവങ്ങളുടെ പുനർവിതരണവും മറ്റ് പലതും കാരണം പണം ലാഭിക്കുന്നു. ആത്യന്തികമായി, ഏതൊരു പ്രക്രിയയും മൂല്യം സൃഷ്ടിക്കുന്നതിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു, അതിന്റെ ഫലമായി ഒരു നിശ്ചിത സാമ്പത്തിക പ്രഭാവം കൊണ്ടുവരണം. ബിസിനസ്സ് ആശയം വ്യക്തമായി രൂപപ്പെടുത്തുന്നതും കമ്പനിയുടെ മൊത്തത്തിലുള്ള മൂല്യനിർമ്മാണ ഘടനയിൽ മോഡൽ നടപ്പിലാക്കുന്നതിൽ നിന്ന് പ്രതീക്ഷിക്കുന്ന ലാഭം കണക്കാക്കുന്നതും ഇവിടെ വളരെ പ്രധാനമാണ്. ഒരു മോഡൽ നടപ്പിലാക്കുന്നത് സ്വയം ന്യായീകരിക്കാത്ത സാഹചര്യങ്ങളുണ്ട്, കൂടാതെ മെഷീൻ ലേണിംഗ് സ്പെഷ്യലിസ്റ്റുകൾ ചെലവഴിക്കുന്ന സമയം ഈ ചുമതല നിർവഹിക്കുന്ന ഓപ്പറേറ്ററുടെ ജോലിസ്ഥലത്തേക്കാൾ വളരെ ചെലവേറിയതാണ്. അതുകൊണ്ടാണ് AI സംവിധാനങ്ങൾ സൃഷ്ടിക്കുന്നതിന്റെ പ്രാരംഭ ഘട്ടത്തിൽ ഇത്തരം കേസുകൾ തിരിച്ചറിയാൻ ശ്രമിക്കേണ്ടത്.

തൽഫലമായി, MLOps പ്രക്രിയയിൽ ബിസിനസ്സ് പ്രശ്നം ശരിയായി രൂപപ്പെടുത്തുകയും മുൻഗണനകൾ സജ്ജമാക്കുകയും വികസനത്തിന്റെ പ്രാരംഭ ഘട്ടത്തിൽ സിസ്റ്റത്തിലേക്ക് മോഡൽ അവതരിപ്പിക്കുന്ന പ്രക്രിയ രൂപപ്പെടുത്തുകയും ചെയ്യുമ്പോൾ മാത്രമേ മോഡലുകൾ ലാഭം ഉണ്ടാക്കാൻ തുടങ്ങുകയുള്ളൂ.

പുതിയ പ്രക്രിയ - പുതിയ വെല്ലുവിളികൾ

പ്രശ്‌നങ്ങൾ പരിഹരിക്കുന്നതിന് ML മോഡലുകൾ എത്രത്തോളം ബാധകമാണ് എന്നതിനെക്കുറിച്ചുള്ള അടിസ്ഥാന ബിസിനസ്സ് ചോദ്യത്തിനുള്ള സമഗ്രമായ ഉത്തരം, AI-യിലുള്ള വിശ്വാസത്തിന്റെ പൊതുവായ പ്രശ്‌നം MLOps സമീപനങ്ങൾ വികസിപ്പിക്കുകയും നടപ്പിലാക്കുകയും ചെയ്യുന്ന പ്രക്രിയയിലെ പ്രധാന വെല്ലുവിളികളിലൊന്നാണ്. തുടക്കത്തിൽ, മെഷീൻ ലേണിംഗ് പ്രക്രിയകളിലേക്ക് കൊണ്ടുവരുന്നതിനെക്കുറിച്ച് ബിസിനസുകൾക്ക് സംശയമുണ്ട് - മുമ്പ്, ഒരു ചട്ടം പോലെ, ആളുകൾ ജോലി ചെയ്തിരുന്ന സ്ഥലങ്ങളിലെ മോഡലുകളെ ആശ്രയിക്കുന്നത് ബുദ്ധിമുട്ടാണ്. ബിസിനസ്സിനായി, പ്രോഗ്രാമുകൾ ഒരു "ബ്ലാക്ക് ബോക്സ്" ആയി കാണപ്പെടുന്നു, അതിന്റെ പ്രസക്തി ഇപ്പോഴും തെളിയിക്കേണ്ടതുണ്ട്. കൂടാതെ, ബാങ്കിംഗിലും ടെലികോം ഓപ്പറേറ്റർമാരുടെയും മറ്റുള്ളവരുടെയും ബിസിനസ്സിലും സർക്കാർ റെഗുലേറ്റർമാരുടെ കർശനമായ ആവശ്യകതകളുണ്ട്. ബാങ്കിംഗ് പ്രക്രിയകളിൽ നടപ്പിലാക്കുന്ന എല്ലാ സിസ്റ്റങ്ങളും അൽഗോരിതങ്ങളും ഓഡിറ്റിന് വിധേയമാണ്. ഈ പ്രശ്നം പരിഹരിക്കുന്നതിന്, ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് പ്രതികരണങ്ങളുടെ സാധുതയും കൃത്യതയും ബിസിനസ്സിനും റെഗുലേറ്റർമാർക്കും തെളിയിക്കാൻ, മോഡലിനൊപ്പം മോണിറ്ററിംഗ് ടൂളുകളും അവതരിപ്പിക്കുന്നു. കൂടാതെ, സെൻട്രൽ ബാങ്കിന്റെ ആവശ്യകതകൾ നിറവേറ്റുന്ന ഒരു സ്വതന്ത്ര മൂല്യനിർണ്ണയ നടപടിക്രമം, റെഗുലേറ്ററി മോഡലുകൾക്ക് നിർബന്ധമാണ്. ഇൻപുട്ട് ഡാറ്റ കണക്കിലെടുത്ത് മോഡൽ ലഭിച്ച ഫലങ്ങൾ ഒരു സ്വതന്ത്ര വിദഗ്ധ സംഘം ഓഡിറ്റ് ചെയ്യുന്നു.

ഒരു മെഷീൻ ലേണിംഗ് മോഡൽ നടപ്പിലാക്കുമ്പോൾ മോഡൽ അപകടസാധ്യതകൾ വിലയിരുത്തുകയും കണക്കിലെടുക്കുകയും ചെയ്യുക എന്നതാണ് രണ്ടാമത്തെ വെല്ലുവിളി. ഒരേ വസ്ത്രം വെള്ളയാണോ നീലയാണോ എന്ന ചോദ്യത്തിന് നൂറ് ശതമാനം ഉറപ്പോടെ ഉത്തരം നൽകാൻ ഒരാൾക്ക് കഴിയുന്നില്ലെങ്കിലും, കൃത്രിമബുദ്ധിക്കും തെറ്റ് വരുത്താനുള്ള അവകാശമുണ്ട്. കാലക്രമേണ ഡാറ്റ മാറിയേക്കാമെന്നതും പരിഗണിക്കേണ്ടതാണ്, മതിയായ കൃത്യമായ ഫലം ലഭിക്കുന്നതിന് മോഡലുകൾ വീണ്ടും പരിശീലിപ്പിക്കേണ്ടതുണ്ട്. ബിസിനസ്സ് പ്രക്രിയ ബാധിക്കപ്പെടുന്നില്ലെന്ന് ഉറപ്പാക്കാൻ, മോഡൽ അപകടസാധ്യതകൾ നിയന്ത്രിക്കുകയും മോഡലിന്റെ പ്രകടനം നിരീക്ഷിക്കുകയും ചെയ്യേണ്ടത് ആവശ്യമാണ്, പതിവായി പുതിയ ഡാറ്റയിൽ അത് വീണ്ടും പരിശീലിപ്പിക്കുക.

എന്നാൽ അവിശ്വാസത്തിന്റെ ആദ്യ ഘട്ടത്തിന് ശേഷം, വിപരീത ഫലം പ്രത്യക്ഷപ്പെടാൻ തുടങ്ങുന്നു. കൂടുതൽ മോഡലുകൾ പ്രക്രിയകളിലേക്ക് വിജയകരമായി നടപ്പിലാക്കുന്നു, ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് ഉപയോഗിക്കാനുള്ള ബിസിനസ്സിന്റെ വിശപ്പ് വർദ്ധിക്കുന്നു - മെഷീൻ ലേണിംഗ് രീതികൾ ഉപയോഗിച്ച് പരിഹരിക്കാൻ കഴിയുന്ന പുതിയതും പുതിയതുമായ പ്രശ്നങ്ങൾ കണ്ടെത്തി. ഓരോ ജോലിയും ചില കഴിവുകൾ ആവശ്യമുള്ള മുഴുവൻ പ്രക്രിയയും ട്രിഗർ ചെയ്യുന്നു:

• ഡാറ്റ എഞ്ചിനീയർമാർ ഡാറ്റ തയ്യാറാക്കുകയും പ്രോസസ്സ് ചെയ്യുകയും ചെയ്യുന്നു;
• ഡാറ്റ ശാസ്ത്രജ്ഞർ മെഷീൻ ലേണിംഗ് ടൂളുകൾ ഉപയോഗിക്കുകയും ഒരു മാതൃക വികസിപ്പിക്കുകയും ചെയ്യുന്നു;
• ഐടി സിസ്റ്റത്തിലേക്ക് മോഡൽ നടപ്പിലാക്കുന്നു;
• അഭ്യർത്ഥനകളുടെ ഒഴുക്ക്, പ്രതികരണ സമയം മുതലായവ കണക്കിലെടുത്ത്, മോഡലിന്റെ പ്രയോഗ രീതിയുടെ ആവശ്യകതയെ ആശ്രയിച്ച്, ഏത് ഐടി ഉപകരണങ്ങൾ ഉപയോഗിക്കണമെന്ന്, ഈ മോഡലിനെ പ്രോസസ്സിലേക്ക് എങ്ങനെ ശരിയായി സംയോജിപ്പിക്കാമെന്ന് ML എഞ്ചിനീയർ നിർണ്ണയിക്കുന്നു. 
• ഒരു വ്യാവസായിക സംവിധാനത്തിൽ ഒരു സോഫ്റ്റ്‌വെയർ ഉൽപ്പന്നം എങ്ങനെ ഭൗതികമായി നടപ്പിലാക്കാം എന്ന് ഒരു ML ആർക്കിടെക്റ്റ് രൂപകൽപ്പന ചെയ്യുന്നു.

മുഴുവൻ സൈക്കിളിനും ഉയർന്ന യോഗ്യതയുള്ള ധാരാളം സ്പെഷ്യലിസ്റ്റുകൾ ആവശ്യമാണ്. ബിസിനസ്സ് പ്രക്രിയകളിലേക്ക് ML മോഡലുകളുടെ നുഴഞ്ഞുകയറ്റത്തിന്റെ ഒരു പ്രത്യേക ഘട്ടത്തിൽ, ജോലികളുടെ എണ്ണത്തിലെ വർദ്ധനവിന് ആനുപാതികമായി സ്പെഷ്യലിസ്റ്റുകളുടെ എണ്ണം രേഖീയമായി അളക്കുന്നത് ചെലവേറിയതും ഫലപ്രദവുമല്ലെന്ന് ഇത് മാറുന്നു. അതിനാൽ, MLOps പ്രക്രിയ ഓട്ടോമേറ്റ് ചെയ്യുന്നതിനെക്കുറിച്ചുള്ള ചോദ്യം ഉയർന്നുവരുന്നു - മെഷീൻ ലേണിംഗ് പ്രശ്‌നങ്ങളുടെ നിരവധി സ്റ്റാൻഡേർഡ് ക്ലാസുകൾ നിർവചിക്കുക, സ്റ്റാൻഡേർഡ് ഡാറ്റ പ്രോസസ്സിംഗ് പൈപ്പ്ലൈനുകൾ വികസിപ്പിക്കുക, മോഡലുകളുടെ അധിക പരിശീലനം. അനുയോജ്യമായ ഒരു ചിത്രത്തിൽ, അത്തരം പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന്, ബിഗ് ഡാറ്റ, ഡാറ്റ സയൻസ്, DevOps, IT എന്നിവയുടെ കവലയിൽ കഴിവുകളിൽ തുല്യ വൈദഗ്ധ്യമുള്ള പ്രൊഫഷണലുകൾ ആവശ്യമാണ്. അതിനാൽ, ഡാറ്റാ സയൻസ് വ്യവസായത്തിലെ ഏറ്റവും വലിയ പ്രശ്നവും MLOps പ്രക്രിയകൾ സംഘടിപ്പിക്കുന്നതിലെ ഏറ്റവും വലിയ വെല്ലുവിളിയും നിലവിലുള്ള പരിശീലന വിപണിയിൽ അത്തരം കഴിവുകളുടെ അഭാവമാണ്. ഈ ആവശ്യകതകൾ നിറവേറ്റുന്ന സ്പെഷ്യലിസ്റ്റുകൾ നിലവിൽ തൊഴിൽ വിപണിയിൽ അപൂർവമാണ്, മാത്രമല്ല അവരുടെ ഭാരം സ്വർണ്ണത്തിന് വിലമതിക്കുകയും ചെയ്യുന്നു.

കഴിവുകളുടെ വിഷയത്തിൽ

സിദ്ധാന്തത്തിൽ, എല്ലാ MLOps ടാസ്ക്കുകളും ക്ലാസിക് DevOps ടൂളുകൾ ഉപയോഗിച്ചും റോൾ മോഡലിന്റെ ഒരു പ്രത്യേക വിപുലീകരണം അവലംബിക്കാതെയും പരിഹരിക്കാൻ കഴിയും. തുടർന്ന്, ഞങ്ങൾ മുകളിൽ സൂചിപ്പിച്ചതുപോലെ, ഒരു ഡാറ്റ ശാസ്ത്രജ്ഞൻ ഒരു ഗണിതശാസ്ത്രജ്ഞനും ഡാറ്റാ അനലിസ്റ്റും മാത്രമല്ല, മുഴുവൻ പൈപ്പ്ലൈനിന്റെയും ഗുരു ആയിരിക്കണം - ആർക്കിടെക്ചർ വികസിപ്പിക്കുന്നതിനും, വാസ്തുവിദ്യയെ ആശ്രയിച്ച് നിരവധി ഭാഷകളിൽ പ്രോഗ്രാമിംഗ് മോഡലുകൾ തയ്യാറാക്കുന്നതിനും, തയ്യാറാക്കുന്നതിനും അദ്ദേഹം ഉത്തരവാദിയാണ്. ഒരു ഡാറ്റാ മാർട്ടും ആപ്ലിക്കേഷൻ തന്നെ വിന്യാസവും. എന്നിരുന്നാലും, എൻഡ്-ടു-എൻഡ് MLOps പ്രക്രിയയിൽ നടപ്പിലാക്കുന്ന സാങ്കേതിക ചട്ടക്കൂട് സൃഷ്ടിക്കുന്നതിന് തൊഴിൽ ചെലവിന്റെ 80% വരെ എടുക്കും, അതായത് ഗുണനിലവാരമുള്ള ഒരു ഡാറ്റാ സയന്റിസ്റ്റായ ഒരു യോഗ്യതയുള്ള ഗണിതശാസ്ത്രജ്ഞൻ തന്റെ സ്പെഷ്യാലിറ്റിക്കായി തന്റെ സമയത്തിന്റെ 20% മാത്രമേ ചെലവഴിക്കൂ. . അതിനാൽ, മെഷീൻ ലേണിംഗ് മോഡലുകൾ നടപ്പിലാക്കുന്ന പ്രക്രിയയിൽ ഉൾപ്പെട്ടിരിക്കുന്ന സ്പെഷ്യലിസ്റ്റുകളുടെ റോളുകൾ നിർവചിക്കുന്നത് വളരെ പ്രധാനമാണ്. 

എന്റർപ്രൈസസിന്റെ വലുപ്പത്തെ ആശ്രയിച്ചിരിക്കും റോളുകൾ എത്ര വിശദമായി നിർവചിക്കണം. ഒരു സ്റ്റാർട്ടപ്പിന് ഒരു സ്പെഷ്യലിസ്റ്റ്, എനർജി റിസർവിലെ കഠിനാധ്വാനി, സ്വന്തം എഞ്ചിനീയർ, ആർക്കിടെക്റ്റ്, DevOps എന്നിവരുണ്ടെങ്കിൽ അത് ഒരു കാര്യമാണ്. ഒരു വലിയ എന്റർപ്രൈസസിൽ, എല്ലാ മോഡൽ വികസന പ്രക്രിയകളും കുറച്ച് ഉയർന്ന തലത്തിലുള്ള ഡാറ്റാ സയൻസ് സ്പെഷ്യലിസ്റ്റുകളിൽ കേന്ദ്രീകരിക്കുമ്പോൾ ഇത് തികച്ചും വ്യത്യസ്തമായ കാര്യമാണ്, അതേസമയം ഒരു പ്രോഗ്രാമർ അല്ലെങ്കിൽ ഡാറ്റാബേസ് സ്പെഷ്യലിസ്റ്റ് - തൊഴിൽ വിപണിയിൽ കൂടുതൽ സാധാരണവും ചെലവ് കുറഞ്ഞതുമായ കഴിവ് - എടുക്കാൻ കഴിയും. മിക്ക ജോലികളിലും പതിവ് ജോലികൾ.

അങ്ങനെ, വികസിപ്പിച്ച മോഡലുകളുടെ വേഗതയും ഗുണനിലവാരവും, ടീമിന്റെ ഉൽപ്പാദനക്ഷമതയും അതിലെ മൈക്രോക്ളൈമറ്റും നേരിട്ട് MLOps പ്രക്രിയയെ പിന്തുണയ്ക്കുന്നതിനുള്ള സ്പെഷ്യലിസ്റ്റുകളുടെ തിരഞ്ഞെടുപ്പിൽ അതിർത്തി എവിടെയാണ്, വികസിപ്പിച്ച മോഡലുകളുടെ പ്രവർത്തന പ്രക്രിയ എങ്ങനെ സംഘടിപ്പിക്കപ്പെടുന്നു എന്നതിനെ ആശ്രയിച്ചിരിക്കുന്നു. .

ഞങ്ങളുടെ ടീം ഇതിനകം എന്താണ് ചെയ്തത്

ഞങ്ങൾ അടുത്തിടെ ഒരു യോഗ്യതാ ഘടനയും MLOps പ്രക്രിയകളും നിർമ്മിക്കാൻ തുടങ്ങി. എന്നാൽ മോഡൽ ലൈഫ് സൈക്കിൾ മാനേജ്‌മെന്റ്, മോഡലുകൾ ഒരു സേവനമായി ഉപയോഗിക്കൽ എന്നിവയെക്കുറിച്ചുള്ള ഞങ്ങളുടെ പ്രോജക്‌റ്റുകൾ ഇതിനകം തന്നെ എംവിപി ടെസ്റ്റിംഗ് ഘട്ടത്തിലാണ്.

ഒരു വലിയ എന്റർപ്രൈസസിനായി ഒപ്റ്റിമൽ കഴിവ് ഘടനയും പ്രക്രിയയിൽ പങ്കെടുക്കുന്നവരെല്ലാം തമ്മിലുള്ള ആശയവിനിമയത്തിന്റെ ഓർഗനൈസേഷണൽ ഘടനയും ഞങ്ങൾ നിർണ്ണയിച്ചു. ബിസിനസ്സ് ഉപഭോക്താക്കളുടെ മുഴുവൻ ശ്രേണിയിലെയും പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിനായി ചടുലമായ ടീമുകൾ സംഘടിപ്പിച്ചു, കൂടാതെ നിർമ്മാണത്തിലിരിക്കുന്ന MLOps കെട്ടിടത്തിന്റെ അടിത്തറയായ പ്ലാറ്റ്‌ഫോമുകളും അടിസ്ഥാന സൗകര്യങ്ങളും സൃഷ്ടിക്കുന്നതിന് പ്രോജക്റ്റ് ടീമുകളുമായി ആശയവിനിമയം നടത്തുന്ന ഒരു പ്രക്രിയ സ്ഥാപിച്ചു.

ഭാവിയിലേക്കുള്ള ചോദ്യങ്ങൾ

MLOps എന്നത് വളർന്നുവരുന്ന ഒരു മേഖലയാണ്, അത് കഴിവുകളുടെ അഭാവം നേരിടുന്നു, ഭാവിയിൽ അത് ശക്തി പ്രാപിക്കും. അതിനിടയിൽ, DevOps സംഭവവികാസങ്ങളും സമ്പ്രദായങ്ങളും നിർമ്മിക്കുന്നതാണ് നല്ലത്. MLOps-ന്റെ പ്രധാന ലക്ഷ്യം ബിസിനസ് പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന് ML മോഡലുകൾ കൂടുതൽ ഫലപ്രദമായി ഉപയോഗിക്കുക എന്നതാണ്. എന്നാൽ ഇത് നിരവധി ചോദ്യങ്ങൾ ഉയർത്തുന്നു:

• ഉൽപ്പാദനത്തിലേക്ക് മോഡലുകൾ സമാരംഭിക്കുന്നതിനുള്ള സമയം എങ്ങനെ കുറയ്ക്കാം?
• വ്യത്യസ്ത കഴിവുകളുള്ള ടീമുകൾ തമ്മിലുള്ള ബ്യൂറോക്രാറ്റിക് സംഘർഷം എങ്ങനെ കുറയ്ക്കാം, സഹകരണത്തിൽ ശ്രദ്ധ വർധിപ്പിക്കാം?
• മോഡലുകൾ ട്രാക്കുചെയ്യാനും പതിപ്പുകൾ നിയന്ത്രിക്കാനും ഫലപ്രദമായ നിരീക്ഷണം സംഘടിപ്പിക്കാനും എങ്ങനെ?
• ഒരു ആധുനിക ML മോഡലിന് യഥാർത്ഥ വൃത്താകൃതിയിലുള്ള ജീവിതചക്രം എങ്ങനെ സൃഷ്ടിക്കാം?
• മെഷീൻ ലേണിംഗ് പ്രോസസ് എങ്ങനെ സ്റ്റാൻഡേർഡ് ചെയ്യാം?

ഈ ചോദ്യങ്ങൾക്കുള്ള ഉത്തരങ്ങൾ MLOps അതിന്റെ പൂർണ്ണ ശേഷിയിൽ എത്ര വേഗത്തിൽ എത്തുമെന്ന് നിർണ്ണയിക്കും.

അവലംബം: www.habr.com