കോഡ് ഇല്ലാതെ പോലും മോഡലുകൾ സൃഷ്ടിക്കാനും നടപ്പിലാക്കാനും നിങ്ങളെ അനുവദിക്കുന്ന ഒരു പ്ലാറ്റ്ഫോമാണ് Sber.DS

മറ്റ് ഏത് പ്രക്രിയകൾ യാന്ത്രികമാക്കാം എന്നതിനെക്കുറിച്ചുള്ള ആശയങ്ങളും മീറ്റിംഗുകളും വിവിധ വലുപ്പത്തിലുള്ള ബിസിനസ്സുകളിൽ എല്ലാ ദിവസവും ഉയർന്നുവരുന്നു. എന്നാൽ ഒരു മോഡൽ സൃഷ്ടിക്കുന്നതിന് ധാരാളം സമയം ചെലവഴിക്കാൻ കഴിയും എന്നതിന് പുറമേ, അത് വിലയിരുത്തുന്നതിനും ലഭിച്ച ഫലം ക്രമരഹിതമല്ലെന്ന് പരിശോധിക്കുന്നതിനും നിങ്ങൾ അത് ചെലവഴിക്കേണ്ടതുണ്ട്. നടപ്പിലാക്കിയ ശേഷം, ഏത് മോഡലും നിരീക്ഷിക്കുകയും ഇടയ്ക്കിടെ പരിശോധിക്കുകയും വേണം.

ഏത് കമ്പനിയിലും അതിൻ്റെ വലുപ്പം പരിഗണിക്കാതെ പൂർത്തിയാക്കേണ്ട എല്ലാ ഘട്ടങ്ങളും ഇവയാണ്. നമ്മൾ Sberbank-ൻ്റെ സ്കെയിലിനെയും പാരമ്പര്യത്തെയും കുറിച്ച് സംസാരിക്കുകയാണെങ്കിൽ, ഫൈൻ-ട്യൂണിംഗിൻ്റെ എണ്ണം ഗണ്യമായി വർദ്ധിക്കുന്നു. 2019 അവസാനത്തോടെ, Sber ഇതിനകം 2000-ലധികം മോഡലുകൾ ഉപയോഗിച്ചു. ഒരു മോഡൽ വികസിപ്പിച്ചാൽ മാത്രം പോരാ; വ്യാവസായിക സംവിധാനങ്ങളുമായി സംയോജിപ്പിക്കുകയും മോഡലുകൾ നിർമ്മിക്കുന്നതിനുള്ള ഡാറ്റാ മാർട്ടുകൾ വികസിപ്പിക്കുകയും ക്ലസ്റ്ററിലെ അതിൻ്റെ പ്രവർത്തനത്തിൻ്റെ നിയന്ത്രണം ഉറപ്പാക്കുകയും ചെയ്യേണ്ടത് ആവശ്യമാണ്.

ഞങ്ങളുടെ ടീം Sber.DS പ്ലാറ്റ്ഫോം വികസിപ്പിക്കുകയാണ്. മെഷീൻ ലേണിംഗ് പ്രശ്നങ്ങൾ പരിഹരിക്കാൻ ഇത് നിങ്ങളെ അനുവദിക്കുന്നു, അനുമാനങ്ങൾ പരിശോധിക്കുന്ന പ്രക്രിയ വേഗത്തിലാക്കുന്നു, തത്വത്തിൽ മോഡലുകൾ വികസിപ്പിക്കുന്നതിനും സാധൂകരിക്കുന്നതിനുമുള്ള പ്രക്രിയ ലളിതമാക്കുന്നു, കൂടാതെ PROM ലെ മോഡലിൻ്റെ ഫലത്തെ നിയന്ത്രിക്കുകയും ചെയ്യുന്നു.

നിങ്ങളുടെ പ്രതീക്ഷകളെ വഞ്ചിക്കാതിരിക്കാൻ, ഈ പോസ്റ്റ് ഒരു ആമുഖമാണെന്ന് ഞാൻ മുൻകൂട്ടി പറയാൻ ആഗ്രഹിക്കുന്നു, കൂടാതെ കട്ടിന് കീഴിൽ, തുടക്കക്കാർക്കായി, തത്വത്തിൽ, Sber.DS പ്ലാറ്റ്‌ഫോമിൻ്റെ ഹുഡിന് കീഴിലുള്ള കാര്യങ്ങളെക്കുറിച്ച് ഞങ്ങൾ സംസാരിക്കുന്നു. സൃഷ്ടി മുതൽ നടപ്പാക്കൽ വരെയുള്ള മോഡലിൻ്റെ ജീവിത ചക്രത്തെക്കുറിച്ചുള്ള കഥ ഞങ്ങൾ പ്രത്യേകം പറയും.

Sber.DS-ൽ നിരവധി ഘടകങ്ങൾ അടങ്ങിയിരിക്കുന്നു, പ്രധാനവ ലൈബ്രറി, വികസന സംവിധാനം, മോഡൽ എക്സിക്യൂഷൻ സിസ്റ്റം എന്നിവയാണ്.

മോഡലിൻ്റെ ജീവിത ചക്രം അത് വികസിപ്പിക്കാനുള്ള ആശയം ദൃശ്യമാകുന്ന നിമിഷം മുതൽ PROM, നിരീക്ഷണം, ഡീകമ്മീഷൻ എന്നിവയിൽ നടപ്പിലാക്കുന്നത് വരെ ലൈബ്രറി നിയന്ത്രിക്കുന്നു. റെഗുലേറ്റർ നിയമങ്ങളാൽ പല ലൈബ്രറി കഴിവുകളും നിർദ്ദേശിക്കപ്പെടുന്നു, ഉദാഹരണത്തിന്, പരിശീലനത്തിൻ്റെയും മൂല്യനിർണ്ണയ സാമ്പിളുകളുടെയും റിപ്പോർട്ടിംഗും സംഭരണവും. വാസ്തവത്തിൽ, ഇത് ഞങ്ങളുടെ എല്ലാ മോഡലുകളുടെയും ഒരു രജിസ്റ്ററാണ്.

മോഡലുകളുടെയും മൂല്യനിർണ്ണയ സാങ്കേതികതകളുടെയും വിഷ്വൽ ഡെവലപ്‌മെൻ്റിനായി രൂപകൽപ്പന ചെയ്തിട്ടുള്ളതാണ് വികസന സംവിധാനം. വികസിപ്പിച്ച മോഡലുകൾ പ്രാഥമിക മൂല്യനിർണ്ണയത്തിന് വിധേയമാവുകയും അവയുടെ ബിസിനസ് പ്രവർത്തനങ്ങൾ നിർവഹിക്കുന്നതിന് എക്സിക്യൂഷൻ സിസ്റ്റത്തിലേക്ക് നൽകുകയും ചെയ്യുന്നു. കൂടാതെ, റൺടൈം സിസ്റ്റത്തിൽ, മോഡൽ അതിൻ്റെ പ്രവർത്തനം നിരീക്ഷിക്കുന്നതിന് സ്ഥിരീകരണ ടെക്നിക്കുകൾ ഇടയ്ക്കിടെ സമാരംഭിക്കുന്നതിനായി ഒരു മോണിറ്ററിൽ സ്ഥാപിക്കാവുന്നതാണ്.

സിസ്റ്റത്തിൽ നിരവധി തരം നോഡുകൾ ഉണ്ട്. ചിലത് വിവിധ ഡാറ്റാ സ്രോതസ്സുകളിലേക്ക് കണക്റ്റുചെയ്യാൻ രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു, മറ്റുള്ളവ ഉറവിട ഡാറ്റ രൂപാന്തരപ്പെടുത്തുന്നതിനും അതിനെ സമ്പുഷ്ടമാക്കുന്നതിനും (മാർക്ക്അപ്പ്) രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു. വ്യത്യസ്ത മോഡലുകൾ നിർമ്മിക്കുന്നതിനുള്ള നിരവധി നോഡുകളും അവ സാധൂകരിക്കുന്നതിനുള്ള നോഡുകളും ഉണ്ട്. ഡെവലപ്പർക്ക് ഏത് ഉറവിടത്തിൽ നിന്നും ഡാറ്റ ലോഡുചെയ്യാനും രൂപാന്തരപ്പെടുത്താനും ഫിൽട്ടർ ചെയ്യാനും ഇൻ്റർമീഡിയറ്റ് ഡാറ്റ ദൃശ്യവൽക്കരിക്കാനും ഭാഗങ്ങളായി വിഭജിക്കാനും കഴിയും.

പ്ലാറ്റ്‌ഫോമിൽ റെഡിമെയ്ഡ് മൊഡ്യൂളുകളും അടങ്ങിയിരിക്കുന്നു, അവ ഡിസൈൻ ഏരിയയിലേക്ക് വലിച്ചിടാനും ഇടാനും കഴിയും. എല്ലാ പ്രവർത്തനങ്ങളും ഒരു ദൃശ്യവൽക്കരിക്കപ്പെട്ട ഇൻ്റർഫേസ് ഉപയോഗിച്ചാണ് നടത്തുന്നത്. വാസ്തവത്തിൽ, ഒരു വരി കോഡ് ഇല്ലാതെ നിങ്ങൾക്ക് പ്രശ്നം പരിഹരിക്കാൻ കഴിയും.

ബിൽറ്റ്-ഇൻ കഴിവുകൾ പര്യാപ്തമല്ലെങ്കിൽ, നിങ്ങളുടെ സ്വന്തം മൊഡ്യൂളുകൾ വേഗത്തിൽ സൃഷ്ടിക്കാനുള്ള കഴിവ് സിസ്റ്റം നൽകുന്നു. അടിസ്ഥാനമാക്കി ഞങ്ങൾ ഒരു സംയോജിത വികസന മോഡ് ഉണ്ടാക്കി ജൂപ്പിറ്റർ കേർണൽ ഗേറ്റ്‌വേ ആദ്യം മുതൽ പുതിയ മൊഡ്യൂളുകൾ സൃഷ്ടിക്കുന്നവർക്ക്.

Sber.DS ൻ്റെ വാസ്തുവിദ്യ മൈക്രോസർവീസുകളിൽ നിർമ്മിച്ചതാണ്. മൈക്രോസർവീസുകൾ എന്താണെന്നതിനെക്കുറിച്ച് നിരവധി അഭിപ്രായങ്ങളുണ്ട്. മോണോലിത്തിക്ക് കോഡ് ഭാഗങ്ങളായി വിഭജിച്ചാൽ മതിയെന്ന് ചിലർ കരുതുന്നു, എന്നാൽ അതേ സമയം അവർ അതേ ഡാറ്റാബേസിലേക്ക് പോകുന്നു. ഞങ്ങളുടെ മൈക്രോസർവീസ് മറ്റൊരു മൈക്രോസർവീസുമായി REST API വഴി മാത്രമേ ആശയവിനിമയം നടത്താവൂ. ഡാറ്റാബേസ് നേരിട്ട് ആക്സസ് ചെയ്യുന്നതിന് പരിഹാരങ്ങളൊന്നുമില്ല.

സേവനങ്ങൾ വളരെ വലുതും വിചിത്രവുമാകില്ലെന്ന് ഉറപ്പാക്കാൻ ഞങ്ങൾ ശ്രമിക്കുന്നു: ഒരു സന്ദർഭത്തിൽ 4-8 ജിഗാബൈറ്റിൽ കൂടുതൽ റാം ഉപയോഗിക്കാനും പുതിയ സംഭവങ്ങൾ സമാരംഭിച്ച് അഭ്യർത്ഥനകൾ തിരശ്ചീനമായി സ്കെയിൽ ചെയ്യാനുള്ള കഴിവ് നൽകാനും പാടില്ല. ഓരോ സേവനവും മറ്റുള്ളവരുമായി ആശയവിനിമയം നടത്തുന്നത് REST API (API തുറക്കുക). സേവനത്തിൻ്റെ ഉത്തരവാദിത്തമുള്ള ടീം അത് ഉപയോഗിക്കുന്ന അവസാന ക്ലയൻ്റ് വരെ API ബാക്ക്വേർഡ് കോംപാറ്റിബിളായി നിലനിർത്തേണ്ടതുണ്ട്.

സ്പ്രിംഗ് ഫ്രെയിംവർക്ക് ഉപയോഗിച്ച് ആപ്ലിക്കേഷൻ്റെ കാതൽ ജാവയിൽ എഴുതിയിരിക്കുന്നു. ക്ലൗഡ് ഇൻഫ്രാസ്ട്രക്ചറിലെ ദ്രുതഗതിയിലുള്ള വിന്യാസത്തിനായാണ് പരിഹാരം ആദ്യം രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്, അതിനാൽ ഒരു കണ്ടെയ്‌നറൈസേഷൻ സിസ്റ്റം ഉപയോഗിച്ചാണ് ആപ്ലിക്കേഷൻ നിർമ്മിച്ചിരിക്കുന്നത്. Red Hat OpenShift (കുബേർനെറ്റ്). വർദ്ധിച്ചുവരുന്ന ബിസിനസ്സ് പ്രവർത്തനത്തിൻ്റെ കാര്യത്തിലും (പുതിയ കണക്ടറുകൾ, ഓട്ടോഎംഎൽ ചേർക്കുന്നു) സാങ്കേതിക കാര്യക്ഷമതയിലും പ്ലാറ്റ്ഫോം നിരന്തരം വികസിച്ചുകൊണ്ടിരിക്കുന്നു.

ഏത് Sberbank മോഡൽ എക്‌സിക്യൂഷൻ സിസ്റ്റത്തിലും ഒരു വിഷ്വൽ ഇൻ്റർഫേസിൽ വികസിപ്പിച്ച കോഡ് പ്രവർത്തിപ്പിക്കാൻ കഴിയും എന്നതാണ് ഞങ്ങളുടെ പ്ലാറ്റ്‌ഫോമിൻ്റെ ഒരു സവിശേഷത. ഇപ്പോൾ അവയിൽ രണ്ടെണ്ണം ഉണ്ട്: ഒന്ന് ഹഡൂപ്പിലും മറ്റൊന്ന് ഓപ്പൺഷിഫ്റ്റിലും (ഡോക്കർ). ഞങ്ങൾ അവിടെ നിൽക്കില്ല, ഓൺ-പ്രെയിമിലും ക്ലൗഡിലും ഉൾപ്പെടെ ഏത് ഇൻഫ്രാസ്ട്രക്ചറിലും കോഡ് പ്രവർത്തിപ്പിക്കുന്നതിന് ഇൻ്റഗ്രേഷൻ മൊഡ്യൂളുകൾ സൃഷ്ടിക്കുന്നു. Sberbank ഇക്കോസിസ്റ്റത്തിലേക്ക് ഫലപ്രദമായി സംയോജിപ്പിക്കുന്നതിനുള്ള സാധ്യതകളെ സംബന്ധിച്ച്, നിലവിലുള്ള നിർവ്വഹണ പരിതസ്ഥിതികളുമായുള്ള പ്രവർത്തനത്തെ പിന്തുണയ്ക്കാനും ഞങ്ങൾ പദ്ധതിയിടുന്നു. ഭാവിയിൽ, ഏത് ഓർഗനൈസേഷൻ്റെയും ഏത് ലാൻഡ്‌സ്‌കേപ്പിലേക്കും "ബോക്‌സിന് പുറത്ത്" പരിഹാരം വഴക്കത്തോടെ സംയോജിപ്പിക്കാൻ കഴിയും.

PROM-ൽ Hadoop-ൽ പൈത്തൺ പ്രവർത്തിപ്പിക്കുന്ന ഒരു പരിഹാരത്തെ പിന്തുണയ്ക്കാൻ ശ്രമിച്ചിട്ടുള്ളവർക്ക് അറിയാം, ഓരോ ഡാറ്റാനോഡിലേക്കും ഒരു പൈത്തൺ ഉപയോക്തൃ പരിസ്ഥിതി തയ്യാറാക്കി വിതരണം ചെയ്താൽ മാത്രം പോരാ. പൈത്തൺ മൊഡ്യൂളുകൾ ഉപയോഗിക്കുന്ന മെഷീൻ ലേണിംഗിനായി ധാരാളം സി/സി++ ലൈബ്രറികൾ നിങ്ങളെ എളുപ്പത്തിൽ വിശ്രമിക്കാൻ അനുവദിക്കില്ല. പുതിയ ലൈബ്രറികളോ സെർവറുകളോ ചേർക്കുമ്പോൾ, ഇതിനകം നടപ്പിലാക്കിയ മോഡൽ കോഡുമായി ബാക്ക്വേർഡ് കോംപാറ്റിബിലിറ്റി നിലനിർത്തിക്കൊണ്ട് പാക്കേജുകൾ അപ്ഡേറ്റ് ചെയ്യാൻ നാം ഓർക്കണം.

ഇത് എങ്ങനെ ചെയ്യാമെന്നതിന് നിരവധി സമീപനങ്ങളുണ്ട്. ഉദാഹരണത്തിന്, പതിവായി ഉപയോഗിക്കുന്ന നിരവധി ലൈബ്രറികൾ മുൻകൂട്ടി തയ്യാറാക്കി അവ PROM-ൽ നടപ്പിലാക്കുക. ക്ലൗഡേറയുടെ ഹഡൂപ്പ് വിതരണത്തിൽ, അവർ സാധാരണയായി ഉപയോഗിക്കുന്നു പൊതി. കൂടാതെ ഇപ്പോൾ ഹഡൂപ്പിലും പ്രവർത്തിപ്പിക്കാൻ സാധിക്കും ഡോക്കർ- കണ്ടെയ്നറുകൾ. ചില ലളിതമായ സന്ദർഭങ്ങളിൽ പാക്കേജിനൊപ്പം കോഡും കൈമാറാൻ സാധിക്കും പെരുമ്പാമ്പ്.മുട്ടകൾ.

മൂന്നാം കക്ഷി കോഡ് പ്രവർത്തിപ്പിക്കുന്നതിൻ്റെ സുരക്ഷ ബാങ്ക് വളരെ ഗൗരവമായി എടുക്കുന്നു, അതിനാൽ ലിനക്സ് കേർണലിൻ്റെ പുതിയ സവിശേഷതകൾ ഞങ്ങൾ പരമാവധി പ്രയോജനപ്പെടുത്തുന്നു, അവിടെ ഒരു പ്രക്രിയ ഒറ്റപ്പെട്ട പരിതസ്ഥിതിയിൽ പ്രവർത്തിക്കുന്നു. ലിനക്സ് നെയിംസ്പേസ്, നിങ്ങൾക്ക് പരിമിതപ്പെടുത്താൻ കഴിയും, ഉദാഹരണത്തിന്, നെറ്റ്വർക്കിലേക്കും ലോക്കൽ ഡിസ്കിലേക്കും ആക്സസ്സ്, ഇത് ക്ഷുദ്ര കോഡിൻ്റെ കഴിവുകൾ ഗണ്യമായി കുറയ്ക്കുന്നു. ഓരോ ഡിപ്പാർട്ട്‌മെൻ്റിൻ്റെയും ഡാറ്റ ഏരിയകൾ പരിരക്ഷിതവും ഈ ഡാറ്റയുടെ ഉടമകൾക്ക് മാത്രമേ ആക്‌സസ് ചെയ്യാനാകൂ. ഉറവിടങ്ങളിലേക്കുള്ള ആക്‌സസ് മുതൽ ടാർഗെറ്റ് സ്റ്റോർഫ്രണ്ടിൽ ഡാറ്റ ലാൻഡിംഗ് വരെയുള്ള എല്ലാ ഘട്ടങ്ങളിലും നിയന്ത്രണത്തോടെയുള്ള ഡാറ്റാ പ്രസിദ്ധീകരണ പ്രക്രിയയിലൂടെ മാത്രമേ ഒരു പ്രദേശത്തു നിന്നുള്ള ഡാറ്റയ്ക്ക് മറ്റൊരു പ്രദേശത്ത് എത്താൻ കഴിയൂ എന്ന് പ്ലാറ്റ്‌ഫോം ഉറപ്പാക്കുന്നു.

ഈ വർഷം ഹഡൂപ്പിൽ പൈത്തൺ/ആർ/ജാവയിൽ എഴുതിയ മോഡലുകൾ പുറത്തിറക്കുന്നതിൻ്റെ എംവിപി പൂർത്തിയാക്കാൻ ഞങ്ങൾ പദ്ധതിയിടുന്നു. ഞങ്ങളുടെ പ്ലാറ്റ്‌ഫോമിൻ്റെ ഉപയോക്താക്കളെ ഒരു തരത്തിലും പരിമിതപ്പെടുത്താതിരിക്കാൻ, ഹഡൂപ്പിൽ ഏതെങ്കിലും ഇഷ്‌ടാനുസൃത അന്തരീക്ഷം എങ്ങനെ പ്രവർത്തിപ്പിക്കാമെന്ന് പഠിക്കുക എന്ന മഹത്തായ ചുമതല ഞങ്ങൾ സ്വയം സജ്ജമാക്കിയിട്ടുണ്ട്.

കൂടാതെ, പല DS സ്പെഷ്യലിസ്റ്റുകളും ഗണിതത്തിലും സ്ഥിതിവിവരക്കണക്കുകളിലും മികച്ചവരാണ്, രസകരമായ മോഡലുകൾ നിർമ്മിക്കുന്നു, പക്ഷേ വലിയ ഡാറ്റാ പരിവർത്തനങ്ങളിൽ വേണ്ടത്ര വൈദഗ്ദ്ധ്യം ഇല്ല, കൂടാതെ പരിശീലന സാമ്പിളുകൾ തയ്യാറാക്കാൻ അവർക്ക് ഞങ്ങളുടെ ഡാറ്റാ എഞ്ചിനീയർമാരുടെ സഹായം ആവശ്യമാണ്. ഞങ്ങളുടെ സഹപ്രവർത്തകരെ സഹായിക്കാനും സ്പാർക്ക് എഞ്ചിനിലെ മോഡലുകൾക്കായി സ്റ്റാൻഡേർഡ് പരിവർത്തനത്തിനും സവിശേഷതകൾ തയ്യാറാക്കുന്നതിനും സൗകര്യപ്രദമായ മൊഡ്യൂളുകൾ സൃഷ്ടിക്കാൻ ഞങ്ങൾ തീരുമാനിച്ചു. മോഡലുകൾ വികസിപ്പിക്കുന്നതിന് കൂടുതൽ സമയം ചെലവഴിക്കാനും ഡാറ്റാ എഞ്ചിനീയർമാർ ഒരു പുതിയ ഡാറ്റാസെറ്റ് തയ്യാറാക്കുന്നതിനായി കാത്തിരിക്കാതിരിക്കാനും ഇത് നിങ്ങളെ അനുവദിക്കും.

വിവിധ മേഖലകളിൽ അറിവുള്ള ആളുകളെ ഞങ്ങൾ നിയമിക്കുന്നു: Linux, DevOps, Hadoop and Spark, Java and Spring, Scala and Akka, OpenShift, Kubernetes. അടുത്ത തവണ നമ്മൾ മോഡൽ ലൈബ്രറിയെക്കുറിച്ച് സംസാരിക്കും, കമ്പനിക്കുള്ളിലെ ജീവിത ചക്രത്തിലൂടെ മോഡൽ എങ്ങനെ കടന്നുപോകുന്നു, എങ്ങനെ മൂല്യനിർണ്ണയവും നടപ്പാക്കലും സംഭവിക്കുന്നു.

അവലംബം: www.habr.com