അനലിറ്റിക്കൽ പ്ലാറ്റ്‌ഫോമുകളിൽ ലോ-കോഡിന്റെ പ്രയോഗം

പ്രിയ വായനക്കാരേ, നല്ല ദിവസം!

വിവരങ്ങൾ ശേഖരിക്കുന്നതിനും വിശകലനം ചെയ്യുന്നതിനുമുള്ള ഐടി പ്ലാറ്റ്‌ഫോമുകൾ നിർമ്മിക്കുന്നതിനുള്ള ചുമതല, ബൗദ്ധികമായി ലോഡുചെയ്‌ത സേവന വിതരണ മോഡലിനെയോ സാങ്കേതികമായി സങ്കീർണ്ണമായ ഉൽപ്പന്നങ്ങൾ സൃഷ്‌ടിക്കുന്നതിനെയോ അടിസ്ഥാനമാക്കിയുള്ള ബിസിനസ്സ് ഏത് കമ്പനിക്കും ഉടനടി അല്ലെങ്കിൽ പിന്നീട് ഉയർന്നുവരുന്നു. വിശകലന പ്ലാറ്റ്‌ഫോമുകൾ നിർമ്മിക്കുന്നത് സങ്കീർണ്ണവും സമയമെടുക്കുന്നതുമായ ഒരു ജോലിയാണ്. എന്നിരുന്നാലും, ഏത് ജോലിയും ലളിതമാക്കാം. ഈ ലേഖനത്തിൽ, അനലിറ്റിക്കൽ സൊല്യൂഷനുകൾ സൃഷ്ടിക്കാൻ സഹായിക്കുന്ന ലോ-കോഡ് ടൂളുകൾ ഉപയോഗിക്കുന്നതിലെ എന്റെ അനുഭവം പങ്കിടാൻ ഞാൻ ആഗ്രഹിക്കുന്നു. നിയോഫ്ലെക്‌സ് കമ്പനിയുടെ ബിഗ് ഡാറ്റ സൊല്യൂഷൻസ് ദിശയിലുള്ള നിരവധി പ്രോജക്ടുകൾ നടപ്പിലാക്കുന്നതിനിടയിലാണ് ഈ അനുഭവം ലഭിച്ചത്. 2005 മുതൽ, നിയോഫ്ലെക്‌സിന്റെ ബിഗ് ഡാറ്റ സൊല്യൂഷൻസ് ഡയറക്‌ഷൻ ഡാറ്റ വെയർഹൗസുകളും തടാകങ്ങളും നിർമ്മിക്കുന്നതിലും വിവര പ്രോസസ്സിംഗിന്റെ വേഗത ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിലെ പ്രശ്‌നങ്ങൾ പരിഹരിക്കുന്നതിലും ഡാറ്റ ഗുണനിലവാര മാനേജുമെന്റിനായുള്ള ഒരു രീതിശാസ്ത്രത്തിൽ പ്രവർത്തിക്കുന്നതിലും കൈകാര്യം ചെയ്യുന്നു.

ദുർബലമായും/അല്ലെങ്കിൽ ശക്തമായി ഘടനാപരമായ ഡാറ്റയുടെ ബോധപൂർവമായ ശേഖരണം ഒഴിവാക്കാൻ ആർക്കും കഴിയില്ല. ഒരുപക്ഷേ നമ്മൾ ചെറുകിട ബിസിനസ്സുകളെക്കുറിച്ചാണ് സംസാരിക്കുന്നതെങ്കിൽ പോലും. എല്ലാത്തിനുമുപരി, ഒരു ബിസിനസ്സ് സ്കെയിൽ ചെയ്യുമ്പോൾ, വാഗ്ദാനമുള്ള ഒരു സംരംഭകന് ഒരു ലോയൽറ്റി പ്രോഗ്രാം വികസിപ്പിക്കുന്നതിനുള്ള പ്രശ്നങ്ങൾ നേരിടേണ്ടിവരും, വിൽപ്പന പോയിന്റുകളുടെ ഫലപ്രാപ്തി വിശകലനം ചെയ്യാൻ ആഗ്രഹിക്കും, ടാർഗെറ്റുചെയ്‌ത പരസ്യത്തെക്കുറിച്ച് ചിന്തിക്കും, ഒപ്പം അനുഗമിക്കുന്ന ഉൽപ്പന്നങ്ങളുടെ ആവശ്യകതയിൽ ആശയക്കുഴപ്പത്തിലാകും. . ആദ്യത്തെ ഏകദേശ കണക്കിന്, പ്രശ്നം "മുട്ടിൽ" പരിഹരിക്കാൻ കഴിയും. എന്നാൽ ബിസിനസ്സ് വളരുമ്പോൾ, ഒരു വിശകലന പ്ലാറ്റ്‌ഫോമിലേക്ക് വരുന്നത് ഇപ്പോഴും അനിവാര്യമാണ്.

എന്നിരുന്നാലും, ഏത് സാഹചര്യത്തിലാണ് ഡാറ്റ അനലിറ്റിക്‌സ് ടാസ്‌ക്കുകൾ "റോക്കറ്റ് സയൻസ്" ക്ലാസ് പ്രശ്‌നങ്ങളായി വികസിക്കുന്നത്? ഒരുപക്ഷേ നമ്മൾ വലിയ ഡാറ്റയെക്കുറിച്ച് സംസാരിക്കുന്ന നിമിഷത്തിലായിരിക്കാം.
റോക്കറ്റ് സയൻസ് എളുപ്പമാക്കാൻ, നിങ്ങൾക്ക് ആനയെ കഷണം കഷണം തിന്നാം.

നിങ്ങളുടെ ആപ്ലിക്കേഷനുകൾ/സേവനങ്ങൾ/മൈക്രോ സർവീസുകൾ എത്രത്തോളം വ്യതിരിക്തവും സ്വയംഭരണപരവുമാണോ, അത്രയും എളുപ്പമായിരിക്കും നിങ്ങൾക്കും നിങ്ങളുടെ സഹപ്രവർത്തകർക്കും മുഴുവൻ ബിസിനസ്സിനും ആനയെ ദഹിപ്പിക്കാൻ.

DevOps ടീമുകളുടെ എഞ്ചിനീയറിംഗ് രീതികളെ അടിസ്ഥാനമാക്കി ലാൻഡ്‌സ്‌കേപ്പ് പുനർനിർമ്മിച്ചുകൊണ്ട് ഞങ്ങളുടെ മിക്കവാറും എല്ലാ ക്ലയന്റുകളും ഈ പോസ്റ്റുലേറ്റിലേക്ക് വന്നു.

എന്നാൽ ഒരു "പ്രത്യേക, ആന" ഭക്ഷണത്തിൽ പോലും, ഐടി ലാൻഡ്‌സ്‌കേപ്പിന്റെ "ഓവർസാച്ചുറേഷൻ" നമുക്ക് നല്ല അവസരമുണ്ട്. ഈ നിമിഷം നിർത്തുകയും ശ്വാസം വിടുകയും വശത്തേക്ക് നോക്കുകയും ചെയ്യുന്നത് മൂല്യവത്താണ് കുറഞ്ഞ കോഡ് എഞ്ചിനീയറിംഗ് പ്ലാറ്റ്ഫോം.

ലോ-കോഡ് സിസ്റ്റങ്ങളുടെ യുഐ ഇന്റർഫേസുകളിൽ നേരിട്ട് കോഡ് എഴുതുന്നതിൽ നിന്ന് "ഡ്രാഗിംഗ്" അമ്പടയാളങ്ങളിലേക്ക് മാറുമ്പോൾ പല ഡവലപ്പർമാരും അവരുടെ കരിയറിലെ ഒരു അവസാന സാധ്യതയെ ഭയക്കുന്നു. എന്നാൽ യന്ത്രോപകരണങ്ങളുടെ വരവ് എഞ്ചിനീയർമാരുടെ തിരോധാനത്തിലേക്ക് നയിച്ചില്ല, മറിച്ച് അവരുടെ ജോലി ഒരു പുതിയ തലത്തിലേക്ക് കൊണ്ടുവന്നു!

എന്തുകൊണ്ടെന്ന് നമുക്ക് കണ്ടെത്താം.

ലോജിസ്റ്റിക്സ്, ടെലികോം വ്യവസായം, മാധ്യമ ഗവേഷണം, സാമ്പത്തിക മേഖല എന്നീ മേഖലകളിലെ ഡാറ്റ വിശകലനം എല്ലായ്പ്പോഴും ഇനിപ്പറയുന്ന ചോദ്യങ്ങളുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു:

• ഓട്ടോമേറ്റഡ് വിശകലനത്തിന്റെ വേഗത;
• പ്രധാന ഡാറ്റാ പ്രൊഡക്ഷൻ ഫ്ലോയെ ബാധിക്കാതെ പരീക്ഷണങ്ങൾ നടത്താനുള്ള കഴിവ്;
• തയ്യാറാക്കിയ ഡാറ്റയുടെ വിശ്വാസ്യത;
• ട്രാക്കിംഗും പതിപ്പിംഗും മാറ്റുക;
• ഡാറ്റ തെളിവ്, ഡാറ്റ ലൈനേജ്, CDC;
• ഉൽപ്പാദന പരിതസ്ഥിതിയിലേക്ക് പുതിയ ഫീച്ചറുകളുടെ വേഗത്തിലുള്ള ഡെലിവറി;
• കുപ്രസിദ്ധമായത്: വികസനത്തിന്റെയും പിന്തുണയുടെയും ചെലവ്.

അതായത്, എഞ്ചിനീയർമാർക്ക് ഉയർന്ന തലത്തിലുള്ള ജോലികളുടെ ഒരു വലിയ സംഖ്യയുണ്ട്, താഴ്ന്ന തലത്തിലുള്ള വികസന ജോലികളെക്കുറിച്ചുള്ള അവരുടെ അവബോധം മായ്‌ക്കുന്നതിലൂടെ മാത്രമേ മതിയായ കാര്യക്ഷമതയോടെ പൂർത്തിയാക്കാൻ കഴിയൂ.

ഡവലപ്പർമാർക്ക് ഒരു പുതിയ തലത്തിലേക്ക് മാറുന്നതിന് മുൻവ്യവസ്ഥകൾ ബിസിനസിന്റെ പരിണാമവും ഡിജിറ്റലൈസേഷനും ആയിരുന്നു. ഡവലപ്പറുടെ മൂല്യവും മാറുകയാണ്: ബിസിനസ്സ് ഓട്ടോമേറ്റഡ് എന്ന ആശയങ്ങളിൽ മുഴുകാൻ കഴിയുന്ന ഡവലപ്പർമാരുടെ ഗണ്യമായ കുറവുണ്ട്.

ലോ-ലെവൽ, ഹൈ-ലെവൽ പ്രോഗ്രാമിംഗ് ഭാഷകളുമായി നമുക്ക് ഒരു സാമ്യം വരയ്ക്കാം. താഴ്ന്ന നിലയിലുള്ള ഭാഷകളിൽ നിന്ന് ഉയർന്ന തലങ്ങളിലേക്കുള്ള പരിവർത്തനം "ഹാർഡ്‌വെയറിന്റെ ഭാഷയിൽ നേരിട്ടുള്ള നിർദ്ദേശങ്ങൾ" എഴുതുന്നതിൽ നിന്ന് "ആളുകളുടെ ഭാഷയിലെ നിർദ്ദേശങ്ങൾ" എന്നതിലേക്കുള്ള പരിവർത്തനമാണ്. അതായത്, അമൂർത്തതയുടെ ചില പാളികൾ ചേർക്കുന്നു. ഈ സാഹചര്യത്തിൽ, ഉയർന്ന തലത്തിലുള്ള പ്രോഗ്രാമിംഗ് ഭാഷകളിൽ നിന്ന് ലോ-കോഡ് പ്ലാറ്റ്‌ഫോമുകളിലേക്കുള്ള പരിവർത്തനം "ആളുകളുടെ ഭാഷയിലെ നിർദ്ദേശങ്ങളിൽ" നിന്ന് "ബിസിനസ് ഭാഷയിലെ നിർദ്ദേശങ്ങളിലേക്ക്" മാറുന്നതാണ്. ഈ വസ്‌തുതയിൽ ദു:ഖിക്കുന്ന ഡെവലപ്പർമാർ ഉണ്ടെങ്കിൽ, അറേ സോർട്ടിംഗ് ഫംഗ്‌ഷനുകൾ ഉപയോഗിക്കുന്ന ജാവ സ്‌ക്രിപ്റ്റ് ജനിച്ച നിമിഷം മുതൽ അവർ ദുഃഖിതരായിരുന്നു. ഈ ഫംഗ്‌ഷനുകൾക്ക്, അതേ ഉയർന്ന തലത്തിലുള്ള പ്രോഗ്രാമിംഗിന്റെ മറ്റ് മാർഗ്ഗങ്ങളിലൂടെ സോഫ്‌റ്റ്‌വെയർ നിർവ്വഹണം ഉണ്ട്.

അതിനാൽ, ലോ-കോഡ് മറ്റൊരു തലത്തിലുള്ള അമൂർത്തതയുടെ രൂപം മാത്രമാണ്.

കുറഞ്ഞ കോഡ് ഉപയോഗിച്ചുള്ള അനുഭവപരിചയം

ലോ-കോഡിന്റെ വിഷയം വളരെ വിശാലമാണ്, എന്നാൽ ഇപ്പോൾ ഞങ്ങളുടെ പ്രോജക്റ്റുകളിലൊന്നിന്റെ ഉദാഹരണം ഉപയോഗിച്ച് “ലോ-കോഡ് ആശയങ്ങളുടെ” പ്രായോഗിക പ്രയോഗത്തെക്കുറിച്ച് സംസാരിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു.

നിയോഫ്ലെക്‌സിന്റെ ബിഗ് ഡാറ്റ സൊല്യൂഷൻസ് ഡിവിഷൻ ബിസിനസ്സിന്റെ സാമ്പത്തിക മേഖലയിലും ഡാറ്റ വെയർഹൗസുകളും തടാകങ്ങളും നിർമ്മിക്കുകയും വിവിധ റിപ്പോർട്ടിംഗ് ഓട്ടോമേറ്റ് ചെയ്യുകയും ചെയ്യുന്നു. ഈ സ്ഥലത്ത്, ലോ-കോഡിന്റെ ഉപയോഗം വളരെക്കാലമായി ഒരു മാനദണ്ഡമായി മാറിയിരിക്കുന്നു. മറ്റ് ലോ-കോഡ് ടൂളുകൾക്കിടയിൽ, ETL പ്രക്രിയകൾ സംഘടിപ്പിക്കുന്നതിനുള്ള ടൂളുകൾ നമുക്ക് പരാമർശിക്കാം: ഇൻഫോർമാറ്റിക്ക പവർ സെന്റർ, IBM ഡാറ്റാസ്റ്റേജ്, പെന്റഹോ ഡാറ്റ ഇന്റഗ്രേഷൻ. അല്ലെങ്കിൽ ഒറാക്കിൾ അപെക്സ്, ഡാറ്റ ആക്സസ് ചെയ്യുന്നതിനും എഡിറ്റ് ചെയ്യുന്നതിനുമുള്ള ഇന്റർഫേസുകളുടെ ദ്രുതഗതിയിലുള്ള വികസനത്തിനുള്ള ഒരു പരിതസ്ഥിതിയായി പ്രവർത്തിക്കുന്നു. എന്നിരുന്നാലും, ലോ-കോഡ് ഡെവലപ്‌മെന്റ് ടൂളുകളുടെ ഉപയോഗത്തിൽ എപ്പോഴും വെണ്ടറെ വ്യക്തമായി ആശ്രയിക്കുന്ന ഒരു വാണിജ്യ സാങ്കേതിക സ്റ്റാക്കിൽ ഉയർന്ന ടാർഗെറ്റുചെയ്‌ത ആപ്ലിക്കേഷനുകൾ നിർമ്മിക്കുന്നത് ഉൾപ്പെടുന്നില്ല.

ലോ-കോഡ് പ്ലാറ്റ്‌ഫോമുകൾ ഉപയോഗിച്ച്, നിങ്ങൾക്ക് ഡാറ്റ സ്ട്രീമുകളുടെ ഓർക്കസ്‌ട്രേഷൻ സംഘടിപ്പിക്കാനും ഡാറ്റ സയൻസ് പ്ലാറ്റ്‌ഫോമുകൾ സൃഷ്‌ടിക്കാനും അല്ലെങ്കിൽ ഡാറ്റ ഗുണനിലവാരം പരിശോധിക്കുന്നതിനുള്ള മൊഡ്യൂളുകൾ സൃഷ്ടിക്കാനും കഴിയും.

റഷ്യൻ മാധ്യമ ഗവേഷണ വിപണിയിലെ നേതാക്കളിലൊരാളായ നിയോഫ്ലെക്സും മീഡിയസ്കോപ്പും തമ്മിലുള്ള സഹകരണമാണ് ലോ-കോഡ് ഡെവലപ്മെന്റ് ടൂളുകൾ ഉപയോഗിക്കുന്നതിലെ അനുഭവത്തിന്റെ പ്രായോഗിക ഉദാഹരണങ്ങളിലൊന്ന്. പരസ്യദാതാക്കൾ, ഇന്റർനെറ്റ് പ്ലാറ്റ്‌ഫോമുകൾ, ടിവി ചാനലുകൾ, റേഡിയോ സ്‌റ്റേഷനുകൾ, പരസ്യ ഏജൻസികൾ, ബ്രാൻഡുകൾ എന്നിവയുടെ അടിസ്ഥാനത്തിൽ പരസ്യം വാങ്ങുന്നതും അവരുടെ വിപണന ആശയവിനിമയങ്ങൾ ആസൂത്രണം ചെയ്യുന്നതുമായ ഡാറ്റയുടെ നിർമ്മാണമാണ് ഈ കമ്പനിയുടെ ബിസിനസ്സ് ലക്ഷ്യങ്ങളിലൊന്ന്.

മാധ്യമ ഗവേഷണം എന്നത് സാങ്കേതികമായി ഭാരമുള്ള ഒരു ബിസിനസ് മേഖലയാണ്. വീഡിയോ സീക്വൻസുകൾ തിരിച്ചറിയൽ, കാണൽ വിശകലനം ചെയ്യുന്ന ഉപകരണങ്ങളിൽ നിന്ന് ഡാറ്റ ശേഖരിക്കൽ, വെബ് ഉറവിടങ്ങളിലെ പ്രവർത്തനം അളക്കൽ - ഇതെല്ലാം സൂചിപ്പിക്കുന്നത് കമ്പനിക്ക് വലിയ ഐടി സ്റ്റാഫും അനലിറ്റിക്കൽ സൊല്യൂഷനുകൾ നിർമ്മിക്കുന്നതിൽ വലിയ അനുഭവവും ഉണ്ടെന്നാണ്. എന്നാൽ വിവരങ്ങളുടെ അളവിലും അതിന്റെ സ്രോതസ്സുകളുടെ എണ്ണത്തിലും വൈവിധ്യത്തിലുമുള്ള എക്‌സ്‌പോണൻഷ്യൽ വളർച്ച ഐടി ഡാറ്റാ വ്യവസായത്തെ നിരന്തരം പുരോഗമിക്കാൻ പ്രേരിപ്പിക്കുന്നു. ഇതിനകം പ്രവർത്തിക്കുന്ന മീഡിയസ്‌കോപ്പ് അനലിറ്റിക്കൽ പ്ലാറ്റ്‌ഫോം സ്കെയിൽ ചെയ്യുന്നതിനുള്ള ഏറ്റവും ലളിതമായ പരിഹാരം ഐടി ജീവനക്കാരെ വർദ്ധിപ്പിക്കുക എന്നതാണ്. എന്നാൽ കൂടുതൽ ഫലപ്രദമായ പരിഹാരം വികസന പ്രക്രിയ വേഗത്തിലാക്കുക എന്നതാണ്. ഈ ദിശയിലേക്ക് നയിക്കുന്ന ഘട്ടങ്ങളിലൊന്ന് ലോ-കോഡ് പ്ലാറ്റ്‌ഫോമുകളുടെ ഉപയോഗമായിരിക്കാം.

പ്രോജക്റ്റ് ആരംഭിച്ച സമയത്ത്, കമ്പനിക്ക് ഇതിനകം തന്നെ പ്രവർത്തനക്ഷമമായ ഒരു ഉൽപ്പന്ന പരിഹാരം ഉണ്ടായിരുന്നു. എന്നിരുന്നാലും, സ്വീകാര്യമായ വികസനച്ചെലവ് നിലനിർത്തിക്കൊണ്ടുതന്നെ, MSSQL-ൽ പരിഹാരം നടപ്പിലാക്കുന്നത് സ്കെയിലിംഗ് പ്രവർത്തനത്തിന്റെ പ്രതീക്ഷകൾ പൂർണ്ണമായും നിറവേറ്റാൻ കഴിഞ്ഞില്ല.

ഞങ്ങളുടെ മുമ്പിലുള്ള ദൗത്യം യഥാർത്ഥത്തിൽ അതിമോഹമായിരുന്നു - നിയോഫ്ലെക്സിനും മീഡിയസ്കോപ്പിനും ഒരു വർഷത്തിനുള്ളിൽ ഒരു വ്യാവസായിക പരിഹാരം സൃഷ്ടിക്കേണ്ടതുണ്ട്, ആരംഭ തീയതിയുടെ ആദ്യ പാദത്തിനുള്ളിൽ MVP പുറത്തിറക്കുന്നതിന് വിധേയമായി.

ലോ-കോഡ് കമ്പ്യൂട്ടിംഗിനെ അടിസ്ഥാനമാക്കി ഒരു പുതിയ ഡാറ്റ പ്ലാറ്റ്ഫോം നിർമ്മിക്കുന്നതിനുള്ള അടിത്തറയായി ഹഡൂപ്പ് ടെക്നോളജി സ്റ്റാക്ക് തിരഞ്ഞെടുത്തു. പാർക്ക്വെറ്റ് ഫയലുകൾ ഉപയോഗിച്ച് ഡാറ്റ സംഭരണത്തിനുള്ള മാനദണ്ഡമായി HDFS മാറിയിരിക്കുന്നു. പ്ലാറ്റ്‌ഫോമിൽ സ്ഥിതിചെയ്യുന്ന ഡാറ്റ ആക്‌സസ്സുചെയ്യാൻ, ഹൈവ് ഉപയോഗിച്ചു, അതിൽ ലഭ്യമായ എല്ലാ സ്റ്റോറിന്റെ മുൻഭാഗങ്ങളും ബാഹ്യ പട്ടികകളുടെ രൂപത്തിൽ അവതരിപ്പിക്കുന്നു. കാഫ്കയും അപ്പാച്ചെ നിഫൈയും ഉപയോഗിച്ചാണ് സ്റ്റോറേജിലേക്ക് ഡാറ്റ ലോഡുചെയ്യുന്നത്.

ഈ ആശയത്തിലെ ലോ-കോഡ് ടൂൾ ഒരു അനലിറ്റിക്കൽ പ്ലാറ്റ്ഫോം നിർമ്മിക്കുന്നതിനുള്ള ഏറ്റവും അധ്വാനം-ഇന്റൻസീവ് ടാസ്ക് ഒപ്റ്റിമൈസ് ചെയ്യാൻ ഉപയോഗിച്ചു - ഡാറ്റ കണക്കുകൂട്ടൽ ചുമതല.

ഡാറ്റ മാപ്പിംഗിനുള്ള പ്രധാന സംവിധാനമായി ലോ-കോഡ് ഡാറ്റാഗ്രാം ടൂൾ തിരഞ്ഞെടുത്തു. നിയോഫ്ലെക്സ് ഡാറ്റഗ്രാം പരിവർത്തനങ്ങളും ഡാറ്റാ ഫ്ലോകളും വികസിപ്പിക്കുന്നതിനുള്ള ഒരു ഉപകരണമാണ്.
ഈ ഉപകരണം ഉപയോഗിച്ച്, നിങ്ങൾക്ക് സ്കാല കോഡ് സ്വമേധയാ എഴുതാതെ തന്നെ ചെയ്യാൻ കഴിയും. മോഡൽ ഡ്രൈവൺ ആർക്കിടെക്ചർ സമീപനം ഉപയോഗിച്ച് സ്കാല കോഡ് സ്വയമേവ ജനറേറ്റുചെയ്യുന്നു.

ഈ സമീപനത്തിന്റെ വ്യക്തമായ നേട്ടം വികസന പ്രക്രിയയെ വേഗത്തിലാക്കുന്നു എന്നതാണ്. എന്നിരുന്നാലും, വേഗതയ്‌ക്ക് പുറമേ, ഇനിപ്പറയുന്ന ഗുണങ്ങളും ഉണ്ട്:

• ഉറവിടങ്ങളുടെ/സ്വീകർത്താക്കളുടെ ഉള്ളടക്കവും ഘടനയും കാണുക;
• ഡാറ്റാ ഫ്ലോ ഒബ്‌ജക്‌റ്റുകളുടെ ഉത്ഭവം വ്യക്തിഗത ഫീൽഡുകളിലേക്ക് (ലൈനേജ്) കണ്ടെത്തുന്നു;
• ഇന്റർമീഡിയറ്റ് ഫലങ്ങൾ കാണുന്നതിലൂടെ പരിവർത്തനങ്ങളുടെ ഭാഗിക നിർവ്വഹണം;
• സോഴ്സ് കോഡ് അവലോകനം ചെയ്യുകയും നിർവ്വഹിക്കുന്നതിന് മുമ്പ് അത് ക്രമീകരിക്കുകയും ചെയ്യുക;
• പരിവർത്തനങ്ങളുടെ യാന്ത്രിക മൂല്യനിർണ്ണയം;
• സ്വയമേവയുള്ള ഡാറ്റ ഡൗൺലോഡ് 1 ൽ 1.

പരിവർത്തനങ്ങൾ സൃഷ്ടിക്കുന്നതിനുള്ള ലോ-കോഡ് സൊല്യൂഷനുകളിലേക്ക് പ്രവേശിക്കുന്നതിനുള്ള തടസ്സം വളരെ കുറവാണ്: ഡെവലപ്പർക്ക് SQL അറിയേണ്ടതും ETL ടൂളുകളിൽ പ്രവർത്തിച്ച പരിചയവും ആവശ്യമാണ്. കോഡ്-ഡ്രൈവ് ട്രാൻസ്ഫോർമേഷൻ ജനറേറ്ററുകൾ ഈ വാക്കിന്റെ വിശാലമായ അർത്ഥത്തിൽ ETL ടൂളുകളല്ല എന്നത് എടുത്തുപറയേണ്ടതാണ്. ലോ-കോഡ് ടൂളുകൾക്ക് അവരുടേതായ കോഡ് എക്സിക്യൂഷൻ എൻവയോൺമെന്റ് ഇല്ലായിരിക്കാം. അതായത്, ലോ-കോഡ് സൊല്യൂഷൻ ഇൻസ്റ്റാൾ ചെയ്യുന്നതിനു മുമ്പുതന്നെ ക്ലസ്റ്ററിൽ നിലനിന്നിരുന്ന പരിതസ്ഥിതിയിൽ ജനറേറ്റ് ചെയ്ത കോഡ് എക്സിക്യൂട്ട് ചെയ്യപ്പെടും. ലോ-കോഡ് കർമ്മത്തിനുള്ള മറ്റൊരു പ്ലസ് ഇതാണ്. ഒരു ലോ-കോഡ് ടീമിന് സമാന്തരമായി, ഒരു "ക്ലാസിക്" ടീമിന് പ്രവർത്തനക്ഷമത നടപ്പിലാക്കാൻ കഴിയും, ഉദാഹരണത്തിന്, ശുദ്ധമായ സ്കാല കോഡിൽ. ഉൽപ്പാദനത്തിലേക്ക് രണ്ട് ടീമുകളിൽ നിന്നും മെച്ചപ്പെടുത്തലുകൾ കൊണ്ടുവരുന്നത് ലളിതവും തടസ്സമില്ലാത്തതുമായിരിക്കും.

കുറഞ്ഞ കോഡിന് പുറമേ, നോ-കോഡ് പരിഹാരങ്ങളും ഉണ്ടെന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്. അവരുടെ കാതൽ, ഇവ വ്യത്യസ്ത കാര്യങ്ങളാണ്. ജനറേറ്റ് ചെയ്ത കോഡിൽ കൂടുതൽ ഇടപെടാൻ ഡെവലപ്പറെ ലോ-കോഡ് അനുവദിക്കുന്നു. ഡാറ്റാഗ്രാമിന്റെ കാര്യത്തിൽ, സൃഷ്ടിച്ച സ്കാല കോഡ് കാണാനും എഡിറ്റ് ചെയ്യാനും സാധിക്കും; നോ-കോഡ് അത്തരമൊരു അവസരം നൽകിയേക്കില്ല. ഈ വ്യത്യാസം പരിഹാരത്തിന്റെ വഴക്കത്തിന്റെ കാര്യത്തിൽ മാത്രമല്ല, ഡാറ്റാ എഞ്ചിനീയർമാരുടെ പ്രവർത്തനത്തിലെ ആശ്വാസത്തിന്റെയും പ്രചോദനത്തിന്റെയും കാര്യത്തിലും വളരെ പ്രധാനമാണ്.

പരിഹാര വാസ്തുവിദ്യ

ഡാറ്റാ കണക്കുകൂട്ടൽ പ്രവർത്തനക്ഷമത വികസിപ്പിക്കുന്നതിന്റെ വേഗത ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിനുള്ള പ്രശ്നം പരിഹരിക്കാൻ ലോ-കോഡ് ഉപകരണം എങ്ങനെ സഹായിക്കുന്നുവെന്ന് കൃത്യമായി കണ്ടുപിടിക്കാൻ ശ്രമിക്കാം. ആദ്യം, സിസ്റ്റത്തിന്റെ ഫങ്ഷണൽ ആർക്കിടെക്ചർ നോക്കാം. ഈ കേസിൽ ഒരു ഉദാഹരണം മീഡിയ ഗവേഷണത്തിനുള്ള ഡാറ്റാ പ്രൊഡക്ഷൻ മോഡൽ ആണ്.

ഞങ്ങളുടെ കാര്യത്തിൽ ഡാറ്റ സ്രോതസ്സുകൾ വളരെ വൈവിധ്യപൂർണ്ണവും വൈവിധ്യപൂർണ്ണവുമാണ്:

• ടെലിവിഷൻ പാനൽ പ്രതികരിക്കുന്നവരിൽ നിന്ന് ഉപയോക്തൃ പെരുമാറ്റം വായിക്കുന്ന സോഫ്റ്റ്‌വെയർ, ഹാർഡ്‌വെയർ ഉപകരണങ്ങളാണ് പീപ്പിൾ മീറ്ററുകൾ (ടിവി മീറ്റർ) - പഠനത്തിൽ പങ്കെടുക്കുന്ന കുടുംബത്തിൽ ആരാണ്, എപ്പോൾ, ഏത് ടിവി ചാനൽ കണ്ടു. വിതരണം ചെയ്ത വിവരങ്ങൾ മീഡിയ പാക്കേജിലേക്കും മീഡിയ ഉൽപ്പന്നത്തിലേക്കും ലിങ്ക് ചെയ്‌തിരിക്കുന്ന പ്രക്ഷേപണ വീക്ഷണ ഇടവേളകളുടെ ഒരു സ്ട്രീം ആണ്. ഡാറ്റ തടാകത്തിലേക്ക് ലോഡുചെയ്യുന്ന ഘട്ടത്തിലെ ഡാറ്റ ഡെമോഗ്രാഫിക് ആട്രിബ്യൂട്ടുകൾ, ജിയോസ്ട്രാറ്റിഫിക്കേഷൻ, സമയ മേഖല, ഒരു പ്രത്യേക മീഡിയ ഉൽപ്പന്നത്തിന്റെ ടെലിവിഷൻ കാഴ്ച വിശകലനം ചെയ്യുന്നതിന് ആവശ്യമായ മറ്റ് വിവരങ്ങൾ എന്നിവയാൽ സമ്പുഷ്ടമാക്കാം. പരസ്യ കാമ്പെയ്‌നുകൾ വിശകലനം ചെയ്യുന്നതിനോ ആസൂത്രണം ചെയ്യുന്നതിനോ, പ്രേക്ഷകരുടെ പ്രവർത്തനവും മുൻഗണനകളും വിലയിരുത്തുന്നതിനും പ്രക്ഷേപണ ശൃംഖല കംപൈൽ ചെയ്യുന്നതിനും എടുത്ത അളവുകൾ ഉപയോഗിക്കാം;
• ടെലിവിഷൻ പ്രക്ഷേപണങ്ങൾ സ്ട്രീമിംഗ് ചെയ്യുന്നതിനും ഇന്റർനെറ്റിൽ വീഡിയോ റിസോഴ്സ് ഉള്ളടക്കം കാണുന്നതിനും വേണ്ടിയുള്ള നിരീക്ഷണ സംവിധാനങ്ങളിൽ നിന്ന് ഡാറ്റ ലഭിക്കും;
• സൈറ്റ് കേന്ദ്രീകൃതവും ഉപയോക്തൃ കേന്ദ്രീകൃതവുമായ മീറ്ററുകൾ ഉൾപ്പെടെ, വെബ് പരിതസ്ഥിതിയിൽ അളക്കുന്ന ഉപകരണങ്ങൾ. ഡാറ്റാ തടാകത്തിനായുള്ള ഡാറ്റ ദാതാവ് ഒരു റിസർച്ച് ബാർ ബ്രൗസർ ആഡ്-ഓണും ബിൽറ്റ്-ഇൻ VPN ഉള്ള ഒരു മൊബൈൽ ആപ്ലിക്കേഷനും ആകാം.
• ഓൺലൈൻ ചോദ്യാവലി പൂരിപ്പിക്കുന്നതിന്റെ ഫലങ്ങളും കമ്പനി സർവേകളിലെ ടെലിഫോൺ അഭിമുഖങ്ങളുടെ ഫലങ്ങളും ഏകീകരിക്കുന്ന സൈറ്റുകളിൽ നിന്നും ഡാറ്റയും ലഭിക്കും;
• പങ്കാളി കമ്പനികളുടെ ലോഗുകളിൽ നിന്ന് വിവരങ്ങൾ ഡൗൺലോഡ് ചെയ്യുന്നതിലൂടെ ഡാറ്റ തടാകത്തിന്റെ അധിക സമ്പുഷ്ടീകരണം സംഭവിക്കാം.

അസംസ്‌കൃത ഡാറ്റയുടെ പ്രാഥമിക ഘട്ടത്തിലേക്ക് സോഴ്‌സ് സിസ്റ്റങ്ങളിൽ നിന്ന് ലോഡ് ചെയ്യുന്നതുപോലെ നടപ്പിലാക്കുന്നത് വിവിധ രീതികളിൽ സംഘടിപ്പിക്കാവുന്നതാണ്. ഈ ആവശ്യങ്ങൾക്ക് ലോ-കോഡ് ഉപയോഗിക്കുകയാണെങ്കിൽ, മെറ്റാഡാറ്റയെ അടിസ്ഥാനമാക്കിയുള്ള ലോഡിംഗ് സ്ക്രിപ്റ്റുകളുടെ സ്വയമേവ സൃഷ്ടിക്കുന്നത് സാധ്യമാണ്. ഈ സാഹചര്യത്തിൽ, മാപ്പിംഗുകൾ ലക്ഷ്യമാക്കുന്നതിന് ഉറവിടം വികസിപ്പിക്കുന്ന തലത്തിലേക്ക് ഇറങ്ങേണ്ട ആവശ്യമില്ല. ഓട്ടോമാറ്റിക് ലോഡിംഗ് നടപ്പിലാക്കാൻ, ഞങ്ങൾ ഉറവിടത്തിലേക്ക് ഒരു കണക്ഷൻ സ്ഥാപിക്കേണ്ടതുണ്ട്, തുടർന്ന് ലോഡ് ചെയ്യേണ്ട എന്റിറ്റികളുടെ ലിസ്റ്റ് ലോഡിംഗ് ഇന്റർഫേസിൽ നിർവചിക്കേണ്ടതുണ്ട്. HDFS-ലെ ഡയറക്‌ടറി ഘടന സ്വയമേവ സൃഷ്‌ടിക്കപ്പെടുകയും ഉറവിട സിസ്റ്റത്തിലെ ഡാറ്റ സംഭരണ ​​ഘടനയുമായി പൊരുത്തപ്പെടുകയും ചെയ്യും.

എന്നിരുന്നാലും, ഈ പ്രോജക്റ്റിന്റെ പശ്ചാത്തലത്തിൽ, നിഫി + കാഫ്ക കോമ്പിനേഷൻ ഉപയോഗിച്ച് സമാനമായ സേവനം നിർമ്മിക്കുന്നതിനുള്ള പ്രവർത്തനം മീഡിയസ്കോപ്പ് കമ്പനി ഇതിനകം തന്നെ സ്വതന്ത്രമായി ആരംഭിച്ചിരിക്കുന്നതിനാൽ ലോ-കോഡ് പ്ലാറ്റ്‌ഫോമിന്റെ ഈ സവിശേഷത ഉപയോഗിക്കേണ്ടതില്ലെന്ന് ഞങ്ങൾ തീരുമാനിച്ചു.

ഈ ഉപകരണങ്ങൾ പരസ്പരം മാറ്റാവുന്നതല്ല, മറിച്ച് പരസ്പര പൂരകങ്ങളാണെന്ന് ഉടനടി സൂചിപ്പിക്കേണ്ടതാണ്. നിഫിക്കും കാഫ്കയ്ക്കും നേരിട്ടുള്ള (നിഫി -> കാഫ്ക) കണക്ഷനിലും വിപരീത (കാഫ്ക -> നിഫി) കണക്ഷനിലും പ്രവർത്തിക്കാൻ കഴിയും. മീഡിയ റിസർച്ച് പ്ലാറ്റ്‌ഫോമിനായി, ബണ്ടിലിന്റെ ആദ്യ പതിപ്പ് ഉപയോഗിച്ചു.

ഞങ്ങളുടെ കാര്യത്തിൽ, സോഴ്‌സ് സിസ്റ്റങ്ങളിൽ നിന്നുള്ള വിവിധ തരം ഡാറ്റകൾ പ്രോസസ്സ് ചെയ്യാനും അവ കാഫ്ക ബ്രോക്കർക്ക് അയയ്ക്കാനും NayFi ആവശ്യമാണ്. ഈ സാഹചര്യത്തിൽ, PublishKafka Nifi പ്രോസസ്സറുകൾ ഉപയോഗിച്ച് ഒരു പ്രത്യേക കാഫ്ക വിഷയത്തിലേക്ക് സന്ദേശങ്ങൾ അയച്ചു. ഈ പൈപ്പ് ലൈനുകളുടെ ഓർക്കസ്ട്രേഷനും പരിപാലനവും ഒരു വിഷ്വൽ ഇന്റർഫേസിലാണ് നടത്തുന്നത്. നിഫി ടൂളിനെയും നിഫി + കാഫ്ക കോമ്പിനേഷന്റെ ഉപയോഗത്തെയും വികസനത്തിനായുള്ള ലോ-കോഡ് സമീപനം എന്നും വിളിക്കാം, ഇത് ബിഗ് ഡാറ്റ സാങ്കേതികവിദ്യകളിലേക്കുള്ള പ്രവേശനത്തിന് കുറഞ്ഞ തടസ്സവും ആപ്ലിക്കേഷൻ വികസന പ്രക്രിയയെ വേഗത്തിലാക്കുകയും ചെയ്യുന്നു.

വിശദമായ ഡാറ്റ ഒരൊറ്റ സെമാന്റിക് ലെയർ ഫോർമാറ്റിലേക്ക് കൊണ്ടുവരിക എന്നതായിരുന്നു പദ്ധതി നടപ്പാക്കലിന്റെ അടുത്ത ഘട്ടം. ഒരു എന്റിറ്റിക്ക് ചരിത്രപരമായ ആട്രിബ്യൂട്ടുകൾ ഉണ്ടെങ്കിൽ, പ്രസ്തുത വിഭജനത്തിന്റെ പശ്ചാത്തലത്തിലാണ് കണക്കുകൂട്ടൽ നടത്തുന്നത്. എന്റിറ്റി ചരിത്രപരമല്ലെങ്കിൽ, ഒബ്‌ജക്റ്റിന്റെ മുഴുവൻ ഉള്ളടക്കങ്ങളും വീണ്ടും കണക്കാക്കുന്നത് ഓപ്‌ഷണലായി സാധ്യമാണ്, അല്ലെങ്കിൽ ഈ ഒബ്‌ജക്റ്റ് വീണ്ടും കണക്കാക്കുന്നത് പൂർണ്ണമായും നിരസിക്കാം (മാറ്റങ്ങളുടെ അഭാവം കാരണം). ഈ ഘട്ടത്തിൽ, എല്ലാ എന്റിറ്റികൾക്കും കീകൾ സൃഷ്ടിക്കപ്പെടുന്നു. മാസ്റ്റർ ഒബ്‌ജക്‌റ്റുകൾക്ക് അനുയോജ്യമായ Hbase ഡയറക്‌ടറികളിൽ കീകൾ സംഭരിച്ചിരിക്കുന്നു, അവയിൽ അനലിറ്റിക്കൽ പ്ലാറ്റ്‌ഫോമിലെ കീകളും സോഴ്‌സ് സിസ്റ്റങ്ങളിൽ നിന്നുള്ള കീകളും തമ്മിലുള്ള കത്തിടപാടുകൾ അടങ്ങിയിരിക്കുന്നു. അനലിറ്റിക്കൽ ഡാറ്റയുടെ പ്രാഥമിക കണക്കുകൂട്ടലിന്റെ ഫലങ്ങളുള്ള സമ്പുഷ്ടീകരണത്തോടൊപ്പമാണ് ആറ്റോമിക് എന്റിറ്റികളുടെ ഏകീകരണം. ഡാറ്റ കണക്കുകൂട്ടുന്നതിനുള്ള ചട്ടക്കൂട് സ്പാർക്ക് ആയിരുന്നു. ലോ-കോഡ് ഡാറ്റാഗ്രാം ടൂളിൽ നിന്നുള്ള മാപ്പിംഗുകളെ അടിസ്ഥാനമാക്കി ഒരൊറ്റ സെമാന്റിക്‌സിലേക്ക് ഡാറ്റ കൊണ്ടുവരുന്നതിനുള്ള വിവരിച്ച പ്രവർത്തനവും നടപ്പിലാക്കി.

ടാർഗെറ്റ് ആർക്കിടെക്ചറിന് ബിസിനസ്സ് ഉപയോക്താക്കൾക്കായി ഡാറ്റയിലേക്ക് SQL ആക്സസ് ആവശ്യമാണ്. ഈ ഓപ്ഷനായി ഹൈവ് ഉപയോഗിച്ചു. ലോ-കോഡ് ടൂളിൽ "രജിസ്ട്രേഷൻ ഹൈവ് ടേബിൾ" ഓപ്‌ഷൻ പ്രവർത്തനക്ഷമമാക്കുമ്പോൾ ഒബ്‌ജക്റ്റുകൾ സ്വയമേവ ഹൈവിൽ രജിസ്റ്റർ ചെയ്യപ്പെടും.

കണക്കുകൂട്ടൽ ഒഴുക്ക് നിയന്ത്രണം

വർക്ക്ഫ്ലോ ഫ്ലോ ഡിസൈനുകൾ സൃഷ്ടിക്കുന്നതിന് ഡാറ്റാഗ്രാമിന് ഒരു ഇന്റർഫേസ് ഉണ്ട്. Oozie ഷെഡ്യൂളർ ഉപയോഗിച്ച് മാപ്പിംഗുകൾ സമാരംഭിക്കാനാകും. സ്ട്രീം ഡെവലപ്പർ ഇന്റർഫേസിൽ, സമാന്തരമായ, തുടർച്ചയായ അല്ലെങ്കിൽ നിർവ്വഹണ-ആശ്രിത ഡാറ്റാ പരിവർത്തനങ്ങൾക്കായി സ്കീമുകൾ സൃഷ്ടിക്കാൻ സാധിക്കും. ഷെൽ സ്ക്രിപ്റ്റുകൾക്കും ജാവ പ്രോഗ്രാമുകൾക്കും പിന്തുണയുണ്ട്. അപ്പാച്ചെ ലിവി സെർവർ ഉപയോഗിക്കാനും സാധിക്കും. വികസന പരിതസ്ഥിതിയിൽ നിന്ന് നേരിട്ട് ആപ്ലിക്കേഷനുകൾ പ്രവർത്തിപ്പിക്കുന്നതിന് അപ്പാച്ചെ ലിവി ഉപയോഗിക്കുന്നു.

കമ്പനിക്ക് ഇതിനകം സ്വന്തം പ്രോസസ്സ് ഓർക്കസ്ട്രേറ്റർ ഉണ്ടെങ്കിൽ, നിലവിലുള്ള ഒരു ഫ്ലോയിലേക്ക് മാപ്പിംഗുകൾ ഉൾച്ചേർക്കുന്നതിന് REST API ഉപയോഗിക്കാൻ കഴിയും. ഉദാഹരണത്തിന്, PLSQL, Kotlin എന്നിവയിൽ എഴുതിയിരിക്കുന്ന ഓർക്കസ്ട്രേറ്ററുകളിലേക്ക് Scala-ൽ മാപ്പിംഗ് ഉൾച്ചേർക്കുന്നതിൽ ഞങ്ങൾക്ക് വിജയകരമായ അനുഭവം ഉണ്ടായിരുന്നു. ലോ-കോഡ് ടൂളിന്റെ REST API-ൽ മാപ്പിംഗ് ഡിസൈനിനെ അടിസ്ഥാനമാക്കി ഒരു എക്സിക്യൂട്ടബിൾ വർഷം സൃഷ്ടിക്കൽ, ഒരു മാപ്പിംഗ് വിളിക്കൽ, മാപ്പിംഗുകളുടെ ഒരു ശ്രേണി വിളിക്കൽ, കൂടാതെ, തീർച്ചയായും, മാപ്പിംഗുകൾ പ്രവർത്തിപ്പിക്കുന്നതിന് URL-ലേക്ക് പാരാമീറ്ററുകൾ കൈമാറുന്നത് പോലുള്ള പ്രവർത്തനങ്ങൾ ഉൾപ്പെടുന്നു.

ഓസിക്കൊപ്പം, എയർഫ്ലോ ഉപയോഗിച്ച് ഒരു കണക്കുകൂട്ടൽ ഒഴുക്ക് സംഘടിപ്പിക്കാൻ സാധിക്കും. ഒരുപക്ഷേ, ഓസിയും എയർഫ്ലോയും തമ്മിലുള്ള താരതമ്യത്തിൽ ഞാൻ ദീർഘനേരം വസിക്കില്ല, പക്ഷേ ഒരു മീഡിയ റിസർച്ച് പ്രോജക്റ്റിലെ ജോലിയുടെ പശ്ചാത്തലത്തിൽ, തിരഞ്ഞെടുപ്പ് എയർഫ്ലോയ്ക്ക് അനുകൂലമായി വീണുവെന്ന് ലളിതമായി പറയാം. ഉൽപ്പന്നം വികസിപ്പിക്കുന്ന കൂടുതൽ സജീവമായ ഒരു കമ്മ്യൂണിറ്റിയും കൂടുതൽ വികസിപ്പിച്ച ഇന്റർഫേസ് + API എന്നതുമായിരുന്നു ഇത്തവണത്തെ പ്രധാന വാദങ്ങൾ.

കണക്കുകൂട്ടൽ പ്രക്രിയകൾ വിവരിക്കാൻ പ്രിയപ്പെട്ട പൈത്തൺ ഉപയോഗിക്കുന്നതിനാൽ വായുപ്രവാഹവും നല്ലതാണ്. പൊതുവേ, അത്രയധികം ഓപ്പൺ സോഴ്‌സ് വർക്ക്ഫ്ലോ മാനേജ്‌മെന്റ് പ്ലാറ്റ്‌ഫോമുകൾ ഇല്ല. പ്രോസസുകളുടെ നിർവ്വഹണം സമാരംഭിക്കുന്നതും നിരീക്ഷിക്കുന്നതും (ഗാന്റ് ചാർട്ട് ഉൾപ്പെടെ) എയർഫ്ലോയുടെ കർമ്മത്തിലേക്ക് പോയിന്റുകൾ ചേർക്കുന്നു.

ലോ-കോഡ് സൊല്യൂഷൻ മാപ്പിംഗുകൾ സമാരംഭിക്കുന്നതിനുള്ള കോൺഫിഗറേഷൻ ഫയൽ ഫോർമാറ്റ് സ്പാർക്ക്-സബ്മിറ്റ് ആയി മാറി. രണ്ട് കാരണങ്ങളാൽ ഇത് സംഭവിച്ചു. ആദ്യം, കൺസോളിൽ നിന്ന് ഒരു ജാർ ഫയൽ നേരിട്ട് പ്രവർത്തിപ്പിക്കാൻ സ്പാർക്ക്-സബ്മിറ്റ് നിങ്ങളെ അനുവദിക്കുന്നു. രണ്ടാമതായി, വർക്ക്ഫ്ലോ കോൺഫിഗർ ചെയ്യുന്നതിന് ആവശ്യമായ എല്ലാ വിവരങ്ങളും ഇതിൽ അടങ്ങിയിരിക്കാം (ഇത് ഡാഗ് സൃഷ്ടിക്കുന്ന സ്ക്രിപ്റ്റുകൾ എഴുതുന്നത് എളുപ്പമാക്കുന്നു).
ഞങ്ങളുടെ കാര്യത്തിൽ എയർഫ്ലോ വർക്ക്ഫ്ലോയുടെ ഏറ്റവും സാധാരണമായ ഘടകം SparkSubmitOperator ആയിരുന്നു.

SparkSubmitOperator നിങ്ങളെ ജാറുകൾ പ്രവർത്തിപ്പിക്കാൻ അനുവദിക്കുന്നു - പാക്കേജുചെയ്‌ത ഡാറ്റാഗ്രാം മാപ്പിംഗുകൾ അവയ്‌ക്കായി മുൻകൂട്ടി സൃഷ്‌ടിച്ച ഇൻപുട്ട് പാരാമീറ്ററുകൾ.

ഓരോ എയർഫ്ലോ ടാസ്ക്കുകളും ഒരു പ്രത്യേക ത്രെഡിൽ പ്രവർത്തിക്കുന്നുവെന്നതും മറ്റ് ടാസ്ക്കുകളെ കുറിച്ച് ഒന്നും അറിയില്ല എന്നതും എടുത്തു പറയേണ്ടതാണ്. അതിനാൽ, DummyOperator അല്ലെങ്കിൽ BranchPythonOperator പോലുള്ള കൺട്രോൾ ഓപ്പറേറ്റർമാർ ഉപയോഗിച്ചാണ് ടാസ്‌ക്കുകൾ തമ്മിലുള്ള ഇടപെടൽ നടത്തുന്നത്.

ഒരുമിച്ച് എടുത്താൽ, കോൺഫിഗറേഷൻ ഫയലുകളുടെ സാർവത്രികവൽക്കരണവുമായി (ഡാഗ് രൂപപ്പെടുത്തൽ) സംയോജിച്ച് ഡാറ്റാഗ്രാം ലോ-കോഡ് സൊല്യൂഷന്റെ ഉപയോഗം ഡാറ്റ ലോഡിംഗ് ഫ്ലോകൾ വികസിപ്പിക്കുന്ന പ്രക്രിയയുടെ കാര്യമായ ത്വരിതപ്പെടുത്തലിനും ലളിതവൽക്കരണത്തിനും കാരണമായി.

ഷോകേസ് കണക്കുകൂട്ടലുകൾ

അനലിറ്റിക്കൽ ഡാറ്റയുടെ നിർമ്മാണത്തിലെ ഏറ്റവും ബൗദ്ധികമായി ലോഡ് ചെയ്ത ഘട്ടം ഷോകേസുകൾ നിർമ്മിക്കുന്നതിനുള്ള ഘട്ടമാണ്. ഗവേഷണ കമ്പനിയുടെ ഡാറ്റ കണക്കുകൂട്ടൽ ഫ്ലോകളുടെ ഒരു പശ്ചാത്തലത്തിൽ, ഈ ഘട്ടത്തിൽ, സമയ മേഖലകൾക്കായുള്ള തിരുത്തലുകൾ കണക്കിലെടുത്ത് ഡാറ്റ ഒരു റഫറൻസ് പ്രക്ഷേപണത്തിലേക്ക് ചുരുക്കുകയും ബ്രോഡ്കാസ്റ്റ് ഗ്രിഡിലേക്ക് ലിങ്ക് ചെയ്യുകയും ചെയ്യുന്നു. പ്രാദേശിക പ്രക്ഷേപണ ശൃംഖല (പ്രാദേശിക വാർത്തകളും പരസ്യങ്ങളും) ക്രമീകരിക്കാനും ഇത് സാധ്യമാണ്. മറ്റ് കാര്യങ്ങളിൽ, ഈ ഘട്ടം കാണൽ ഇടവേളകളുടെ വിശകലനത്തെ അടിസ്ഥാനമാക്കി മീഡിയ ഉൽപ്പന്നങ്ങളുടെ തുടർച്ചയായ കാഴ്ചയുടെ ഇടവേളകളെ തകർക്കുന്നു. ഉടനടി, കാണൽ മൂല്യങ്ങൾ അവയുടെ പ്രാധാന്യത്തെക്കുറിച്ചുള്ള വിവരങ്ങളെ അടിസ്ഥാനമാക്കി “ഭാരമുള്ളതാണ്” (ഒരു തിരുത്തൽ ഘടകത്തിന്റെ കണക്കുകൂട്ടൽ).

ഷോകേസുകൾ തയ്യാറാക്കുന്നതിനുള്ള ഒരു പ്രത്യേക ഘട്ടം ഡാറ്റ മൂല്യനിർണ്ണയം ആണ്. മൂല്യനിർണ്ണയ അൽഗോരിതം നിരവധി ഗണിത ശാസ്ത്ര മോഡലുകളുടെ ഉപയോഗം ഉൾക്കൊള്ളുന്നു. എന്നിരുന്നാലും, ഒരു ലോ-കോഡ് പ്ലാറ്റ്‌ഫോം ഉപയോഗിക്കുന്നത് സങ്കീർണ്ണമായ ഒരു അൽഗോരിതം വിഷ്വൽ റീഡബിൾ മാപ്പിംഗുകളായി തകർക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു. ഓരോ മാപ്പിംഗും ഒരു ഇടുങ്ങിയ ചുമതല നിർവഹിക്കുന്നു. തൽഫലമായി, ഡാറ്റ തയ്യാറാക്കൽ ഘട്ടങ്ങളുടെ ഇന്റർമീഡിയറ്റ് ഡീബഗ്ഗിംഗ്, ലോഗിംഗ്, ദൃശ്യവൽക്കരണം എന്നിവ സാധ്യമാണ്.

മൂല്യനിർണ്ണയ അൽഗോരിതം ഇനിപ്പറയുന്ന ഉപഘട്ടങ്ങളായി വിഭജിക്കാൻ തീരുമാനിച്ചു:

• 60 ദിവസത്തേക്ക് റീജിയണിലെ എല്ലാ നെറ്റ്‌വർക്കുകളും കാണുന്നതിലൂടെ ഒരു റീജിയണിൽ ടിവി നെറ്റ്‌വർക്ക് വ്യൂവിംഗ് ഡിപൻഡൻസികളുടെ റിഗ്രഷനുകൾ നിർമ്മിക്കുന്നു.
• എല്ലാ റിഗ്രഷൻ പോയിന്റുകൾക്കും കണക്കാക്കിയ ദിവസത്തിനുമായി വിദ്യാർത്ഥികളുടെ അവശിഷ്ടങ്ങളുടെ കണക്കുകൂട്ടൽ (റിഗ്രഷൻ മോഡൽ പ്രവചിച്ചതിൽ നിന്ന് യഥാർത്ഥ മൂല്യങ്ങളുടെ വ്യതിയാനങ്ങൾ).
• അനോമലസ് റീജിയൻ-നെറ്റ്‌വർക്ക് ജോഡികളുടെ ഒരു തിരഞ്ഞെടുപ്പ്, അവിടെ സെറ്റിൽമെന്റ് ദിവസത്തെ വിദ്യാർത്ഥി ബാലൻസ് മാനദണ്ഡം കവിയുന്നു (ഓപ്പറേഷൻ ക്രമീകരണങ്ങൾ പ്രകാരം വ്യക്തമാക്കിയത്).
• മേഖലയിലെ നെറ്റ്‌വർക്ക് വീക്ഷിച്ച ഓരോ പ്രതികരണക്കാരനുമുള്ള അനോമലസ് റീജിയൻ-ടിവി നെറ്റ്‌വർക്ക് ജോഡികൾക്കായുള്ള ശരിയാക്കിയ വിദ്യാർത്ഥികളുടെ ശേഷിപ്പുകൾ വീണ്ടും കണക്കാക്കൽ, സാമ്പിളിൽ നിന്ന് ഈ പ്രതികരിക്കുന്നയാളുടെ കാഴ്‌ച ഒഴിവാക്കുമ്പോൾ ഈ പ്രതികരിക്കുന്നയാളുടെ സംഭാവന (വിദ്യാർത്ഥിയായി ശേഷിക്കുന്ന മാറ്റത്തിന്റെ അളവ്) നിർണ്ണയിക്കുന്നു. .
• ഒഴിവാക്കൽ പേയ്ഡേയുടെ വിദ്യാർത്ഥി ബാലൻസ് സാധാരണ നിലയിലേക്ക് കൊണ്ടുവരുന്ന ഉദ്യോഗാർത്ഥികൾക്കായി തിരയുക.

ഒരു ഡാറ്റാ എഞ്ചിനീയറുടെ മനസ്സിൽ ഇതിനകം തന്നെ വളരെയധികം ഉണ്ടെന്ന അനുമാനത്തെ മുകളിലെ ഉദാഹരണം സ്ഥിരീകരിക്കുന്നു... കൂടാതെ, ഇത് ശരിക്കും ഒരു "എഞ്ചിനീയർ" ആണ്, ഒരു "കോഡർ" അല്ല എങ്കിൽ, ലോ-കോഡ് ടൂളുകൾ ഉപയോഗിക്കുമ്പോൾ പ്രൊഫഷണൽ അധഃപതനത്തെ ഭയക്കുന്നു ഒടുവിൽ പിൻവാങ്ങണം.

ലോ-കോഡിന് മറ്റെന്താണ് ചെയ്യാൻ കഴിയുക?

സ്കാലയിൽ കോഡ് സ്വമേധയാ എഴുതേണ്ട ആവശ്യമില്ലാതെ ബാച്ച്, സ്ട്രീം ഡാറ്റ പ്രോസസ്സിംഗിനായി ഒരു ലോ-കോഡ് ടൂളിന്റെ പ്രയോഗത്തിന്റെ വ്യാപ്തി അവസാനിക്കുന്നില്ല.

ഡാറ്റലേക്കിന്റെ വികസനത്തിൽ ലോ-കോഡിന്റെ ഉപയോഗം ഇതിനകം തന്നെ ഞങ്ങൾക്ക് ഒരു മാനദണ്ഡമായി മാറിയിരിക്കുന്നു. ഹഡൂപ്പ് സ്റ്റാക്കിനെ അടിസ്ഥാനമാക്കിയുള്ള പരിഹാരങ്ങൾ RDBMS അടിസ്ഥാനമാക്കിയുള്ള ക്ലാസിക് DWH- കളുടെ വികസന പാത പിന്തുടരുമെന്ന് നമുക്ക് പറയാൻ കഴിയും. ഹഡൂപ്പ് സ്റ്റാക്കിലെ ലോ-കോഡ് ടൂളുകൾക്ക് ഡാറ്റ പ്രോസസ്സിംഗ് ജോലികളും അന്തിമ BI ഇന്റർഫേസുകൾ നിർമ്മിക്കുന്നതിനുള്ള ചുമതലയും പരിഹരിക്കാൻ കഴിയും. മാത്രമല്ല, BI എന്നത് ഡാറ്റയുടെ പ്രാതിനിധ്യം മാത്രമല്ല, ബിസിനസ്സ് ഉപയോക്താക്കളുടെ എഡിറ്റിംഗും അർത്ഥമാക്കുമെന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്. സാമ്പത്തിക മേഖലയ്‌ക്കായി വിശകലന പ്ലാറ്റ്‌ഫോമുകൾ നിർമ്മിക്കുമ്പോൾ ഞങ്ങൾ പലപ്പോഴും ഈ പ്രവർത്തനം ഉപയോഗിക്കുന്നു.

മറ്റ് കാര്യങ്ങളിൽ, ലോ-കോഡും, പ്രത്യേകിച്ച്, ഡാറ്റാഗ്രാമും ഉപയോഗിച്ച്, വ്യക്തിഗത ഫീൽഡുകളിലേക്ക് (ലൈനേജ്) ആറ്റോമിസിറ്റി ഉപയോഗിച്ച് ഡാറ്റ സ്ട്രീം ഒബ്ജക്റ്റുകളുടെ ഉത്ഭവം ട്രാക്കുചെയ്യുന്നതിനുള്ള പ്രശ്നം പരിഹരിക്കാൻ കഴിയും. ഇത് ചെയ്യുന്നതിന്, ലോ-കോഡ് ടൂൾ അപ്പാച്ചെ അറ്റ്ലസ്, Cloudera Navigator എന്നിവയുമായുള്ള ഇന്റർഫേസ് നടപ്പിലാക്കുന്നു. അടിസ്ഥാനപരമായി, ഡെവലപ്പർ അറ്റ്ലസ് നിഘണ്ടുവിൽ ഒരു കൂട്ടം ഒബ്‌ജക്റ്റുകൾ രജിസ്റ്റർ ചെയ്യുകയും മാപ്പിംഗ് നിർമ്മിക്കുമ്പോൾ രജിസ്റ്റർ ചെയ്ത ഒബ്‌ജക്റ്റുകൾ റഫറൻസ് ചെയ്യുകയും വേണം. ഡാറ്റയുടെ ഉത്ഭവം ട്രാക്കുചെയ്യുന്നതിനോ ഒബ്ജക്റ്റ് ഡിപൻഡൻസികൾ വിശകലനം ചെയ്യുന്നതിനോ ഉള്ള സംവിധാനം, കണക്കുകൂട്ടൽ അൽഗോരിതങ്ങളിൽ മെച്ചപ്പെടുത്തലുകൾ ആവശ്യമായി വരുമ്പോൾ ധാരാളം സമയം ലാഭിക്കുന്നു. ഉദാഹരണത്തിന്, സാമ്പത്തിക പ്രസ്താവനകൾ തയ്യാറാക്കുമ്പോൾ, നിയമനിർമ്മാണ മാറ്റങ്ങളുടെ കാലഘട്ടത്തെ കൂടുതൽ സുഖകരമായി അതിജീവിക്കാൻ ഈ സവിശേഷത നിങ്ങളെ അനുവദിക്കുന്നു. എല്ലാത്തിനുമുപരി, വിശദമായ ലെയറിന്റെ ഒബ്‌ജക്റ്റുകളുടെ പശ്ചാത്തലത്തിൽ ഇന്റർ-ഫോം ആശ്രിതത്വം ഞങ്ങൾ നന്നായി മനസ്സിലാക്കുന്നു, “പെട്ടെന്നുള്ള” വൈകല്യങ്ങൾ ഞങ്ങൾ നേരിടുകയും പുനർനിർമ്മാണങ്ങളുടെ എണ്ണം കുറയ്ക്കുകയും ചെയ്യും.

ഡാറ്റ ഗുണനിലവാരവും കുറഞ്ഞ കോഡും

മീഡിയസ്‌കോപ്പ് പ്രോജക്റ്റിലെ ലോ-കോഡ് ടൂൾ നടപ്പിലാക്കിയ മറ്റൊരു ടാസ്‌ക് ഡാറ്റ ക്വാളിറ്റി ക്ലാസ് ടാസ്‌ക് ആയിരുന്നു. ഗവേഷണ കമ്പനി പ്രോജക്റ്റിനായി ഡാറ്റ വെരിഫിക്കേഷൻ പൈപ്പ്ലൈൻ നടപ്പിലാക്കുന്നതിന്റെ ഒരു പ്രത്യേക സവിശേഷത പ്രധാന ഡാറ്റ കണക്കുകൂട്ടൽ ഒഴുക്കിന്റെ പ്രകടനത്തിലും വേഗതയിലും സ്വാധീനം ചെലുത്തുന്നില്ല. സ്വതന്ത്ര ഡാറ്റ സ്ഥിരീകരണ ഫ്ലോകൾ ക്രമീകരിക്കുന്നതിന്, ഇതിനകം പരിചിതമായ Apache Airflow ഉപയോഗിച്ചു. ഡാറ്റാ നിർമ്മാണത്തിന്റെ ഓരോ ഘട്ടവും തയ്യാറായപ്പോൾ, DQ പൈപ്പ്ലൈനിന്റെ ഒരു പ്രത്യേക ഭാഗം സമാന്തരമായി സമാരംഭിച്ചു.

അനലിറ്റിക്കൽ പ്ലാറ്റ്‌ഫോമിൽ ആരംഭിച്ച നിമിഷം മുതൽ ഡാറ്റയുടെ ഗുണനിലവാരം നിരീക്ഷിക്കുന്നത് നല്ല പരിശീലനമായി കണക്കാക്കപ്പെടുന്നു. മെറ്റാഡാറ്റയെക്കുറിച്ചുള്ള വിവരങ്ങൾ ഉള്ളതിനാൽ, പ്രാഥമിക ലെയറിലേക്ക് വിവരങ്ങൾ പ്രവേശിക്കുന്ന നിമിഷം മുതൽ അടിസ്ഥാന വ്യവസ്ഥകൾ പാലിക്കുന്നുണ്ടോയെന്ന് പരിശോധിക്കാൻ ഞങ്ങൾക്ക് കഴിയും - അസാധുവല്ല, നിയന്ത്രണങ്ങൾ, വിദേശ കീകൾ എന്നിവയല്ല. ഡാറ്റാഗ്രാമിലെ ഡാറ്റ ക്വാളിറ്റി ഫാമിലിയുടെ സ്വയമേവ സൃഷ്ടിച്ച മാപ്പിംഗുകളെ അടിസ്ഥാനമാക്കിയാണ് ഈ പ്രവർത്തനം നടപ്പിലാക്കുന്നത്. ഈ കേസിൽ കോഡ് ജനറേഷൻ മോഡൽ മെറ്റാഡാറ്റയെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്. മീഡിയസ്കോപ്പ് പ്രോജക്റ്റിൽ, എന്റർപ്രൈസ് ആർക്കിടെക്റ്റ് ഉൽപ്പന്നത്തിന്റെ മെറ്റാഡാറ്റ ഉപയോഗിച്ചാണ് ഇന്റർഫേസ് നടത്തിയത്.

എന്റർപ്രൈസ് ആർക്കിടെക്റ്റുമായി ലോ-കോഡ് ടൂൾ ജോടിയാക്കുന്നതിലൂടെ, ഇനിപ്പറയുന്ന ചെക്കുകൾ സ്വയമേവ ജനറേറ്റ് ചെയ്തു:

• "നൾ അല്ല" മോഡിഫയർ ഉപയോഗിച്ച് ഫീൽഡുകളിൽ "നൾ" മൂല്യങ്ങളുടെ സാന്നിധ്യം പരിശോധിക്കുന്നു;
• പ്രാഥമിക കീയുടെ തനിപ്പകർപ്പുകളുടെ സാന്നിധ്യം പരിശോധിക്കുന്നു;
• ഒരു എന്റിറ്റിയുടെ വിദേശ കീ പരിശോധിക്കുന്നു;
• ഒരു കൂട്ടം ഫീൽഡുകളെ അടിസ്ഥാനമാക്കി ഒരു സ്ട്രിംഗിന്റെ പ്രത്യേകത പരിശോധിക്കുന്നു.

ഡാറ്റ ലഭ്യതയുടെയും വിശ്വാസ്യതയുടെയും കൂടുതൽ സങ്കീർണ്ണമായ പരിശോധനകൾക്കായി, Scala Expression ഉപയോഗിച്ച് ഒരു മാപ്പിംഗ് സൃഷ്ടിച്ചു, അത് സെപ്പെലിനിലെ വിശകലന വിദഗ്ധർ തയ്യാറാക്കിയ ഒരു ബാഹ്യ Spark SQL ചെക്ക് കോഡ് ഇൻപുട്ടായി എടുക്കുന്നു.

തീർച്ചയായും, ചെക്കുകളുടെ യാന്ത്രിക ജനറേഷൻ ക്രമേണ കൈവരിക്കണം. വിവരിച്ച പ്രോജക്റ്റിന്റെ ചട്ടക്കൂടിനുള്ളിൽ, ഇതിന് മുമ്പായി ഇനിപ്പറയുന്ന ഘട്ടങ്ങൾ ഉണ്ടായിരുന്നു:

• സെപ്പലിൻ നോട്ട്ബുക്കുകളിൽ DQ നടപ്പിലാക്കി;
• മാപ്പിംഗിൽ നിർമ്മിച്ച DQ;
• ഒരു പ്രത്യേക എന്റിറ്റിക്ക് വേണ്ടിയുള്ള ഒരു കൂട്ടം ചെക്കുകൾ അടങ്ങുന്ന പ്രത്യേക ഭീമൻ മാപ്പിംഗുകളുടെ രൂപത്തിൽ DQ;
• മെറ്റാഡാറ്റ, ബിസിനസ് ചെക്കുകൾ എന്നിവയെ കുറിച്ചുള്ള വിവരങ്ങൾ ഇൻപുട്ടായി സ്വീകരിക്കുന്ന സാർവത്രിക പാരാമീറ്ററൈസ്ഡ് DQ മാപ്പിംഗുകൾ.

ഒരു പരാമീറ്ററൈസ്ഡ് ചെക്ക് സർവീസ് സൃഷ്ടിക്കുന്നതിന്റെ പ്രധാന നേട്ടം, ഉൽപ്പാദന പരിതസ്ഥിതിയിലേക്ക് പ്രവർത്തനക്ഷമത എത്തിക്കാൻ എടുക്കുന്ന സമയം കുറയ്ക്കുന്നതാണ്. പുതിയ ഗുണനിലവാര പരിശോധനകൾക്ക്, വികസനത്തിലൂടെയും ടെസ്റ്റിംഗ് പരിതസ്ഥിതികളിലൂടെയും പരോക്ഷമായി കോഡ് ഡെലിവറി ചെയ്യുന്ന ക്ലാസിക് പാറ്റേൺ മറികടക്കാൻ കഴിയും:

• EA-യിൽ മോഡൽ പരിഷ്‌ക്കരിക്കുമ്പോൾ എല്ലാ മെറ്റാഡാറ്റ പരിശോധനകളും സ്വയമേവ ജനറേറ്റ് ചെയ്യപ്പെടും;
• ഒബ്‌ജക്‌റ്റുകളുടെ പശ്ചാത്തലത്തിൽ അടുത്ത ഡാറ്റ ദൃശ്യമാകുന്നതിന്റെ പ്രതീക്ഷിക്കുന്ന സമയം സംഭരിക്കുന്ന ഒരു ഡയറക്‌ടറിയെ അടിസ്ഥാനമാക്കി ഡാറ്റ ലഭ്യത പരിശോധനകൾ (ഒരു സമയത്ത് ഏതെങ്കിലും ഡാറ്റയുടെ സാന്നിധ്യം നിർണ്ണയിക്കുന്നത്) സൃഷ്ടിക്കാൻ കഴിയും;
• ബിസിനസ് ഡാറ്റ മൂല്യനിർണ്ണയ പരിശോധനകൾ സെപ്പെലിൻ നോട്ട്ബുക്കുകളിലെ വിശകലന വിദഗ്ധർ സൃഷ്ടിച്ചതാണ്. അവിടെ നിന്ന് അവർ നേരിട്ട് പ്രൊഡക്ഷൻ എൻവയോൺമെന്റിലെ DQ മൊഡ്യൂൾ സെറ്റപ്പ് ടേബിളുകളിലേക്ക് അയയ്ക്കുന്നു.

പ്രൊഡക്ഷനിലേക്ക് നേരിട്ട് സ്‌ക്രിപ്റ്റുകൾ അയയ്‌ക്കുന്നതിന്റെ അപകടസാധ്യതകളൊന്നുമില്ല. ഒരു വാക്യഘടന പിശകുണ്ടെങ്കിൽപ്പോലും, ഒരു പരിശോധന നടത്തുന്നതിൽ പരാജയപ്പെടുന്നതാണ് ഞങ്ങളെ ഭീഷണിപ്പെടുത്തുന്നത്, കാരണം ഡാറ്റ കണക്കുകൂട്ടൽ ഫ്ലോയും ഗുണനിലവാര പരിശോധന ലോഞ്ച് ഫ്ലോയും പരസ്പരം വേർതിരിക്കപ്പെടുന്നു.

സാരാംശത്തിൽ, DQ സേവനം ഉൽപ്പാദന പരിതസ്ഥിതിയിൽ ശാശ്വതമായി പ്രവർത്തിക്കുന്നു, അടുത്ത ഡാറ്റ ദൃശ്യമാകുന്ന നിമിഷത്തിൽ അതിന്റെ പ്രവർത്തനം ആരംഭിക്കാൻ തയ്യാറാണ്.

പകരം ഒരു നിഗമനത്തിൽ എന്ന

ലോ-കോഡ് ഉപയോഗിക്കുന്നതിന്റെ പ്രയോജനം വ്യക്തമാണ്. ഡെവലപ്പർമാർ ആദ്യം മുതൽ ആപ്ലിക്കേഷൻ വികസിപ്പിക്കേണ്ടതില്ല. കൂടാതെ, അധിക ജോലികളിൽ നിന്ന് മോചിതനായ ഒരു പ്രോഗ്രാമർ വേഗത്തിൽ ഫലങ്ങൾ നൽകുന്നു. സ്പീഡ്, ഒപ്റ്റിമൈസേഷൻ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന് അധിക സമയം സ്വതന്ത്രമാക്കുന്നു. അതിനാൽ, ഈ സാഹചര്യത്തിൽ, നിങ്ങൾക്ക് മികച്ചതും വേഗതയേറിയതുമായ പരിഹാരം കണക്കാക്കാം.

തീർച്ചയായും, ലോ-കോഡ് ഒരു പനേഷ്യയല്ല, മാജിക് സ്വന്തമായി സംഭവിക്കില്ല:

• ലോ-കോഡ് വ്യവസായം "ശക്തമാകുന്ന" ഘട്ടത്തിലൂടെയാണ് കടന്നുപോകുന്നത്, ഇതുവരെ ഏകീകൃത വ്യാവസായിക മാനദണ്ഡങ്ങൾ ഇല്ല;
• പല ലോ-കോഡ് സൊല്യൂഷനുകളും സൌജന്യമല്ല, അവ വാങ്ങുന്നത് ബോധപൂർവമായ ഒരു ഘട്ടമായിരിക്കണം, അവ ഉപയോഗിക്കുന്നതിന്റെ സാമ്പത്തിക നേട്ടങ്ങളിൽ പൂർണ്ണ വിശ്വാസത്തോടെ വേണം;
• പല ലോ-കോഡ് സൊല്യൂഷനുകളും എല്ലായ്പ്പോഴും GIT/SVN-നൊപ്പം നന്നായി പ്രവർത്തിക്കില്ല. അല്ലെങ്കിൽ ജനറേറ്റ് ചെയ്‌ത കോഡ് മറച്ചിരിക്കുകയാണെങ്കിൽ അവ ഉപയോഗിക്കാൻ അസൗകര്യമാണ്;
• ആർക്കിടെക്ചർ വികസിപ്പിക്കുമ്പോൾ, ലോ-കോഡ് സൊല്യൂഷൻ പരിഷ്കരിക്കേണ്ടത് ആവശ്യമായി വന്നേക്കാം - ഇത് ലോ-കോഡ് സൊല്യൂഷന്റെ വിതരണക്കാരനിൽ "അറ്റാച്ച്മെന്റിന്റെയും ആശ്രിതത്വത്തിന്റെയും" പ്രഭാവം ഉണ്ടാക്കുന്നു.
• മതിയായ സുരക്ഷാ നിലവാരം സാധ്യമാണ്, എന്നാൽ ഇത് വളരെ അധ്വാനവും ലോ-കോഡ് സിസ്റ്റം എഞ്ചിനുകളിൽ നടപ്പിലാക്കാൻ പ്രയാസവുമാണ്. ലോ-കോഡ് പ്ലാറ്റ്‌ഫോമുകൾ തിരഞ്ഞെടുക്കേണ്ടത് അവയുടെ ഉപയോഗത്തിൽ നിന്ന് നേട്ടങ്ങൾ തേടുക എന്ന തത്വത്തിൽ മാത്രമല്ല. തിരഞ്ഞെടുക്കുമ്പോൾ, സ്ഥാപനത്തിന്റെ മുഴുവൻ ഐടി ലാൻഡ്‌സ്‌കേപ്പിന്റെ തലത്തിലേക്ക് ആക്‌സസ്സ് നിയന്ത്രണത്തിനും ഡെലിഗേഷൻ / ഐഡന്റിഫിക്കേഷൻ ഡാറ്റ വർദ്ധിപ്പിക്കുന്നതിനുമുള്ള പ്രവർത്തനത്തിന്റെ ലഭ്യതയെക്കുറിച്ച് ചോദ്യങ്ങൾ ചോദിക്കുന്നത് മൂല്യവത്താണ്.

എന്നിരുന്നാലും, തിരഞ്ഞെടുത്ത സിസ്റ്റത്തിന്റെ എല്ലാ പോരായ്മകളും നിങ്ങൾക്ക് അറിയാമെങ്കിൽ, അതിന്റെ ഉപയോഗത്തിൽ നിന്നുള്ള നേട്ടങ്ങൾ, എന്നിരുന്നാലും, പ്രബലമായ ഭൂരിപക്ഷത്തിലാണെങ്കിൽ, ഭയമില്ലാതെ ചെറിയ കോഡിലേക്ക് നീങ്ങുക. മാത്രമല്ല, അതിലേക്കുള്ള പരിവർത്തനം അനിവാര്യമാണ് - ഏതൊരു പരിണാമവും അനിവാര്യമാണ്.

ലോ-കോഡ് പ്ലാറ്റ്‌ഫോമിലെ ഒരു ഡെവലപ്പർ തന്റെ ജോലി ലോ-കോഡ് ഇല്ലാതെ രണ്ട് ഡെവലപ്പർമാരേക്കാൾ വേഗത്തിൽ ചെയ്യുന്നുവെങ്കിൽ, ഇത് കമ്പനിക്ക് എല്ലാ അർത്ഥത്തിലും മികച്ച തുടക്കം നൽകുന്നു. ലോ-കോഡ് സൊല്യൂഷനുകളിലേക്കുള്ള പ്രവേശനത്തിനുള്ള പരിധി "പരമ്പരാഗത" സാങ്കേതികവിദ്യകളേക്കാൾ കുറവാണ്, കൂടാതെ ഇത് ഉദ്യോഗസ്ഥരുടെ കുറവിന്റെ പ്രശ്നത്തിൽ നല്ല സ്വാധീനം ചെലുത്തുന്നു. ലോ-കോഡ് ടൂളുകൾ ഉപയോഗിക്കുമ്പോൾ, ഫങ്ഷണൽ ടീമുകൾ തമ്മിലുള്ള ആശയവിനിമയം വേഗത്തിലാക്കാനും ഡാറ്റാ സയൻസ് ഗവേഷണത്തിന്റെ തിരഞ്ഞെടുത്ത പാതയുടെ കൃത്യതയെക്കുറിച്ച് വേഗത്തിൽ തീരുമാനങ്ങൾ എടുക്കാനും സാധിക്കും. ലോ-ലെവൽ പ്ലാറ്റ്‌ഫോമുകൾക്ക് ഒരു ഓർഗനൈസേഷന്റെ ഡിജിറ്റൽ പരിവർത്തനം നയിക്കാൻ കഴിയും, കാരണം ഉൽപാദിപ്പിക്കുന്ന പരിഹാരങ്ങൾ സാങ്കേതികമല്ലാത്ത സ്പെഷ്യലിസ്റ്റുകൾക്ക് (പ്രത്യേകിച്ച് ബിസിനസ്സ് ഉപയോക്താക്കൾക്ക്) മനസ്സിലാക്കാൻ കഴിയും.

നിങ്ങൾക്ക് കർശനമായ സമയപരിധികൾ, ലോഡ് ചെയ്ത ബിസിനസ്സ് ലോജിക്, സാങ്കേതിക വൈദഗ്ധ്യത്തിന്റെ അഭാവം എന്നിവ ഉണ്ടെങ്കിൽ, നിങ്ങൾ മാർക്കറ്റ് ചെയ്യാനുള്ള സമയം വേഗത്തിലാക്കേണ്ടതുണ്ടെങ്കിൽ, ലോ-കോഡ് നിങ്ങളുടെ ആവശ്യങ്ങൾ നിറവേറ്റുന്നതിനുള്ള ഒരു മാർഗമാണ്.

പരമ്പരാഗത വികസന ഉപകരണങ്ങളുടെ പ്രാധാന്യം നിഷേധിക്കാനാവില്ല, എന്നാൽ മിക്ക കേസുകളിലും, ലോ-കോഡ് പരിഹാരങ്ങൾ ഉപയോഗിക്കുന്നത് പരിഹരിക്കപ്പെടുന്ന ജോലികളുടെ കാര്യക്ഷമത വർദ്ധിപ്പിക്കുന്നതിനുള്ള ഏറ്റവും നല്ല മാർഗമാണ്.

അവലംബം: www.habr.com