നിങ്ങൾക്ക് Sber സ്കെയിലുകൾ ഉള്ളപ്പോൾ. ഹൈവ്, ഗ്രീൻപ്ലം എന്നിവയ്‌ക്കൊപ്പം അബ് ഇനിഷ്യോ ഉപയോഗിക്കുന്നു

കുറച്ച് കാലം മുമ്പ്, ബിഗ് ഡാറ്റയുമായി പ്രവർത്തിക്കുന്നതിന് ഒരു ETL ടൂൾ തിരഞ്ഞെടുക്കുന്നതിനുള്ള ചോദ്യം ഞങ്ങൾ അഭിമുഖീകരിച്ചിരുന്നു. പരിമിതമായ പ്രവർത്തനക്ഷമത കാരണം മുമ്പ് ഉപയോഗിച്ച Informatica BDM പരിഹാരം ഞങ്ങൾക്ക് അനുയോജ്യമല്ല. സ്പാർക്ക്-സബ്മിറ്റ് കമാൻഡുകൾ സമാരംഭിക്കുന്നതിനുള്ള ഒരു ചട്ടക്കൂടിലേക്ക് അതിന്റെ ഉപയോഗം ചുരുക്കിയിരിക്കുന്നു. തത്ത്വത്തിൽ, ഞങ്ങൾ എല്ലാ ദിവസവും കൈകാര്യം ചെയ്യുന്ന ഡാറ്റയുടെ അളവിൽ പ്രവർത്തിക്കാൻ കഴിവുള്ള നിരവധി അനലോഗുകൾ വിപണിയിൽ ഉണ്ടായിരുന്നില്ല. അവസാനം ഞങ്ങൾ അബ് ഇനിഷ്യോയെ തിരഞ്ഞെടുത്തു. പൈലറ്റ് പ്രകടനങ്ങളിൽ, ഉൽപ്പന്നം വളരെ ഉയർന്ന ഡാറ്റ പ്രോസസ്സിംഗ് വേഗത കാണിച്ചു. അബ് ഇനിഷ്യോയെ കുറിച്ച് റഷ്യൻ ഭാഷയിൽ ഒരു വിവരവുമില്ല, അതിനാൽ ഹബ്രെയിലെ ഞങ്ങളുടെ അനുഭവത്തെക്കുറിച്ച് സംസാരിക്കാൻ ഞങ്ങൾ തീരുമാനിച്ചു.

അബ് ഇനിഷ്യോയ്ക്ക് നിരവധി ക്ലാസിക്, അസാധാരണമായ പരിവർത്തനങ്ങളുണ്ട്, അതിന്റെ കോഡ് അതിന്റേതായ PDL ഭാഷ ഉപയോഗിച്ച് വിപുലീകരിക്കാൻ കഴിയും. ഒരു ചെറുകിട ബിസിനസിനെ സംബന്ധിച്ചിടത്തോളം, അത്തരമൊരു ശക്തമായ ഉപകരണം ഓവർകില്ലായിരിക്കും, മാത്രമല്ല അതിന്റെ മിക്ക കഴിവുകളും ചെലവേറിയതും ഉപയോഗിക്കാത്തതുമായിരിക്കും. എന്നാൽ നിങ്ങളുടെ സ്കെയിൽ സ്ബെറോവിന് അടുത്താണെങ്കിൽ, അബ് ഇനിഷ്യോ നിങ്ങൾക്ക് രസകരമായിരിക്കാം.

ആഗോളതലത്തിൽ അറിവ് ശേഖരിക്കാനും ഒരു ആവാസവ്യവസ്ഥ വികസിപ്പിക്കാനും ഇത് ഒരു ബിസിനസ്സിനെ സഹായിക്കുന്നു, കൂടാതെ ETL-ൽ തന്റെ കഴിവുകൾ മെച്ചപ്പെടുത്താനും ഷെല്ലിലെ അറിവ് മെച്ചപ്പെടുത്താനും ഒരു ഡെവലപ്പറെ സഹായിക്കുന്നു, PDL ഭാഷയിൽ വൈദഗ്ദ്ധ്യം നേടാനുള്ള അവസരം നൽകുന്നു, ലോഡിംഗ് പ്രക്രിയകളുടെ ദൃശ്യചിത്രം നൽകുന്നു, വികസനം ലളിതമാക്കുന്നു. പ്രവർത്തന ഘടകങ്ങളുടെ സമൃദ്ധി കാരണം.

ഈ പോസ്റ്റിൽ ഞാൻ Ab Initio യുടെ കഴിവുകളെക്കുറിച്ച് സംസാരിക്കുകയും Hive, GreenPlum എന്നിവയുമായുള്ള അതിന്റെ പ്രവർത്തനത്തിന്റെ താരതമ്യ സവിശേഷതകൾ നൽകുകയും ചെയ്യും.

• MDW ചട്ടക്കൂടിന്റെ വിവരണവും GreenPlum-നുള്ള അതിന്റെ ഇഷ്‌ടാനുസൃതമാക്കലിന്റെ പ്രവർത്തനവും
• Hive ഉം GreenPlum ഉം തമ്മിലുള്ള Ab Initio പ്രകടന താരതമ്യം
• നിയർ റിയൽ ടൈം മോഡിൽ ഗ്രീൻപ്ലം ഉപയോഗിച്ച് Ab Initio പ്രവർത്തിക്കുന്നു

ഈ ഉൽപ്പന്നത്തിന്റെ പ്രവർത്തനം വളരെ വിശാലമാണ് കൂടാതെ പഠിക്കാൻ ധാരാളം സമയം ആവശ്യമാണ്. എന്നിരുന്നാലും, ശരിയായ തൊഴിൽ വൈദഗ്ധ്യവും ശരിയായ പ്രകടന ക്രമീകരണങ്ങളും ഉപയോഗിച്ച്, ഡാറ്റ പ്രോസസ്സിംഗിന്റെ ഫലങ്ങൾ വളരെ ശ്രദ്ധേയമാണ്. ഒരു ഡെവലപ്പർക്കായി Ab Initio ഉപയോഗിക്കുന്നത് രസകരമായ ഒരു അനുഭവം നൽകും. ഇത് ഒരു വിഷ്വൽ എൻവയോൺമെന്റും സ്‌ക്രിപ്റ്റ് പോലുള്ള ഭാഷയിലെ ഡൗൺലോഡ് ഡെവലപ്‌മെന്റും തമ്മിലുള്ള സങ്കരമായ ETL ഡെവലപ്‌മെന്റിന്റെ ഒരു പുതിയ ടേക്ക് ആണ്.

ബിസിനസുകൾ അവരുടെ ആവാസവ്യവസ്ഥകൾ വികസിപ്പിക്കുന്നു, ഈ ഉപകരണം എന്നത്തേക്കാളും കൂടുതൽ ഉപയോഗപ്രദമാണ്. Ab Initio ഉപയോഗിച്ച്, നിങ്ങളുടെ നിലവിലെ ബിസിനസിനെക്കുറിച്ചുള്ള അറിവ് ശേഖരിക്കാനും പഴയ ബിസിനസ്സ് വികസിപ്പിക്കാനും പുതിയ ബിസിനസ്സ് തുറക്കാനും ഈ അറിവ് ഉപയോഗിക്കാനും കഴിയും. വിഷ്വൽ ഡെവലപ്‌മെന്റ് എൻവയോൺമെന്റുകൾ ഇൻഫോർമാറ്റിക്ക ബിഡിഎം, നോൺ-വിഷ്വൽ ഡെവലപ്‌മെന്റ് എൻവയോൺമെന്റുകൾ അപ്പാച്ചെ സ്പാർക്ക് എന്നിവ അബ് ഇനിഷ്യോയ്‌ക്കുള്ള ബദലുകളിൽ ഉൾപ്പെടുന്നു.

അബ് ഇനിഷ്യോയുടെ വിവരണം

മറ്റ് ETL ടൂളുകൾ പോലെ Ab Initio, ഉൽപ്പന്നങ്ങളുടെ ഒരു ശേഖരമാണ്.

Ab Initio GDE (ഗ്രാഫിക്കൽ ഡെവലപ്‌മെന്റ് എൻവയോൺമെന്റ്) എന്നത് ഡവലപ്പർക്കുള്ള ഒരു പരിതസ്ഥിതിയാണ്, അതിൽ അവൻ ഡാറ്റ പരിവർത്തനങ്ങൾ ക്രമീകരിക്കുകയും അവയെ അമ്പടയാളങ്ങളുടെ രൂപത്തിലുള്ള ഡാറ്റാ ഫ്ലോകളുമായി ബന്ധിപ്പിക്കുകയും ചെയ്യുന്നു. ഈ സാഹചര്യത്തിൽ, അത്തരം പരിവർത്തനങ്ങളുടെ ഒരു കൂട്ടത്തെ ഗ്രാഫ് എന്ന് വിളിക്കുന്നു:

ഫങ്ഷണൽ ഘടകങ്ങളുടെ ഇൻപുട്ട്, ഔട്ട്പുട്ട് കണക്ഷനുകൾ പോർട്ടുകളാണ്, കൂടാതെ പരിവർത്തനങ്ങൾക്കുള്ളിൽ കണക്കാക്കിയ ഫീൽഡുകൾ അടങ്ങിയിരിക്കുന്നു. അവയുടെ നിർവ്വഹണത്തിന്റെ ക്രമത്തിൽ അമ്പുകളുടെ രൂപത്തിൽ ഫ്ലോകൾ വഴി ബന്ധിപ്പിച്ചിട്ടുള്ള നിരവധി ഗ്രാഫുകളെ പ്ലാൻ എന്ന് വിളിക്കുന്നു.

നൂറുകണക്കിന് പ്രവർത്തന ഘടകങ്ങളുണ്ട്, അത് ധാരാളം. അവരിൽ പലരും വളരെ സ്പെഷ്യലൈസ് ചെയ്തവരാണ്. Ab Initio-യിലെ ക്ലാസിക് പരിവർത്തനങ്ങളുടെ കഴിവുകൾ മറ്റ് ETL ടൂളുകളേക്കാൾ വിശാലമാണ്. ഉദാഹരണത്തിന്, ജോയിന് ഒന്നിലധികം ഔട്ട്പുട്ടുകൾ ഉണ്ട്. ഡാറ്റാസെറ്റുകൾ ബന്ധിപ്പിക്കുന്നതിന്റെ ഫലത്തിന് പുറമേ, കീകൾ ബന്ധിപ്പിക്കാൻ കഴിയാത്ത ഇൻപുട്ട് ഡാറ്റാസെറ്റുകളുടെ ഔട്ട്പുട്ട് റെക്കോർഡുകൾ നിങ്ങൾക്ക് ലഭിക്കും. നിങ്ങൾക്ക് തിരസ്‌ക്കരണങ്ങൾ, പിശകുകൾ, ട്രാൻസ്‌ഫോർമേഷൻ ഓപ്പറേഷന്റെ ഒരു ലോഗ് എന്നിവയും ലഭിക്കും, അത് ടെക്‌സ്‌റ്റ് ഫയലിന്റെ അതേ കോളത്തിൽ വായിക്കാനും മറ്റ് പരിവർത്തനങ്ങൾക്കൊപ്പം പ്രോസസ്സ് ചെയ്യാനും കഴിയും:

അല്ലെങ്കിൽ, ഉദാഹരണത്തിന്, നിങ്ങൾക്ക് ഒരു ഡാറ്റ റിസീവറിനെ ഒരു പട്ടികയുടെ രൂപത്തിൽ വസ്തുനിഷ്ഠമാക്കാനും അതിൽ നിന്നുള്ള ഡാറ്റ അതേ കോളത്തിൽ വായിക്കാനും കഴിയും.

യഥാർത്ഥ രൂപാന്തരങ്ങളുണ്ട്. ഉദാഹരണത്തിന്, സ്കാൻ പരിവർത്തനത്തിന് അനലിറ്റിക്കൽ ഫംഗ്ഷനുകൾക്ക് സമാനമായ പ്രവർത്തനമുണ്ട്. സ്വയം വിശദീകരിക്കുന്ന പേരുകളുള്ള പരിവർത്തനങ്ങളുണ്ട്: ഡാറ്റ സൃഷ്‌ടിക്കുക, Excel റീഡ് ചെയ്യുക, നോർമലൈസ് ചെയ്യുക, ഗ്രൂപ്പുകൾക്കുള്ളിൽ അടുക്കുക, പ്രോഗ്രാം റൺ ചെയ്യുക, SQL റൺ ചെയ്യുക, ഡിബിയിൽ ചേരുക, മുതലായവ. ഗ്രാഫുകൾക്ക് റൺ-ടൈം പാരാമീറ്ററുകൾ ഉപയോഗിക്കാം, അതിൽ നിന്നോ ഇതിലേക്കോ പാരാമീറ്ററുകൾ കൈമാറാനുള്ള സാധ്യത ഉൾപ്പെടെ ഓപ്പറേറ്റിംഗ് സിസ്റ്റം . ഗ്രാഫിലേക്ക് അയച്ച പാരാമീറ്ററുകളുടെ റെഡിമെയ്ഡ് സെറ്റ് ഉള്ള ഫയലുകളെ പാരാമീറ്റർ സെറ്റുകൾ (psets) എന്ന് വിളിക്കുന്നു.

പ്രതീക്ഷിച്ചതുപോലെ, Ab Initio GDE-യ്ക്ക് EME (എന്റർപ്രൈസ് മെറ്റാ എൻവയോൺമെന്റ്) എന്ന പേരിൽ സ്വന്തം ശേഖരം ഉണ്ട്. ഡെവലപ്പർമാർക്ക് കോഡിന്റെ പ്രാദേശിക പതിപ്പുകൾക്കൊപ്പം പ്രവർത്തിക്കാനും അവരുടെ വികസനങ്ങൾ സെൻട്രൽ റിപ്പോസിറ്ററിയിലേക്ക് പരിശോധിക്കാനും അവസരമുണ്ട്.

എക്സിക്യൂഷൻ സമയത്തോ ഗ്രാഫ് എക്സിക്യൂട്ട് ചെയ്തതിന് ശേഷമോ, പരിവർത്തനത്തെ ബന്ധിപ്പിക്കുന്ന ഏതെങ്കിലും ഫ്ലോയിൽ ക്ലിക്കുചെയ്ത് ഈ പരിവർത്തനങ്ങൾക്കിടയിൽ കടന്നുപോയ ഡാറ്റ നോക്കുന്നത് സാധ്യമാണ്:

ഏത് സ്ട്രീമിലും ക്ലിക്കുചെയ്‌ത് ട്രാക്കിംഗ് വിശദാംശങ്ങൾ കാണാനും കഴിയും - പരിവർത്തനം എത്ര സമാന്തരങ്ങളിൽ പ്രവർത്തിച്ചു, ഏത് സമാന്തരങ്ങളിലേക്ക് എത്ര ലൈനുകളും ബൈറ്റുകളും ലോഡുചെയ്‌തു:

ഗ്രാഫിന്റെ നിർവ്വഹണത്തെ ഘട്ടങ്ങളായി വിഭജിച്ച് ചില പരിവർത്തനങ്ങൾ ആദ്യം (പൂജ്യം ഘട്ടത്തിൽ), അടുത്തത് ആദ്യ ഘട്ടത്തിൽ, അടുത്തത് രണ്ടാം ഘട്ടത്തിൽ മുതലായവ നടത്തേണ്ടതുണ്ടെന്ന് അടയാളപ്പെടുത്താൻ കഴിയും.

ഓരോ രൂപാന്തരത്തിനും, നിങ്ങൾക്ക് വിളിക്കപ്പെടുന്ന ലേഔട്ട് തിരഞ്ഞെടുക്കാം (അത് എക്സിക്യൂട്ട് ചെയ്യപ്പെടും): സമാന്തരങ്ങളില്ലാതെ അല്ലെങ്കിൽ സമാന്തര ത്രെഡുകളിൽ, അവയുടെ എണ്ണം വ്യക്തമാക്കാം. അതേ സമയം, പരിവർത്തനങ്ങൾ പ്രവർത്തിക്കുമ്പോൾ Ab Initio സൃഷ്ടിക്കുന്ന താൽക്കാലിക ഫയലുകൾ സെർവർ ഫയൽ സിസ്റ്റത്തിലും HDFS-ലും സ്ഥാപിക്കാവുന്നതാണ്.

ഓരോ പരിവർത്തനത്തിലും, സ്ഥിരസ്ഥിതി ടെംപ്ലേറ്റിനെ അടിസ്ഥാനമാക്കി, നിങ്ങൾക്ക് PDL-ൽ നിങ്ങളുടെ സ്വന്തം സ്ക്രിപ്റ്റ് സൃഷ്ടിക്കാൻ കഴിയും, അത് ഒരു ഷെൽ പോലെയാണ്.

PDL ഉപയോഗിച്ച്, നിങ്ങൾക്ക് പരിവർത്തനങ്ങളുടെ പ്രവർത്തനം വിപുലീകരിക്കാനും, പ്രത്യേകിച്ച്, നിങ്ങൾക്ക് ചലനാത്മകമായി (റൺടൈമിൽ) റൺടൈം പാരാമീറ്ററുകൾ അനുസരിച്ച് അനിയന്ത്രിതമായ കോഡ് ശകലങ്ങൾ സൃഷ്ടിക്കാനും കഴിയും.

ഷെൽ വഴി OS-മായി നന്നായി വികസിപ്പിച്ച സംയോജനവും Ab Initio-യ്‌ക്ക് ഉണ്ട്. പ്രത്യേകമായി, Sberbank linux ksh ഉപയോഗിക്കുന്നു. നിങ്ങൾക്ക് ഷെല്ലുമായി വേരിയബിളുകൾ കൈമാറാനും ഗ്രാഫ് പാരാമീറ്ററുകളായി ഉപയോഗിക്കാനും കഴിയും. നിങ്ങൾക്ക് ഷെല്ലിൽ നിന്ന് Ab Initio ഗ്രാഫുകളുടെ എക്സിക്യൂഷൻ വിളിക്കുകയും Ab Initio അഡ്മിനിസ്ട്രേഷൻ നടത്തുകയും ചെയ്യാം.

Ab Initio GDE കൂടാതെ, മറ്റ് നിരവധി ഉൽപ്പന്നങ്ങളും ഡെലിവറിയിൽ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്. ഒരു ഓപ്പറേറ്റിംഗ് സിസ്റ്റം എന്ന് വിളിക്കപ്പെടുന്ന ഒരു ക്ലെയിം ഉള്ള അതിന്റേതായ കോ>ഓപ്പറേഷൻ സിസ്റ്റം ഉണ്ട്. നിങ്ങൾക്ക് ഡൗൺലോഡ് ഫ്ലോകൾ ഷെഡ്യൂൾ ചെയ്യാനും നിരീക്ഷിക്കാനും കഴിയുന്ന ഒരു കൺട്രോൾ>സെന്റർ ഉണ്ട്. Ab Initio GDE അനുവദിക്കുന്നതിനേക്കാൾ പ്രാകൃതമായ തലത്തിൽ വികസനം നടത്തുന്നതിനുള്ള ഉൽപ്പന്നങ്ങളുണ്ട്.

MDW ചട്ടക്കൂടിന്റെ വിവരണവും GreenPlum-നുള്ള അതിന്റെ ഇഷ്‌ടാനുസൃതമാക്കലിന്റെ പ്രവർത്തനവും

അതിന്റെ ഉൽപ്പന്നങ്ങൾക്കൊപ്പം, വെണ്ടർ MDW (മെറ്റാഡാറ്റ ഡ്രൈവൺ വെയർഹൗസ്) ഉൽപ്പന്നം വിതരണം ചെയ്യുന്നു, ഇത് ഡാറ്റ വെയർഹൗസുകളോ ഡാറ്റ നിലവറകളോ ജനകീയമാക്കുന്നതിനുള്ള സാധാരണ ജോലികളെ സഹായിക്കാൻ രൂപകൽപ്പന ചെയ്ത ഒരു ഗ്രാഫ് കോൺഫിഗറേറ്ററാണ്.

ഇതിൽ ഇഷ്‌ടാനുസൃത (പ്രോജക്‌റ്റ്-നിർദ്ദിഷ്ട) മെറ്റാഡാറ്റ പാഴ്‌സറുകളും ബോക്‌സിന് പുറത്ത് റെഡിമെയ്ഡ് കോഡ് ജനറേറ്ററുകളും അടങ്ങിയിരിക്കുന്നു.

ഇൻപുട്ട് എന്ന നിലയിൽ, MDW ന് ഒരു ഡാറ്റ മോഡൽ, ഒരു ഡാറ്റാബേസിലേക്ക് (Oracle, Teradata അല്ലെങ്കിൽ Hive) ഒരു കണക്ഷൻ സജ്ജീകരിക്കുന്നതിനുള്ള ഒരു കോൺഫിഗറേഷൻ ഫയലും മറ്റ് ചില ക്രമീകരണങ്ങളും ലഭിക്കുന്നു. പ്രോജക്റ്റ്-നിർദ്ദിഷ്ട ഭാഗം, ഉദാഹരണത്തിന്, മോഡൽ ഒരു ഡാറ്റാബേസിലേക്ക് വിന്യസിക്കുന്നു. ഉൽപ്പന്നത്തിന്റെ ഔട്ട്-ഓഫ്-ബോക്‌സ് ഭാഗം മോഡൽ ടേബിളുകളിലേക്ക് ഡാറ്റ ലോഡുചെയ്യുന്നതിലൂടെ ഗ്രാഫുകളും കോൺഫിഗറേഷൻ ഫയലുകളും സൃഷ്ടിക്കുന്നു. ഈ സാഹചര്യത്തിൽ, എന്റിറ്റികൾ അപ്‌ഡേറ്റ് ചെയ്യുന്നതിനുള്ള പ്രാരംഭ പ്രവർത്തനത്തിനും വർദ്ധനവിനുമുള്ള നിരവധി മോഡുകൾക്കായി ഗ്രാഫുകളും (പ്സെറ്റുകളും) സൃഷ്ടിക്കപ്പെടുന്നു.

ഹൈവ്, ആർ‌ഡി‌ബി‌എം‌എസ് കേസുകളിൽ, ആരംഭിക്കുന്നതിനും വർദ്ധിപ്പിക്കുന്ന ഡാറ്റ അപ്‌ഡേറ്റുകൾക്കുമായി വ്യത്യസ്ത ഗ്രാഫുകൾ സൃഷ്ടിക്കപ്പെടുന്നു.

ഹൈവിന്റെ കാര്യത്തിൽ, ഇൻകമിംഗ് ഡെൽറ്റ ഡാറ്റ അപ്‌ഡേറ്റിന് മുമ്പ് പട്ടികയിലുണ്ടായിരുന്ന ഡാറ്റയുമായി Ab Initio Join വഴി ബന്ധിപ്പിച്ചിരിക്കുന്നു. MDW-ലെ ഡാറ്റ ലോഡറുകൾ (ഹൈവിലും RDBMS-ലും) ഡെൽറ്റയിൽ നിന്ന് പുതിയ ഡാറ്റ ഉൾപ്പെടുത്തുക മാത്രമല്ല, ഡെൽറ്റയുടെ പ്രാഥമിക കീകൾ ലഭിച്ച ഡാറ്റയുടെ പ്രസക്തമായ കാലഘട്ടങ്ങൾ അടയ്ക്കുകയും ചെയ്യുന്നു. കൂടാതെ, ഡാറ്റയുടെ മാറ്റമില്ലാത്ത ഭാഗം നിങ്ങൾ വീണ്ടും എഴുതേണ്ടതുണ്ട്. എന്നാൽ ഹൈവിന് ഡിലീറ്റ് അല്ലെങ്കിൽ അപ്ഡേറ്റ് ഓപ്പറേഷനുകൾ ഇല്ലാത്തതിനാൽ ഇത് ചെയ്യണം.

RDBMS-ന്റെ കാര്യത്തിൽ, ഇൻക്രിമെന്റൽ ഡാറ്റ അപ്ഡേറ്റ് ചെയ്യുന്നതിനുള്ള ഗ്രാഫുകൾ കൂടുതൽ അനുയോജ്യമാണെന്ന് തോന്നുന്നു, കാരണം RDBMS-ന് യഥാർത്ഥ അപ്ഡേറ്റ് കഴിവുകൾ ഉണ്ട്.

ലഭിച്ച ഡെൽറ്റ ഡാറ്റാബേസിലെ ഒരു ഇന്റർമീഡിയറ്റ് ടേബിളിലേക്ക് ലോഡ് ചെയ്യുന്നു. ഇതിനുശേഷം, അപ്‌ഡേറ്റിന് മുമ്പ് പട്ടികയിൽ ഉണ്ടായിരുന്ന ഡാറ്റയുമായി ഡെൽറ്റ ബന്ധിപ്പിച്ചിരിക്കുന്നു. ജനറേറ്റുചെയ്ത SQL ചോദ്യം ഉപയോഗിച്ച് SQL ഉപയോഗിച്ചാണ് ഇത് ചെയ്യുന്നത്. അടുത്തതായി, ഡിലീറ്റ് + ഇൻസേർട്ട് എന്ന SQL കമാൻഡുകൾ ഉപയോഗിച്ച്, ഡെൽറ്റയിൽ നിന്നുള്ള പുതിയ ഡാറ്റ ടാർഗെറ്റ് ടേബിളിലേക്ക് തിരുകുന്നു, കൂടാതെ ഡെൽറ്റ സ്വീകരിച്ച പ്രാഥമിക കീകൾ അടഞ്ഞ ഡാറ്റയുടെ പ്രസക്തമായ കാലഘട്ടങ്ങൾ.
മാറ്റമില്ലാത്ത ഡാറ്റ വീണ്ടും എഴുതേണ്ട ആവശ്യമില്ല.

ഹൈവിന്റെ കാര്യത്തിൽ, ഹൈവിന് ഒരു അപ്‌ഡേറ്റ് ഫംഗ്‌ഷൻ ഇല്ലാത്തതിനാൽ, മുഴുവൻ ടേബിളും മാറ്റിയെഴുതാൻ MDW പോകണം എന്ന നിഗമനത്തിൽ ഞങ്ങൾ എത്തി. അപ്‌ഡേറ്റ് കണ്ടുപിടിക്കുമ്പോൾ ഡാറ്റ പൂർണ്ണമായും മാറ്റിയെഴുതുന്നതിനേക്കാൾ മികച്ചതായി ഒന്നുമില്ല. RDBMS-ന്റെ കാര്യത്തിൽ, മറിച്ച്, ഉൽപ്പന്നത്തിന്റെ സ്രഷ്‌ടാക്കൾ SQL-ന്റെ ഉപയോഗത്തിനായി ടേബിളുകളുടെ കണക്ഷനും അപ്‌ഡേറ്റും ഏൽപ്പിക്കേണ്ടത് ആവശ്യമാണെന്ന് കണ്ടെത്തി.

Sberbank-ലെ ഒരു പ്രോജക്റ്റിനായി, GreenPlum-നായുള്ള ഒരു ഡാറ്റാബേസ് ലോഡറിന്റെ പുതിയതും പുനരുപയോഗിക്കാവുന്നതുമായ ഒരു നടപ്പിലാക്കൽ ഞങ്ങൾ സൃഷ്ടിച്ചു. ടെറാഡാറ്റയ്ക്കായി MDW സൃഷ്ടിക്കുന്ന പതിപ്പിനെ അടിസ്ഥാനമാക്കിയാണ് ഇത് ചെയ്തത്. ഒറാക്കിളല്ല, ടെറാഡാറ്റയാണ് ഇതിന് ഏറ്റവും അടുത്തതും മികച്ചതുമായത്, കാരണം... ഒരു MPP സംവിധാനം കൂടിയാണ്. ടെറാഡാറ്റയുടെയും ഗ്രീൻപ്ലത്തിന്റെയും പ്രവർത്തന രീതികളും വാക്യഘടനയും സമാനമാണ്.

വ്യത്യസ്ത RDBMS-കൾ തമ്മിലുള്ള MDW-നിർണ്ണായക വ്യത്യാസങ്ങളുടെ ഉദാഹരണങ്ങൾ ഇനിപ്പറയുന്നവയാണ്. ഗ്രീൻപ്ലമിൽ, ടെറാഡാറ്റയിൽ നിന്ന് വ്യത്യസ്തമായി, പട്ടികകൾ സൃഷ്ടിക്കുമ്പോൾ നിങ്ങൾ ഒരു ക്ലോസ് എഴുതേണ്ടതുണ്ട്

distributed by

ടെറാഡാറ്റ എഴുതുന്നു:

delete <table> all

, ഗ്രീൻപ്ലമിൽ അവർ എഴുതുന്നു

delete from <table>

ഒറാക്കിളിൽ, ഒപ്റ്റിമൈസേഷൻ ആവശ്യങ്ങൾക്കായി അവർ എഴുതുന്നു

delete from t where rowid in (<соединение t с дельтой>)

ടെറാഡാറ്റയും ഗ്രീൻപ്ലവും എഴുതുന്നു

delete from t where exists (select * from delta where delta.pk=t.pk)

Ab Initio ഗ്രീൻപ്ലമുമായി പ്രവർത്തിക്കുന്നതിന്, Ab Initio ക്ലസ്റ്ററിന്റെ എല്ലാ നോഡുകളിലും GreenPlum ക്ലയന്റ് ഇൻസ്റ്റാൾ ചെയ്യേണ്ടത് അത്യാവശ്യമായിരുന്നു എന്നതും ഞങ്ങൾ ശ്രദ്ധിക്കുന്നു. ഞങ്ങളുടെ ക്ലസ്റ്ററിലെ എല്ലാ നോഡുകളിൽ നിന്നും ഒരേസമയം ഗ്രീൻപ്ലമിലേക്ക് കണക്റ്റുചെയ്‌തതാണ് ഇതിന് കാരണം. ഗ്രീൻപ്ലമിൽ നിന്നുള്ള വായന സമാന്തരമാകാനും ഓരോ സമാന്തര Ab Initio ത്രെഡും GreenPlum-ൽ നിന്നുള്ള ഡാറ്റയുടെ സ്വന്തം ഭാഗം വായിക്കാനും, ഞങ്ങൾ SQL അന്വേഷണങ്ങളുടെ "എവിടെ" എന്ന വിഭാഗത്തിൽ Ab Initio മനസ്സിലാക്കിയ ഒരു നിർമ്മാണം സ്ഥാപിക്കേണ്ടതുണ്ട്.

where ABLOCAL()

ട്രാൻസ്ഫോർമേഷൻ ഡാറ്റാബേസിൽ നിന്നുള്ള പാരാമീറ്റർ റീഡിംഗ് വ്യക്തമാക്കി ഈ നിർമ്മാണത്തിന്റെ മൂല്യം നിർണ്ണയിക്കുക

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

, ഇത് പോലെയുള്ള ഒന്നിലേക്ക് കംപൈൽ ചെയ്യുന്നു

mod(sk,10)=3

, അതായത്. ഓരോ പാർട്ടീഷനുമുള്ള വ്യക്തമായ ഫിൽട്ടർ ഉപയോഗിച്ച് നിങ്ങൾ GreenPlum ആവശ്യപ്പെടണം. മറ്റ് ഡാറ്റാബേസുകൾക്ക് (Teradata, Oracle), Ab Initioക്ക് ഈ സമാന്തരവൽക്കരണം സ്വയമേവ നിർവഹിക്കാൻ കഴിയും.

Hive ഉം GreenPlum ഉം തമ്മിലുള്ള Ab Initio പ്രകടന താരതമ്യം

Sberbank, Hive-മായി ബന്ധപ്പെട്ട്, GreenPlum-മായി ബന്ധപ്പെട്ട് MDW- ജനറേറ്റഡ് ഗ്രാഫുകളുടെ പ്രകടനം താരതമ്യം ചെയ്യാൻ ഒരു പരീക്ഷണം നടത്തി. പരീക്ഷണത്തിന്റെ ഭാഗമായി, ഹൈവിന്റെ കാര്യത്തിൽ, Ab Initio-യുടെ അതേ ക്ലസ്റ്ററിൽ 5 നോഡുകൾ ഉണ്ടായിരുന്നു, ഗ്രീൻപ്ലമിന്റെ കാര്യത്തിൽ ഒരു പ്രത്യേക ക്ലസ്റ്ററിൽ 4 നോഡുകൾ ഉണ്ടായിരുന്നു. ആ. ഗ്രീൻപ്ലമിനെ അപേക്ഷിച്ച് ഹൈവിന് ചില ഹാർഡ്‌വെയർ നേട്ടങ്ങളുണ്ടായിരുന്നു.

ഹൈവിലും ഗ്രീൻപ്ലമിലും ഡാറ്റ അപ്‌ഡേറ്റ് ചെയ്യുന്നതിനുള്ള ഒരേ ചുമതല നിർവഹിക്കുന്ന രണ്ട് ജോഡി ഗ്രാഫുകൾ ഞങ്ങൾ പരിഗണിച്ചു. അതേ സമയം, MDW കോൺഫിഗറേറ്റർ സൃഷ്ടിച്ച ഗ്രാഫുകൾ സമാരംഭിച്ചു:

• ഒരു ഹൈവ് ടേബിളിലേക്ക് ക്രമരഹിതമായി ജനറേറ്റ് ചെയ്‌ത ഡാറ്റയുടെ പ്രാരംഭ ലോഡ് + ഇൻക്രിമെന്റൽ ലോഡ്
• പ്രാരംഭ ലോഡ് + ഒരേ ഗ്രീൻപ്ലം ടേബിളിലേക്ക് ക്രമരഹിതമായി ജനറേറ്റുചെയ്‌ത ഡാറ്റയുടെ ഇൻക്രിമെന്റൽ ലോഡ്

രണ്ട് സാഹചര്യങ്ങളിലും (ഹൈവ്, ഗ്രീൻപ്ലം) അവർ ഒരേ Ab Initio ക്ലസ്റ്ററിൽ 10 സമാന്തര ത്രെഡുകളിലേക്ക് അപ്‌ലോഡ് ചെയ്തു. HDFS-ലെ കണക്കുകൂട്ടലുകൾക്കായി Ab Initio സംരക്ഷിച്ച ഇന്റർമീഡിയറ്റ് ഡാറ്റ (Ab Initio-യുടെ അടിസ്ഥാനത്തിൽ, HDFS ഉപയോഗിച്ചുള്ള MFS ലേഔട്ട് ഉപയോഗിച്ചു). ക്രമരഹിതമായി ജനറേറ്റുചെയ്ത ഡാറ്റയുടെ ഒരു വരി രണ്ട് സാഹചര്യങ്ങളിലും 200 ബൈറ്റുകൾ ഉൾക്കൊള്ളുന്നു.

ഫലം ഇതുപോലെയായിരുന്നു:

കൂട്:

പുഴയിൽ പ്രാരംഭ ലോഡിംഗ്

വരികൾ ചേർത്തു
6 000 000
60 000 000
600 000 000

പ്രാരംഭ കാലയളവ്
സെക്കന്റുകൾക്കുള്ളിൽ ഡൗൺലോഡ് ചെയ്യുന്നു
41
203
1 601

പുഴയിൽ വർദ്ധിച്ചുവരുന്ന ലോഡിംഗ്

ലഭ്യമായ വരികളുടെ എണ്ണം
പരീക്ഷണത്തിന്റെ തുടക്കത്തിൽ ടാർഗെറ്റ് ടേബിൾ
6 000 000
60 000 000
600 000 000

പ്രയോഗിച്ച ഡെൽറ്റ ലൈനുകളുടെ എണ്ണം
പരീക്ഷണ സമയത്ത് ടാർഗെറ്റ് ടേബിൾ
6 000 000
6 000 000
6 000 000

ഇൻക്രിമെന്റൽ കാലാവധി
സെക്കന്റുകൾക്കുള്ളിൽ ഡൗൺലോഡ് ചെയ്യുന്നു
88
299
2 541

ഗ്രീൻപ്ലം:

ഗ്രീൻപ്ലമിൽ പ്രാരംഭ ലോഡിംഗ്

വരികൾ ചേർത്തു
6 000 000
60 000 000
600 000 000

പ്രാരംഭ കാലയളവ്
സെക്കന്റുകൾക്കുള്ളിൽ ഡൗൺലോഡ് ചെയ്യുന്നു
72
360
3 631

ഗ്രീൻപ്ലമിൽ വർദ്ധിച്ചുവരുന്ന ലോഡിംഗ്

ലഭ്യമായ വരികളുടെ എണ്ണം
പരീക്ഷണത്തിന്റെ തുടക്കത്തിൽ ടാർഗെറ്റ് ടേബിൾ
6 000 000
60 000 000
600 000 000

പ്രയോഗിച്ച ഡെൽറ്റ ലൈനുകളുടെ എണ്ണം
പരീക്ഷണ സമയത്ത് ടാർഗെറ്റ് ടേബിൾ
6 000 000
6 000 000
6 000 000

ഇൻക്രിമെന്റൽ കാലാവധി
സെക്കന്റുകൾക്കുള്ളിൽ ഡൗൺലോഡ് ചെയ്യുന്നു
159
199
321

ഹൈവ്, ഗ്രീൻപ്ലം എന്നിവയിലെ പ്രാരംഭ ലോഡിംഗിന്റെ വേഗത ഡാറ്റയുടെ അളവിനെ രേഖീയമായി ആശ്രയിച്ചിരിക്കുന്നുവെന്നും മികച്ച ഹാർഡ്‌വെയറിന്റെ കാരണങ്ങളാൽ, ഗ്രീൻപ്ലമിനേക്കാൾ ഹൈവിന് അൽപ്പം വേഗമുണ്ടെന്നും ഞങ്ങൾ കാണുന്നു.

ഹൈവിലെ ഇൻക്രിമെന്റൽ ലോഡിംഗ് ടാർഗെറ്റ് ടേബിളിൽ ലഭ്യമായ മുമ്പ് ലോഡ് ചെയ്ത ഡാറ്റയുടെ അളവിനെ രേഖീയമായി ആശ്രയിച്ചിരിക്കുന്നു, വോളിയം വർദ്ധിക്കുന്നതിനനുസരിച്ച് വളരെ സാവധാനത്തിൽ മുന്നോട്ട് പോകുന്നു. ടാർഗെറ്റ് ടേബിൾ പൂർണ്ണമായും മാറ്റിയെഴുതേണ്ടതിന്റെ ആവശ്യകതയാണ് ഇതിന് കാരണം. ഇതിനർത്ഥം കൂറ്റൻ ടേബിളുകളിൽ ചെറിയ മാറ്റങ്ങൾ പ്രയോഗിക്കുന്നത് ഹൈവിന്റെ ഉപയോഗത്തിന് നല്ലതല്ല എന്നാണ്.

ഗ്രീൻപ്ലമിലെ ഇൻക്രിമെന്റൽ ലോഡിംഗ്, ടാർഗെറ്റ് ടേബിളിൽ ലഭ്യമായ മുമ്പ് ലോഡ് ചെയ്ത ഡാറ്റയുടെ അളവിനെ ആശ്രയിച്ചിരിക്കുന്നു, അത് വളരെ വേഗത്തിൽ തുടരുന്നു. ഇത് SQL ജോയിനുകൾക്കും ഗ്രീൻപ്ലം ആർക്കിടെക്ചറിനും നന്ദി പറഞ്ഞു, ഇത് ഇല്ലാതാക്കൽ പ്രവർത്തനത്തെ അനുവദിക്കുന്നു.

അതിനാൽ, ഗ്രീൻപ്ലം ഡിലീറ്റ്+ഇൻസേർട്ട് രീതി ഉപയോഗിച്ച് ഡെൽറ്റ ചേർക്കുന്നു, പക്ഷേ ഹൈവിന് ഡിലീറ്റ് അല്ലെങ്കിൽ അപ്‌ഡേറ്റ് ഓപ്പറേഷനുകൾ ഇല്ല, അതിനാൽ ഒരു ഇൻക്രിമെന്റൽ അപ്‌ഡേറ്റ് സമയത്ത് മുഴുവൻ ഡാറ്റ അറേയും പൂർണ്ണമായും മാറ്റിയെഴുതാൻ നിർബന്ധിതരായി. ബോൾഡിൽ ഹൈലൈറ്റ് ചെയ്‌തിരിക്കുന്ന സെല്ലുകളുടെ താരതമ്യം ഏറ്റവും വെളിപ്പെടുത്തുന്നതാണ്, കാരണം ഇത് റിസോഴ്‌സ്-ഇന്റൻസീവ് ഡൗൺലോഡുകൾ ഉപയോഗിക്കുന്നതിനുള്ള ഏറ്റവും സാധാരണമായ ഓപ്ഷനുമായി പൊരുത്തപ്പെടുന്നു. ഈ ടെസ്റ്റിൽ ഗ്രീൻപ്ലം 8 തവണ ഹൈവിനെ തോൽപ്പിച്ചതായി ഞങ്ങൾ കാണുന്നു.

നിയർ റിയൽ ടൈം മോഡിൽ ഗ്രീൻപ്ലം ഉപയോഗിച്ച് Ab Initio പ്രവർത്തിക്കുന്നു

ഈ പരീക്ഷണത്തിൽ, കൃത്യസമയത്ത് ക്രമരഹിതമായി ജനറേറ്റുചെയ്‌ത ഡാറ്റയുടെ ഭാഗങ്ങൾ ഉപയോഗിച്ച് GreenPlum പട്ടിക അപ്‌ഡേറ്റ് ചെയ്യാനുള്ള Ab Initio-യുടെ കഴിവ് ഞങ്ങൾ പരിശോധിക്കും. നമുക്ക് ഗ്രീൻപ്ലം ടേബിൾ dev42_1_db_usl.TESTING_SUBJ_org_finval പരിഗണിക്കാം, അതിൽ ഞങ്ങൾ പ്രവർത്തിക്കും.

ഇതിനൊപ്പം പ്രവർത്തിക്കാൻ ഞങ്ങൾ മൂന്ന് Ab Initio ഗ്രാഫുകൾ ഉപയോഗിക്കും:

1) Create_test_data.mp ഗ്രാഫ് - 10 സമാന്തര ത്രെഡുകളിലായി 6 വരികളുള്ള HDFS-ൽ ഡാറ്റ ഫയലുകൾ സൃഷ്ടിക്കുന്നു. ഡാറ്റ ക്രമരഹിതമാണ്, അതിന്റെ ഘടന ഞങ്ങളുടെ ടേബിളിൽ ഉൾപ്പെടുത്തുന്നതിനായി ക്രമീകരിച്ചിരിക്കുന്നു

2) ഗ്രാഫ് mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – 10 സമാന്തര ത്രെഡുകളിൽ ഞങ്ങളുടെ ടേബിളിലേക്ക് ഡാറ്റ ഉൾപ്പെടുത്തൽ ആരംഭിക്കുന്നതിലൂടെ MDW ഗ്രാഫ് ജനറേറ്റുചെയ്‌തു (ഗ്രാഫ് (1) സൃഷ്ടിച്ച ടെസ്റ്റ് ഡാറ്റ ഉപയോഗിക്കുന്നു)

3) ഗ്രാഫ് mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset - ഗ്രാഫ് (10) സൃഷ്ടിച്ച പുതുതായി ലഭിച്ച ഡാറ്റയുടെ (ഡെൽറ്റ) ഒരു ഭാഗം ഉപയോഗിച്ച് 1 സമാന്തര ത്രെഡുകളിൽ ഞങ്ങളുടെ പട്ടിക വർദ്ധിപ്പിക്കുന്നതിന് MDW സൃഷ്ടിച്ച ഒരു ഗ്രാഫ്

താഴെയുള്ള സ്ക്രിപ്റ്റ് NRT മോഡിൽ പ്രവർത്തിപ്പിക്കാം:

• 6 ടെസ്റ്റ് ലൈനുകൾ സൃഷ്ടിക്കുക
• ഒരു ശൂന്യമായ പട്ടികയിലേക്ക് 6 ടെസ്റ്റ് വരികൾ ചേർക്കുക
• വർദ്ധിച്ചുവരുന്ന ഡൗൺലോഡ് 5 തവണ ആവർത്തിക്കുക
  • 6 ടെസ്റ്റ് ലൈനുകൾ സൃഷ്ടിക്കുക
  • ടേബിളിൽ 6 ടെസ്റ്റ് വരികളുടെ ഇൻക്രിമെന്റൽ ഇൻസേർട്ട് ചെയ്യുക (ഈ സാഹചര്യത്തിൽ, Valid_to_ts കാലഹരണപ്പെടൽ സമയം പഴയ ഡാറ്റയിലേക്ക് സജ്ജീകരിച്ചിരിക്കുന്നു, അതേ പ്രാഥമിക കീ ഉപയോഗിച്ച് ഏറ്റവും പുതിയ ഡാറ്റ ചേർത്തിരിക്കുന്നു)

ഈ സാഹചര്യം ഒരു നിശ്ചിത ബിസിനസ്സ് സിസ്റ്റത്തിന്റെ യഥാർത്ഥ പ്രവർത്തന രീതിയെ അനുകരിക്കുന്നു - പുതിയ ഡാറ്റയുടെ വലിയൊരു ഭാഗം തത്സമയം പ്രത്യക്ഷപ്പെടുകയും ഉടൻ ഗ്രീൻപ്ലമിലേക്ക് പകരുകയും ചെയ്യുന്നു.

ഇനി നമുക്ക് സ്ക്രിപ്റ്റിന്റെ ലോഗ് നോക്കാം:

2020-06-04 11:49:11-ന് Create_test_data.input.pset ആരംഭിക്കുക
Create_test_data.input.pset 2020-06-04 11:49:37-ന് പൂർത്തിയാക്കുക
42-1-2020 06:04:11-ന് mdw_load.day_one.current.dev49_37_db_usl_testing_subj_org_finval.pset ആരംഭിക്കുക
mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:50:42-ന് പൂർത്തിയാക്കുക
2020-06-04 11:50:42-ന് Create_test_data.input.pset ആരംഭിക്കുക
Create_test_data.input.pset 2020-06-04 11:51:06-ന് പൂർത്തിയാക്കുക
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ആരംഭിക്കുക 2020-06-04 11:51:06
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:53:41-ന് പൂർത്തിയാക്കുക
2020-06-04 11:53:41-ന് Create_test_data.input.pset ആരംഭിക്കുക
Create_test_data.input.pset 2020-06-04 11:54:04-ന് പൂർത്തിയാക്കുക
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ആരംഭിക്കുക 2020-06-04 11:54:04
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:56:51-ന് പൂർത്തിയാക്കുക
2020-06-04 11:56:51-ന് Create_test_data.input.pset ആരംഭിക്കുക
Create_test_data.input.pset 2020-06-04 11:57:14-ന് പൂർത്തിയാക്കുക
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ആരംഭിക്കുക 2020-06-04 11:57:14
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:59:55-ന് പൂർത്തിയാക്കുക
2020-06-04 11:59:55-ന് Create_test_data.input.pset ആരംഭിക്കുക
Create_test_data.input.pset 2020-06-04 12:00:23-ന് പൂർത്തിയാക്കുക
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ആരംഭിക്കുക 2020-06-04 12:00:23
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:23-ന് പൂർത്തിയാക്കുക
2020-06-04 12:03:23-ന് Create_test_data.input.pset ആരംഭിക്കുക
Create_test_data.input.pset 2020-06-04 12:03:49-ന് പൂർത്തിയാക്കുക
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ആരംഭിക്കുക 2020-06-04 12:03:49
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:06:46-ന് പൂർത്തിയാക്കുക

ഇത് ഈ ചിത്രം മാറുന്നു:

ഗ്രാഫ്
ആരംഭ സമയം
സമയം പൂർത്തിയാക്കുക
ദൈർഘ്യം

Create_test_data.input.pset
XXX: 04.06.2020: 11: 49
XXX: 04.06.2020: 11: 49
00:00:26

mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
XXX: 04.06.2020: 11: 49
XXX: 04.06.2020: 11: 50
00:01:05

Create_test_data.input.pset
XXX: 04.06.2020: 11: 50
XXX: 04.06.2020: 11: 51
00:00:24

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
XXX: 04.06.2020: 11: 51
XXX: 04.06.2020: 11: 53
00:02:35

Create_test_data.input.pset
XXX: 04.06.2020: 11: 53
XXX: 04.06.2020: 11: 54
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
XXX: 04.06.2020: 11: 54
XXX: 04.06.2020: 11: 56
00:02:47

Create_test_data.input.pset
XXX: 04.06.2020: 11: 56
XXX: 04.06.2020: 11: 57
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
XXX: 04.06.2020: 11: 57
XXX: 04.06.2020: 11: 59
00:02:41

Create_test_data.input.pset
XXX: 04.06.2020: 11: 59
XXX: 04.06.2020: 12: 00
00:00:28

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
XXX: 04.06.2020: 12: 00
XXX: 04.06.2020: 12: 03
00:03:00

Create_test_data.input.pset
XXX: 04.06.2020: 12: 03
XXX: 04.06.2020: 12: 03
00:00:26

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
XXX: 04.06.2020: 12: 03
XXX: 04.06.2020: 12: 06
00:02:57

6 മിനിറ്റിനുള്ളിൽ 000 ഇൻക്രിമെന്റ് ലൈനുകൾ പ്രോസസ്സ് ചെയ്യുന്നത് ഞങ്ങൾ കാണുന്നു, ഇത് വളരെ വേഗതയുള്ളതാണ്.
ടാർഗെറ്റ് ടേബിളിലെ ഡാറ്റ ഇനിപ്പറയുന്ന രീതിയിൽ വിതരണം ചെയ്തു:

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

ഗ്രാഫുകൾ സമാരംഭിച്ച സമയങ്ങളിലേക്കുള്ള തിരുകിയ ഡാറ്റയുടെ കത്തിടപാടുകൾ നിങ്ങൾക്ക് കാണാൻ കഴിയും.
ഇതിനർത്ഥം, നിങ്ങൾക്ക് വളരെ ഉയർന്ന ഫ്രീക്വൻസിയിൽ Ab Initio-ലെ GreenPlum-ലേക്ക് ഡാറ്റ വർദ്ധിപ്പിച്ച് ലോഡുചെയ്യുന്നത് പ്രവർത്തിപ്പിക്കാനും ഗ്രീൻപ്ലമിലേക്ക് ഈ ഡാറ്റ ചേർക്കുന്നതിന്റെ ഉയർന്ന വേഗത നിരീക്ഷിക്കാനും കഴിയും. തീർച്ചയായും, ഒരു സെക്കൻഡിൽ ഒരിക്കൽ സമാരംഭിക്കുന്നത് സാധ്യമല്ല, കാരണം ഏതൊരു ETL ടൂളിനെയും പോലെ Ab Initio, സമാരംഭിക്കുമ്പോൾ "സ്റ്റാർട്ട് അപ്പ്" ചെയ്യാൻ സമയം ആവശ്യപ്പെടുന്നു.

തീരുമാനം

ഒരു ഏകീകൃത സെമാന്റിക് ഡാറ്റാ ലെയർ (ഇഎസ്എസ്) നിർമ്മിക്കാൻ അബ് ഇനിഷ്യോ നിലവിൽ സ്ബർബാങ്കിൽ ഉപയോഗിക്കുന്നു. വിവിധ ബാങ്കിംഗ് ബിസിനസ് സ്ഥാപനങ്ങളുടെ അവസ്ഥയുടെ ഏകീകൃത പതിപ്പ് നിർമ്മിക്കുന്നത് ഈ പദ്ധതിയിൽ ഉൾപ്പെടുന്നു. വിവിധ സ്രോതസ്സുകളിൽ നിന്നാണ് വിവരങ്ങൾ ലഭിക്കുന്നത്, അതിന്റെ പകർപ്പുകൾ ഹഡൂപ്പിൽ തയ്യാറാക്കിയിട്ടുണ്ട്. ബിസിനസ്സ് ആവശ്യങ്ങളെ അടിസ്ഥാനമാക്കി, ഒരു ഡാറ്റ മോഡൽ തയ്യാറാക്കുകയും ഡാറ്റ പരിവർത്തനങ്ങൾ വിവരിക്കുകയും ചെയ്യുന്നു. Ab Initio ESN-ലേക്ക് വിവരങ്ങൾ ലോഡ് ചെയ്യുന്നു, ഡൗൺലോഡ് ചെയ്‌ത ഡാറ്റ ബിസിനസിന് താൽപ്പര്യം മാത്രമല്ല, ഡാറ്റാ മാർട്ടുകൾ നിർമ്മിക്കുന്നതിനുള്ള ഒരു ഉറവിടമായും വർത്തിക്കുന്നു. അതേ സമയം, ഉൽപ്പന്നത്തിന്റെ പ്രവർത്തനം ഒരു റിസീവറായി (ഹൈവ്, ഗ്രീൻപ്ലം, ടെറാഡാറ്റ, ഒറാക്കിൾ) വിവിധ സിസ്റ്റങ്ങൾ ഉപയോഗിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു, ഇത് ഒരു ബിസിനസ്സിന് ആവശ്യമായ വിവിധ ഫോർമാറ്റുകളിൽ ഡാറ്റ എളുപ്പത്തിൽ തയ്യാറാക്കുന്നത് സാധ്യമാക്കുന്നു.

Ab Initio യുടെ കഴിവുകൾ വിശാലമാണ്; ഉദാഹരണത്തിന്, ഉൾപ്പെടുത്തിയിരിക്കുന്ന MDW ചട്ടക്കൂട്, സാങ്കേതികവും ബിസിനസ്സ് ചരിത്രപരവുമായ ഡാറ്റ ബോക്സിൽ നിന്ന് നിർമ്മിക്കുന്നത് സാധ്യമാക്കുന്നു. ഡവലപ്പർമാർക്ക്, Ab Initio ചക്രം പുനർനിർമ്മിക്കുകയല്ല, മറിച്ച് നിലവിലുള്ള നിരവധി ഫംഗ്ഷണൽ ഘടകങ്ങൾ ഉപയോഗിക്കുന്നതിന് സാധ്യമാക്കുന്നു, അവ ഡാറ്റയുമായി പ്രവർത്തിക്കുമ്പോൾ ആവശ്യമായ ലൈബ്രറികളാണ്.

രചയിതാവ് Sberbank SberProfi DWH/BigData-യുടെ പ്രൊഫഷണൽ കമ്മ്യൂണിറ്റിയിലെ വിദഗ്ദ്ധനാണ്. ഹഡൂപ്പ് ഇക്കോസിസ്റ്റം, ടെറാഡാറ്റ, ഒറാക്കിൾ ഡിബി, ഗ്രീൻപ്ലം, കൂടാതെ ബിഐ ടൂളുകൾ ക്ലിക്ക്, എസ്എപി ബിഒ, ടേബിൾ മുതലായ മേഖലകളിൽ കഴിവുകൾ വികസിപ്പിക്കുന്നതിന് SberProfi DWH/BigData പ്രൊഫഷണൽ കമ്മ്യൂണിറ്റി ഉത്തരവാദികളാണ്.

അവലംബം: www.habr.com