വളരെ കാര്യക്ഷമവും ചെലവുകുറഞ്ഞതുമായ ഒരു DataLake ഞങ്ങൾ എങ്ങനെയാണ് സംഘടിപ്പിച്ചത്, എന്തുകൊണ്ട് ഇത് അങ്ങനെയാണ്

നിങ്ങൾക്ക് നിരവധി റെഡിമെയ്ഡ് ഓപ്പൺ സോഴ്‌സ് ടൂളുകൾ വേഗത്തിലും എളുപ്പത്തിലും കണക്റ്റുചെയ്യാനും, "ഒന്നിലധികം അക്ഷരങ്ങൾ" പരിശോധിക്കാതെ, സ്റ്റാക്ക്ഓവർഫ്ലോയുടെ ഉപദേശം അനുസരിച്ച് നിങ്ങളുടെ "ബോധം ഓഫാക്കി" സജ്ജീകരിക്കാനും സമാരംഭിക്കാനും കഴിയുന്ന ഒരു അത്ഭുതകരമായ സമയത്താണ് ഞങ്ങൾ ജീവിക്കുന്നത്. അവ വാണിജ്യ പ്രവർത്തനത്തിലേക്ക്. നിങ്ങൾക്ക് അപ്‌ഡേറ്റ്/വിപുലീകരിക്കേണ്ടിവരുമ്പോൾ അല്ലെങ്കിൽ ആരെങ്കിലും അബദ്ധത്തിൽ രണ്ട് മെഷീനുകൾ റീബൂട്ട് ചെയ്യുമ്പോൾ - യഥാർത്ഥത്തിൽ ഒരുതരം ഭ്രാന്തമായ മോശം സ്വപ്നം ആരംഭിച്ചുവെന്ന് നിങ്ങൾ മനസ്സിലാക്കുന്നു, എല്ലാം പെട്ടെന്ന് തിരിച്ചറിയാൻ കഴിയാത്തവിധം സങ്കീർണ്ണമായിത്തീർന്നു, പിന്നോട്ട് പോകേണ്ടതില്ല, ഭാവി അവ്യക്തമാണ്. പ്രോഗ്രാമിംഗിന് പകരം സുരക്ഷിതവും, തേനീച്ചകളെ വളർത്തുകയും ചീസ് ഉണ്ടാക്കുകയും ചെയ്യുക.

കൂടുതൽ പരിചയസമ്പന്നരായ സഹപ്രവർത്തകർ, അവരുടെ തലയിൽ ബഗുകൾ ചിതറിക്കിടക്കുന്നതിനാൽ ഇതിനകം ചാരനിറത്തിലുള്ള, ബിൽറ്റ്-ഇൻ പിന്തുണയോടെ "ഫാഷനബിൾ ഭാഷകളിൽ" ഡസൻ കണക്കിന് സെർവറുകളിൽ "ക്യൂബുകളിൽ" "കണ്ടെയ്‌നറുകൾ" പായ്ക്കുകൾ അവിശ്വസനീയമാംവിധം വേഗത്തിൽ വിന്യാസം ചെയ്യുന്നതിനെക്കുറിച്ച് ആലോചിക്കുന്നത് വെറുതെയല്ല. അസിൻക്രണസ് നോൺ-ബ്ലോക്കിംഗ് I/O, എളിമയോടെ പുഞ്ചിരി . അവർ നിശബ്ദമായി "man ps" വീണ്ടും വായിക്കുന്നത് തുടരുന്നു, അവരുടെ കണ്ണുകൾ ചോരുന്നത് വരെ "nginx" സോഴ്‌സ് കോഡിലേക്ക് ആഴ്ന്നിറങ്ങി, യൂണിറ്റ് ടെസ്റ്റുകൾ എഴുതുക, എഴുതുക, എഴുതുക. പുതുവത്സര രാവിൽ ഒരു ദിവസം "ഇതെല്ലാം" രാത്രിയിൽ നിക്ഷേപിക്കുമ്പോൾ ഏറ്റവും രസകരമായ കാര്യം വരുമെന്ന് സഹപ്രവർത്തകർക്ക് അറിയാം. കൂടാതെ, unix-ന്റെ സ്വഭാവം, മനഃപാഠമാക്കിയ TCP/IP സ്റ്റേറ്റ് ടേബിൾ, അടിസ്ഥാന സോർട്ടിംഗ്-സെർച്ച് അൽഗോരിതങ്ങൾ എന്നിവയെക്കുറിച്ചുള്ള ആഴത്തിലുള്ള ധാരണ മാത്രമേ അവരെ സഹായിക്കൂ. മണിനാദങ്ങൾ അടിക്കുമ്പോൾ സിസ്റ്റത്തെ ജീവസുറ്റതാക്കാൻ.

അതെ, ഞാൻ അൽപ്പം ശ്രദ്ധ തെറ്റി, പക്ഷേ പ്രതീക്ഷയുടെ അവസ്ഥ അറിയിക്കാൻ എനിക്ക് കഴിഞ്ഞുവെന്ന് ഞാൻ പ്രതീക്ഷിക്കുന്നു.
തികച്ചും വ്യത്യസ്തമായ ഘടനാപരമായ ഡിവിഷനുകൾക്കായി കമ്പനിയിലെ ഭൂരിഭാഗം അനലിറ്റിക്കൽ ജോലികളും പരിഹരിക്കുന്ന DataLake-നായി സൗകര്യപ്രദവും ചെലവുകുറഞ്ഞതുമായ ഒരു സ്റ്റാക്ക് വിന്യസിക്കുന്നതിലെ ഞങ്ങളുടെ അനുഭവം ഇന്ന് ഞാൻ പങ്കിടാൻ ആഗ്രഹിക്കുന്നു.

കുറച്ച് കാലം മുമ്പ്, കമ്പനികൾക്ക് ഉൽപ്പന്നത്തിന്റെയും സാങ്കേതിക വിശകലനത്തിന്റെയും ഫലങ്ങൾ കൂടുതലായി ആവശ്യമാണെന്ന് ഞങ്ങൾ മനസ്സിലാക്കി (മെഷീൻ ലേണിംഗ് രൂപത്തിൽ കേക്കിലെ ഐസിംഗിനെക്കുറിച്ച് പരാമർശിക്കേണ്ടതില്ല) ട്രെൻഡുകളും അപകടസാധ്യതകളും മനസിലാക്കാൻ - ഞങ്ങൾ ശേഖരിക്കുകയും വിശകലനം ചെയ്യുകയും വേണം. കൂടുതൽ കൂടുതൽ അളവുകൾ.

Bitrix24-ലെ അടിസ്ഥാന സാങ്കേതിക വിശകലനങ്ങൾ

കുറച്ച് വർഷങ്ങൾക്ക് മുമ്പ്, Bitrix24 സേവനത്തിന്റെ സമാരംഭത്തിനൊപ്പം, ഇൻഫ്രാസ്ട്രക്ചറിലെ പ്രശ്നങ്ങൾ വേഗത്തിൽ കാണാനും അടുത്ത ഘട്ടം ആസൂത്രണം ചെയ്യാനും സഹായിക്കുന്ന ലളിതവും വിശ്വസനീയവുമായ ഒരു വിശകലന പ്ലാറ്റ്ഫോം സൃഷ്ടിക്കുന്നതിന് ഞങ്ങൾ സമയവും വിഭവങ്ങളും സജീവമായി നിക്ഷേപിച്ചു. തീർച്ചയായും, കഴിയുന്നത്ര ലളിതവും മനസ്സിലാക്കാവുന്നതുമായ റെഡിമെയ്ഡ് ഉപകരണങ്ങൾ എടുക്കുന്നത് ഉചിതമാണ്. തൽഫലമായി, നിരീക്ഷണത്തിനായി നാഗിയോസും അനലിറ്റിക്‌സിനും ദൃശ്യവൽക്കരണത്തിനും മുനിനും തിരഞ്ഞെടുക്കപ്പെട്ടു. ഇപ്പോൾ ഞങ്ങൾക്ക് നാഗിയോകളിൽ ആയിരക്കണക്കിന് ചെക്കുകൾ ഉണ്ട്, മുനിനിൽ നൂറുകണക്കിന് ചാർട്ടുകൾ ഉണ്ട്, ഞങ്ങളുടെ സഹപ്രവർത്തകർ അവ എല്ലാ ദിവസവും വിജയകരമായി ഉപയോഗിക്കുന്നു. അളവുകൾ വ്യക്തമാണ്, ഗ്രാഫുകൾ വ്യക്തമാണ്, സിസ്റ്റം നിരവധി വർഷങ്ങളായി വിശ്വസനീയമായി പ്രവർത്തിക്കുന്നു, പുതിയ ടെസ്റ്റുകളും ഗ്രാഫുകളും പതിവായി അതിൽ ചേർക്കുന്നു: ഞങ്ങൾ ഒരു പുതിയ സേവനം പ്രവർത്തനക്ഷമമാക്കുമ്പോൾ, ഞങ്ങൾ നിരവധി ടെസ്റ്റുകളും ഗ്രാഫുകളും ചേർക്കുന്നു. നല്ലതുവരട്ടെ.

പൾസിലെ വിരൽ - അഡ്വാൻസ്ഡ് ടെക്നിക്കൽ അനലിറ്റിക്സ്

"എത്രയും വേഗത്തിൽ" പ്രശ്നങ്ങളെക്കുറിച്ചുള്ള വിവരങ്ങൾ ലഭിക്കാനുള്ള ആഗ്രഹം ലളിതവും മനസ്സിലാക്കാവുന്നതുമായ ഉപകരണങ്ങൾ ഉപയോഗിച്ച് സജീവമായ പരീക്ഷണങ്ങളിലേക്ക് ഞങ്ങളെ നയിച്ചു - pinba, xhprof.

PHP-യിലെ വെബ് പേജുകളുടെ ഭാഗങ്ങളുടെ പ്രവർത്തന വേഗതയെക്കുറിച്ചുള്ള സ്ഥിതിവിവരക്കണക്കുകൾ Pinba ഞങ്ങൾക്ക് UDP പാക്കറ്റുകളിൽ അയച്ചു, കൂടാതെ MySQL സ്റ്റോറേജിൽ ഓൺലൈനായി നമുക്ക് കാണാൻ കഴിയും (വേഗതയുള്ള ഇവന്റ് അനലിറ്റിക്‌സിനായി Pinba അതിന്റേതായ MySQL എഞ്ചിനുമായി വരുന്നു) പ്രശ്‌നങ്ങളുടെ ഒരു ചെറിയ ലിസ്റ്റ് കാണുകയും പ്രതികരിക്കുകയും ചെയ്യുന്നു. അവരെ. കൂടാതെ, ക്ലയന്റുകളിൽ നിന്ന് വേഗത കുറഞ്ഞ പി‌എച്ച്പി പേജുകളുടെ നിർവ്വഹണത്തിന്റെ ഗ്രാഫുകൾ ശേഖരിക്കാനും ഇതിലേക്ക് നയിച്ചേക്കാവുന്ന കാര്യങ്ങൾ വിശകലനം ചെയ്യാനും xhprof യാന്ത്രികമായി ഞങ്ങളെ അനുവദിച്ചു - ശാന്തമായി, ചായ അല്ലെങ്കിൽ ശക്തമായ എന്തെങ്കിലും ഒഴിക്കുക.

കുറച്ച് കാലം മുമ്പ്, ടൂൾകിറ്റ് റിവേഴ്സ് ഇൻഡെക്സിംഗ് അൽഗോരിതം അടിസ്ഥാനമാക്കി വളരെ ലളിതവും മനസ്സിലാക്കാവുന്നതുമായ മറ്റൊരു എഞ്ചിൻ ഉപയോഗിച്ച് നിറച്ചു, ഐതിഹാസികമായ ലുസീൻ ലൈബ്രറിയിൽ - ഇലാസ്റ്റിക്/കിബാനയിൽ അത് നന്നായി നടപ്പിലാക്കി. ലോഗുകളിലെ സംഭവങ്ങളെ അടിസ്ഥാനമാക്കി ഒരു വിപരീത ലൂസീൻ സൂചികയിലേക്ക് ഡോക്യുമെന്റുകളുടെ മൾട്ടി-ത്രെഡ് റെക്കോർഡിംഗ് എന്ന ലളിതമായ ആശയവും മുഖ വിഭജനം ഉപയോഗിച്ച് അവയിലൂടെ ദ്രുത തിരയലും ശരിക്കും ഉപയോഗപ്രദമായി.

"ബക്കറ്റ്" "മുകളിലേക്ക് ഒഴുകുന്നു" പോലെയുള്ള താഴ്ന്ന തലത്തിലുള്ള ആശയങ്ങളും ഇതുവരെ പൂർണ്ണമായും മറന്നിട്ടില്ലാത്ത റിലേഷണൽ ബീജഗണിതത്തിന്റെ പുനർനിർമ്മിച്ച ഭാഷയും ഉള്ള കിബാനയിലെ ദൃശ്യവൽക്കരണത്തിന്റെ സാങ്കേതിക രൂപം ഉണ്ടായിരുന്നിട്ടും, ഉപകരണം ഇനിപ്പറയുന്ന ജോലികളിൽ ഞങ്ങളെ നന്നായി സഹായിക്കാൻ തുടങ്ങി:

• കഴിഞ്ഞ മണിക്കൂറിൽ പി24 പോർട്ടലിൽ Bitrix1 ക്ലയന്റിന് എത്ര PHP പിശകുകൾ ഉണ്ടായിരുന്നു, ഏതൊക്കെ? മനസ്സിലാക്കുക, ക്ഷമിക്കുക, പെട്ടെന്ന് തിരുത്തുക.
• കഴിഞ്ഞ 24 മണിക്കൂറിനുള്ളിൽ ജർമ്മനിയിലെ പോർട്ടലുകളിൽ എത്ര വീഡിയോ കോളുകൾ ചെയ്തു, ഏത് ഗുണനിലവാരത്തോടെയാണ് ചാനൽ/നെറ്റ്‌വർക്കിൽ എന്തെങ്കിലും ബുദ്ധിമുട്ടുകൾ ഉണ്ടായത്?
• ഏറ്റവും പുതിയ സേവന അപ്‌ഡേറ്റിലെ ഉറവിടത്തിൽ നിന്ന് സമാഹരിച്ച് ക്ലയന്റുകൾക്ക് ലഭ്യമാക്കിയിട്ടുള്ള സിസ്റ്റം പ്രവർത്തനക്ഷമത (PHP-യ്‌ക്കുള്ള ഞങ്ങളുടെ C വിപുലീകരണം) എത്രത്തോളം നന്നായി പ്രവർത്തിക്കുന്നു? സെഗ്ഫാൾട്ടുകൾ ഉണ്ടോ?
• ഉപഭോക്തൃ ഡാറ്റ PHP മെമ്മറിയിൽ ചേരുമോ? പ്രോസസ്സുകൾക്ക് അനുവദിച്ച മെമ്മറി കവിയുന്നതിൽ എന്തെങ്കിലും പിശകുകൾ ഉണ്ടോ: "ഓഫ് ഓഫ് മെമ്മറി"? കണ്ടെത്തി നിർവീര്യമാക്കുക.

ഒരു മൂർത്തമായ ഉദാഹരണം ഇതാ. സമഗ്രവും മൾട്ടി-ലെവൽ പരിശോധനയും ഉണ്ടായിരുന്നിട്ടും, വളരെ നിലവാരമില്ലാത്ത കേസും കേടായ ഇൻപുട്ട് ഡാറ്റയുമുള്ള ക്ലയന്റിന് ശല്യപ്പെടുത്തുന്നതും അപ്രതീക്ഷിതവുമായ ഒരു പിശക് ലഭിച്ചു, ഒരു സൈറൺ മുഴങ്ങി, അത് വേഗത്തിൽ പരിഹരിക്കാനുള്ള പ്രക്രിയ ആരംഭിച്ചു:

കൂടാതെ, നിർദ്ദിഷ്ട ഇവന്റുകൾക്കായി അറിയിപ്പുകൾ സംഘടിപ്പിക്കാൻ കിബാന നിങ്ങളെ അനുവദിക്കുന്നു, ചുരുങ്ങിയ സമയത്തിനുള്ളിൽ കമ്പനിയിലെ ഉപകരണം വിവിധ വകുപ്പുകളിൽ നിന്നുള്ള ഡസൻ കണക്കിന് ജീവനക്കാർ ഉപയോഗിക്കാൻ തുടങ്ങി - സാങ്കേതിക പിന്തുണയും വികസനവും മുതൽ QA വരെ.

കമ്പനിക്കുള്ളിലെ ഏത് വകുപ്പിന്റെയും പ്രവർത്തനം ട്രാക്ക് ചെയ്യാനും അളക്കാനും സൗകര്യപ്രദമാണ് - സെർവറുകളിലെ ലോഗുകൾ സ്വമേധയാ വിശകലനം ചെയ്യുന്നതിനുപകരം, നിങ്ങൾ ഒരു തവണ പാഴ്‌സിംഗ് ലോഗുകൾ സജ്ജീകരിച്ച് ആസ്വദിക്കാൻ ഇലാസ്റ്റിക് ക്ലസ്റ്ററിലേക്ക് അയയ്ക്കേണ്ടതുണ്ട്, ഉദാഹരണത്തിന്, കിബാനയിൽ ചിന്തിക്കുക. കഴിഞ്ഞ ചാന്ദ്ര മാസത്തിൽ 3-ഡി പ്രിന്ററിൽ പ്രിന്റ് ചെയ്‌ത രണ്ട് തലയുള്ള പൂച്ചക്കുട്ടികളുടെ എണ്ണം ഡാഷ്‌ബോർഡ്.

അടിസ്ഥാന ബിസിനസ്സ് അനലിറ്റിക്സ്

കമ്പനികളിലെ ബിസിനസ്സ് അനലിറ്റിക്‌സ് ആരംഭിക്കുന്നത്, അതെ, Excel ന്റെ വളരെ സജീവമായ ഉപയോഗത്തിലൂടെയാണെന്ന് എല്ലാവർക്കും അറിയാം. എന്നാൽ പ്രധാന കാര്യം അത് അവിടെ അവസാനിക്കുന്നില്ല എന്നതാണ്. ക്ലൗഡ് അധിഷ്‌ഠിത ഗൂഗിൾ അനലിറ്റിക്‌സും തീയ്‌ക്ക് ഇന്ധനം ചേർക്കുന്നു - നിങ്ങൾ വേഗത്തിൽ നല്ല കാര്യങ്ങളുമായി പൊരുത്തപ്പെടാൻ തുടങ്ങുന്നു.

ഞങ്ങളുടെ യോജിപ്പോടെ വികസിച്ചുകൊണ്ടിരിക്കുന്ന കമ്പനിയിൽ, വലിയ ഡാറ്റയുള്ള കൂടുതൽ തീവ്രമായ പ്രവർത്തനത്തിന്റെ "പ്രവാചകന്മാർ" അവിടെയും ഇവിടെയും പ്രത്യക്ഷപ്പെടാൻ തുടങ്ങി. കൂടുതൽ ആഴത്തിലുള്ളതും ബഹുമുഖവുമായ റിപ്പോർട്ടുകളുടെ ആവശ്യകത പതിവായി പ്രത്യക്ഷപ്പെടാൻ തുടങ്ങി, വിവിധ വകുപ്പുകളിൽ നിന്നുള്ള ആളുകളുടെ പരിശ്രമത്തിലൂടെ, കുറച്ച് കാലം മുമ്പ് ലളിതവും പ്രായോഗികവുമായ ഒരു പരിഹാരം സംഘടിപ്പിച്ചു - ClickHouse, PowerBI എന്നിവയുടെ സംയോജനം.

വളരെക്കാലമായി, ഈ വഴക്കമുള്ള പരിഹാരം വളരെയധികം സഹായിച്ചു, പക്ഷേ ക്രമേണ ക്ലിക്ക്ഹൗസ് റബ്ബർ അല്ലെന്നും അങ്ങനെ കളിയാക്കാൻ കഴിയില്ലെന്നും മനസ്സിലാക്കാൻ തുടങ്ങി.

ClickHouse, Druid പോലെ, Vertica പോലെ, Amazon RedShift (പോസ്റ്റ്ഗ്രെസിനെ അടിസ്ഥാനമാക്കിയുള്ളത്) പോലെയുള്ള, വളരെ സൗകര്യപ്രദമായ അനലിറ്റിക്സ് (തുകകൾ, അഗ്രഗേഷനുകൾ, ഏറ്റവും കുറഞ്ഞ-പരമാവധി കോളം, സാധ്യമായ ചില ചേരലുകൾ എന്നിവയ്ക്കായി ഒപ്റ്റിമൈസ് ചെയ്ത അനലിറ്റിക്കൽ എഞ്ചിനുകളാണെന്ന് ഇവിടെ നന്നായി മനസ്സിലാക്കേണ്ടത് പ്രധാനമാണ്. ), കാരണം MySQL-ൽ നിന്ന് വ്യത്യസ്തമായി, ഞങ്ങൾക്ക് അറിയാവുന്ന മറ്റ് (റോ-ഓറിയന്റഡ്) ഡാറ്റാബേസുകളിൽ നിന്ന് വ്യത്യസ്തമായി, റിലേഷണൽ ടേബിളുകളുടെ നിരകളുടെ കാര്യക്ഷമമായ സംഭരണത്തിനായി സംഘടിപ്പിച്ചിരിക്കുന്നു.

ചുരുക്കത്തിൽ, ClickHouse എന്നത് വളരെ സൗകര്യപ്രദമായ പോയിന്റ്-ബൈ-പോയിന്റ് ഉൾപ്പെടുത്തലുകളില്ലാത്ത ഒരു കൂടുതൽ ശേഷിയുള്ള "ഡാറ്റാബേസ്" മാത്രമാണ് (അങ്ങനെയാണ് ഇത് ഉദ്ദേശിക്കുന്നത്, എല്ലാം ശരിയാണ്), എന്നാൽ മനോഹരമായ അനലിറ്റിക്‌സും ഡാറ്റയ്‌ക്കൊപ്പം പ്രവർത്തിക്കുന്നതിനുള്ള രസകരമായ ഒരു കൂട്ടം ശക്തമായ പ്രവർത്തനങ്ങളും. അതെ, നിങ്ങൾക്ക് ഒരു ക്ലസ്റ്റർ പോലും സൃഷ്ടിക്കാൻ കഴിയും - എന്നാൽ മൈക്രോസ്കോപ്പ് ഉപയോഗിച്ച് നഖങ്ങൾ ചുറ്റിക്കറങ്ങുന്നത് പൂർണ്ണമായും ശരിയല്ലെന്ന് നിങ്ങൾ മനസ്സിലാക്കുന്നു, ഞങ്ങൾ മറ്റ് പരിഹാരങ്ങൾക്കായി തിരയാൻ തുടങ്ങി.

പൈത്തണിനും അനലിസ്റ്റുകൾക്കുമുള്ള ആവശ്യം

PHP, JavaScript, C#, C/C++, Java, Go, Rust, Python, Bash എന്നിവയിൽ 10-20 വർഷത്തേക്ക് മിക്കവാറും എല്ലാ ദിവസവും കോഡ് എഴുതുന്ന നിരവധി ഡവലപ്പർമാർ ഞങ്ങളുടെ കമ്പനിയിലുണ്ട്. സ്ഥിതിവിവരക്കണക്കുകളുടെ നിയമങ്ങളുമായി പൊരുത്തപ്പെടാത്ത ഒന്നിലധികം അവിശ്വസനീയമായ ദുരന്തങ്ങൾ അനുഭവിച്ച പരിചയസമ്പന്നരായ നിരവധി സിസ്റ്റം അഡ്മിനിസ്ട്രേറ്റർമാരുണ്ട് (ഉദാഹരണത്തിന്, ഒരു റെയ്ഡ് -10 ലെ ഭൂരിഭാഗം ഡിസ്കുകളും ശക്തമായ മിന്നലാക്രമണത്താൽ നശിപ്പിക്കപ്പെടുമ്പോൾ). അത്തരം സാഹചര്യങ്ങളിൽ, "പൈത്തൺ അനലിസ്റ്റ്" എന്താണെന്ന് വളരെക്കാലമായി വ്യക്തമല്ല. പൈത്തൺ PHP പോലെയാണ്, പേര് മാത്രം അൽപ്പം നീളമുള്ളതാണ്, വ്യാഖ്യാതാവിന്റെ സോഴ്‌സ് കോഡിൽ മനസ്സിനെ മാറ്റിമറിക്കുന്ന പദാർത്ഥങ്ങളുടെ അംശങ്ങൾ കുറവാണ്. എന്നിരുന്നാലും, കൂടുതൽ കൂടുതൽ വിശകലന റിപ്പോർട്ടുകൾ സൃഷ്ടിക്കപ്പെട്ടതിനാൽ, പരിചയസമ്പന്നരായ ഡെവലപ്പർമാർ numpy, pandas, matplotlib, seaborn തുടങ്ങിയ ഉപകരണങ്ങളിൽ ഇടുങ്ങിയ സ്പെഷ്യലൈസേഷന്റെ പ്രാധാന്യം കൂടുതലായി മനസ്സിലാക്കാൻ തുടങ്ങി.
“ലോജിസ്റ്റിക് റിഗ്രഷൻ” എന്ന പദങ്ങളുടെ സംയോജനത്തിൽ നിന്ന് ജീവനക്കാരുടെ പെട്ടെന്നുള്ള ബോധക്ഷയവും അതെ, അതെ, പിസ്പാർക്ക് ഉപയോഗിച്ച് വലിയ ഡാറ്റയെക്കുറിച്ചുള്ള ഫലപ്രദമായ റിപ്പോർട്ടിംഗിന്റെ പ്രകടനവുമാണ് നിർണായക പങ്ക് വഹിച്ചത്.

അപ്പാച്ചെ സ്പാർക്ക്, റിലേഷണൽ ബീജഗണിതം തികച്ചും യോജിക്കുന്ന അതിന്റെ പ്രവർത്തന മാതൃകയും അതിന്റെ കഴിവുകളും MySQL ലേക്ക് പരിചിതരായ ഡെവലപ്പർമാരിൽ അത്തരമൊരു മതിപ്പ് സൃഷ്ടിച്ചു, പരിചയസമ്പന്നരായ വിശകലന വിദഗ്ധരെ ഉപയോഗിച്ച് റാങ്കുകൾ ശക്തിപ്പെടുത്തേണ്ടതിന്റെ ആവശ്യകത പകൽ പോലെ വ്യക്തമായി.

അപ്പാച്ചെ സ്പാർക്ക്/ഹഡൂപ്പിന്റെ തുടർ ശ്രമങ്ങളും സ്ക്രിപ്റ്റ് അനുസരിച്ച് നടന്നില്ല

എന്നിരുന്നാലും, സ്പാർക്കുമായി എന്തെങ്കിലും വ്യവസ്ഥാപിതമായി ശരിയല്ലെന്ന് പെട്ടെന്നുതന്നെ വ്യക്തമായി, അല്ലെങ്കിൽ നിങ്ങളുടെ കൈകൾ നന്നായി കഴുകേണ്ടത് ആവശ്യമാണ്. Hadoop/MapReduce/Lucene സ്റ്റാക്ക് നിർമ്മിച്ചത് തികച്ചും പരിചയസമ്പന്നരായ പ്രോഗ്രാമർമാർ ആണെങ്കിൽ, നിങ്ങൾ ജാവയിലെ സോഴ്‌സ് കോഡോ ലൂസീനിലെ ഡഗ് കട്ടിംഗിന്റെ ആശയങ്ങളോ സൂക്ഷ്മമായി പരിശോധിച്ചാൽ വ്യക്തമാകും, സ്പാർക്ക് പെട്ടെന്ന് വിദേശ ഭാഷയായ സ്കാലയിൽ എഴുതിയിരിക്കുന്നു. പ്രായോഗികതയുടെ വീക്ഷണകോണിൽ നിന്ന് വളരെ വിവാദപരമാണ്, നിലവിൽ വികസിച്ചിട്ടില്ല. റിഡ് ഓപ്പറേഷനുകൾക്കുള്ള മെമ്മറി അലോക്കേഷനോടുകൂടിയ യുക്തിരഹിതവും വളരെ സുതാര്യമല്ലാത്തതുമായ ജോലികൾ കാരണം സ്പാർക്ക് ക്ലസ്റ്ററിലെ കണക്കുകൂട്ടലുകളിലെ പതിവ് ഇടിവ് (പല കീകളും ഒരേസമയം എത്തുന്നു) വളരാൻ ഇടമുള്ള ഒന്നിന്റെ ഒരു പ്രഭാവലയം സൃഷ്ടിച്ചു. കൂടാതെ, ധാരാളം വിചിത്രമായ തുറമുഖങ്ങൾ, മനസ്സിലാക്കാൻ കഴിയാത്ത സ്ഥലങ്ങളിൽ വളരുന്ന താൽക്കാലിക ഫയലുകൾ, ജാർ ഡിപൻഡൻസികളുടെ നരകം എന്നിവയാൽ സ്ഥിതി കൂടുതൽ വഷളാക്കി - ഇത് സിസ്റ്റം അഡ്മിനിസ്ട്രേറ്റർക്ക് കുട്ടിക്കാലം മുതൽ അറിയാവുന്ന ഒരു വികാരം ഉണ്ടാക്കി: കടുത്ത വിദ്വേഷം (അല്ലെങ്കിൽ ചിലപ്പോൾ അവർക്ക് സോപ്പ് ഉപയോഗിച്ച് കൈ കഴുകേണ്ടതുണ്ട്).

തൽഫലമായി, Apache Spark (Spark Streaming, Spark SQL എന്നിവയുൾപ്പെടെ) ഹഡൂപ്പ് ഇക്കോസിസ്റ്റം (അങ്ങനെ അങ്ങനെ പലതും) സജീവമായി ഉപയോഗിക്കുന്ന നിരവധി ആന്തരിക വിശകലന പദ്ധതികൾ ഞങ്ങൾ "അതിജീവിച്ചു". കാലക്രമേണ "ഇത്" നന്നായി തയ്യാറാക്കാനും നിരീക്ഷിക്കാനും ഞങ്ങൾ പഠിച്ചു എന്ന വസ്തുത ഉണ്ടായിരുന്നിട്ടും, ഡാറ്റയുടെ സ്വഭാവത്തിലെ മാറ്റങ്ങളും യൂണിഫോം ആർ‌ഡി‌ഡി ഹാഷിംഗിന്റെ അസന്തുലിതാവസ്ഥയും കാരണം “ഇത്” പെട്ടെന്ന് തകരുന്നത് പ്രായോഗികമായി നിർത്തി, ഇതിനകം തയ്യാറായ എന്തെങ്കിലും എടുക്കാനുള്ള ആഗ്രഹം , ക്ലൗഡിൽ എവിടെയോ അപ്‌ഡേറ്റ് ചെയ്‌ത് നിർവഹിച്ചത് കൂടുതൽ ശക്തവും ശക്തവുമായി. ഈ സമയത്താണ് ഞങ്ങൾ ആമസോൺ വെബ് സേവനങ്ങളുടെ റെഡിമെയ്ഡ് ക്ലൗഡ് അസംബ്ലി ഉപയോഗിക്കാൻ ശ്രമിച്ചത് - EMR തുടർന്ന്, അത് ഉപയോഗിച്ച് പ്രശ്നങ്ങൾ പരിഹരിക്കാൻ ശ്രമിച്ചു. Cloudera/Hortonworks ബിൽഡുകൾ പോലെ ആവാസവ്യവസ്ഥയിൽ നിന്നുള്ള അധിക സോഫ്റ്റ്‌വെയർ ഉപയോഗിച്ച് ആമസോൺ തയ്യാറാക്കിയ അപ്പാച്ചെ സ്പാർക്ക് ആണ് EMR.

അനലിറ്റിക്സിനുള്ള റബ്ബർ ഫയൽ സംഭരണം അടിയന്തിര ആവശ്യമാണ്

ശരീരത്തിന്റെ വിവിധ ഭാഗങ്ങളിൽ പൊള്ളലേറ്റ ഹഡൂപ്പ്/സ്പാർക്ക് "പാചകം" ചെയ്ത അനുഭവം വെറുതെയായില്ല. ഹാർഡ്‌വെയർ പരാജയങ്ങളെ പ്രതിരോധിക്കുന്നതും, വിവിധ സിസ്റ്റങ്ങളിൽ നിന്ന് വ്യത്യസ്ത ഫോർമാറ്റുകളിൽ ഫയലുകൾ സംഭരിക്കുന്നതും ഈ ഡാറ്റയിൽ നിന്നുള്ള റിപ്പോർട്ടുകൾക്കായി കാര്യക്ഷമവും സമയക്ഷമതയുള്ളതുമായ സാമ്പിളുകൾ നിർമ്മിക്കാൻ കഴിയുന്നതുമായ, ചെലവുകുറഞ്ഞതും വിശ്വസനീയവുമായ ഒരു ഫയൽ സംഭരണം സൃഷ്ടിക്കേണ്ടതിന്റെ ആവശ്യകത വർദ്ധിച്ചുവരികയാണ്. വ്യക്തമായ.

ഈ പ്ലാറ്റ്‌ഫോമിന്റെ സോഫ്‌റ്റ്‌വെയർ അപ്‌ഡേറ്റ് ചെയ്യുന്നത് 20 പേജുള്ള ജാവ ട്രെയ്‌സുകൾ വായിക്കുകയും സ്‌പാർക്ക് ഹിസ്റ്ററി സെർവറും ബാക്ക്‌ലൈറ്റ് മാഗ്‌നിഫൈയിംഗ് ഗ്ലാസും ഉപയോഗിച്ച് ക്ലസ്റ്ററിന്റെ കിലോമീറ്റർ നീളമുള്ള വിശദമായ ലോഗുകൾ വിശകലനം ചെയ്യുകയും ചെയ്യുന്ന ഒരു പുതുവർഷ പേടിസ്വപ്‌നമായി മാറരുതെന്നും ഞാൻ ആഗ്രഹിച്ചു. നന്നായി തിരഞ്ഞെടുക്കാത്ത സോഴ്‌സ് ഡാറ്റ പാർട്ടീഷനിംഗ് അൽഗോരിതം കാരണം റിഡ്‌ഡ് ഡാറ്റ വർക്കർ മെമ്മറിയിൽ നിന്ന് വീഴുമ്പോൾ ഡെവലപ്പറുടെ സ്റ്റാൻഡേർഡ് മാപ്പ് റിഡ്യൂസ് അഭ്യർത്ഥന എക്‌സിക്യൂട്ട് ചെയ്യുന്നത് നിർത്തിയാൽ, പതിവ് ഡൈവിംഗ് ആവശ്യമില്ലാത്ത ലളിതവും സുതാര്യവുമായ ഒരു ടൂൾ വേണമെന്ന് ഞാൻ ആഗ്രഹിച്ചു.

ആമസോൺ എസ് 3 ഡാറ്റലേക്കിന്റെ സ്ഥാനാർത്ഥിയാണോ?

ഹഡൂപ്പ്/മാപ്പ് റിഡ്യൂസ് ഉപയോഗിച്ചുള്ള അനുഭവം, ഞങ്ങൾക്ക് സ്കേലബിൾ, വിശ്വസനീയമായ ഫയൽ സിസ്റ്റവും അതിന് മുകളിലുള്ള സ്കേലബിൾ വർക്കേഴ്‌സും ആവശ്യമാണെന്ന് ഞങ്ങളെ പഠിപ്പിച്ചു, ഡാറ്റ നെറ്റ്‌വർക്കിലൂടെ ഡ്രൈവ് ചെയ്യാതിരിക്കാൻ ഡാറ്റയോട് അടുത്ത് വരുന്നു. തൊഴിലാളികൾക്ക് വ്യത്യസ്ത ഫോർമാറ്റുകളിൽ ഡാറ്റ വായിക്കാൻ കഴിയണം, എന്നാൽ വെയിലത്ത് ആവശ്യമില്ലാത്ത വിവരങ്ങൾ വായിക്കരുത്, കൂടാതെ തൊഴിലാളികൾക്ക് സൗകര്യപ്രദമായ ഫോർമാറ്റുകളിൽ മുൻകൂട്ടി ഡാറ്റ സംഭരിക്കാൻ കഴിയും.

ഒരിക്കൽ കൂടി, അടിസ്ഥാന ആശയം. ഒരൊറ്റ ക്ലസ്റ്റർ അനലിറ്റിക്കൽ എഞ്ചിനിലേക്ക് വലിയ ഡാറ്റ "പകരാൻ" ആഗ്രഹമില്ല, അത് താമസിയാതെ അല്ലെങ്കിൽ പിന്നീട് ശ്വാസം മുട്ടിക്കും, നിങ്ങൾ അത് വൃത്തികെട്ടതായി തകർക്കേണ്ടിവരും. ഫയലുകൾ, ഫയലുകൾ, മനസ്സിലാക്കാവുന്ന ഫോർമാറ്റിൽ സംഭരിക്കാനും വ്യത്യസ്തവും എന്നാൽ മനസ്സിലാക്കാവുന്നതുമായ ടൂളുകൾ ഉപയോഗിച്ച് അവയിൽ ഫലപ്രദമായ വിശകലന അന്വേഷണങ്ങൾ നടത്താനും ഞാൻ ആഗ്രഹിക്കുന്നു. കൂടാതെ വ്യത്യസ്ത ഫോർമാറ്റുകളിൽ കൂടുതൽ കൂടുതൽ ഫയലുകൾ ഉണ്ടാകും. എഞ്ചിനല്ല, സോഴ്സ് ഡാറ്റ ഷാർഡ് ചെയ്യുന്നതാണ് നല്ലത്. ഞങ്ങൾക്ക് വിപുലീകരിക്കാവുന്നതും സാർവത്രികവുമായ ഒരു DataLake ആവശ്യമാണ്, ഞങ്ങൾ തീരുമാനിച്ചു...

ഹഡൂപ്പിൽ നിന്ന് നിങ്ങളുടെ സ്വന്തം ചോപ്പുകൾ തയ്യാറാക്കാതെ തന്നെ, പരിചിതവും അറിയപ്പെടുന്നതുമായ സ്കേലബിൾ ക്ലൗഡ് സ്റ്റോറേജ് Amazon S3-ൽ ഫയലുകൾ സംഭരിച്ചാലോ?

വ്യക്തിഗത ഡാറ്റ "കുറവ്" ആണെന്ന് വ്യക്തമാണ്, എന്നാൽ ഞങ്ങൾ അത് പുറത്തെടുത്ത് "ഫലപ്രദമായി ഡ്രൈവ് ചെയ്യുകയാണെങ്കിൽ" മറ്റ് ഡാറ്റയുടെ കാര്യമോ?

ആമസോൺ വെബ് സേവനങ്ങളുടെ ക്ലസ്റ്റർ-ബിഗ്ഡാറ്റ-അനലിറ്റിക്സ് ഇക്കോസിസ്റ്റം - വളരെ ലളിതമായ വാക്കുകളിൽ

AWS-നുമായുള്ള ഞങ്ങളുടെ അനുഭവം വിലയിരുത്തുമ്പോൾ, Apache Hadoop/MapReduce വിവിധ സോസുകൾക്ക് കീഴിൽ വളരെക്കാലമായി അവിടെ സജീവമായി ഉപയോഗിച്ചുവരുന്നു, ഉദാഹരണത്തിന് DataPipeline സേവനത്തിൽ (എന്റെ സഹപ്രവർത്തകരോട് എനിക്ക് അസൂയ തോന്നുന്നു, അവർ അത് എങ്ങനെ ശരിയായി തയ്യാറാക്കണമെന്ന് പഠിച്ചു). DynamoDB പട്ടികകളിൽ നിന്നുള്ള വ്യത്യസ്ത സേവനങ്ങളിൽ നിന്നുള്ള ബാക്കപ്പുകൾ ഞങ്ങൾ ഇവിടെ സജ്ജീകരിക്കുന്നു:


ക്ലോക്ക് വർക്ക് പോലുള്ള എംബഡഡ് ഹഡൂപ്പ്/മാപ്പ് റിഡ്യൂസ് ക്ലസ്റ്ററുകളിൽ അവ ഇപ്പോൾ വർഷങ്ങളായി പതിവായി പ്രവർത്തിക്കുന്നു. “ഇത് സജ്ജമാക്കി മറക്കുക”:

വിശകലന വിദഗ്ധർക്കായി ക്ലൗഡിൽ ജൂപ്പിറ്റർ ലാപ്‌ടോപ്പുകൾ സജ്ജീകരിക്കുന്നതിലൂടെയും AI മോഡലുകളെ പരിശീലിപ്പിക്കുന്നതിനും യുദ്ധത്തിലേക്ക് വിന്യസിപ്പിക്കുന്നതിനും AWS സേജ് മേക്കർ സേവനം ഉപയോഗിക്കുന്നതിലൂടെയും നിങ്ങൾക്ക് ഡാറ്റാ പൈശാചികതയിൽ ഫലപ്രദമായി ഏർപ്പെടാം. ഞങ്ങൾക്ക് ഇത് എങ്ങനെ കാണപ്പെടുന്നുവെന്നത് ഇതാ:

അതെ, നിങ്ങൾക്ക് നിങ്ങൾക്കൊരു ലാപ്‌ടോപ്പ് അല്ലെങ്കിൽ ക്ലൗഡിലെ ഒരു അനലിസ്റ്റ് എടുത്ത് ഒരു ഹഡൂപ്പ്/സ്പാർക്ക് ക്ലസ്റ്ററിലേക്ക് അറ്റാച്ചുചെയ്യാം, കണക്കുകൂട്ടലുകൾ നടത്തുക, തുടർന്ന് എല്ലാം ശരിയാക്കുക:

വ്യക്തിഗത അനലിറ്റിക്കൽ പ്രോജക്റ്റുകൾക്ക് ശരിക്കും സൗകര്യപ്രദമാണ്, ചിലർക്ക് വലിയ തോതിലുള്ള കണക്കുകൂട്ടലുകൾക്കും വിശകലനങ്ങൾക്കുമായി ഞങ്ങൾ EMR സേവനം വിജയകരമായി ഉപയോഗിച്ചു. DataLake-നുള്ള ഒരു സിസ്റ്റം സൊല്യൂഷന്റെ കാര്യമോ, അത് പ്രവർത്തിക്കുമോ? ഈ നിമിഷം ഞങ്ങൾ പ്രതീക്ഷയുടെയും നിരാശയുടെയും വക്കിൽ എത്തി തിരച്ചിൽ തുടർന്നു.

AWS ഗ്ലൂ - സ്റ്റിറോയിഡുകളിൽ ഭംഗിയായി പായ്ക്ക് ചെയ്ത അപ്പാച്ചെ സ്പാർക്ക്

AWS-ന് "ഹൈവ് / പിഗ് / സ്പാർക്ക്" സ്റ്റാക്കിന്റെ സ്വന്തം പതിപ്പ് ഉണ്ടെന്ന് മനസ്സിലായി. പുഴയുടെ പങ്ക്, അതായത്. ഡാറ്റാലേക്കിലെ ഫയലുകളുടെയും അവയുടെ തരങ്ങളുടെയും കാറ്റലോഗ് "ഡാറ്റ കാറ്റലോഗ്" സേവനമാണ് നടത്തുന്നത്, അത് അപ്പാച്ചെ ഹൈവ് ഫോർമാറ്റുമായുള്ള അനുയോജ്യത മറയ്ക്കുന്നില്ല. നിങ്ങളുടെ ഫയലുകൾ എവിടെയാണെന്നും അവ ഏത് ഫോർമാറ്റിലാണെന്നും ഈ സേവനത്തിലേക്ക് നിങ്ങൾ വിവരങ്ങൾ ചേർക്കേണ്ടതുണ്ട്. ഡാറ്റ s3-ൽ മാത്രമല്ല, ഡാറ്റാബേസിലും ആകാം, പക്ഷേ അത് ഈ പോസ്റ്റിന്റെ വിഷയമല്ല. ഞങ്ങളുടെ DataLake ഡാറ്റ ഡയറക്‌ടറി എങ്ങനെയാണ് ക്രമീകരിച്ചിരിക്കുന്നതെന്ന് ഇതാ:

ഫയലുകൾ രജിസ്റ്റർ ചെയ്തിട്ടുണ്ട്, കൊള്ളാം. ഫയലുകൾ അപ്‌ഡേറ്റ് ചെയ്‌തിട്ടുണ്ടെങ്കിൽ, ഞങ്ങൾ സ്വമേധയാ അല്ലെങ്കിൽ ഒരു ഷെഡ്യൂളിൽ ക്രാളറുകൾ സമാരംഭിക്കും, അത് തടാകത്തിൽ നിന്ന് അവയെക്കുറിച്ചുള്ള വിവരങ്ങൾ അപ്‌ഡേറ്റ് ചെയ്യുകയും അവയെ സംരക്ഷിക്കുകയും ചെയ്യും. അപ്പോൾ തടാകത്തിൽ നിന്നുള്ള ഡാറ്റ പ്രോസസ്സ് ചെയ്യുകയും ഫലങ്ങൾ എവിടെയെങ്കിലും അപ്‌ലോഡ് ചെയ്യുകയും ചെയ്യാം. ഏറ്റവും ലളിതമായ സാഹചര്യത്തിൽ, ഞങ്ങൾ s3 ലേക്ക് അപ്‌ലോഡ് ചെയ്യുന്നു. ഡാറ്റാ പ്രോസസ്സിംഗ് എവിടെയും ചെയ്യാവുന്നതാണ്, എന്നാൽ AWS Glue API വഴിയുള്ള വിപുലമായ കഴിവുകൾ ഉപയോഗിച്ച് ഒരു Apache Spark ക്ലസ്റ്ററിൽ പ്രോസസ്സിംഗ് കോൺഫിഗർ ചെയ്യാൻ നിർദ്ദേശിക്കുന്നു. വാസ്തവത്തിൽ, നിങ്ങൾക്ക് പൈസ്പാർക്ക് ലൈബ്രറി ഉപയോഗിച്ച് നല്ല പഴയതും പരിചിതവുമായ പൈത്തൺ കോഡ് എടുത്ത് അതിന്റെ നിർവ്വഹണം കുറച്ച് ശേഷിയുള്ള ഒരു ക്ലസ്റ്ററിന്റെ N നോഡുകളിൽ മോണിറ്ററിംഗ് കോൺഫിഗർ ചെയ്യാൻ കഴിയും, ഹഡൂപ്പിന്റെ ധൈര്യത്തിൽ കുഴിച്ചിടാതെയും ഡോക്കർ-മോക്കർ കണ്ടെയ്‌നറുകൾ വലിച്ചിടാതെയും ഡിപൻഡൻസി വൈരുദ്ധ്യങ്ങൾ ഇല്ലാതാക്കുകയും ചെയ്യുന്നു. .

ഒരിക്കൽ കൂടി, ഒരു ലളിതമായ ആശയം. Apache Spark കോൺഫിഗർ ചെയ്യേണ്ട ആവശ്യമില്ല, നിങ്ങൾ pyspark-നായി പൈത്തൺ കോഡ് എഴുതുകയും നിങ്ങളുടെ ഡെസ്ക്ടോപ്പിൽ പ്രാദേശികമായി ഇത് പരിശോധിക്കുകയും തുടർന്ന് ക്ലൗഡിലെ ഒരു വലിയ ക്ലസ്റ്ററിൽ പ്രവർത്തിപ്പിക്കുകയും വേണം, ഉറവിട ഡാറ്റ എവിടെയാണെന്നും ഫലം എവിടെ നൽകണമെന്നും വ്യക്തമാക്കുന്നു. ചിലപ്പോൾ ഇത് ആവശ്യവും ഉപയോഗപ്രദവുമാണ്, ഞങ്ങൾ ഇത് എങ്ങനെ സജ്ജീകരിക്കുന്നു എന്നത് ഇതാ:

അതിനാൽ, s3-ലെ ഡാറ്റ ഉപയോഗിച്ച് നിങ്ങൾക്ക് ഒരു സ്പാർക്ക് ക്ലസ്റ്ററിൽ എന്തെങ്കിലും കണക്കാക്കണമെങ്കിൽ, ഞങ്ങൾ പൈത്തൺ/പൈസ്പാർക്കിൽ കോഡ് എഴുതുകയും അത് പരീക്ഷിക്കുകയും ക്ലൗഡിന് ഭാഗ്യം നൽകുകയും ചെയ്യും.

ഓർക്കസ്ട്രേഷന്റെ കാര്യമോ? ചുമതല വീണു അപ്രത്യക്ഷമായാലോ? അതെ, അപ്പാച്ചെ പിഗ് ശൈലിയിൽ മനോഹരമായ ഒരു പൈപ്പ്ലൈൻ നിർമ്മിക്കാൻ നിർദ്ദേശിക്കപ്പെട്ടിരിക്കുന്നു, ഞങ്ങൾ അവ പരീക്ഷിച്ചു പോലും, എന്നാൽ ഇപ്പോൾ ഞങ്ങൾ PHP, JavaScript എന്നിവയിൽ ഞങ്ങളുടെ ആഴത്തിലുള്ള കസ്റ്റമൈസ്ഡ് ഓർക്കസ്ട്രേഷൻ ഉപയോഗിക്കാൻ തീരുമാനിച്ചു (എനിക്ക് മനസ്സിലായി, കോഗ്നിറ്റീവ് ഡിസോണൻസ് ഉണ്ട്, പക്ഷേ ഇത് പ്രവർത്തിക്കുന്നു. വർഷങ്ങളും പിശകുകളില്ലാതെ).

തടാകത്തിൽ സൂക്ഷിച്ചിരിക്കുന്ന ഫയലുകളുടെ ഫോർമാറ്റ് പ്രകടനത്തിന്റെ താക്കോലാണ്

രണ്ട് പ്രധാന പോയിന്റുകൾ കൂടി മനസ്സിലാക്കേണ്ടത് വളരെ പ്രധാനമാണ്. തടാകത്തിലെ ഫയൽ ഡാറ്റയെക്കുറിച്ചുള്ള ചോദ്യങ്ങൾ കഴിയുന്നത്ര വേഗത്തിൽ നടപ്പിലാക്കുന്നതിനും പുതിയ വിവരങ്ങൾ ചേർക്കുമ്പോൾ പ്രകടനം കുറയാതിരിക്കുന്നതിനും, നിങ്ങൾ ഇനിപ്പറയുന്നവ ചെയ്യണം:

• ഫയലുകളുടെ നിരകൾ വെവ്വേറെ സംഭരിക്കുക (അതിനാൽ കോളങ്ങളിൽ എന്താണെന്ന് മനസിലാക്കാൻ നിങ്ങൾ എല്ലാ വരികളും വായിക്കേണ്ടതില്ല). ഇതിനായി ഞങ്ങൾ കംപ്രഷൻ ഉപയോഗിച്ച് പാർക്കറ്റ് ഫോർമാറ്റ് എടുത്തു
• ഭാഷ, വർഷം, മാസം, ദിവസം, ആഴ്ച എന്നിങ്ങനെയുള്ള ഫോൾഡറുകളിലേക്ക് ഫയലുകൾ ഷാർഡ് ചെയ്യുന്നത് വളരെ പ്രധാനമാണ്. ഇത്തരത്തിലുള്ള ഷാർഡിംഗ് മനസിലാക്കുന്ന എഞ്ചിനുകൾ ഒരു വരിയിലെ എല്ലാ ഡാറ്റയും പരിശോധിക്കാതെ ആവശ്യമായ ഫോൾഡറുകളിൽ മാത്രം നോക്കും.

അടിസ്ഥാനപരമായി, ഈ രീതിയിൽ, മുകളിൽ തൂക്കിയിട്ടിരിക്കുന്ന അനലിറ്റിക്കൽ എഞ്ചിനുകൾക്കായി നിങ്ങൾ ഉറവിട ഡാറ്റ ഏറ്റവും കാര്യക്ഷമമായ രൂപത്തിൽ നിരത്തുന്നു, ഇത് ഷേർഡ് ഫോൾഡറുകളിൽ പോലും ഫയലുകളിൽ നിന്ന് ആവശ്യമായ കോളങ്ങൾ മാത്രം തിരഞ്ഞെടുത്ത് നൽകാനും വായിക്കാനും കഴിയും. നിങ്ങൾ എവിടെയും ഡാറ്റ "പൂരിപ്പിക്കേണ്ടതില്ല" (സ്റ്റോറേജ് കേവലം പൊട്ടിത്തെറിക്കും) - ഉടൻ തന്നെ വിവേകപൂർവ്വം ശരിയായ ഫോർമാറ്റിൽ ഫയൽ സിസ്റ്റത്തിൽ ഇടുക. തീർച്ചയായും, കോളങ്ങൾ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യുന്നതിന് ആദ്യം ക്ലസ്റ്റർ വരി വരിയായി വായിക്കേണ്ട ഒരു വലിയ csv ഫയൽ DataLake-ൽ സംഭരിക്കുന്നത് വളരെ അഭികാമ്യമല്ലെന്ന് ഇവിടെ വ്യക്തമായിരിക്കണം. എന്തുകൊണ്ടാണ് ഇതെല്ലാം സംഭവിക്കുന്നതെന്ന് ഇതുവരെ വ്യക്തമല്ലെങ്കിൽ മുകളിൽ പറഞ്ഞ രണ്ട് കാര്യങ്ങളെക്കുറിച്ച് വീണ്ടും ചിന്തിക്കുക.

AWS അഥീന - ജാക്ക്-ഇൻ-ദി-ബോക്സ്

തുടർന്ന്, ഒരു തടാകം സൃഷ്ടിക്കുമ്പോൾ, എങ്ങനെയോ ആകസ്മികമായി ഞങ്ങൾ ആമസോൺ അഥീനയെ കണ്ടുമുട്ടി. ഞങ്ങളുടെ വലിയ ലോഗ് ഫയലുകൾ ശരിയായ (പാർക്ക്വെറ്റ്) കോളം ഫോർമാറ്റിൽ ഫോൾഡർ ഷാർഡുകളായി ശ്രദ്ധാപൂർവ്വം ക്രമീകരിക്കുന്നതിലൂടെ, നിങ്ങൾക്ക് അവയിൽ നിന്ന് വളരെ വേഗത്തിൽ വിവരദായകമായ തിരഞ്ഞെടുപ്പുകൾ നടത്താനും അപ്പാച്ചെ സ്പാർക്ക് / ഗ്ലൂ ക്ലസ്റ്റർ ഇല്ലാതെ റിപ്പോർട്ടുകൾ നിർമ്മിക്കാനും കഴിയുമെന്ന് പെട്ടെന്ന് മനസ്സിലായി.

s3-ലെ ഡാറ്റ ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്ന അഥീന എഞ്ചിൻ ഇതിഹാസത്തെ അടിസ്ഥാനമാക്കിയുള്ളതാണ് പ്രസ്റ്റോ - s3, Hadoop മുതൽ Cassandra വരെയുള്ള സാധാരണ ടെക്‌സ്‌റ്റ് ഫയലുകൾ വരെയുള്ള ഡാറ്റാ പ്രോസസ്സിംഗ്, ഡാറ്റ എവിടെ കിടക്കുന്നുവോ അത് എടുക്കുന്നതിനുള്ള സമീപനങ്ങളുടെ MPP (വലിയ സമാന്തര പ്രോസസ്സിംഗ്) കുടുംബത്തിന്റെ പ്രതിനിധി. ഒരു SQL അന്വേഷണം നടപ്പിലാക്കാൻ നിങ്ങൾ അഥീനയോട് ആവശ്യപ്പെടേണ്ടതുണ്ട്, തുടർന്ന് എല്ലാം "വേഗത്തിലും സ്വയമേവയും പ്രവർത്തിക്കുന്നു." അഥീന "സ്മാർട്ട്" ആണെന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്, അത് ആവശ്യമായ ഷാർഡ് ഫോൾഡറുകളിലേക്ക് മാത്രം പോകുകയും അഭ്യർത്ഥനയിൽ ആവശ്യമായ നിരകൾ മാത്രം വായിക്കുകയും ചെയ്യുന്നു.

അഥീനയിലേക്കുള്ള അഭ്യർത്ഥനകളുടെ വിലനിർണ്ണയവും രസകരമാണ്. ഞങ്ങൾ പണം നൽകുന്നു സ്കാൻ ചെയ്ത ഡാറ്റയുടെ അളവ്. ആ. ഒരു മിനിറ്റിൽ ക്ലസ്റ്ററിലെ മെഷീനുകളുടെ എണ്ണത്തിനല്ല, പക്ഷേ... യഥാർത്ഥത്തിൽ 100-500 മെഷീനുകളിൽ സ്കാൻ ചെയ്ത ഡാറ്റയ്ക്ക്, അഭ്യർത്ഥന പൂർത്തിയാക്കാൻ ആവശ്യമായ ഡാറ്റ മാത്രം.

ശരിയായി ഷെയർ ചെയ്ത ഫോൾഡറുകളിൽ നിന്ന് ആവശ്യമായ നിരകൾ മാത്രം അഭ്യർത്ഥിക്കുന്നതിലൂടെ, അഥീന സേവനത്തിന് ഞങ്ങൾക്ക് പ്രതിമാസം പതിനായിരക്കണക്കിന് ഡോളർ ചിലവാകും. ക്ലസ്റ്ററുകളിലെ അനലിറ്റിക്‌സുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ, മികച്ചത്, ഏറെക്കുറെ സൗജന്യം!

വഴിയിൽ, s3-ൽ ഞങ്ങൾ എങ്ങനെയാണ് ഡാറ്റ പങ്കിടുന്നത് എന്നത് ഇതാ:

തൽഫലമായി, ചുരുങ്ങിയ സമയത്തിനുള്ളിൽ, കമ്പനിയിലെ തികച്ചും വ്യത്യസ്തമായ വകുപ്പുകൾ, വിവര സുരക്ഷ മുതൽ അനലിറ്റിക്‌സ് വരെ, അഥീനയോട് സജീവമായി അഭ്യർത്ഥനകൾ നടത്താൻ തുടങ്ങി, നിമിഷങ്ങൾക്കുള്ളിൽ, വളരെ നീണ്ട കാലയളവിൽ “വലിയ” ഡാറ്റയിൽ നിന്ന് ഉപയോഗപ്രദമായ ഉത്തരങ്ങൾ ലഭിക്കും: മാസങ്ങൾ, അര വർഷം, മുതലായവ. പി.

എന്നാൽ ഞങ്ങൾ കൂടുതൽ മുന്നോട്ട് പോയി ഉത്തരങ്ങൾക്കായി ക്ലൗഡിലേക്ക് പോകാൻ തുടങ്ങി ODBC ഡ്രൈവർ വഴി: ഒരു അനലിസ്റ്റ് പരിചിതമായ കൺസോളിൽ ഒരു SQL അന്വേഷണം എഴുതുന്നു, അത് 100-500 മെഷീനുകളിൽ "പെന്നികൾക്ക്" s3 ലേക്ക് ഡാറ്റ അയയ്ക്കുകയും സാധാരണയായി കുറച്ച് നിമിഷങ്ങൾക്കുള്ളിൽ ഉത്തരം നൽകുകയും ചെയ്യുന്നു. സുഖപ്രദമായ. ഒപ്പം വേഗത്തിലും. എനിക്കിപ്പോഴും വിശ്വസിക്കാനാവുന്നില്ല.

തൽഫലമായി, കാര്യക്ഷമമായ കോളം ഫോർമാറ്റിലും ഫോൾഡറുകളിലേക്ക് ഡാറ്റയുടെ ന്യായമായ പങ്കുവയ്ക്കലിലും s3-ൽ ഡാറ്റ സംഭരിക്കാൻ തീരുമാനിച്ചതിനാൽ... ഞങ്ങൾക്ക് DataLake-ഉം വേഗതയേറിയതും വിലകുറഞ്ഞതുമായ അനലിറ്റിക്കൽ എഞ്ചിനും ലഭിച്ചു - സൗജന്യമായി. കമ്പനിയിൽ അദ്ദേഹം വളരെ ജനപ്രിയനായി, കാരണം ... SQL മനസ്സിലാക്കുകയും ക്ലസ്റ്ററുകൾ ആരംഭിക്കുകയോ നിർത്തുകയോ / സജ്ജീകരിക്കുകയോ ചെയ്യുന്നതിനേക്കാൾ വേഗത്തിൽ മാഗ്നിറ്റ്യൂഡ് ഓർഡറുകൾ പ്രവർത്തിക്കുന്നു. "ഫലം സമാനമാണെങ്കിൽ, എന്തിന് കൂടുതൽ പണം നൽകണം?"

അഥീനയോടുള്ള അഭ്യർത്ഥന ഇതുപോലെയാണ്. വേണമെങ്കിൽ, തീർച്ചയായും, നിങ്ങൾക്ക് വേണ്ടത്ര രൂപപ്പെടുത്താം സങ്കീർണ്ണവും മൾട്ടി-പേജ് SQL ചോദ്യം, എന്നാൽ ഞങ്ങൾ ലളിതമായ ഗ്രൂപ്പിംഗിലേക്ക് സ്വയം പരിമിതപ്പെടുത്തും. വെബ് സെർവർ ലോഗുകളിൽ ഏതാനും ആഴ്‌ചകൾക്ക് മുമ്പ് ക്ലയന്റിന് എന്ത് പ്രതികരണ കോഡുകൾ ഉണ്ടായിരുന്നുവെന്ന് നോക്കാം കൂടാതെ പിശകുകളൊന്നും ഇല്ലെന്ന് ഉറപ്പാക്കുക:

കണ്ടെത്തലുകൾ

ദൈർഘ്യമേറിയതും എന്നാൽ വേദനാജനകവുമായ പാതയിലൂടെ കടന്നുപോയി, സങ്കീർണ്ണതയുടെ അപകടസാധ്യതകളും നിലയും പിന്തുണയുടെ വിലയും നിരന്തരം വേണ്ടത്ര വിലയിരുത്തി, ഡാറ്റാലേക്കിനും അനലിറ്റിക്സിനും ഞങ്ങൾ ഒരു പരിഹാരം കണ്ടെത്തി, അത് വേഗതയും ഉടമസ്ഥാവകാശത്തിന്റെ വിലയും ഒരിക്കലും അവസാനിപ്പിക്കില്ല.

കമ്പനിയുടെ തികച്ചും വ്യത്യസ്‌തമായ വകുപ്പുകളുടെ ആവശ്യങ്ങൾക്കായി കാര്യക്ഷമവും വേഗതയേറിയതും ചെലവുകുറഞ്ഞതുമായ ഡാറ്റാലേക്ക് നിർമ്മിക്കുന്നത് ആർക്കിടെക്റ്റുകളായി ഒരിക്കലും പ്രവർത്തിക്കാത്ത പരിചയസമ്പന്നരായ ഡെവലപ്പർമാരുടെയും കഴിവുകൾക്കുള്ളിലാണ്. അമ്പടയാളങ്ങളും ഹഡൂപ്പ് ഇക്കോസിസ്റ്റത്തിൽ നിന്നുള്ള 50 നിബന്ധനകളും അറിയാം.

യാത്രയുടെ തുടക്കത്തിൽ, തുറന്നതും അടച്ചതുമായ സോഫ്റ്റ്വെയറിന്റെ നിരവധി വന്യമൃഗശാലകളിൽ നിന്ന് എന്റെ തല പിളർന്നിരുന്നു, പിൻഗാമികളോടുള്ള ഉത്തരവാദിത്തത്തിന്റെ ഭാരത്തെക്കുറിച്ചുള്ള ധാരണ. ലളിതമായ ഉപകരണങ്ങളിൽ നിന്ന് നിങ്ങളുടെ DataLake നിർമ്മിക്കാൻ ആരംഭിക്കുക: nagios/munin -> elastic/kibana -> Hadoop/Spark/s3..., ഫീഡ്‌ബാക്ക് ശേഖരിക്കുകയും നടക്കുന്ന പ്രക്രിയകളുടെ ഭൗതികശാസ്ത്രം ആഴത്തിൽ മനസ്സിലാക്കുകയും ചെയ്യുക. സങ്കീർണ്ണവും മങ്ങിയതുമായ എല്ലാം - ശത്രുക്കൾക്കും എതിരാളികൾക്കും നൽകുക.

നിങ്ങൾക്ക് ക്ലൗഡിലേക്ക് പോകാനും ഓപ്പൺ സോഴ്‌സ് പ്രോജക്‌ടുകളെ പിന്തുണയ്‌ക്കാനും അപ്‌ഡേറ്റ് ചെയ്യാനും പാച്ച് ചെയ്യാനും താൽപ്പര്യമില്ലെങ്കിൽ, നിങ്ങൾക്ക് പ്രാദേശികമായി ഞങ്ങളുടേതിന് സമാനമായ ഒരു സ്‌കീം നിർമ്മിക്കാം, മുകളിൽ ഹഡൂപ്പും പ്രെസ്റ്റോയും ഉള്ള ചെലവുകുറഞ്ഞ ഓഫീസ് മെഷീനുകളിൽ. പ്രധാന കാര്യം നിർത്തി മുന്നോട്ട് പോകരുത്, എണ്ണുക, ലളിതവും വ്യക്തവുമായ പരിഹാരങ്ങൾക്കായി നോക്കുക, എല്ലാം തീർച്ചയായും പ്രവർത്തിക്കും! എല്ലാവർക്കും ആശംസകൾ നേരുന്നു, വീണ്ടും കാണാം!

അവലംബം: www.habr.com