ClickHouse-ലേക്ക് നീങ്ങുന്നു: 3 വർഷത്തിന് ശേഷം

മൂന്ന് വർഷം മുമ്പ്, സ്റ്റേജിൽ Yandex-ൽ നിന്നുള്ള വിക്ടർ ടാർനാവ്സ്കിയും അലക്സി മിലോവിഡോവും ഹൈലോഡ്++ പറഞ്ഞു, ClickHouse എത്ര നല്ലതാണ്, അത് എങ്ങനെ മന്ദഗതിയിലാകില്ല. പിന്നെ അടുത്ത സ്റ്റേജിൽ ഉണ്ടായിരുന്നു അലക്സാണ്ടർ സൈറ്റ്‌സെവ് с റിപ്പോർട്ട് നീങ്ങുന്നതിനെക്കുറിച്ച് ക്ലിക്ക്ഹ ouse സ് മറ്റൊരു അനലിറ്റിക്കൽ ഡിബിഎംഎസിൽ നിന്നും നിഗമനത്തോടെ ക്ലിക്ക്ഹ ouse സ്, തീർച്ചയായും, നല്ലത്, പക്ഷേ വളരെ സൗകര്യപ്രദമല്ല. 2016-ൽ കമ്പനി ലൈഫ് സ്ട്രീറ്റ്, അലക്സാണ്ടർ അന്ന് ജോലി ചെയ്തിരുന്നിടത്ത്, ഒരു മൾട്ടി-പെറ്റബൈറ്റ് അനലിറ്റിക്കൽ സിസ്റ്റം പരിവർത്തനം ചെയ്യുകയായിരുന്നു ക്ലിക്ക്ഹ ouse സ്, അജ്ഞാതമായ അപകടങ്ങൾ നിറഞ്ഞ ഒരു ആകർഷകമായ "മഞ്ഞ ഇഷ്ടിക റോഡ്" ആയിരുന്നു അത് - ക്ലിക്ക്ഹ ouse സ് അന്ന് അത് ഒരു മൈൻഫീൽഡ് പോലെയായിരുന്നു.

മൂന്നു വർഷം കഴിഞ്ഞ് ക്ലിക്ക്ഹ ouse സ് കൂടുതൽ മെച്ചപ്പെട്ടു - ഈ സമയത്ത് അലക്സാണ്ടർ ആൾട്ടിനിറ്റി എന്ന കമ്പനി സ്ഥാപിച്ചു, ഇത് ആളുകളെ പോകാൻ മാത്രമല്ല സഹായിക്കുന്നു ക്ലിക്ക്ഹ ouse സ് ഡസൻ കണക്കിന് പ്രോജക്റ്റുകൾ, മാത്രമല്ല Yandex-ൽ നിന്നുള്ള സഹപ്രവർത്തകർക്കൊപ്പം ഉൽപ്പന്നം തന്നെ മെച്ചപ്പെടുത്തുകയും ചെയ്യുന്നു. ഇപ്പോൾ ക്ലിക്ക്ഹ ouse സ് ഇപ്പോഴും അശ്രദ്ധമായ ഒരു നടത്തമല്ല, ഇനി ഒരു മൈൻഫീൽഡ് അല്ല.

അലക്സാണ്ടർ 2003 മുതൽ വിതരണ സംവിധാനങ്ങളുമായി പ്രവർത്തിക്കുന്നു, വലിയ പദ്ധതികൾ വികസിപ്പിക്കുന്നു MySQL, Oracle и വെർട്ടിക്ക. അവസാനം ഹൈലോഡ്++ 2019 അലക്സാണ്ടർ, ഉപയോഗിക്കുന്നതിന്റെ തുടക്കക്കാരിൽ ഒരാളാണ് ക്ലിക്ക്ഹ ouse സ്, ഈ DBMS ഇപ്പോൾ എന്താണെന്ന് പറഞ്ഞു. പ്രധാന സവിശേഷതകളെക്കുറിച്ച് ഞങ്ങൾ പഠിക്കും ക്ലിക്ക്ഹ ouse സ്: ഇത് മറ്റ് സിസ്റ്റങ്ങളിൽ നിന്ന് എങ്ങനെ വ്യത്യാസപ്പെട്ടിരിക്കുന്നു, ഏത് സാഹചര്യത്തിലാണ് ഇത് ഉപയോഗിക്കുന്നത് കൂടുതൽ ഫലപ്രദമാണ്. ഉദാഹരണങ്ങൾ ഉപയോഗിച്ച്, കെട്ടിട നിർമ്മാണ സംവിധാനങ്ങൾക്കായുള്ള സമീപകാലവും പ്രോജക്റ്റ് പരീക്ഷിച്ചതുമായ രീതികൾ ഞങ്ങൾ പരിശോധിക്കും ക്ലിക്ക്ഹ ouse സ്.

റിട്രോസ്പെക്റ്റീവ്: 3 വർഷം മുമ്പ് എന്താണ് സംഭവിച്ചത്

മൂന്ന് വർഷം മുമ്പ് ഞങ്ങൾ കമ്പനി മാറ്റി ലൈഫ് സ്ട്രീറ്റ് ഓൺ ക്ലിക്ക്ഹ ouse സ് മറ്റൊരു അനലിറ്റിക്കൽ ഡാറ്റാബേസിൽ നിന്ന്, പരസ്യ നെറ്റ്‌വർക്ക് അനലിറ്റിക്‌സ് മൈഗ്രേഷൻ ഇതുപോലെ കാണപ്പെട്ടു:

• ജൂൺ 2016. ഇൻ ഓപ്പൺ സോഴ്‌സ് പ്രത്യക്ഷനായി ക്ലിക്ക്ഹ ouse സ് ഞങ്ങളുടെ പദ്ധതി ആരംഭിച്ചു;
• ഓഗസ്റ്റ് ആശയത്തിന്റെ തെളിവ്: വലിയ പരസ്യ ശൃംഖല, ഇൻഫ്രാസ്ട്രക്ചർ, 200-300 ടെറാബൈറ്റ് ഡാറ്റ;
• ഒക്ടോബർ. ആദ്യ പ്രൊഡക്ഷൻ ഡാറ്റ;
• ഡിസംബർ. മുഴുവൻ ഉൽപ്പന്ന ലോഡ് പ്രതിദിനം 10-50 ബില്യൺ ഇവന്റുകൾ ആണ്.
• ജൂൺ 2017. ഉപയോക്താക്കളുടെ വിജയകരമായ മൈഗ്രേഷൻ ക്ലിക്ക്ഹ ouse സ്, 2,5 സെർവറുകളുടെ ഒരു ക്ലസ്റ്ററിൽ 60 പെറ്റാബൈറ്റ് ഡാറ്റ.

മൈഗ്രേഷൻ പ്രക്രിയയിൽ, അത് വളർന്നുവരുന്ന ധാരണയുണ്ടായിരുന്നു ക്ലിക്ക്ഹ ouse സ് പ്രവർത്തിക്കാൻ സുഖമുള്ള ഒരു നല്ല സംവിധാനമാണ്, എന്നാൽ ഇത് Yandex-ന്റെ ഒരു ആന്തരിക പദ്ധതിയാണ്. അതിനാൽ, സൂക്ഷ്മതകളുണ്ട്: Yandex ആദ്യം സ്വന്തം ആന്തരിക ഉപഭോക്താക്കളുമായും പിന്നീട് കമ്മ്യൂണിറ്റിയും ബാഹ്യ ഉപയോക്താക്കളുടെ ആവശ്യങ്ങളും കൈകാര്യം ചെയ്യും, കൂടാതെ ClickHouse പിന്നീട് പല പ്രവർത്തന മേഖലകളിലും എന്റർപ്രൈസ് തലത്തിൽ എത്തിയില്ല. അതുകൊണ്ടാണ് 2017 മാർച്ചിൽ ഞങ്ങൾ ആൾട്ടിനിറ്റി സ്ഥാപിച്ചത് ക്ലിക്ക്ഹ ouse സ് Yandex-ന് മാത്രമല്ല, മറ്റ് ഉപയോക്താക്കൾക്കും കൂടുതൽ വേഗതയേറിയതും സൗകര്യപ്രദവുമാണ്. ഇപ്പോൾ ഞങ്ങൾ:

• അടിസ്ഥാനമാക്കിയുള്ള പരിഹാരങ്ങൾ നിർമ്മിക്കാൻ ഞങ്ങൾ പരിശീലിപ്പിക്കുകയും സഹായിക്കുകയും ചെയ്യുന്നു ക്ലിക്ക്ഹ ouse സ് അതിനാൽ ഉപഭോക്താക്കൾ പ്രശ്‌നത്തിൽ അകപ്പെടാതിരിക്കാനും, പരിഹാരം ആത്യന്തികമായി പ്രവർത്തിക്കാനും;
• ഞങ്ങൾ 24/7 പിന്തുണ നൽകുന്നു ക്ലിക്ക്ഹ ouse സ്- ഇൻസ്റ്റാളേഷനുകൾ;
• ഞങ്ങൾ ഞങ്ങളുടെ സ്വന്തം ഇക്കോസിസ്റ്റം പദ്ധതികൾ വികസിപ്പിക്കുന്നു;
• ഞങ്ങൾ ഞങ്ങളോട് തന്നെ സജീവമായി പ്രതിജ്ഞാബദ്ധരാണ് ക്ലിക്ക്ഹ ouse സ്, ചില സവിശേഷതകൾ കാണാൻ ആഗ്രഹിക്കുന്ന ഉപയോക്താക്കളിൽ നിന്നുള്ള അഭ്യർത്ഥനകളോട് പ്രതികരിക്കുന്നു.

തീർച്ചയായും, ഞങ്ങൾ നീങ്ങാൻ സഹായിക്കുന്നു ക്ലിക്ക്ഹ ouse സ് с MySQL, വെർട്ടിക്ക, ഒറാക്കിൾ, ഗ്രീൻപ്ലം, റെഡ്ഷീറ്റ് മറ്റ് സംവിധാനങ്ങളും. ഞങ്ങൾ പലതരം നീക്കങ്ങളിൽ ഏർപ്പെട്ടിട്ടുണ്ട്, അവയെല്ലാം വിജയിച്ചു.

എന്തിനാണ് നീങ്ങുന്നത് ക്ലിക്ക്ഹ ouse സ്

വേഗത കുറയ്ക്കുന്നില്ല! ഇതാണ് പ്രധാന കാരണം. ക്ലിക്ക്ഹ ouse സ് - വ്യത്യസ്ത സാഹചര്യങ്ങൾക്കായി വളരെ വേഗത്തിലുള്ള ഡാറ്റാബേസ്:

വളരെക്കാലമായി ആളുകളുമായി പ്രവർത്തിക്കുന്ന ആളുകളിൽ നിന്നുള്ള ക്രമരഹിതമായ ഉദ്ധരണികൾ ക്ലിക്ക്ഹ ouse സ്.

സ്കേലബിളിറ്റി. മറ്റ് ചില ഡാറ്റാബേസിൽ നിങ്ങൾക്ക് ഒരു ഹാർഡ്‌വെയറിൽ നല്ല പ്രകടനം നേടാൻ കഴിയും, പക്ഷേ ക്ലിക്ക്ഹ ouse സ് സെർവറുകൾ ചേർത്തുകൊണ്ട് നിങ്ങൾക്ക് ലംബമായി മാത്രമല്ല, തിരശ്ചീനമായും സ്കെയിൽ ചെയ്യാം. എല്ലാം നമ്മൾ ആഗ്രഹിക്കുന്ന പോലെ സുഗമമായി പ്രവർത്തിക്കുന്നില്ല, പക്ഷേ അത് പ്രവർത്തിക്കുന്നു. നിങ്ങളുടെ ബിസിനസ്സ് വളരുന്നതിനനുസരിച്ച് നിങ്ങൾക്ക് സിസ്റ്റം വിപുലീകരിക്കാൻ കഴിയും. ഞങ്ങൾ ഇപ്പോൾ പരിഹാരത്താൽ പരിമിതപ്പെടുന്നില്ല എന്നത് പ്രധാനമാണ്, വികസനത്തിന് എല്ലായ്പ്പോഴും സാധ്യതയുണ്ട്.

പോർട്ടബിലിറ്റി. ഒരു കാര്യത്തോടും യാതൊരു ബന്ധവുമില്ല. ഉദാഹരണത്തിന്, കൂടെ ആമസോൺ റെഡ്ഷിഫ്റ്റ് എങ്ങോട്ടെങ്കിലും മാറാൻ ബുദ്ധിമുട്ടാണ്. എ ക്ലിക്ക്ഹ ouse സ് നിങ്ങൾക്ക് ഇത് നിങ്ങളുടെ ലാപ്‌ടോപ്പിലും സെർവറിലും ഇൻസ്റ്റാൾ ചെയ്യാം, ക്ലൗഡിലേക്ക് വിന്യസിക്കുക, പോകുക കുബേർനെറ്റ് - ഇൻഫ്രാസ്ട്രക്ചറിന്റെ പ്രവർത്തനത്തിന് നിയന്ത്രണങ്ങളൊന്നുമില്ല. ഇത് എല്ലാവർക്കും സൗകര്യപ്രദമാണ്, മറ്റ് സമാന ഡാറ്റാബേസുകൾക്ക് അഭിമാനിക്കാൻ കഴിയാത്ത ഒരു വലിയ നേട്ടമാണിത്.

വഴക്കം. ക്ലിക്ക്ഹ ouse സ് ഒരു കാര്യത്തിൽ നിർത്തുന്നില്ല, ഉദാഹരണത്തിന്, Yandex.Metrica, എന്നാൽ കൂടുതൽ കൂടുതൽ വ്യത്യസ്ത പദ്ധതികളിലും വ്യവസായങ്ങളിലും വികസിപ്പിക്കുകയും ഉപയോഗിക്കുകയും ചെയ്യുന്നു. പുതിയ പ്രശ്‌നങ്ങൾ പരിഹരിക്കുന്നതിന് പുതിയ കഴിവുകൾ ചേർത്തുകൊണ്ട് ഇത് വിപുലീകരിക്കാൻ കഴിയും. ഉദാഹരണത്തിന്, ഒരു ഡാറ്റാബേസിൽ ലോഗുകൾ സൂക്ഷിക്കുന്നത് മോശം പെരുമാറ്റമാണെന്ന് വിശ്വസിക്കപ്പെടുന്നു, അതിനാൽ അവർ കൊണ്ടുവന്നു ഇലാസ്റ്റിസെര്ച്ച്. എന്നാൽ വഴക്കത്തിന് നന്ദി ക്ലിക്ക്ഹ ouse സ്, നിങ്ങൾക്ക് അതിൽ ലോഗുകൾ സംഭരിക്കാനും കഴിയും, പലപ്പോഴും ഇത് ഉള്ളതിനേക്കാൾ മികച്ചതാണ് ഇലാസ്റ്റിസെര്ച്ച് - ൽ ക്ലിക്ക്ഹ ouse സ് ഇതിന് 10 മടങ്ങ് കുറവ് ഇരുമ്പ് ആവശ്യമാണ്.

സൗ ജന്യം ഓപ്പൺ സോഴ്സ്. നിങ്ങൾ ഒന്നിനും പണം നൽകേണ്ടതില്ല. നിങ്ങളുടെ ലാപ്‌ടോപ്പിലോ സെർവറിലോ സിസ്റ്റം ഇൻസ്റ്റാൾ ചെയ്യാൻ അനുമതി വാങ്ങേണ്ട ആവശ്യമില്ല. മറഞ്ഞിരിക്കുന്ന ഫീസ് ഇല്ല. അതേ സമയം, മറ്റേതൊരു ഓപ്പൺ സോഴ്‌സ് ഡാറ്റാബേസ് സാങ്കേതികവിദ്യയ്ക്കും വേഗതയിൽ മത്സരിക്കാനാവില്ല ക്ലിക്ക്ഹ ouse സ്. MySQL, MariaDB, Greenplum - അവയെല്ലാം വളരെ പതുക്കെയാണ്.

കമ്മ്യൂണിറ്റി, ഡ്രൈവ് കൂടാതെ തമാശ. ഉണ്ടല്ലോ ക്ലിക്ക്ഹ ouse സ് മികച്ച കമ്മ്യൂണിറ്റി: മീറ്റ്അപ്പുകൾ, ചാറ്റുകൾ, അലക്സി മിലോവിഡോവ്, തന്റെ ഊർജ്ജവും ശുഭാപ്തിവിശ്വാസവും കൊണ്ട് നമ്മളെയെല്ലാം ആകർഷിക്കുന്നു.

ClickHouse-ലേക്ക് നീങ്ങുന്നു

പോകാൻ ക്ലിക്ക്ഹ ouse സ് ചില കാരണങ്ങളാൽ, നിങ്ങൾക്ക് മൂന്ന് കാര്യങ്ങൾ മാത്രമേ ആവശ്യമുള്ളൂ:

• പരിമിതികൾ മനസ്സിലാക്കുക ക്ലിക്ക്ഹ ouse സ് അത് എന്തിന് അനുയോജ്യമല്ലെന്നും.
• പ്രയോജനപ്പെടുത്തുക സാങ്കേതികവിദ്യയും അതിന്റെ ഏറ്റവും വലിയ ശക്തിയും.
• പരീക്ഷണം. ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് പോലും മനസ്സിലാക്കുന്നു ക്ലിക്ക്ഹ ouse സ്, അത് എപ്പോൾ വേഗത്തിലാകും, എപ്പോൾ മന്ദഗതിയിലാകും, എപ്പോൾ മെച്ചപ്പെടും, എപ്പോൾ മോശമാകുമെന്ന് പ്രവചിക്കാൻ എപ്പോഴും സാധ്യമല്ല. അതുകൊണ്ട് ശ്രമിക്കൂ.

ചലിക്കുന്ന പ്രശ്നം

ഒരേയൊരു "പക്ഷേ" മാത്രമേയുള്ളൂ: നിങ്ങൾ ഇതിലേക്ക് നീങ്ങുകയാണെങ്കിൽ ക്ലിക്ക്ഹ ouse സ് മറ്റൊന്നിൽ നിന്ന്, സാധാരണയായി എന്തെങ്കിലും തെറ്റ് സംഭവിക്കുന്നു. ഞങ്ങളുടെ പ്രിയപ്പെട്ട ഡാറ്റാബേസിൽ പ്രവർത്തിക്കുന്ന ചില പ്രവർത്തനങ്ങളും കാര്യങ്ങളും ഞങ്ങൾ പരിചിതമാണ്. ഉദാഹരണത്തിന്, കൂടെ പ്രവർത്തിക്കുന്ന ആർക്കും SQഎൽ-ഡാറ്റാബേസുകൾ ഇനിപ്പറയുന്ന ഫംഗ്‌ഷനുകൾ നിർബന്ധിതമായി കണക്കാക്കുന്നു:

• ഇടപാടുകൾ;
• നിയന്ത്രണങ്ങൾ;
• സ്ഥിരത;
• സൂചികകൾ;
• അപ്ഡേറ്റ്/ഇല്ലാതാക്കുക;
• NULL-കൾ;
• മില്ലിസെക്കൻഡ്;
• ഓട്ടോമാറ്റിക് തരം കാസ്റ്റുകൾ;
• ഒന്നിലധികം ചേരലുകൾ;
• അനിയന്ത്രിതമായ പാർട്ടീഷനുകൾ;
• ക്ലസ്റ്റർ മാനേജ്മെന്റ് ടൂളുകൾ.

റിക്രൂട്ട്മെന്റ് നിർബന്ധമാണ്, എന്നാൽ മൂന്ന് വർഷം മുമ്പ് ക്ലിക്ക്ഹ ouse സ് ഈ ഫംഗ്‌ഷനുകളൊന്നും ലഭ്യമല്ല! ഇപ്പോൾ നടപ്പിലാക്കാത്തതിന്റെ പകുതിയിൽ താഴെ മാത്രമേ അവശേഷിക്കുന്നുള്ളൂ: ഇടപാടുകൾ, നിയന്ത്രണങ്ങൾ, സ്ഥിരത, മില്ലിസെക്കൻഡ്, ടൈപ്പ് കാസ്റ്റിംഗ്.

പിന്നെ പ്രധാന കാര്യം അതിൽ ആണ് ക്ലിക്ക്ഹ ouse സ് ചില സ്റ്റാൻഡേർഡ് സമ്പ്രദായങ്ങളും സമീപനങ്ങളും നമ്മൾ ഉപയോഗിക്കുന്നതിനേക്കാൾ വ്യത്യസ്തമായി പ്രവർത്തിക്കുകയോ പ്രവർത്തിക്കുകയോ ചെയ്യുന്നില്ല. ദൃശ്യമാകുന്ന എല്ലാം ക്ലിക്ക്ഹ ouse സ്, യോജിക്കുന്നത് "ക്ലിക്ക് ഹൗസ് വഴി", അതായത്. പ്രവർത്തനങ്ങൾ മറ്റ് ഡാറ്റാബേസുകളിൽ നിന്ന് വ്യത്യസ്തമാണ്. ഉദാഹരണത്തിന്:

• സൂചികകൾ തിരഞ്ഞെടുത്തിട്ടില്ല, പക്ഷേ ഒഴിവാക്കിയിരിക്കുന്നു.
• അപ്ഡേറ്റ്/ഇല്ലാതാക്കുക സിൻക്രണസ് അല്ല, അസിൻക്രണസ്.
• ഒന്നിലധികം ചേരലുകൾ ഉണ്ട്, എന്നാൽ അന്വേഷണ പ്ലാനർ ഇല്ല. അവ എങ്ങനെ നിർവഹിക്കപ്പെടുന്നു എന്നത് ഡാറ്റാബേസ് ലോകത്ത് നിന്നുള്ള ആളുകൾക്ക് പൊതുവെ വ്യക്തമല്ല.

ക്ലിക്ക് ഹൗസ് സ്ക്രിപ്റ്റുകൾ

1960-ൽ ഹംഗേറിയൻ വംശജനായ ഒരു അമേരിക്കൻ ഗണിതശാസ്ത്രജ്ഞൻ വിഗ്നർ ഇ.പി ഒരു ലേഖനം എഴുതി "പ്രകൃതി ശാസ്ത്രത്തിലെ ഗണിതശാസ്ത്രത്തിന്റെ യുക്തിരഹിതമായ ഫലപ്രാപ്തി” (“പ്രകൃതി ശാസ്ത്രത്തിലെ ഗണിതശാസ്ത്രത്തിന്റെ അഗ്രാഹ്യമായ ഫലപ്രാപ്തി”) നമുക്ക് ചുറ്റുമുള്ള ലോകം ചില കാരണങ്ങളാൽ ഗണിതശാസ്ത്ര നിയമങ്ങളാൽ നന്നായി വിവരിച്ചിരിക്കുന്നു. ഗണിതശാസ്ത്രം ഒരു അമൂർത്ത ശാസ്ത്രമാണ്, ഗണിതശാസ്ത്ര രൂപത്തിൽ പ്രകടിപ്പിക്കുന്ന ഭൗതിക നിയമങ്ങൾ നിസ്സാരമല്ല, കൂടാതെ വിഗ്നർ ഇ.പി ഇത് വളരെ വിചിത്രമാണെന്ന് ഊന്നിപ്പറഞ്ഞു.

എന്റെ കാഴ്ച്ചപാടില്, ക്ലിക്ക്ഹ ouse സ് - അതേ അപരിചിതത്വം. വിഗ്നർ എന്ന് പുനരാവിഷ്കരിക്കുന്നതിന്, നമുക്ക് ഇത് പറയാം: അചിന്തനീയമായ കാര്യക്ഷമത അതിശയകരമാണ് ക്ലിക്ക്ഹ ouse സ് വൈവിധ്യമാർന്ന അനലിറ്റിക്കൽ ആപ്ലിക്കേഷനുകളിൽ!

ഉദാഹരണത്തിന്, നമുക്ക് എടുക്കാം തത്സമയ ഡാറ്റ വെയർഹൗസ്, അതിൽ ഡാറ്റ ഏതാണ്ട് തുടർച്ചയായി ലോഡ് ചെയ്യുന്നു. രണ്ടാമത്തെ കാലതാമസത്തോടെ അതിൽ നിന്നുള്ള അഭ്യർത്ഥനകൾ സ്വീകരിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. ദയവായി - അത് ഉപയോഗിക്കുക ക്ലിക്ക്ഹ ouse സ്, കാരണം ഇത് രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന സാഹചര്യമാണ്. ക്ലിക്ക്ഹ ouse സ് വെബിൽ മാത്രമല്ല, മാർക്കറ്റിംഗിലും സാമ്പത്തിക വിശകലനത്തിലും ഇത് കൃത്യമായി ഉപയോഗിക്കുന്നത് ഇങ്ങനെയാണ്, AdTech, അതുപോലെ ഇൻ വഞ്ചന കണ്ടെത്തൽഎൻ. IN തത്സമയ ഡാറ്റ വെയർഹൗസ് "നക്ഷത്രം" അല്ലെങ്കിൽ "സ്നോഫ്ലെക്ക്" പോലുള്ള സങ്കീർണ്ണമായ ഘടനാപരമായ സ്കീം ഉപയോഗിക്കുന്നു, നിരവധി പട്ടികകൾ ചേരുക (ചിലപ്പോൾ ഒന്നിലധികം), കൂടാതെ ഡാറ്റ സാധാരണയായി ചില സിസ്റ്റങ്ങളിൽ സംഭരിക്കുകയും മാറ്റുകയും ചെയ്യുന്നു.

നമുക്ക് മറ്റൊരു സാഹചര്യം എടുക്കാം - സമയ പരമ്പര: ഉപകരണങ്ങൾ, നെറ്റ്‌വർക്കുകൾ, ഉപയോഗ സ്ഥിതിവിവരക്കണക്കുകൾ, ഇന്റർനെറ്റ് ഓഫ് തിംഗ്‌സ് എന്നിവയുടെ നിരീക്ഷണം. കൃത്യസമയത്ത് ക്രമീകരിച്ച വളരെ ലളിതമായ ഇവന്റുകൾ ഞങ്ങൾ ഇവിടെ കണ്ടുമുട്ടുന്നു. ക്ലിക്ക്ഹ ouse സ് ഇതിനായി ആദ്യം വികസിപ്പിച്ചിട്ടില്ല, പക്ഷേ നന്നായി പ്രവർത്തിക്കുന്നുവെന്ന് സ്വയം തെളിയിച്ചിട്ടുണ്ട്, അതിനാലാണ് വലിയ കമ്പനികൾ ഉപയോഗിക്കുന്നത് ക്ലിക്ക്ഹ ouse സ് വിവരങ്ങൾ നിരീക്ഷിക്കുന്നതിനുള്ള ഒരു ശേഖരമായി. അനുയോജ്യമാണോ എന്ന് അന്വേഷിക്കാൻ ക്ലിക്ക്ഹ ouse സ് ടൈം സീരീസിനായി, സമീപനത്തെയും ഫലങ്ങളെയും അടിസ്ഥാനമാക്കി ഞങ്ങൾ ഒരു മാനദണ്ഡം ഉണ്ടാക്കി InfluxDB и ടൈംസ്‌കെയിൽഡിബി - സ്പെഷ്യലൈസ്ഡ് സമയ പരമ്പര ഡാറ്റാബേസുകൾ. അത് മാറിഅത് ക്ലിക്ക്ഹ ouse സ്, അത്തരം ജോലികൾക്കായി ഒപ്റ്റിമൈസേഷൻ ഇല്ലാതെ പോലും, ഒരു വിദേശ ഫീൽഡിൽ വിജയിക്കുന്നു:

В സമയ പരമ്പര സാധാരണയായി ഒരു ഇടുങ്ങിയ പട്ടിക ഉപയോഗിക്കുന്നു - നിരവധി ചെറിയ നിരകൾ. നിരീക്ഷണത്തിൽ നിന്ന് ധാരാളം ഡാറ്റ ലഭിക്കും - സെക്കൻഡിൽ ദശലക്ഷക്കണക്കിന് റെക്കോർഡുകൾ - അവ സാധാരണയായി ചെറിയ പൊട്ടിത്തെറികളിൽ വരുന്നു (തൽസമയം സ്ട്രീമിംഗ്). അതിനാൽ, മറ്റൊരു ഇൻസെർഷൻ സ്ക്രിപ്റ്റ് ആവശ്യമാണ്, കൂടാതെ അന്വേഷണങ്ങൾക്ക് അവരുടേതായ പ്രത്യേകതകൾ ഉണ്ട്.

ലോഗ് മാനേജ്മെന്റ്. ഒരു ഡാറ്റാബേസിലേക്ക് ലോഗുകൾ ശേഖരിക്കുന്നത് സാധാരണയായി മോശമാണ്, പക്ഷേ ക്ലിക്ക്ഹ ouse സ് മുകളിൽ വിവരിച്ചതുപോലെ ചില അഭിപ്രായങ്ങൾ ഉപയോഗിച്ച് ഇത് ചെയ്യാൻ കഴിയും. പല കമ്പനികളും ഉപയോഗിക്കുന്നു ക്ലിക്ക്ഹ ouse സ് കൃത്യമായി ഈ ആവശ്യത്തിനായി. ഈ സാഹചര്യത്തിൽ, ഞങ്ങൾ ഒരു ഫ്ലാറ്റ് വൈഡ് ടേബിൾ ഉപയോഗിക്കുന്നു, അവിടെ ഞങ്ങൾ മുഴുവൻ ലോഗുകളും സൂക്ഷിക്കുന്നു (ഉദാഹരണത്തിന്, രൂപത്തിൽ JSON), അല്ലെങ്കിൽ കഷണങ്ങളായി മുറിക്കുക. ഡാറ്റ സാധാരണയായി വലിയ ബാച്ചുകളിൽ (ഫയലുകൾ) ലോഡ് ചെയ്യുന്നു, ഞങ്ങൾ ചില ഫീൽഡുകൾ വഴി തിരയുന്നു.

ഈ ഓരോ ഫംഗ്ഷനുകൾക്കും, പ്രത്യേക ഡാറ്റാബേസുകൾ സാധാരണയായി ഉപയോഗിക്കുന്നു. ക്ലിക്ക്ഹ ouse സ് ഒരാൾക്ക് എല്ലാം ചെയ്യാൻ കഴിയും, അത് അവരെ മറികടക്കും. ഇനി നമുക്ക് അടുത്ത് നോക്കാം സമയ പരമ്പര സാഹചര്യം, എങ്ങനെ ശരിയായി "പാചകം" ചെയ്യാം ക്ലിക്ക്ഹ ouse സ് ഈ സാഹചര്യത്തിന്.

സമയ പരമ്പര

നിലവിൽ ഇതാണ് പ്രധാന സാഹചര്യം ക്ലിക്ക്ഹ ouse സ് സാധാരണ പരിഹാരം കണക്കാക്കുന്നു. സമയ പരമ്പര സമയക്രമത്തിൽ ക്രമീകരിച്ച ഇവന്റുകളുടെ ഒരു കൂട്ടമാണ്, കാലക്രമേണ ചില പ്രക്രിയകളിലെ മാറ്റങ്ങളെ പ്രതിനിധീകരിക്കുന്നു. ഉദാഹരണത്തിന്, ഇത് പ്രതിദിനം ഹൃദയമിടിപ്പ് അല്ലെങ്കിൽ സിസ്റ്റത്തിലെ പ്രക്രിയകളുടെ എണ്ണം ആകാം. സമയത്തിന് ചില അളവുകൾ നൽകുന്നതെല്ലാം സമയ പരമ്പര:

ഇത്തരത്തിലുള്ള മിക്ക സംഭവങ്ങളും നിരീക്ഷണത്തിൽ നിന്നാണ് വരുന്നത്. ഇത് വെബിനെ നിരീക്ഷിക്കുന്നത് മാത്രമല്ല, യഥാർത്ഥ ഉപകരണങ്ങളും ആകാം: കാറുകൾ, വ്യാവസായിക സംവിധാനങ്ങൾ, മതിയെന്നു, ഫാക്ടറികൾ അല്ലെങ്കിൽ ആളില്ലാ ടാക്സികൾ, Yandex ഇതിനകം ഇടുന്ന തുമ്പിക്കൈയിൽ ക്ലിക്ക്ഹ ouse സ്-സെർവർ.

ഉദാഹരണത്തിന്, കപ്പലുകളിൽ നിന്ന് ഡാറ്റ ശേഖരിക്കുന്ന കമ്പനികളുണ്ട്. ഓരോ കുറച്ച് സെക്കൻഡിലും, കണ്ടെയ്നർ കപ്പലിലെ സെൻസറുകൾ നൂറുകണക്കിന് വ്യത്യസ്ത അളവുകൾ അയയ്ക്കുന്നു. എഞ്ചിനീയർമാർ അവ പഠിക്കുകയും മോഡലുകൾ നിർമ്മിക്കുകയും കപ്പൽ എത്രത്തോളം കാര്യക്ഷമമായി ഉപയോഗിക്കുന്നുവെന്ന് മനസിലാക്കാൻ ശ്രമിക്കുകയും ചെയ്യുന്നു, കാരണം ഒരു കണ്ടെയ്നർ കപ്പൽ ഒരു നിമിഷം പോലും നിഷ്‌ക്രിയമായിരിക്കരുത്. ഏത് പ്രവർത്തനരഹിതമായ സമയവും പണനഷ്ടമാണ്, അതിനാൽ സ്റ്റോപ്പേജുകൾ വളരെ കുറവായതിനാൽ റൂട്ട് പ്രവചിക്കേണ്ടത് പ്രധാനമാണ്.

ഇക്കാലത്ത് അളക്കുന്ന പ്രത്യേക ഡാറ്റാബേസുകളുടെ വളർച്ചയുണ്ട് സമയ പരമ്പര. സൈറ്റിൽ ഡിബി-എഞ്ചിനുകൾ വ്യത്യസ്‌ത ഡാറ്റാബേസുകൾ എങ്ങനെയോ റാങ്ക് ചെയ്‌തിരിക്കുന്നു, നിങ്ങൾക്ക് അവ തരം അനുസരിച്ച് കാണാൻ കഴിയും:

ഏറ്റവും വേഗത്തിൽ വളരുന്ന ഇനം സമയ പരമ്പരഎസ്. ഗ്രാഫ് ഡാറ്റാബേസുകളും വളരുന്നു, പക്ഷേ സമയ പരമ്പരകഴിഞ്ഞ കുറച്ച് വർഷങ്ങളായി അതിവേഗം വളരുകയാണ്. ഈ ഡാറ്റാബേസുകളുടെ കുടുംബത്തിന്റെ സാധാരണ പ്രതിനിധികൾ InfluxDB, പ്രോമിത്തിയസ്, കെഡിബി, ടൈംസ്‌കെയിൽഡിബി (നിർമ്മിച്ചത് PostgreSQL എന്നീ), നിന്ന് പരിഹാരങ്ങൾ ആമസോൺ. ക്ലിക്ക്ഹ ouse സ് ഇവിടെയും ഉപയോഗിക്കാം, ഉപയോഗിക്കപ്പെടുന്നു. കുറച്ച് പൊതു ഉദാഹരണങ്ങൾ ഞാൻ നിങ്ങൾക്ക് നൽകാം.

പയനിയർമാരിൽ ഒരാൾ കമ്പനിയാണ് ച്ലൊഉദ്ഫ്ലരെ (CDN-ദാതാവ്). അവർ അവരെ നിരീക്ഷിക്കുന്നു CDN മുഖാന്തിരം ക്ലിക്ക്ഹ ouse സ് (ഡിഎൻഎസ്- അഭ്യർത്ഥനകൾ, HTTP-ചോദനകൾ) ഒരു വലിയ ലോഡിനൊപ്പം - സെക്കൻഡിൽ 6 ദശലക്ഷം ഇവന്റുകൾ. എല്ലാം കടന്നുപോകുന്നു കാഫ്ക, പോകുന്നു ക്ലിക്ക്ഹ ouse സ്, സിസ്റ്റത്തിലെ ഇവന്റുകളുടെ ഡാഷ്‌ബോർഡുകൾ തത്സമയം കാണാനുള്ള അവസരം ഇത് നൽകുന്നു.

Comcast - യുഎസ്എയിലെ ടെലികമ്മ്യൂണിക്കേഷനിലെ നേതാക്കളിൽ ഒരാൾ: ഇന്റർനെറ്റ്, ഡിജിറ്റൽ ടെലിവിഷൻ, ടെലിഫോണി. അവർ സമാനമായ ഒരു നിയന്ത്രണ സംവിധാനം സൃഷ്ടിച്ചു CDN ഉള്ളിൽ ഓപ്പൺ സോഴ്സ് പദ്ധതി അപ്പാച്ചെ ട്രാഫിക് നിയന്ത്രണം നിങ്ങളുടെ വലിയ ഡാറ്റ ഉപയോഗിച്ച് പ്രവർത്തിക്കാൻ. ക്ലിക്ക്ഹ ouse സ് അനലിറ്റിക്‌സിന്റെ ബാക്ക്‌എൻഡായി ഉപയോഗിക്കുന്നു.

പെർകോണ നിർമ്മിച്ചിരിക്കുന്നത് ക്ലിക്ക്ഹ ouse സ് നിങ്ങളുടെ ഉള്ളിൽ പി.എം.എം.വിവിധ നിരീക്ഷണങ്ങൾ സംഭരിക്കാൻ MySQL.

പ്രത്യേക ആവശ്യകതകൾ

ടൈം സീരീസ് ഡാറ്റാബേസിന് അവരുടേതായ പ്രത്യേക ആവശ്യകതകളുണ്ട്.

• നിരവധി ഏജന്റുമാരിൽ നിന്നുള്ള വേഗത്തിലുള്ള ഉൾപ്പെടുത്തൽ. പല സ്ട്രീമുകളിൽ നിന്നുമുള്ള ഡാറ്റ നമുക്ക് വളരെ വേഗത്തിൽ തിരുകേണ്ടതുണ്ട്. ക്ലിക്ക്ഹ ouse സ് അതിന്റെ എല്ലാ ഉൾപ്പെടുത്തലുകളും തടയാത്തതിനാൽ ഇത് നന്നായി ചെയ്യുന്നു. ഏതെങ്കിലും തിരുകുക ഡിസ്കിലെ ഒരു പുതിയ ഫയലാണ്, കൂടാതെ ചെറിയ ഇൻസെർട്ടുകൾ ഒരു തരത്തിൽ അല്ലെങ്കിൽ മറ്റൊന്നിൽ ബഫർ ചെയ്യാവുന്നതാണ്. IN ക്ലിക്ക്ഹ ouse സ് ഒരു സമയത്ത് ഒരു വരി എന്നതിലുപരി വലിയ ബാച്ചുകളിൽ ഡാറ്റ ചേർക്കുന്നതാണ് നല്ലത്.
• ഫ്ലെക്സിബിൾ സ്കീം. ദി സമയ പരമ്പര ഞങ്ങൾക്ക് സാധാരണയായി ഡാറ്റ ഘടന പൂർണ്ണമായി അറിയില്ല. ഒരു നിർദ്ദിഷ്‌ട അപ്ലിക്കേഷനായി ഒരു മോണിറ്ററിംഗ് സിസ്റ്റം നിർമ്മിക്കുന്നത് സാധ്യമാണ്, എന്നാൽ മറ്റൊരു അപ്ലിക്കേഷനായി ഇത് ഉപയോഗിക്കുന്നത് ബുദ്ധിമുട്ടാണ്. ഇതിന് കൂടുതൽ വഴക്കമുള്ള സ്കീം ആവശ്യമാണ്. ക്ലിക്ക്ഹ ouse സ്, ഇത് ശക്തമായി ടൈപ്പ് ചെയ്ത അടിസ്ഥാനമാണെങ്കിലും ഇത് ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്നു.
• കാര്യക്ഷമമായ സംഭരണവും ഡാറ്റ മറക്കലും. സാധാരണയായി അകത്ത് സമയ പരമ്പര ഒരു വലിയ അളവിലുള്ള ഡാറ്റ, അതിനാൽ അത് കഴിയുന്നത്ര കാര്യക്ഷമമായി സംഭരിച്ചിരിക്കണം. ഉദാഹരണത്തിന്, at InfluxDB നല്ല കംപ്രഷൻ അതിന്റെ പ്രധാന സവിശേഷതയാണ്. എന്നാൽ സംഭരിക്കുന്നതിനു പുറമേ, നിങ്ങൾക്ക് പഴയ ഡാറ്റ "മറക്കാനും" എന്തെങ്കിലും ചെയ്യാനും കഴിയണം ഡൗൺസാംപ്ലിംഗ് - അഗ്രഗേറ്റുകളുടെ യാന്ത്രിക എണ്ണൽ.
• സമാഹരിച്ച ഡാറ്റയെക്കുറിച്ചുള്ള വേഗത്തിലുള്ള അന്വേഷണങ്ങൾ. ചിലപ്പോൾ മില്ലിസെക്കൻഡുകളുടെ കൃത്യതയോടെ അവസാന 5 മിനിറ്റ് നോക്കുന്നത് രസകരമാണ്, എന്നാൽ പ്രതിമാസ ഡാറ്റ മിനിറ്റിൽ അല്ലെങ്കിൽ രണ്ടാമത്തെ ഗ്രാനുലാരിറ്റി ആവശ്യമായി വരില്ല - പൊതുവായ സ്ഥിതിവിവരക്കണക്കുകൾ മതിയാകും. ഇത്തരത്തിലുള്ള പിന്തുണ ആവശ്യമാണ്, അല്ലാത്തപക്ഷം 3 മാസത്തേക്കുള്ള അഭ്യർത്ഥന പൂർത്തിയാകാൻ വളരെ സമയമെടുക്കും ക്ലിക്ക്ഹ ouse സ്.
• അഭ്യർത്ഥനകൾ "അവസാന പോയിന്റ്, പോലെ». ഇവ സാധാരണമാണ് സമയ പരമ്പര ചോദ്യങ്ങൾ: ഒരു നിമിഷത്തിൽ സിസ്റ്റത്തിന്റെ അവസാന അളവ് അല്ലെങ്കിൽ അവസ്ഥ നോക്കുക t. ഇവ ഒരു ഡാറ്റാബേസിനായി വളരെ മനോഹരമായ ചോദ്യങ്ങളല്ല, എന്നാൽ നിങ്ങൾക്ക് അവ നടപ്പിലാക്കാനും കഴിയണം.
• "Gluing" സമയ പരമ്പര. സമയ പരമ്പര ഒരു സമയ പരമ്പരയാണ്. രണ്ട് സമയ ശ്രേണികൾ ഉണ്ടെങ്കിൽ, അവ പലപ്പോഴും ബന്ധിപ്പിക്കുകയും പരസ്പരബന്ധിതമാക്കുകയും വേണം. എല്ലാ ഡാറ്റാബേസുകളിലും, പ്രത്യേകിച്ച് വിന്യസിക്കാത്ത സമയ ശ്രേണിയിൽ ഇത് ചെയ്യുന്നത് സൗകര്യപ്രദമല്ല: ഇവിടെ ചില സമയ പോയിന്റുകൾ ഉണ്ട്, മറ്റുള്ളവയുണ്ട്. നിങ്ങൾക്ക് ശരാശരി പരിഗണിക്കാം, പക്ഷേ പെട്ടെന്ന് അവിടെ ഒരു ദ്വാരം ഉണ്ടാകും, അതിനാൽ അത് വ്യക്തമല്ല.

ഈ ആവശ്യകതകൾ എങ്ങനെയാണ് നിറവേറ്റുന്നതെന്ന് നോക്കാം ക്ലിക്ക്ഹ ouse സ്.

പദ്ധതി

В ക്ലിക്ക്ഹ ouse സ് സ്കീം സമയ പരമ്പര ഡാറ്റയുടെ ക്രമാനുഗതതയുടെ അളവ് അനുസരിച്ച് വ്യത്യസ്ത രീതികളിൽ ചെയ്യാൻ കഴിയും. എല്ലാ മെട്രിക്കുകളും മുൻകൂട്ടി അറിയുമ്പോൾ സാധാരണ ഡാറ്റയിൽ ഒരു സിസ്റ്റം നിർമ്മിക്കാൻ സാധിക്കും. ഉദാഹരണത്തിന്, ഞാൻ ഇത് ചെയ്തു ച്ലൊഉദ്ഫ്ലരെ നിരീക്ഷണത്തോടൊപ്പം CDN നന്നായി ഒപ്റ്റിമൈസ് ചെയ്ത സിസ്റ്റമാണ്. മുഴുവൻ അടിസ്ഥാന സൗകര്യങ്ങളും വിവിധ സേവനങ്ങളും നിരീക്ഷിക്കുന്ന ഒരു പൊതു സംവിധാനം നിങ്ങൾക്ക് നിർമ്മിക്കാൻ കഴിയും. ക്രമരഹിതമായ ഡാറ്റയുടെ കാര്യത്തിൽ, ഞങ്ങൾ എന്താണ് നിരീക്ഷിക്കുന്നതെന്ന് ഞങ്ങൾക്ക് മുൻകൂട്ടി അറിയില്ല - ഇത് ഒരുപക്ഷേ ഏറ്റവും സാധാരണമായ കേസാണ്.

പതിവ് ഡാറ്റ. നിരകൾ. സ്കീം ലളിതമാണ് - ആവശ്യമായ തരങ്ങളുള്ള നിരകൾ:

CREATE TABLE cpu (
  created_date Date DEFAULT today(),  
  created_at DateTime DEFAULT now(),  
  time String,  
  tags_id UInt32,  /* join to dim_tag */
  usage_user Float64,  
  usage_system Float64,  
  usage_idle Float64,  
  usage_nice Float64,  
  usage_iowait Float64,  
  usage_irq Float64,  
  usage_softirq Float64,  
  usage_steal Float64,  
  usage_guest Float64,  
  usage_guest_nice Float64
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

ഏതെങ്കിലും തരത്തിലുള്ള സിസ്റ്റം ലോഡിംഗ് പ്രവർത്തനം നിരീക്ഷിക്കുന്ന ഒരു സാധാരണ പട്ടികയാണിത് (ഉപയോക്താവ്, സിസ്റ്റം, നിഷ്ക്രിയ, നൈസ്). ലളിതവും സൗകര്യപ്രദവുമാണ്, എന്നാൽ വഴക്കമുള്ളതല്ല. കൂടുതൽ വഴക്കമുള്ള സ്കീം വേണമെങ്കിൽ, നമുക്ക് അറേകൾ ഉപയോഗിക്കാം.

ക്രമരഹിതമായ ഡാറ്റ. അണികൾ:

CREATE TABLE cpu_alc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metrics Nested(
    name LowCardinality(String),  
    value Float64
  )
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

SELECT max(metrics.value[indexOf(metrics.name,'usage_user')]) FROM ...

ഘടന ഉള്ളത് രണ്ട് ശ്രേണികളാണ്: metrics.name и metrics.value. പേരുകളുടെ ഒരു നിരയായും ഓരോ ഇവന്റിനുമുള്ള അളവുകളുടെ ഒരു നിരയായും നിങ്ങൾക്ക് അത്തരം അനിയന്ത്രിതമായ നിരീക്ഷണ ഡാറ്റ ഇവിടെ സംഭരിക്കാനാകും. കൂടുതൽ ഒപ്റ്റിമൈസേഷനായി, അത്തരം ഒരു ഘടനയ്ക്ക് പകരം, നിങ്ങൾക്ക് പലതും നിർമ്മിക്കാൻ കഴിയും. ഉദാഹരണത്തിന്, ഒന്ന് ഫ്ലോട്ട്-മൂല്യം, മറ്റൊന്ന് - വേണ്ടി int-അർത്ഥം കാരണം int കൂടുതൽ കാര്യക്ഷമമായി സംഭരിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു.

എന്നാൽ അത്തരമൊരു ഘടന ആക്സസ് ചെയ്യാൻ കൂടുതൽ ബുദ്ധിമുട്ടാണ്. ആദ്യം സൂചികയുടെയും പിന്നീട് അറേയുടെയും മൂല്യങ്ങൾ പുറത്തെടുക്കാൻ പ്രത്യേക ഫംഗ്ഷനുകൾ ഉപയോഗിച്ച് നിങ്ങൾ ഒരു പ്രത്യേക നിർമ്മാണം ഉപയോഗിക്കേണ്ടതുണ്ട്:

SELECT max(metrics.value[indexOf(metrics.name,'usage_user')]) FROM ...

എന്നാൽ ഇത് ഇപ്പോഴും വളരെ വേഗത്തിൽ പ്രവർത്തിക്കുന്നു. ക്രമരഹിതമായ ഡാറ്റ സംഭരിക്കുന്നതിനുള്ള മറ്റൊരു മാർഗ്ഗം വരിയാണ്.

ക്രമരഹിതമായ ഡാറ്റ. സ്ട്രിംഗുകൾ. ഈ പരമ്പരാഗത രീതിയിൽ, അറേകളില്ലാതെ, പേരുകളും മൂല്യങ്ങളും ഒരേസമയം സംഭരിക്കുന്നു. ഒരു ഉപകരണത്തിൽ നിന്ന് ഒരേസമയം 5 അളവുകൾ വന്നാൽ, ഡാറ്റാബേസിൽ 000 വരികൾ സൃഷ്ടിക്കപ്പെടുന്നു:

CREATE TABLE cpu_rlc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metric_name LowCardinality(String),  
  metric_value Float64
) ENGINE = MergeTree(created_date, (metric_name, tags_id, created_at), 8192);


SELECT 
    maxIf(metric_value, metric_name = 'usage_user'),
    ... 
FROM cpu_r
WHERE metric_name IN ('usage_user', ...)

ക്ലിക്ക്ഹ ouse സ് ഇത് നേരിടുന്നു - ഇതിന് പ്രത്യേക വിപുലീകരണങ്ങളുണ്ട് ക്ലിക്ക്ഹ ouse സ് SQL. ഉദാഹരണത്തിന്, maxIf - ചില വ്യവസ്ഥകൾ പാലിക്കുമ്പോൾ ഒരു മെട്രിക് ഉപയോഗിച്ച് പരമാവധി കണക്കാക്കുന്ന ഒരു പ്രത്യേക പ്രവർത്തനം. നിങ്ങൾക്ക് ഒരു അഭ്യർത്ഥനയിൽ അത്തരം നിരവധി പദപ്രയോഗങ്ങൾ എഴുതാനും നിരവധി മെട്രിക്കുകളുടെ മൂല്യം ഉടനടി കണക്കാക്കാനും കഴിയും.

നമുക്ക് മൂന്ന് സമീപനങ്ങൾ താരതമ്യം ചെയ്യാം:

വിശദാംശങ്ങൾ

ചില ടെസ്റ്റ് ഡാറ്റ സെറ്റിനായി ഞാൻ ഇവിടെ "ഡിസ്ക് ഡാറ്റ സൈസ്" ചേർത്തു. നിരകളുടെ കാര്യത്തിൽ, ഞങ്ങൾക്ക് ഏറ്റവും ചെറിയ ഡാറ്റ വലുപ്പമുണ്ട്: പരമാവധി കംപ്രഷൻ, പരമാവധി അന്വേഷണ വേഗത, എന്നാൽ എല്ലാം ഒരേസമയം റെക്കോർഡ് ചെയ്യുന്നതിലൂടെ ഞങ്ങൾ പണമടയ്ക്കുന്നു.

അറേകളുടെ കാര്യത്തിൽ, എല്ലാം അൽപ്പം മോശമാണ്. ഡാറ്റ ഇപ്പോഴും നന്നായി കംപ്രസ്സുചെയ്‌തിരിക്കുന്നു, കൂടാതെ ക്രമരഹിതമായ പാറ്റേൺ സംഭരിക്കാനും കഴിയും. പക്ഷേ ക്ലിക്ക്ഹ ouse സ് - ഒരു കോളം ഡാറ്റാബേസ്, ഞങ്ങൾ എല്ലാം ഒരു അറേയിൽ സംഭരിക്കാൻ തുടങ്ങുമ്പോൾ, അത് ഒരു വരിയായി മാറുന്നു, കാര്യക്ഷമതയോടെ ഞങ്ങൾ വഴക്കം നൽകുന്നു. ഏതൊരു പ്രവർത്തനത്തിനും, നിങ്ങൾ മുഴുവൻ അറേയും മെമ്മറിയിലേക്ക് വായിക്കേണ്ടതുണ്ട്, തുടർന്ന് അതിൽ ആവശ്യമുള്ള ഘടകം കണ്ടെത്തുക - കൂടാതെ അറേ വളരുകയാണെങ്കിൽ, വേഗത കുറയുന്നു.

ഈ സമീപനം ഉപയോഗിക്കുന്ന കമ്പനികളിലൊന്നിൽ (ഉദാഹരണത്തിന്, യൂബർ), അറേകൾ 128 മൂലകങ്ങളുടെ കഷണങ്ങളായി മുറിക്കുന്നു. 200 TB ഡാറ്റ/ദിവസം വോളിയമുള്ള ആയിരക്കണക്കിന് മെട്രിക്കുകളിൽ നിന്നുള്ള ഡാറ്റ ഒരു അറേയിലല്ല, പ്രത്യേക സ്റ്റോറേജ് ലോജിക്കോടുകൂടിയ 10 അല്ലെങ്കിൽ 30 അറേകളിലാണ് സംഭരിക്കുന്നത്.

ഏറ്റവും ലളിതമായ സമീപനം സ്ട്രിംഗുകളാണ്. എന്നാൽ ഡാറ്റ മോശമായി കംപ്രസ്സുചെയ്‌തിരിക്കുന്നു, പട്ടികയുടെ വലുപ്പം വലുതാണ്, കൂടാതെ നിരവധി മെട്രിക്കുകളെ അടിസ്ഥാനമാക്കിയുള്ള അന്വേഷണങ്ങൾ പോലും, ClickHouse മികച്ച രീതിയിൽ പ്രവർത്തിക്കുന്നില്ല.

ഹൈബ്രിഡ് സ്കീം

നമ്മൾ ഒരു അറേ സർക്യൂട്ട് തിരഞ്ഞെടുത്തുവെന്ന് കരുതുക. എന്നാൽ ഞങ്ങളുടെ മിക്ക ഡാഷ്‌ബോർഡുകളും ഉപയോക്തൃ, സിസ്റ്റം മെട്രിക്‌സ് മാത്രമേ കാണിക്കൂ എന്ന് ഞങ്ങൾക്കറിയാമെങ്കിൽ, ഈ മെട്രിക്കുകൾ പട്ടിക തലത്തിലുള്ള ഒരു അറേയിൽ നിന്ന് ഈ രീതിയിൽ നിരകളാക്കി മാറ്റാം:

CREATE TABLE cpu_alc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metrics Nested(
    name LowCardinality(String),  
    value Float64
  ),
  usage_user Float64 
             MATERIALIZED metrics.value[indexOf(metrics.name,'usage_user')],
  usage_system Float64 
             MATERIALIZED metrics.value[indexOf(metrics.name,'usage_system')]
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

ചേർക്കുമ്പോൾ ക്ലിക്ക്ഹ ouse സ് അവ യാന്ത്രികമായി കണക്കാക്കും. ഇതുവഴി നിങ്ങൾക്ക് ബിസിനസ്സ് സന്തോഷത്തോടെ സംയോജിപ്പിക്കാൻ കഴിയും: സ്കീം വഴക്കമുള്ളതും പൊതുവായതുമാണ്, എന്നാൽ ഞങ്ങൾ പതിവായി ഉപയോഗിക്കുന്ന നിരകൾ പുറത്തെടുത്തു. ഇത് ഇൻസേർട്ട് മാറ്റേണ്ട ആവശ്യമില്ലെന്ന് ശ്രദ്ധിക്കുക ETLപട്ടികയിൽ അറേകൾ ചേർക്കുന്നത് തുടരുന്നു. ഞങ്ങൾ ചെയ്തു ആൾട്ടർ ടേബിൾ, രണ്ട് സ്പീക്കറുകൾ ചേർത്തു, നിങ്ങൾക്ക് ഉടൻ തന്നെ ഉപയോഗിക്കാൻ തുടങ്ങാവുന്ന ഒരു ഹൈബ്രിഡ് വേഗതയേറിയ സ്കീം ഞങ്ങൾക്ക് ലഭിച്ചു.

കോഡെക്കുകളും കംപ്രഷനും

വേണ്ടി സമയ പരമ്പര നിങ്ങൾ ഡാറ്റ എത്ര നന്നായി പാക്ക് ചെയ്യുന്നു എന്നത് പ്രധാനമാണ്, കാരണം വിവരങ്ങളുടെ അളവ് വളരെ വലുതായിരിക്കും. IN ക്ലിക്ക്ഹ ouse സ് 1:10, 1:20, ചിലപ്പോൾ അതിലും കൂടുതൽ കംപ്രഷൻ പ്രഭാവം നേടാൻ ഒരു കൂട്ടം ടൂളുകൾ ഉണ്ട്. ഇതിനർത്ഥം ഡിസ്കിലെ 1 TB അൺപാക്ക് ചെയ്ത ഡാറ്റ 50-100 GB വരെ എടുക്കുന്നു എന്നാണ്. ചെറിയ വലിപ്പം നല്ലതാണ്, ഡാറ്റ വേഗത്തിൽ വായിക്കാനും പ്രോസസ്സ് ചെയ്യാനും കഴിയും.

ഉയർന്ന തലത്തിലുള്ള കംപ്രഷൻ നേടാൻ, ക്ലിക്ക്ഹ ouse സ് ഇനിപ്പറയുന്ന കോഡെക്കുകളെ പിന്തുണയ്ക്കുന്നു:

ഉദാഹരണ പട്ടിക:

CREATE TABLE benchmark.cpu_codecs_lz4 (
    created_date Date DEFAULT today(), 
    created_at DateTime DEFAULT now() Codec(DoubleDelta, LZ4), 
    tags_id UInt32, 
    usage_user Float64 Codec(Gorilla, LZ4), 
    usage_system Float64 Codec(Gorilla, LZ4), 
    usage_idle Float64 Codec(Gorilla, LZ4), 
    usage_nice Float64 Codec(Gorilla, LZ4), 
    usage_iowait Float64 Codec(Gorilla, LZ4), 
    usage_irq Float64 Codec(Gorilla, LZ4), 
    usage_softirq Float64 Codec(Gorilla, LZ4), 
    usage_steal Float64 Codec(Gorilla, LZ4), 
    usage_guest Float64 Codec(Gorilla, LZ4), 
    usage_guest_nice Float64 Codec(Gorilla, LZ4), 
    additional_tags String DEFAULT ''
)
ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

ഇവിടെ നമ്മൾ കോഡെക് നിർവ്വചിക്കുന്നു ഡബിൾഡെൽറ്റ ഒരു സാഹചര്യത്തിൽ, രണ്ടാമത്തേതിൽ - ഗോറില്ല, ഞങ്ങൾ തീർച്ചയായും കൂടുതൽ ചേർക്കും LZ4 കംപ്രഷൻ. തൽഫലമായി, ഡിസ്കിലെ ഡാറ്റയുടെ വലുപ്പം വളരെ കുറയുന്നു:

വ്യത്യസ്ത കോഡെക്കുകളും കംപ്രഷനുകളും ഉപയോഗിച്ച് ഒരേ ഡാറ്റ എത്ര സ്ഥലം എടുക്കുന്നുവെന്ന് ഇത് കാണിക്കുന്നു:

• ഡിസ്കിലെ ഒരു GZIP ഫയലിൽ;
• കോഡെക്കുകൾ ഇല്ലാതെ ക്ലിക്ക്ഹൗസിൽ, എന്നാൽ ZSTD കംപ്രഷൻ;
• കോഡെക്കുകളും കംപ്രഷൻ LZ4 ഉം ZSTD ഉം ഉള്ള ClickHouse-ൽ.

കോഡെക്കുകളുള്ള പട്ടികകൾ വളരെ കുറച്ച് സ്ഥലമെടുക്കുന്നതായി കാണാം.

വലുപ്പ കാര്യങ്ങൾ

പ്രാധാന്യം കുറവല്ല തിരഞ്ഞെടുക്കുക ശരിയായ ഡാറ്റ തരം:

മുകളിലുള്ള എല്ലാ ഉദാഹരണങ്ങളിലും ഞാൻ ഉപയോഗിച്ചു ഫ്ലോട്ട്64. എന്നാൽ ഞങ്ങൾ തിരഞ്ഞെടുത്താൽ ഫ്ലോട്ട്32, എങ്കിൽ അത് ഇതിലും മികച്ചതായിരിക്കും. മുകളിൽ ലിങ്ക് ചെയ്ത ലേഖനത്തിൽ പെർക്കോണയിൽ നിന്നുള്ള ആൺകുട്ടികൾ ഇത് നന്നായി പ്രകടമാക്കി. ടാസ്‌ക്കിന് അനുയോജ്യമായ ഏറ്റവും ഒതുക്കമുള്ള തരം ഉപയോഗിക്കേണ്ടത് പ്രധാനമാണ്: അന്വേഷണ വേഗതയേക്കാൾ ഡിസ്ക് വലുപ്പത്തിന് ഇതിലും കുറവാണ്. ക്ലിക്ക്ഹ ouse സ് ഇത് വളരെ സെൻസിറ്റീവ്.

നിങ്ങൾക്ക് ഉപയോഗിക്കാൻ കഴിയുമെങ്കിൽ int32 പകരം int64, അപ്പോൾ പ്രകടനത്തിൽ ഏകദേശം ഇരട്ടി വർദ്ധനവ് പ്രതീക്ഷിക്കുക. ഡാറ്റ കുറച്ച് മെമ്മറി എടുക്കുന്നു, കൂടാതെ എല്ലാ "ഗണിതവും" വളരെ വേഗത്തിൽ പ്രവർത്തിക്കുന്നു. ക്ലിക്ക്ഹ ouse സ് ആന്തരികമായി ഇത് വളരെ കർശനമായി ടൈപ്പ് ചെയ്ത സംവിധാനമാണ്; ആധുനിക സംവിധാനങ്ങൾ നൽകുന്ന എല്ലാ സാധ്യതകളും ഇത് പരമാവധി ഉപയോഗിക്കുന്നു.

അഗ്രഗേഷൻ ആൻഡ് മെറ്റീരിയലൈസ് ചെയ്‌ത കാഴ്‌ചകൾ

സംയോജനവും വസ്‌തുവൽക്കരിച്ച കാഴ്‌ചകളും വ്യത്യസ്‌ത അവസരങ്ങൾക്കായി അഗ്രഗേറ്റുകൾ സൃഷ്‌ടിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു:

ഉദാഹരണത്തിന്, നിങ്ങൾക്ക് സമാഹരിച്ചിട്ടില്ലാത്ത ഉറവിട ഡാറ്റ ഉണ്ടായിരിക്കാം, കൂടാതെ ഒരു പ്രത്യേക എഞ്ചിൻ മുഖേന യാന്ത്രിക സംഗ്രഹം ഉപയോഗിച്ച് നിങ്ങൾക്ക് അവയിലേക്ക് വിവിധ മെറ്റീരിയലൈസ്ഡ് കാഴ്ചകൾ അറ്റാച്ചുചെയ്യാനാകും. സമ്മിംഗ് മെർജ് ട്രീ (SMT). എസ്എംടി അഗ്രഗേറ്റുകൾ സ്വയമേവ കണക്കാക്കുന്ന ഒരു പ്രത്യേക അഗ്രഗേറ്റിംഗ് ഡാറ്റാ ഘടനയാണ്. അസംസ്കൃത ഡാറ്റ ഡാറ്റാബേസിലേക്ക് ചേർത്തു, അത് സ്വയമേവ സമാഹരിക്കുന്നു, ഡാഷ്ബോർഡുകൾ അതിൽ ഉടനടി ഉപയോഗിക്കാനാകും.

ടിടിഎൽ - പഴയ ഡാറ്റ "മറക്കുക"

ഇനി ആവശ്യമില്ലാത്ത ഡാറ്റ എങ്ങനെ "മറക്കും"? ക്ലിക്ക്ഹ ouse സ് ഇത് എങ്ങനെ ചെയ്യണമെന്ന് അറിയാം. പട്ടികകൾ സൃഷ്ടിക്കുമ്പോൾ, നിങ്ങൾക്ക് വ്യക്തമാക്കാം ടിടിഎൽ എക്സ്പ്രഷനുകൾ: ഉദാഹരണത്തിന്, ഞങ്ങൾ ഒരു ദിവസത്തേക്കുള്ള മിനിറ്റ് ഡാറ്റയും 30 ദിവസത്തേക്കുള്ള ദൈനംദിന ഡാറ്റയും സംഭരിക്കുന്നതും പ്രതിവാര അല്ലെങ്കിൽ പ്രതിമാസ ഡാറ്റ ഒരിക്കലും സ്പർശിക്കാത്തതും:

CREATE TABLE aggr_by_minute
…
TTL time + interval 1 day

CREATE TABLE aggr_by_day
…
TTL time + interval 30 day

CREATE TABLE aggr_by_week
…
/* no TTL */

മൾട്ടി-ടയർ - ഡിസ്കുകളിലുടനീളം ഡാറ്റ വിഭജിക്കുക

ഈ ആശയം മുന്നോട്ട് കൊണ്ടുപോകുന്നതിലൂടെ, ഡാറ്റ സംഭരിക്കാൻ കഴിയും ക്ലിക്ക്ഹ ouse സ് വിവിധ സ്ഥലങ്ങളിൽ. കഴിഞ്ഞ ആഴ്‌ചയിലെ ഹോട്ട് ഡാറ്റ വളരെ വേഗതയുള്ള ലോക്കലിൽ സംഭരിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നുവെന്ന് കരുതുക എസ്എസ്ഡി, ഞങ്ങൾ കൂടുതൽ ചരിത്രപരമായ ഡാറ്റ മറ്റൊരു സ്ഥലത്ത് ഇടുന്നു. IN ക്ലിക്ക്ഹ ouse സ് ഇത് ഇപ്പോൾ സാധ്യമാണ്:

നിങ്ങൾക്ക് ഒരു സംഭരണ ​​നയം ക്രമീകരിക്കാൻ കഴിയും (സംഭരണ ​​നയം) അങ്ങനെ ക്ലിക്ക്ഹ ouse സ് ചില വ്യവസ്ഥകളിൽ എത്തുമ്പോൾ സ്വയമേവ ഡാറ്റ മറ്റൊരു സ്റ്റോറേജിലേക്ക് കൈമാറും.

എന്നാൽ അത് മാത്രമല്ല. ഒരു നിർദ്ദിഷ്ട പട്ടികയുടെ തലത്തിൽ, ഡാറ്റ കോൾഡ് സ്റ്റോറേജിലേക്ക് പോകുമ്പോൾ കൃത്യമായി നിങ്ങൾക്ക് നിയമങ്ങൾ നിർവചിക്കാം. ഉദാഹരണത്തിന്, ഡാറ്റ വളരെ വേഗതയുള്ള ഡിസ്കിൽ 7 ദിവസത്തേക്ക് സംഭരിക്കുന്നു, കൂടാതെ പഴയതെല്ലാം വേഗത കുറഞ്ഞ ഒന്നിലേക്ക് മാറ്റുന്നു. ഇത് നല്ലതാണ്, കാരണം ചെലവ് നിയന്ത്രിക്കുമ്പോഴും തണുത്ത ഡാറ്റയിൽ പണം പാഴാക്കാതെയും സിസ്റ്റം പരമാവധി പ്രകടനത്തിൽ നിലനിർത്താൻ ഇത് നിങ്ങളെ അനുവദിക്കുന്നു:

CREATE TABLE 
... 
TTL date + INTERVAL 7 DAY TO VOLUME 'cold_volume', 
    date + INTERVAL 180 DAY DELETE

അതുല്യമായ സവിശേഷതകൾ ക്ലിക്ക്ഹ ouse സ്

മിക്കവാറും എല്ലാത്തിലും ക്ലിക്ക്ഹ ouse സ് അത്തരം "ഹൈലൈറ്റുകൾ" ഉണ്ട്, എന്നാൽ അവ എക്സ്ക്ലൂസിവിറ്റി ഉപയോഗിച്ച് ഓഫ്സെറ്റ് ചെയ്യുന്നു - മറ്റ് ഡാറ്റാബേസുകളിൽ ഇല്ലാത്ത ഒന്ന്. ഉദാഹരണത്തിന്, ചില അദ്വിതീയ സവിശേഷതകൾ ഇതാ ക്ലിക്ക്ഹ ouse സ്:

• അണികൾ. ദി ക്ലിക്ക്ഹ ouse സ് അറേകൾക്കുള്ള മികച്ച പിന്തുണയും അവയിൽ സങ്കീർണ്ണമായ കണക്കുകൂട്ടലുകൾ നടത്താനുള്ള കഴിവും.
• ഡാറ്റ ഘടനകൾ സമാഹരിക്കുന്നു. ഇത് "കൊലയാളി സവിശേഷതകളിൽ" ഒന്നാണ് ക്ലിക്ക്ഹ ouse സ്. ഞങ്ങൾക്ക് ഡാറ്റ സമാഹരിക്കാൻ താൽപ്പര്യമില്ലെന്ന് Yandex-ൽ നിന്നുള്ള ആളുകൾ പറയുന്നുണ്ടെങ്കിലും, എല്ലാം സമാഹരിച്ചിരിക്കുന്നു ക്ലിക്ക്ഹ ouse സ്, കാരണം ഇത് വേഗതയേറിയതും സൗകര്യപ്രദവുമാണ്.
• മെറ്റീരിയലൈസ്ഡ് കാഴ്‌ചകൾ. ഡാറ്റാ ഘടനകൾ സമാഹരിക്കുന്നതിനൊപ്പം, ഭൗതികമായ കാഴ്ചകൾ നിങ്ങളെ സൗകര്യപ്രദമാക്കാൻ അനുവദിക്കുന്നു തൽസമയം സമാഹരണം.
• ക്ലിക്ക്ഹൗസ് SQL. ഇതൊരു ഭാഷാ വിപുലീകരണമാണ് SQL ൽ മാത്രം ലഭ്യമായ ചില അധികവും എക്സ്ക്ലൂസീവ് ഫീച്ചറുകളും ക്ലിക്ക്ഹ ouse സ്. മുമ്പ്, ഇത് ഒരു വശത്ത് ഒരു വിപുലീകരണം പോലെയായിരുന്നു, മറുവശത്ത് ഒരു പോരായ്മയും. ഇപ്പോൾ താരതമ്യപ്പെടുത്തുമ്പോൾ മിക്കവാറും എല്ലാ ദോഷങ്ങളുമുണ്ട് SQL 92 ഞങ്ങൾ അത് നീക്കം ചെയ്തു, ഇപ്പോൾ ഇത് ഒരു വിപുലീകരണം മാത്രമാണ്.
• ലാംബഡ-ഭാവങ്ങൾ. അവ ഇപ്പോഴും ഏതെങ്കിലും ഡാറ്റാബേസിൽ ഉണ്ടോ?
• ML- പിന്തുണ. ഇത് വ്യത്യസ്ത ഡാറ്റാബേസുകളിൽ ലഭ്യമാണ്, ചിലത് മികച്ചതാണ്, ചിലത് മോശമാണ്.
• തുറന്ന ഉറവിടം. നമുക്ക് വികസിപ്പിക്കാം ക്ലിക്ക്ഹ ouse സ് ഒരുമിച്ച്. ഇപ്പോൾ അകത്ത് ക്ലിക്ക്ഹ ouse സ് ഏകദേശം 500 സംഭാവകർ, ഈ എണ്ണം നിരന്തരം വർദ്ധിച്ചുകൊണ്ടിരിക്കുന്നു.

തന്ത്രപരമായ ചോദ്യങ്ങൾ

В ക്ലിക്ക്ഹ ouse സ് ഒരേ കാര്യം ചെയ്യാൻ നിരവധി വ്യത്യസ്ത മാർഗങ്ങളുണ്ട്. ഉദാഹരണത്തിന്, നിങ്ങൾക്ക് മൂന്ന് വ്യത്യസ്ത വഴികളിൽ ഒരു പട്ടികയിൽ നിന്ന് അവസാന മൂല്യം തിരികെ നൽകാം സിപിയു (നാലാമത്തേതും ഉണ്ട്, പക്ഷേ അത് കൂടുതൽ വിചിത്രമാണ്).

ആദ്യത്തേത് അത് എത്രത്തോളം സൗകര്യപ്രദമാണെന്ന് കാണിക്കുന്നു ക്ലിക്ക്ഹ ouse സ് നിങ്ങൾ അത് പരിശോധിക്കാൻ താൽപ്പര്യപ്പെടുമ്പോൾ ചോദ്യങ്ങൾ ടുപ്പിൾ സബ്ക്വറിയിൽ അടങ്ങിയിരിക്കുന്നു. മറ്റ് ഡാറ്റാബേസുകളിൽ എനിക്ക് വ്യക്തിപരമായി നഷ്‌ടമായ കാര്യമാണിത്. എനിക്ക് എന്തെങ്കിലും ഒരു സബ്ക്വറിയുമായി താരതമ്യം ചെയ്യണമെങ്കിൽ, മറ്റ് ഡാറ്റാബേസുകളിൽ ഒരു സ്കെയിലർ മാത്രമേ അതുമായി താരതമ്യം ചെയ്യാൻ കഴിയൂ, എന്നാൽ നിരവധി കോളങ്ങൾക്കായി ഞാൻ എഴുതേണ്ടതുണ്ട് ചേരുക. ദി ക്ലിക്ക്ഹ ouse സ് നിങ്ങൾക്ക് ട്യൂപ്പിൾ ഉപയോഗിക്കാം:

SELECT *
  FROM cpu 
 WHERE (tags_id, created_at) IN 
    (SELECT tags_id, max(created_at)
        FROM cpu 
        GROUP BY tags_id)

രണ്ടാമത്തെ രീതിയും ഇതുതന്നെ ചെയ്യുന്നു, പക്ഷേ മൊത്തം ഫംഗ്ഷൻ ഉപയോഗിക്കുന്നു argMax:

SELECT 
    argMax(usage_user), created_at),
    argMax(usage_system), created_at),
...
 FROM cpu 

В ക്ലിക്ക്ഹ ouse സ് നിരവധി ഡസൻ അഗ്രഗേറ്റ് ഫംഗ്ഷനുകൾ ഉണ്ട്, നിങ്ങൾ കോമ്പിനേറ്ററുകൾ ഉപയോഗിക്കുകയാണെങ്കിൽ, കോമ്പിനേറ്ററിക്സ് നിയമങ്ങൾ അനുസരിച്ച് നിങ്ങൾക്ക് അവയിൽ ആയിരത്തോളം ലഭിക്കും. ആർഗ്മാക്സ് - പരമാവധി മൂല്യം കണക്കാക്കുന്ന ഫംഗ്ഷനുകളിൽ ഒന്ന്: അഭ്യർത്ഥന മൂല്യം നൽകുന്നു ഉപയോഗ_ഉപയോക്താവ്, പരമാവധി മൂല്യത്തിൽ എത്തിയിരിക്കുന്നു സൃഷ്ടിച്ചത്_at:

SELECT now() as created_at,
       cpu.*
  FROM (SELECT DISTINCT tags_id from cpu) base 
  ASOF LEFT JOIN cpu USING (tags_id, created_at)

ASOF ചേരുക - വ്യത്യസ്ത സമയങ്ങളുള്ള "gluing" വരികൾ. ഡാറ്റാബേസുകളിൽ മാത്രം ലഭ്യമാകുന്ന സവിശേഷമായ സവിശേഷതയാണിത് kdb+. വ്യത്യസ്ത സമയങ്ങളുള്ള രണ്ട് സമയ പരമ്പരകൾ ഉണ്ടെങ്കിൽ, ASOF ചേരുക ഒരു അഭ്യർത്ഥനയിൽ അവയെ നീക്കാനും ലയിപ്പിക്കാനും നിങ്ങളെ അനുവദിക്കുന്നു. ഒരു സമയ ശ്രേണിയിലെ ഓരോ മൂല്യത്തിനും, മറ്റൊന്നിലെ ഏറ്റവും അടുത്തുള്ള മൂല്യം കണ്ടെത്തി, അവ ഒരേ വരിയിൽ തിരികെ നൽകും:

അനലിറ്റിക് പ്രവർത്തനങ്ങൾ

നിലവാരത്തിൽ SQL-2003 നിങ്ങൾക്ക് ഇതുപോലെ എഴുതാം:

SELECT origin,
       timestamp,
       timestamp -LAG(timestamp, 1) OVER (PARTITION BY origin ORDER BY timestamp) AS duration,
       timestamp -MIN(timestamp) OVER (PARTITION BY origin ORDER BY timestamp) AS startseq_duration,
       ROW_NUMBER() OVER (PARTITION BY origin ORDER BY timestamp) AS sequence,
       COUNT() OVER (PARTITION BY origin ORDER BY timestamp) AS nb
  FROM mytable
ORDER BY origin, timestamp;

В ക്ലിക്ക്ഹ ouse സ് നിങ്ങൾക്ക് അത് ചെയ്യാൻ കഴിയില്ല - ഇത് സ്റ്റാൻഡേർഡിനെ പിന്തുണയ്ക്കുന്നില്ല SQL-2003 ഒരുപക്ഷേ അത് ഒരിക്കലും ചെയ്യില്ല. പകരം, ഇൻ ക്ലിക്ക്ഹ ouse സ് ഇങ്ങനെ എഴുതുന്നത് പതിവാണ്:

ഞാൻ ലാംഡകൾക്ക് വാഗ്ദാനം ചെയ്തു - ഇതാ അവർ!

ഇത് സ്റ്റാൻഡേർഡിലെ അനലിറ്റിക്കൽ അന്വേഷണത്തിന്റെ ഒരു അനലോഗ് ആണ് SQL-2003: രണ്ടും തമ്മിലുള്ള വ്യത്യാസം അവൻ കണക്കാക്കുന്നു ടൈംസ്റ്റാമ്പ്, ദൈർഘ്യം, ഓർഡിനൽ നമ്പർ - ഞങ്ങൾ സാധാരണയായി വിശകലന പ്രവർത്തനങ്ങൾ പരിഗണിക്കുന്ന എല്ലാം. IN ക്ലിക്ക്ഹ ouse സ് ഞങ്ങൾ അവയെ അറേകളിലൂടെ കണക്കാക്കുന്നു: ആദ്യം ഞങ്ങൾ ഡാറ്റയെ ഒരു അറേയിലേക്ക് ചുരുക്കുന്നു, അതിനുശേഷം ഞങ്ങൾ ആവശ്യമുള്ളതെല്ലാം അറേയിൽ ചെയ്യുന്നു, തുടർന്ന് ഞങ്ങൾ അത് വീണ്ടും വികസിപ്പിക്കും. ഇത് വളരെ സൗകര്യപ്രദമല്ല, ഇതിന് കുറഞ്ഞത് ഫംഗ്ഷണൽ പ്രോഗ്രാമിംഗിനോട് സ്നേഹം ആവശ്യമാണ്, പക്ഷേ ഇത് വളരെ വഴക്കമുള്ളതാണ്.

പ്രത്യേക പ്രവർത്തനങ്ങൾ

കൂടാതെ, ഇൻ ക്ലിക്ക്ഹ ouse സ് നിരവധി പ്രത്യേക പ്രവർത്തനങ്ങൾ. ഉദാഹരണത്തിന്, ഒരേസമയം എത്ര സെഷനുകൾ നടക്കുന്നുണ്ടെന്ന് എങ്ങനെ നിർണ്ണയിക്കും? ഒരു അഭ്യർത്ഥന ഉപയോഗിച്ച് പരമാവധി ലോഡ് നിർണ്ണയിക്കുക എന്നതാണ് ഒരു സാധാരണ നിരീക്ഷണ ചുമതല. IN ക്ലിക്ക്ഹ ouse സ് ഈ ആവശ്യത്തിനായി ഒരു പ്രത്യേക പ്രവർത്തനം ഉണ്ട്:

പൊതുവേ, ClickHouse-ന് നിരവധി ആവശ്യങ്ങൾക്കായി പ്രത്യേക പ്രവർത്തനങ്ങൾ ഉണ്ട്:

• റണ്ണിംഗ് ഡിഫറൻസ്, റണ്ണിംഗ് അക്യുമുലേറ്റ്, അയൽക്കാരൻ;
• സംമാപ്പ് (കീ, മൂല്യം);
• timeSeriesGroupSum(uid, ടൈംസ്റ്റാമ്പ്, മൂല്യം);
• timeSeriesGroupRateSum(uid, ടൈംസ്റ്റാമ്പ്, മൂല്യം);
• skewPop, skewSamp, kurtPop, kurtSamp;
• പൂരിപ്പിച്ച് / ബന്ധങ്ങളോടെ;
• സിമ്പിൾ ലീനിയർ റിഗ്രഷൻ, സ്റ്റോക്കാസ്റ്റിക് ലീനിയർ റിഗ്രഷൻ.

ഇത് പ്രവർത്തനങ്ങളുടെ പൂർണ്ണമായ പട്ടികയല്ല, ആകെ 500-600 ഉണ്ട്. സൂചന: എല്ലാ പ്രവർത്തനങ്ങളും ക്ലിക്ക്ഹ ouse സ് സിസ്റ്റം ടേബിളിലുണ്ട് (എല്ലാം ഡോക്യുമെന്റ് ചെയ്തിട്ടില്ല, പക്ഷേ എല്ലാം രസകരമാണ്):

select * from system.functions order by name

ക്ലിക്ക്ഹ ouse സ് അതുൾപ്പെടെ തന്നെക്കുറിച്ചുള്ള ധാരാളം വിവരങ്ങൾ സംഭരിക്കുന്നു ലോഗ് ടേബിളുകൾ, query_log, ട്രേസ് ലോഗ്, ഡാറ്റ ബ്ലോക്കുകളുള്ള പ്രവർത്തനങ്ങളുടെ ലോഗ് (ഭാഗം_ലോഗ്), മെട്രിക്സ് ലോഗ്, സിസ്റ്റം ലോഗ്, ഇത് സാധാരണയായി ഡിസ്കിലേക്ക് എഴുതുന്നു. ലോഗ് മെട്രിക്സ് ആണ് സമയ പരമ്പര в ക്ലിക്ക്ഹ ouse സ് സത്യത്തിൽ ക്ലിക്ക്ഹ ouse സ്: ഡാറ്റാബേസിന് തന്നെ ഒരു പങ്കു വഹിക്കാനാകും സമയ പരമ്പര ഡാറ്റാബേസുകൾ, അങ്ങനെ സ്വയം "വിഴുങ്ങുന്നു".

ഇതും ഒരു അദ്വിതീയ കാര്യമാണ് - ഞങ്ങൾ ഒരു നല്ല ജോലി ചെയ്യുന്നതിനാൽ സമയ പരമ്പര, എന്തുകൊണ്ടാണ് നമുക്ക് ആവശ്യമുള്ളതെല്ലാം നമ്മുടെ ഉള്ളിൽ സംഭരിക്കാൻ കഴിയാത്തത്? ഞങ്ങൾക്ക് ആവശ്യമില്ല പ്രോമിത്തിയസ്, ഞങ്ങൾ എല്ലാം നമ്മിൽത്തന്നെ സൂക്ഷിക്കുന്നു. ബന്ധിപ്പിച്ചു ഗ്രാഫാന ഞങ്ങൾ സ്വയം നിരീക്ഷിക്കുകയും ചെയ്യുന്നു. എന്നിരുന്നാലും, എങ്കിൽ ക്ലിക്ക്ഹ ouse സ് വീഴുന്നു, എന്തുകൊണ്ടെന്ന് ഞങ്ങൾ കാണില്ല, അതിനാൽ അവർ സാധാരണയായി അത് ചെയ്യില്ല.

വലിയ ക്ലസ്റ്റർ അല്ലെങ്കിൽ നിരവധി ചെറിയവ ക്ലിക്ക്ഹ ouse സ്

എന്താണ് നല്ലത് - ഒരു വലിയ ക്ലസ്റ്റർ അല്ലെങ്കിൽ നിരവധി ചെറിയ ക്ലിക്ക്ഹൗസുകൾ? പരമ്പരാഗത സമീപനം DWH ഓരോ ആപ്ലിക്കേഷനും സർക്യൂട്ടുകൾ അനുവദിച്ചിരിക്കുന്ന ഒരു വലിയ ക്ലസ്റ്ററാണ്. ഞങ്ങൾ ഡാറ്റാബേസ് അഡ്മിനിസ്ട്രേറ്ററുടെ അടുത്തെത്തി - ഞങ്ങൾക്ക് ഒരു ഡയഗ്രം തരൂ, അവർ ഞങ്ങൾക്ക് ഒന്ന് തന്നു:

В ക്ലിക്ക്ഹ ouse സ് നിങ്ങൾക്ക് ഇത് വ്യത്യസ്തമായി ചെയ്യാൻ കഴിയും. ഓരോ ആപ്ലിക്കേഷനും നിങ്ങൾക്ക് സ്വന്തമായി ഉണ്ടാക്കാം ക്ലിക്ക്ഹ ouse സ്:

നമുക്ക് ഇനി വലിയ ഭീകരനെ ആവശ്യമില്ല DWH ഒപ്പം അടങ്ങാത്ത അഡ്മിൻമാരും. ഓരോ ആപ്ലിക്കേഷനും അതിന്റേതായ രീതിയിൽ നമുക്ക് നൽകാം ക്ലിക്ക്ഹ ouse സ്, ഡെവലപ്പർക്ക് അത് സ്വയം ചെയ്യാൻ കഴിയും, മുതൽ ക്ലിക്ക്ഹ ouse സ് ഇൻസ്റ്റാൾ ചെയ്യാൻ വളരെ എളുപ്പമാണ് കൂടാതെ സങ്കീർണ്ണമായ അഡ്മിനിസ്ട്രേഷൻ ആവശ്യമില്ല:

എന്നാൽ നമുക്ക് ധാരാളം ഉണ്ടെങ്കിൽ ക്ലിക്ക്ഹ ouse സ്, നിങ്ങൾ ഇത് ഇടയ്ക്കിടെ ഇൻസ്റ്റാൾ ചെയ്യേണ്ടതുണ്ട്, തുടർന്ന് ഈ പ്രക്രിയ ഓട്ടോമേറ്റ് ചെയ്യാൻ നിങ്ങൾ ആഗ്രഹിക്കുന്നു. ഇതിനായി നമുക്ക്, ഉദാഹരണത്തിന്, ഉപയോഗിക്കാം കുബേർനെറ്റ് и ക്ലിക്ക്ഹൗസ്- ഓപ്പറേറ്റർ. IN കുബെർനെറ്റസ് ക്ലിക്ക്ഹൗസ് നിങ്ങൾക്കിത് "ഓൺ-ക്ലിക്ക്" ഇട്ടേക്കാം: എനിക്ക് ഒരു ബട്ടൺ ക്ലിക്ക് ചെയ്യാം, മാനിഫെസ്റ്റ് പ്രവർത്തിപ്പിക്കാം, ഡാറ്റാബേസ് തയ്യാറാണ്. എനിക്ക് ഉടനടി ഒരു ഡയഗ്രം സൃഷ്‌ടിക്കാനും അവിടെ മെട്രിക്‌സ് അപ്‌ലോഡ് ചെയ്യാൻ ആരംഭിക്കാനും കഴിയും, കൂടാതെ 5 മിനിറ്റിനുള്ളിൽ എനിക്ക് ഒരു ഡാഷ്‌ബോർഡ് തയ്യാറാണ് ഗ്രാഫാന. ഇത് വളരെ ലളിതമാണ്!

അവസാനം എന്താണ്?

അങ്ങനെയാണെങ്കിൽ, ക്ലിക്ക്ഹ ouse സ് - ഈ:

• വേഗത. ഇത് എല്ലാവർക്കും അറിയാം.
• ലളിതമായി. അൽപ്പം വിവാദപരമാണ്, പക്ഷേ ഇത് പരിശീലനത്തിൽ ബുദ്ധിമുട്ടാണെന്നും പോരാട്ടത്തിൽ എളുപ്പമാണെന്നും ഞാൻ വിശ്വസിക്കുന്നു. എങ്ങനെയെന്ന് മനസ്സിലായാൽ ക്ലിക്ക്ഹ ouse സ് ഇത് പ്രവർത്തിക്കുന്നു, അപ്പോൾ എല്ലാം വളരെ ലളിതമാണ്.
• സാർവത്രികമായി. വ്യത്യസ്ത സാഹചര്യങ്ങൾക്ക് ഇത് അനുയോജ്യമാണ്: DWH, ടൈം സീരീസ്, ലോഗ് സ്റ്റോറേജ്. എന്നാൽ അങ്ങനെയല്ല OLTP ഡാറ്റാബേസ്, അതിനാൽ ചെറിയ ഇൻസെർട്ടുകളും റീഡുകളും ചെയ്യാൻ ശ്രമിക്കരുത്.
• രസകരം. ഒരുപക്ഷേ കൂടെ ജോലി ചെയ്യുന്നവൻ ക്ലിക്ക്ഹ ouse സ്, നല്ലതും ചീത്തയുമായ അർത്ഥത്തിൽ രസകരമായ നിരവധി നിമിഷങ്ങൾ അനുഭവിച്ചു. ഉദാഹരണത്തിന്, ഒരു പുതിയ റിലീസ് വന്നു, എല്ലാം പ്രവർത്തിക്കുന്നത് നിർത്തി. അല്ലെങ്കിൽ നിങ്ങൾ ഒരു ടാസ്‌കുമായി രണ്ട് ദിവസം ബുദ്ധിമുട്ടിയപ്പോൾ, പക്ഷേ ടെലിഗ്രാം ചാറ്റിൽ ഒരു ചോദ്യം ചോദിച്ചതിന് ശേഷം, രണ്ട് മിനിറ്റിനുള്ളിൽ ടാസ്‌ക് പരിഹരിക്കപ്പെട്ടു. അല്ലെങ്കിൽ ലെഷാ മിലോവിഡോവിന്റെ റിപ്പോർട്ടിലെ കോൺഫറൻസ് പോലെ, ഒരു സ്ക്രീൻഷോട്ട് ക്ലിക്ക്ഹ ouse സ് പ്രക്ഷേപണം തകർത്തു ഹൈലോഡ്++. ഇത്തരത്തിലുള്ള കാര്യങ്ങൾ എല്ലായ്‌പ്പോഴും സംഭവിക്കുകയും നമ്മുടെ ജീവിതം ദുഷ്കരമാക്കുകയും ചെയ്യുന്നു. ക്ലിക്ക്ഹ ouse സ് ശോഭയുള്ളതും രസകരവുമാണ്!

നിങ്ങൾക്ക് അവതരണം കാണാൻ കഴിയും ഇവിടെ.

ഹൈ-ലോഡ് സിസ്റ്റങ്ങളുടെ ഡെവലപ്പർമാരുടെ ദീർഘകാലമായി കാത്തിരുന്ന മീറ്റിംഗ് ഹൈലോഡ്++ നവംബർ 9, 10 തീയതികളിൽ സ്കോൾകോവോയിൽ നടക്കും. അവസാനമായി, ഇത് ഒരു ഓഫ്‌ലൈൻ കോൺഫറൻസായിരിക്കും (എല്ലാ മുൻകരുതലുകളുമുണ്ടെങ്കിലും), ഹൈലോഡ്++ ന്റെ ഊർജ്ജം ഓൺലൈനിൽ പാക്കേജ് ചെയ്യാൻ കഴിയില്ല.

കോൺഫറൻസിനായി, സാങ്കേതികവിദ്യയുടെ പരമാവധി കഴിവുകളെക്കുറിച്ചുള്ള കേസുകൾ ഞങ്ങൾ കണ്ടെത്തുകയും കാണിക്കുകയും ചെയ്യുന്നു: Facebook, Yandex, VKontakte, Google, Amazon എന്നിവ എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് രണ്ട് ദിവസത്തിനുള്ളിൽ നിങ്ങൾക്ക് പഠിക്കാൻ കഴിയുന്ന ഒരേയൊരു സ്ഥലമാണ് HighLoad++.

2007 മുതൽ മുടങ്ങാതെ മീറ്റിംഗുകൾ നടത്തിയ ഞങ്ങൾ ഈ വർഷം 14-ാം തവണയാണ് കണ്ടുമുട്ടുന്നത്. ഈ സമയത്ത്, കോൺഫറൻസ് 10 മടങ്ങ് വളർന്നു; കഴിഞ്ഞ വർഷം, പ്രധാന വ്യവസായ ഇവന്റ് 3339 പങ്കാളികൾ, 165 സ്പീക്കറുകൾ, റിപ്പോർട്ടുകൾ, മീറ്റപ്പുകൾ എന്നിവ ഒരുമിച്ച് കൊണ്ടുവന്നു, കൂടാതെ 16 ട്രാക്കുകൾ ഒരേസമയം പ്രവർത്തിക്കുന്നു.
കഴിഞ്ഞ വർഷം 20 ബസുകളും 5280 ലിറ്റർ ചായയും കാപ്പിയും 1650 ലിറ്റർ ഫ്രൂട്ട് ഡ്രിങ്കുകളും 10200 കുപ്പി വെള്ളവും ഉണ്ടായിരുന്നു. മറ്റൊരു 2640 കിലോഗ്രാം ഭക്ഷണവും 16 പ്ലേറ്റുകളും 000 കപ്പുകളും. വഴിയിൽ, റീസൈക്കിൾ ചെയ്ത പേപ്പറിൽ നിന്ന് സമാഹരിച്ച പണം ഉപയോഗിച്ച് ഞങ്ങൾ 25 ഓക്ക് തൈകൾ നട്ടു :)

നിങ്ങൾക്ക് ടിക്കറ്റുകൾ വാങ്ങാം ഇവിടെ, കോൺഫറൻസിനെക്കുറിച്ചുള്ള വാർത്തകൾ നേടുക - ഇവിടെ, കൂടാതെ എല്ലാ സോഷ്യൽ നെറ്റ്‌വർക്കുകളിലും സംസാരിക്കുക: കന്വിസന്ദേശം, ഫേസ്ബുക്ക്, Vkontakte и ട്വിറ്റർ.

അവലംബം: www.habr.com