Google-ന്റെ BigQuery എങ്ങനെയാണ് ഡാറ്റാ വിശകലനം ജനാധിപത്യവൽക്കരിച്ചത്. ഭാഗം 1

ഹലോ, ഹബ്ർ! ഒരു പുതിയ കോഴ്‌സ് സ്ട്രീമിനുള്ള എൻറോൾമെന്റ് ഇപ്പോൾ OTUS-ൽ തുറന്നിരിക്കുന്നു "ഡാറ്റ എഞ്ചിനീയർ". കോഴ്‌സിന്റെ ആരംഭം പ്രതീക്ഷിച്ച്, ഞങ്ങൾ പരമ്പരാഗതമായി നിങ്ങൾക്കായി രസകരമായ മെറ്റീരിയലിന്റെ വിവർത്തനം തയ്യാറാക്കിയിട്ടുണ്ട്.

ലോകത്ത് എന്താണ് സംഭവിക്കുന്നതെന്ന് കണ്ടെത്താനും അതിനെക്കുറിച്ച് ചർച്ച ചെയ്യാനും ഓരോ ദിവസവും നൂറ് ദശലക്ഷത്തിലധികം ആളുകൾ ട്വിറ്റർ സന്ദർശിക്കുന്നു. ഓരോ ട്വീറ്റും മറ്റെല്ലാ ഉപയോക്തൃ പ്രവർത്തനങ്ങളും ട്വിറ്ററിന്റെ ആന്തരിക ഡാറ്റ വിശകലനത്തിനായി ലഭ്യമായ ഒരു ഇവന്റ് സൃഷ്ടിക്കുന്നു. നൂറുകണക്കിന് ജീവനക്കാർ ഈ ഡാറ്റ വിശകലനം ചെയ്യുകയും ദൃശ്യവൽക്കരിക്കുകയും ചെയ്യുന്നു, അവരുടെ അനുഭവം മെച്ചപ്പെടുത്തുന്നത് ട്വിറ്റർ ഡാറ്റാ പ്ലാറ്റ്ഫോം ടീമിന്റെ മുൻ‌ഗണനയാണ്.

വിപുലമായ സാങ്കേതിക വൈദഗ്ധ്യമുള്ള ഉപയോക്താക്കൾക്ക് ഡാറ്റ കണ്ടെത്താനും മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കുന്ന SQL-അധിഷ്‌ഠിത വിശകലനത്തിനും ദൃശ്യവൽക്കരണ ടൂളുകളിലേക്കും ആക്‌സസ് ഉണ്ടായിരിക്കാനും കഴിയുമെന്ന് ഞങ്ങൾ വിശ്വസിക്കുന്നു. ഡാറ്റാ അനലിസ്റ്റുകളും പ്രൊഡക്‌ട് മാനേജർമാരും ഉൾപ്പെടുന്ന സാങ്കേതികത കുറഞ്ഞ ഉപയോക്താക്കളുടെ ഒരു പുതിയ ഗ്രൂപ്പിനെ ഡാറ്റയിൽ നിന്ന് ഉൾക്കാഴ്‌ചകൾ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യാൻ ഇത് അനുവദിക്കും, ഇത് ട്വിറ്ററിന്റെ കഴിവുകൾ നന്നായി മനസ്സിലാക്കാനും ഉപയോഗിക്കാനും അവരെ അനുവദിക്കുന്നു. ഇങ്ങനെയാണ് ഞങ്ങൾ ട്വിറ്ററിൽ ഡാറ്റ അനലിറ്റിക്‌സ് ജനാധിപത്യവൽക്കരിക്കുന്നത്.

ഞങ്ങളുടെ ടൂളുകളും ഇന്റേണൽ ഡാറ്റ അനലിറ്റിക്‌സ് കഴിവുകളും മെച്ചപ്പെട്ടതിനാൽ, ട്വിറ്റർ മെച്ചപ്പെടുന്നത് ഞങ്ങൾ കണ്ടു. എന്നിരുന്നാലും, മെച്ചപ്പെടുത്താൻ ഇനിയും ഇടമുണ്ട്. Scalding പോലെയുള്ള നിലവിലെ ടൂളുകൾക്ക് പ്രോഗ്രാമിംഗ് അനുഭവം ആവശ്യമാണ്. പ്രെസ്റ്റോ, വെർട്ടിക്ക തുടങ്ങിയ SQL-അധിഷ്ഠിത വിശകലന ടൂളുകൾക്ക് സ്കെയിലിൽ പ്രകടന പ്രശ്‌നങ്ങളുണ്ട്. സ്ഥിരമായ ആക്‌സസ് ഇല്ലാതെ ഒന്നിലധികം സിസ്റ്റങ്ങളിലുടനീളം ഡാറ്റ വിതരണം ചെയ്യുന്നതിന്റെ പ്രശ്‌നവും ഞങ്ങൾക്കുണ്ട്.

കഴിഞ്ഞ വർഷം ഞങ്ങൾ പ്രഖ്യാപിച്ചു ഗൂഗിളുമായുള്ള പുതിയ സഹകരണം, അതിനുള്ളിൽ ഞങ്ങൾ ഞങ്ങളുടെ ഭാഗങ്ങൾ കൈമാറുന്നു ഡാറ്റ ഇൻഫ്രാസ്ട്രക്ചർ Google ക്ലൗഡ് പ്ലാറ്റ്‌ഫോമിൽ (GCP). Google ക്ലൗഡ് ടൂളുകൾ എന്ന് ഞങ്ങൾ നിഗമനം ചെയ്തു വലിയ ഡാറ്റ Twitter-ൽ അനലിറ്റിക്‌സ്, വിഷ്വലൈസേഷൻ, മെഷീൻ ലേണിംഗ് എന്നിവ ജനാധിപത്യവൽക്കരിക്കാനുള്ള ഞങ്ങളുടെ സംരംഭങ്ങളിൽ ഞങ്ങളെ സഹായിക്കാനാകും:

• ബിഗ്ക്വറി: SQL എഞ്ചിൻ അടിസ്ഥാനമാക്കിയുള്ള എന്റർപ്രൈസ് ഡാറ്റ വെയർഹൗസ് ദ്രെമെല്, വേഗത, ലാളിത്യം, നേരിടൽ എന്നിവയ്ക്ക് പേരുകേട്ടതാണ് യന്ത്ര പഠനം.
• ഡാറ്റ സ്റ്റുഡിയോ: Google ഡോക്‌സ് പോലുള്ള സഹകരണ സവിശേഷതകളുള്ള വലിയ ഡാറ്റ ദൃശ്യവൽക്കരണ ഉപകരണം.

ഈ ലേഖനത്തിൽ, ഈ ടൂളുകളുമായുള്ള ഞങ്ങളുടെ അനുഭവത്തെക്കുറിച്ച് നിങ്ങൾ പഠിക്കും: ഞങ്ങൾ എന്താണ് ചെയ്തത്, ഞങ്ങൾ എന്താണ് പഠിച്ചത്, അടുത്തതായി എന്തുചെയ്യും. ഞങ്ങൾ ഇപ്പോൾ ബാച്ചിലും ഇന്ററാക്ടീവ് അനലിറ്റിക്സിലും ശ്രദ്ധ കേന്ദ്രീകരിക്കും. അടുത്ത ലേഖനത്തിൽ നമ്മൾ തത്സമയ അനലിറ്റിക്‌സ് ചർച്ച ചെയ്യും.

ട്വിറ്റർ ഡാറ്റ സ്റ്റോറുകളുടെ ചരിത്രം

BigQuery-യിലേക്ക് കടക്കുന്നതിന് മുമ്പ്, Twitter ഡാറ്റ വെയർഹൗസിംഗിന്റെ ചരിത്രം ഹ്രസ്വമായി വിവരിക്കുന്നത് മൂല്യവത്താണ്. 2011-ൽ, വെർട്ടിക്കയിലും ഹഡൂപ്പിലും ട്വിറ്റർ ഡാറ്റ വിശകലനം നടത്തി. MapReduce Hadoop ജോലികൾ സൃഷ്ടിക്കാൻ ഞങ്ങൾ പിഗ് ഉപയോഗിച്ചു. 2012-ൽ, സങ്കീർണ്ണമായ പൈപ്പ്‌ലൈനുകൾ സൃഷ്‌ടിക്കാനുള്ള കഴിവും പരിശോധന എളുപ്പവും പോലുള്ള ആനുകൂല്യങ്ങളുള്ള സ്‌കാല API ഉള്ള പിഗ് സ്‌കാൽഡിംഗ് ഉപയോഗിച്ച് ഞങ്ങൾ മാറ്റിസ്ഥാപിച്ചു. എന്നിരുന്നാലും, SQL-ൽ പ്രവർത്തിക്കാൻ കൂടുതൽ സൗകര്യപ്രദമായ നിരവധി ഡാറ്റാ അനലിസ്റ്റുകൾക്കും ഉൽപ്പന്ന മാനേജർമാർക്കും, ഇത് വളരെ കുത്തനെയുള്ള പഠന വക്രമായിരുന്നു. 2016-ൽ ഞങ്ങൾ ഹഡൂപ്പ് ഡാറ്റയിലേക്കുള്ള ഒരു SQL ഇന്റർഫേസായി Presto ഉപയോഗിക്കാൻ തുടങ്ങി. സ്പാർക്ക് ഒരു പൈത്തൺ ഇന്റർഫേസ് വാഗ്ദാനം ചെയ്തു, ഇത് അഡ്‌ഹോക്ക് ഡാറ്റ സയൻസിനും മെഷീൻ ലേണിംഗിനും ഇത് ഒരു നല്ല തിരഞ്ഞെടുപ്പാക്കി മാറ്റുന്നു.

2018 മുതൽ, ഡാറ്റ വിശകലനത്തിനും ദൃശ്യവൽക്കരണത്തിനുമായി ഞങ്ങൾ ഇനിപ്പറയുന്ന ഉപകരണങ്ങൾ ഉപയോഗിച്ചു:

• പ്രൊഡക്ഷൻ കൺവെയറുകൾക്കായി ചുട്ടുകളയുന്നു
• അഡ്‌ഹോക്ക് ഡാറ്റ വിശകലനത്തിനും മെഷീൻ ലേണിംഗിനും വേണ്ടിയുള്ള സ്‌കാൾഡിംഗും സ്പാർക്കും
• താൽക്കാലികവും സംവേദനാത്മകവുമായ SQL വിശകലനത്തിനായി വെർട്ടിക്കയും പ്രെസ്റ്റോയും
• ടൈം സീരീസ് മെട്രിക്‌സിലേക്കുള്ള കുറഞ്ഞ ഇന്ററാക്ടീവ്, പര്യവേക്ഷണം, കുറഞ്ഞ ലേറ്റൻസി ആക്‌സസ് എന്നിവയ്ക്കുള്ള ഡ്രൂയിഡ്
• ഡാറ്റ വിഷ്വലൈസേഷനായി ടേബിൾ, സെപ്പെലിൻ, പിവറ്റ്

ഈ ടൂളുകൾ വളരെ ശക്തമായ കഴിവുകൾ വാഗ്ദാനം ചെയ്യുന്നുണ്ടെങ്കിലും, ട്വിറ്ററിലെ വിശാലമായ പ്രേക്ഷകർക്ക് ഈ കഴിവുകൾ ലഭ്യമാക്കുന്നതിൽ ഞങ്ങൾക്ക് ബുദ്ധിമുട്ടുണ്ടെന്ന് ഞങ്ങൾ കണ്ടെത്തി. Google ക്ലൗഡ് ഉപയോഗിച്ച് ഞങ്ങളുടെ പ്ലാറ്റ്‌ഫോം വിപുലീകരിക്കുന്നതിലൂടെ, എല്ലാ Twitter-നും വേണ്ടിയുള്ള ഞങ്ങളുടെ അനലിറ്റിക്‌സ് ടൂളുകൾ ലളിതമാക്കുന്നതിൽ ഞങ്ങൾ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു.

Google-ന്റെ BigQuery ഡാറ്റ വെയർഹൗസ്

ട്വിറ്ററിലെ നിരവധി ടീമുകൾ ഇതിനകം തന്നെ അവരുടെ ചില പ്രൊഡക്ഷൻ പൈപ്പ് ലൈനുകളിൽ BigQuery ഉൾപ്പെടുത്തിയിട്ടുണ്ട്. അവരുടെ വൈദഗ്ധ്യം ഉപയോഗിച്ച്, എല്ലാ Twitter ഉപയോഗ കേസുകൾക്കുമുള്ള BigQuery-യുടെ കഴിവുകൾ ഞങ്ങൾ വിലയിരുത്താൻ തുടങ്ങി. ഞങ്ങളുടെ ലക്ഷ്യം മുഴുവൻ കമ്പനിക്കും BigQuery വാഗ്ദാനം ചെയ്യുകയും ഡാറ്റ പ്ലാറ്റ്ഫോം ടൂൾസെറ്റിനുള്ളിൽ അതിനെ സ്റ്റാൻഡേർഡ് ചെയ്യുകയും പിന്തുണയ്ക്കുകയും ചെയ്യുക എന്നതായിരുന്നു. പല കാരണങ്ങളാൽ ഇത് ബുദ്ധിമുട്ടായിരുന്നു. വലിയ അളവിലുള്ള ഡാറ്റ വിശ്വസനീയമായി ഉൾക്കൊള്ളുന്നതിനും കമ്പനിയിലുടനീളം ഡാറ്റാ മാനേജ്‌മെന്റിനെ പിന്തുണയ്‌ക്കുന്നതിനും ശരിയായ ആക്‌സസ്സ് നിയന്ത്രണങ്ങൾ ഉറപ്പാക്കുന്നതിനും ഉപഭോക്തൃ സ്വകാര്യത ഉറപ്പാക്കുന്നതിനും ഞങ്ങൾക്ക് ഒരു ഇൻഫ്രാസ്ട്രക്ചർ വികസിപ്പിക്കേണ്ടതുണ്ട്. ടീമുകൾക്ക് BigQuery ഫലപ്രദമായി ഉപയോഗിക്കാൻ കഴിയുന്ന തരത്തിൽ റിസോഴ്‌സ് അലോക്കേഷൻ, മോണിറ്ററിംഗ്, ചാർജ്ബാക്ക് എന്നിവയ്‌ക്കായി ഞങ്ങൾ സിസ്റ്റങ്ങൾ സൃഷ്‌ടിക്കേണ്ടതുണ്ട്.

2018 നവംബറിൽ, ഞങ്ങൾ ബിഗ്ക്വറിയുടെയും ഡാറ്റാ സ്റ്റുഡിയോയുടെയും കമ്പനിയിലുടനീളം ഒരു ആൽഫ റിലീസ് പുറത്തിറക്കി. ഞങ്ങൾ പതിവായി ഉപയോഗിക്കുന്ന ചില സ്‌പ്രെഡ്‌ഷീറ്റുകൾ വൃത്തിയാക്കിയ വ്യക്തിഗത ഡാറ്റ ഉപയോഗിച്ച് ട്വിറ്റർ ജീവനക്കാർക്ക് ഞങ്ങൾ വാഗ്ദാനം ചെയ്തിട്ടുണ്ട്. എഞ്ചിനീയറിംഗ്, ഫിനാൻസ്, മാർക്കറ്റിംഗ് എന്നിവയുൾപ്പെടെ വിവിധ ടീമുകളിൽ നിന്നുള്ള 250-ലധികം ഉപയോക്താക്കൾ BigQuery ഉപയോഗിച്ചു. ഏറ്റവും സമീപകാലത്ത്, അവർ ഏകദേശം 8k അഭ്യർത്ഥനകൾ പ്രവർത്തിപ്പിക്കുന്നു, പ്രതിമാസം 100 PB പ്രോസസ്സ് ചെയ്യുന്നു, ഷെഡ്യൂൾ ചെയ്ത അഭ്യർത്ഥനകൾ കണക്കാക്കുന്നില്ല. വളരെ നല്ല ഫീഡ്‌ബാക്ക് ലഭിച്ചതിന് ശേഷം, Twitter-ലെ ഡാറ്റയുമായി സംവദിക്കുന്നതിനുള്ള പ്രാഥമിക ഉറവിടമായി BigQuery ഓഫർ ചെയ്യാൻ ഞങ്ങൾ തീരുമാനിച്ചു.

ഞങ്ങളുടെ Google BigQuery ഡാറ്റ വെയർഹൗസ് ആർക്കിടെക്ചറിന്റെ ഉയർന്ന തലത്തിലുള്ള ഡയഗ്രം ഇതാ.

ഇന്റേണൽ ക്ലൗഡ് റെപ്ലിക്കേറ്റർ ടൂൾ ഉപയോഗിച്ച് ഞങ്ങൾ പരിസരത്തെ ഹഡൂപ്പ് ക്ലസ്റ്ററുകളിൽ നിന്ന് Google ക്ലൗഡ് സ്റ്റോറേജിലേക്ക് (GCS) ഡാറ്റ പകർത്തുന്നു. "ഉപയോഗിക്കുന്ന പൈപ്പ് ലൈനുകൾ സൃഷ്ടിക്കാൻ ഞങ്ങൾ അപ്പാച്ചെ എയർഫ്ലോ ഉപയോഗിക്കുന്നുbq_load»GCS-ൽ നിന്ന് BigQuery-ലേക്ക് ഡാറ്റ ലോഡ് ചെയ്യാൻ. GCS-ൽ Parquet അല്ലെങ്കിൽ Thrift-LZO ഡാറ്റാസെറ്റുകൾ അന്വേഷിക്കാൻ ഞങ്ങൾ Presto ഉപയോഗിക്കുന്നു. HDFS Vertica, Thrift-LZO ഡാറ്റാസെറ്റുകൾ BigQuery-യിലേക്ക് ലോഡുചെയ്യുന്നതിനുള്ള ഒരു ആന്തരിക സ്കാൽഡിംഗ് ഉപകരണമാണ് BQ Blaster.

ഇനിപ്പറയുന്ന വിഭാഗങ്ങളിൽ, ഉപയോഗം, പ്രകടനം, ഡാറ്റാ മാനേജ്മെന്റ്, സിസ്റ്റം ആരോഗ്യം, ചെലവ് എന്നീ മേഖലകളിലെ ഞങ്ങളുടെ സമീപനവും വൈദഗ്ധ്യവും ഞങ്ങൾ ചർച്ച ചെയ്യുന്നു.

ഉപയോഗ സ ase കര്യം

സോഫ്റ്റ്‌വെയർ ഇൻസ്റ്റാളേഷൻ ആവശ്യമില്ലാത്തതിനാൽ ഉപയോക്താക്കൾക്ക് BigQuery ഉപയോഗിച്ച് ആരംഭിക്കുന്നത് എളുപ്പമാണെന്ന് ഞങ്ങൾ കണ്ടെത്തി, കൂടാതെ ഉപയോക്താക്കൾക്ക് അവബോധജന്യമായ ഒരു വെബ് ഇന്റർഫേസിലൂടെ അത് ആക്‌സസ് ചെയ്യാൻ കഴിയും. എന്നിരുന്നാലും, പ്രോജക്‌റ്റുകൾ, ഡാറ്റാസെറ്റുകൾ, പട്ടികകൾ എന്നിവ പോലുള്ള ഉറവിടങ്ങൾ ഉൾപ്പെടെ ജിസിപിയുടെ ചില സവിശേഷതകളും ആശയങ്ങളും ഉപയോക്താക്കൾക്ക് പരിചിതമാകേണ്ടതുണ്ട്. ഉപയോക്താക്കളെ ആരംഭിക്കാൻ സഹായിക്കുന്നതിന് ഞങ്ങൾ വിദ്യാഭ്യാസ സാമഗ്രികളും ട്യൂട്ടോറിയലുകളും വികസിപ്പിച്ചെടുത്തിട്ടുണ്ട്. ലഭിച്ച അടിസ്ഥാന ധാരണയോടെ, ഡാറ്റാ സെറ്റുകൾ നാവിഗേറ്റ് ചെയ്യാനും സ്കീമയും ടേബിൾ ഡാറ്റയും കാണാനും ലളിതമായ ചോദ്യങ്ങൾ പ്രവർത്തിപ്പിക്കാനും ഡാറ്റാ സ്റ്റുഡിയോയിൽ ഫലങ്ങൾ ദൃശ്യവൽക്കരിക്കാനും ഉപയോക്താക്കൾ എളുപ്പമാണെന്ന് കണ്ടെത്തി.

BigQuery-ലേക്കുള്ള ഡാറ്റ എൻട്രിയുടെ ഞങ്ങളുടെ ലക്ഷ്യം ഒറ്റ ക്ലിക്കിലൂടെ HDFS അല്ലെങ്കിൽ GCS ഡാറ്റാസെറ്റുകളുടെ തടസ്സമില്ലാത്ത ലോഡിംഗ് പ്രവർത്തനക്ഷമമാക്കുക എന്നതായിരുന്നു. ഞങ്ങൾ പരിഗണിച്ചു ക്ലൗഡ് കമ്പോസർ (എയർഫ്ലോ നിയന്ത്രിക്കുന്നത്) എന്നാൽ ഞങ്ങളുടെ ഡൊമെയ്‌ൻ നിയന്ത്രിത പങ്കിടൽ സുരക്ഷാ മോഡൽ കാരണം ഇത് ഉപയോഗിക്കാൻ കഴിഞ്ഞില്ല (ഇതിനെക്കുറിച്ച് കൂടുതൽ ചുവടെയുള്ള ഡാറ്റാ മാനേജ്‌മെന്റ് വിഭാഗത്തിൽ). BigQuery വർക്ക്ലോഡുകൾ ക്രമീകരിക്കുന്നതിന് Google ഡാറ്റ ട്രാൻസ്ഫർ സേവനം (DTS) ഉപയോഗിച്ച് ഞങ്ങൾ പരീക്ഷിച്ചു. ഡിടിഎസ് വേഗത്തിൽ സജ്ജീകരിക്കുമ്പോൾ, ആശ്രിതത്വങ്ങളുള്ള പൈപ്പ് ലൈനുകൾ നിർമ്മിക്കുന്നതിന് ഇത് വഴങ്ങുന്നില്ല. ഞങ്ങളുടെ ആൽഫ റിലീസിനായി, GCE-യിൽ ഞങ്ങൾ ഞങ്ങളുടെ സ്വന്തം അപ്പാച്ചെ എയർഫ്ലോ ഫ്രെയിംവർക്ക് നിർമ്മിച്ചിട്ടുണ്ട്, കൂടാതെ അത് ഉൽപ്പാദനത്തിൽ പ്രവർത്തിക്കാനും വെർട്ടിക്ക പോലുള്ള കൂടുതൽ ഡാറ്റ ഉറവിടങ്ങളെ പിന്തുണയ്ക്കാനും ഞങ്ങൾ തയ്യാറെടുക്കുന്നു.

ഡാറ്റ BigQuery ആക്കി മാറ്റുന്നതിന്, ഉപയോക്താക്കൾ ഷെഡ്യൂൾ ചെയ്ത ചോദ്യങ്ങൾ ഉപയോഗിച്ച് ലളിതമായ SQL ഡാറ്റ പൈപ്പ്ലൈനുകൾ സൃഷ്ടിക്കുന്നു. ഡിപൻഡൻസികളുള്ള സങ്കീർണ്ണമായ മൾട്ടി-സ്റ്റേജ് പൈപ്പ്ലൈനുകൾക്കായി, ഞങ്ങളുടെ സ്വന്തം എയർഫ്ലോ ഫ്രെയിംവർക്കോ ക്ലൗഡ് കമ്പോസറോ ഉപയോഗിക്കാൻ ഞങ്ങൾ പദ്ധതിയിടുന്നു. ക്ലൗഡ് ഡാറ്റാ ഫ്ലോ.

ഉത്പാദനക്ഷമത

വലിയ അളവിലുള്ള ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്ന പൊതു ആവശ്യത്തിനായി SQL അന്വേഷണങ്ങൾക്കായി രൂപകൽപ്പന ചെയ്തിട്ടുള്ളതാണ് BigQuery. ഒരു ഇടപാട് ഡാറ്റാബേസിന് ആവശ്യമായ കുറഞ്ഞ ലേറ്റൻസി, ഉയർന്ന ത്രൂപുട്ട് അന്വേഷണങ്ങൾ, അല്ലെങ്കിൽ നടപ്പിലാക്കിയ കുറഞ്ഞ ലേറ്റൻസി ടൈം സീരീസ് വിശകലനം എന്നിവയ്ക്കായി ഇത് ഉദ്ദേശിച്ചുള്ളതല്ല. അപ്പാച്ചെ ഡ്രൂയിഡ്. ഇന്ററാക്ടീവ് അനലിറ്റിക്സ് അന്വേഷണങ്ങൾക്ക്, ഞങ്ങളുടെ ഉപയോക്താക്കൾ ഒരു മിനിറ്റിൽ താഴെ പ്രതികരണ സമയം പ്രതീക്ഷിക്കുന്നു. ഈ പ്രതീക്ഷകൾ നിറവേറ്റുന്നതിനായി BigQuery-യുടെ ഉപയോഗം ഞങ്ങൾ രൂപകൽപ്പന ചെയ്യേണ്ടതുണ്ട്. ഞങ്ങളുടെ ഉപയോക്താക്കൾക്ക് പ്രവചിക്കാവുന്ന പ്രകടനം നൽകുന്നതിന്, പ്രോജക്റ്റ് ഉടമകൾക്ക് അവരുടെ ചോദ്യങ്ങൾക്ക് മിനിമം സ്ലോട്ടുകൾ റിസർവ് ചെയ്യാൻ അനുവദിക്കുന്ന ഒരു ഫ്ലാറ്റ് ഫീ അടിസ്ഥാനത്തിൽ ഉപഭോക്താക്കൾക്ക് ലഭ്യമായ BigQuery പ്രവർത്തനം ഞങ്ങൾ പ്രയോജനപ്പെടുത്തി. സ്ലോട്ട് SQL അന്വേഷണങ്ങൾ നടപ്പിലാക്കാൻ ആവശ്യമായ കമ്പ്യൂട്ടിംഗ് പവറിന്റെ ഒരു യൂണിറ്റാണ് BigQuery.

ഏകദേശം 800 TB ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്ന 1-ലധികം അന്വേഷണങ്ങൾ ഞങ്ങൾ വിശകലനം ചെയ്തു, ശരാശരി എക്സിക്യൂഷൻ സമയം 30 സെക്കൻഡ് ആണെന്ന് കണ്ടെത്തി. വ്യത്യസ്‌ത പ്രോജക്‌റ്റുകളിലും ടാസ്‌ക്കുകളിലും ഞങ്ങളുടെ സ്‌ലോട്ട് ഉപയോഗിക്കുന്നതിനെ ആശ്രയിച്ചിരിക്കും പ്രകടനം കൂടുതലായി ആശ്രയിക്കുന്നതെന്നും ഞങ്ങൾ മനസ്സിലാക്കി. പ്രൊഡക്ഷൻ ഉപയോഗ കേസുകൾക്കും ഓൺലൈൻ വിശകലനത്തിനുമായി പ്രകടനം നിലനിർത്തുന്നതിന് ഞങ്ങളുടെ പ്രൊഡക്ഷൻ, അഡ്‌ഹോക്ക് സ്ലോട്ട് റിസർവുകൾ എന്നിവ വ്യക്തമായി നിർവചിക്കേണ്ടതുണ്ട്. ഇത് സ്ലോട്ട് റിസർവേഷനുകൾക്കും പ്രോജക്റ്റ് ശ്രേണിക്കും വേണ്ടിയുള്ള ഞങ്ങളുടെ രൂപകൽപ്പനയെ വളരെയധികം സ്വാധീനിച്ചു.

ഡാറ്റാ മാനേജുമെന്റ്, പ്രവർത്തനക്ഷമത, സിസ്റ്റങ്ങളുടെ വില എന്നിവയെക്കുറിച്ച് ഞങ്ങൾ വിവര് ത്തനത്തിന്റെ രണ്ടാം ഭാഗത്തിൽ വരും ദിവസങ്ങളിൽ സംസാരിക്കും, എന്നാൽ ഇപ്പോൾ ഞങ്ങൾ എല്ലാവരേയും ക്ഷണിക്കുന്നു സൗജന്യ ലൈവ് വെബിനാർ, ഈ സമയത്ത് നിങ്ങൾക്ക് കോഴ്‌സിനെക്കുറിച്ച് വിശദമായി പഠിക്കാനും ഞങ്ങളുടെ വിദഗ്ദ്ധനോട് ചോദ്യങ്ങൾ ചോദിക്കാനും കഴിയും - എഗോർ മാറ്റെഷുക് (സീനിയർ ഡാറ്റാ എഞ്ചിനീയർ, മാക്സിമ ടെലികോം).

കൂടുതൽ വായിക്കുക:

• ഡാറ്റ ബിൽഡ് ടൂൾ അല്ലെങ്കിൽ ഡാറ്റ വെയർഹൗസും സ്മൂത്തിയും തമ്മിൽ പൊതുവായുള്ളത്
• ഡെൽറ്റ ലേക്ക് ഡൈവ്: എൻഫോഴ്സ്മെന്റ് ആൻഡ് സ്കീം എവല്യൂഷൻ
• അപ്പാച്ചെ ആരോയ്‌ക്കൊപ്പം പൈത്തണിലെ ഹൈ-സ്പീഡ് അപ്പാച്ചെ പാർക്ക്വെറ്റ്

അവലംബം: www.habr.com