തിമിംഗലം ഉപയോഗിച്ച് എങ്ങനെ വേഗത്തിലും എളുപ്പത്തിലും ഡാറ്റ തിരയാം

ഈ മെറ്റീരിയൽ നിങ്ങൾ കെഡിപിവിയിൽ കാണുന്ന ഏറ്റവും ലളിതവും വേഗതയേറിയതുമായ ഡാറ്റ കണ്ടെത്തൽ ടൂളിനെ വിവരിക്കുന്നു. രസകരമെന്നു പറയട്ടെ, ഒരു റിമോട്ട് ജിറ്റ് സെർവറിൽ ഹോസ്റ്റ് ചെയ്യുന്ന തരത്തിലാണ് തിമിംഗലം രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. കട്ടിന് താഴെയുള്ള വിശദാംശങ്ങൾ.

Airbnb-ന്റെ ഡാറ്റ ഡിസ്കവറി ടൂൾ എങ്ങനെ എന്റെ ജീവിതം മാറ്റിമറിച്ചു

എന്റെ കരിയറിലെ രസകരമായ ചില പ്രശ്‌നങ്ങളിൽ പ്രവർത്തിക്കാൻ എനിക്ക് ഭാഗ്യമുണ്ട്: എംഐടിയിൽ ബിരുദം നേടുന്നതിനിടയിൽ ഞാൻ ത്രെഡ് മാത്തമാറ്റിക്‌സ് പഠിച്ചു, ഇൻക്രിമെന്റൽ മോഡലുകളിലും ഓപ്പൺ സോഴ്‌സ് പ്രോജക്റ്റിലും ജോലി ചെയ്തു പൈലിഫ്റ്റ് Wayfair-ൽ, പുതിയ ഹോംപേജ് ടാർഗെറ്റിംഗ് മോഡലുകളും Airbnb-ൽ CUPED മെച്ചപ്പെടുത്തലുകളും നടപ്പിലാക്കുന്നു. എന്നാൽ ഈ ജോലികളെല്ലാം ഒരിക്കലും ഗ്ലാമറസ് ആയിരുന്നില്ല - വാസ്തവത്തിൽ, ഞാൻ മിക്കപ്പോഴും എന്റെ സമയത്തിന്റെ ഭൂരിഭാഗവും ഡാറ്റ തിരയാനും പഠിക്കാനും പരിശോധിക്കാനും ചെലവഴിച്ചു. ജോലിസ്ഥലത്ത് ഇത് സ്ഥിരമായ ഒരു അവസ്ഥയാണെങ്കിലും, ഞാൻ Airbnb-ൽ എത്തുന്നതുവരെ ഇതൊരു പ്രശ്‌നമാണെന്ന് എനിക്ക് തോന്നിയില്ല, അവിടെ ഒരു ഡാറ്റാ കണ്ടെത്തൽ ഉപകരണം ഉപയോഗിച്ച് ഇത് പരിഹരിച്ചു - ഡാറ്റാപോർട്ടൽ.

എനിക്ക് {{data}} എവിടെ കണ്ടെത്താനാകും? ഡാറ്റാപോർട്ടൽ.
ഈ കോളം എന്താണ് അർത്ഥമാക്കുന്നത്? ഡാറ്റാപോർട്ടൽ.
ഇന്ന് {{മെട്രിക്}} എങ്ങനെയുണ്ട്? ഡാറ്റാപോർട്ടൽ.
എന്താണ് ജീവിതബോധം? IN ഡാറ്റാപോർട്ടൽ, ഒരുപക്ഷേ.

ശരി, നിങ്ങൾക്ക് ചിത്രം ലഭിച്ചു. ഡാറ്റ കണ്ടെത്തുന്നതിനും അതിന്റെ അർത്ഥമെന്താണെന്നും അത് എങ്ങനെ സൃഷ്ടിച്ചുവെന്നും എങ്ങനെ ഉപയോഗിക്കാമെന്നും എല്ലാം മനസിലാക്കാൻ മണിക്കൂറുകളല്ല, മിനിറ്റുകൾ എടുക്കും. കുറിപ്പുകളിലൂടെ അലയടിക്കുന്നതിനും ആവർത്തിച്ചുള്ള SQL ചോദ്യങ്ങൾ എഴുതുന്നതിനും Slack-ൽ സഹപ്രവർത്തകരെ പരാമർശിക്കുന്നതിനും പകരം ലളിതമായ അനുമാനങ്ങൾ അല്ലെങ്കിൽ പുതിയ അൽഗരിതങ്ങൾ (... അല്ലെങ്കിൽ ഡാറ്റയെ കുറിച്ചുള്ള ക്രമരഹിതമായ ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകൽ) എന്നിവ ഉണ്ടാക്കാൻ എനിക്ക് സമയം ചിലവഴിക്കാം. ഇതിനകം ഉണ്ടായിരുന്നു.

എന്താണു പ്രശ്നം?

എന്റെ മിക്ക സുഹൃത്തുക്കൾക്കും അത്തരമൊരു ടൂൾ ആക്സസ് ഇല്ലെന്ന് ഞാൻ മനസ്സിലാക്കി. ഡാറ്റാപോർട്ടൽ പോലുള്ള ഒരു പ്ലാറ്റ്ഫോം ടൂൾ സൃഷ്ടിക്കുന്നതിനും പരിപാലിക്കുന്നതിനും വലിയ വിഭവങ്ങൾ വിനിയോഗിക്കാൻ കുറച്ച് കമ്പനികൾ ആഗ്രഹിക്കുന്നു. നിരവധി ഓപ്പൺ സോഴ്‌സ് സൊല്യൂഷനുകൾ ലഭ്യമാണെങ്കിലും, അവ സാധാരണയായി സ്‌കെയിൽ ചെയ്യാൻ രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു, ഒരു സമർപ്പിത DevOps എഞ്ചിനീയർ ഇല്ലാതെ സജ്ജീകരണവും പരിപാലനവും ബുദ്ധിമുട്ടാക്കുന്നു. അതിനാൽ പുതിയ എന്തെങ്കിലും സൃഷ്ടിക്കാൻ ഞാൻ തീരുമാനിച്ചു.

തിമിംഗലം: ഒരു മണ്ടത്തരമായ ലളിതമായ ഡാറ്റ കണ്ടെത്തൽ ഉപകരണം

അതെ, വിഡ്ഢിത്തത്തിന്റെ പോയിന്റ് വരെ ലളിതമാണ്, ഞാൻ അർത്ഥമാക്കുന്നത് മണ്ടത്തരത്തിന്റെ പോയിന്റ് വരെ ലളിതമാണ്. തിമിംഗലത്തിന് രണ്ട് ഘടകങ്ങൾ മാത്രമേയുള്ളൂ:

1. മെറ്റാഡാറ്റ ശേഖരിച്ച് മാർക്ക്ഡൗണിൽ ഫോർമാറ്റ് ചെയ്യുന്ന ഒരു പൈത്തൺ ലൈബ്രറി.
2. ഈ ഡാറ്റ തിരയുന്നതിനുള്ള ഒരു റസ്റ്റ് കമാൻഡ് ലൈൻ ഇന്റർഫേസ്.

അറ്റകുറ്റപ്പണികൾക്കുള്ള ആന്തരിക ഇൻഫ്രാസ്ട്രക്ചറിന്റെ വീക്ഷണകോണിൽ നിന്ന്, ധാരാളം ടെക്സ്റ്റ് ഫയലുകളും ടെക്സ്റ്റ് അപ്ഡേറ്റ് ചെയ്യുന്ന ഒരു പ്രോഗ്രാമും മാത്രമേ ഉള്ളൂ. അത്രയേയുള്ളൂ, അതിനാൽ Github പോലുള്ള ഒരു git സെർവറിൽ ഹോസ്റ്റുചെയ്യുന്നത് നിസ്സാരമാണ്. പഠിക്കാൻ പുതിയ അന്വേഷണ ഭാഷയില്ല, മാനേജ്മെന്റ് ഇൻഫ്രാസ്ട്രക്ചർ ഇല്ല, ബാക്കപ്പുകളില്ല. Git എല്ലാവർക്കും പരിചിതമാണ്, അതിനാൽ സമന്വയവും സഹകരണവും സൗജന്യമാണ്. നമുക്ക് പ്രവർത്തനക്ഷമതയെക്കുറിച്ച് കൂടുതൽ വിശദമായി നോക്കാം തിമിംഗലം v1.0.

മുഴുവൻ ഫീച്ചർ ചെയ്ത ജിറ്റ് അധിഷ്ഠിത ജിയുഐ

ഒരു റിമോട്ട് ജിറ്റ് സെർവറിന്റെ സമുദ്രത്തിൽ സഞ്ചരിക്കുന്നതിനാണ് തിമിംഗലം രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. അവൻ വളരെ എളുപ്പം ഇഷ്ടാനുസൃതമാക്കാവുന്നത്: ചില കണക്ഷനുകൾ നിർവചിക്കുക, Github ആക്ഷൻ സ്ക്രിപ്റ്റ് പകർത്തുക (അല്ലെങ്കിൽ നിങ്ങളുടെ ഇഷ്ടമുള്ള CI/CD പ്ലാറ്റ്‌ഫോമിനായി ഒരെണ്ണം എഴുതുക) കൂടാതെ ചുരുങ്ങിയ സമയത്തിനുള്ളിൽ നിങ്ങൾക്ക് ഒരു വെബ് അധിഷ്‌ഠിത ഡാറ്റാ കണ്ടെത്തൽ ഉപകരണം ലഭിക്കും. നിങ്ങൾക്ക് Github-ൽ നേരിട്ട് നിങ്ങളുടെ സ്‌പ്രെഡ്‌ഷീറ്റുകൾ തിരയാനും കാണാനും ഡോക്യുമെന്റ് ചെയ്യാനും പങ്കിടാനും കഴിയും.

Github പ്രവർത്തനങ്ങൾ ഉപയോഗിച്ച് സൃഷ്ടിച്ച ഒരു അപൂർണ്ണ പട്ടികയുടെ ഉദാഹരണം. പൂർണ്ണമായി പ്രവർത്തിക്കുന്ന ഡെമോ ഈ വിഭാഗത്തിൽ നോക്കുക.

നിങ്ങളുടെ റിപ്പോസിറ്ററിയുടെ മിന്നൽ വേഗത്തിലുള്ള CLI തിരയൽ

തിമിംഗലം കമാൻഡ് ലൈനിൽ ജീവിക്കുകയും ശ്വസിക്കുകയും ചെയ്യുന്നു, നിങ്ങളുടെ ടേബിളുകളിലുടനീളം ശക്തമായ, മില്ലിസെക്കൻഡ് തിരയലുകൾ നൽകുന്നു. ദശലക്ഷക്കണക്കിന് ടേബിളുകൾ ഉണ്ടായിരുന്നിട്ടും, ചില മിടുക്കരായ കാഷിംഗ് മെക്കാനിസങ്ങൾ ഉപയോഗിച്ച് തിമിംഗലത്തെ അവിശ്വസനീയമാംവിധം പ്രകടനം നടത്താനും റസ്റ്റിലെ ബാക്കെൻഡ് പുനർനിർമ്മിക്കാനും ഞങ്ങൾക്ക് കഴിഞ്ഞു. തിരയൽ കാലതാമസമൊന്നും നിങ്ങൾ ശ്രദ്ധിക്കില്ല [ഹലോ, Google DS].

തിമിംഗലത്തിന്റെ പ്രദർശനം, ഒരു ദശലക്ഷം പട്ടികകളിലൂടെ തിരയുക.

മെട്രിക്കുകളുടെ സ്വയമേവ കണക്കുകൂട്ടൽ [ബീറ്റയിൽ]

ഒരു ഡാറ്റാ സയന്റിസ്റ്റ് എന്ന നിലയിൽ എനിക്ക് ഏറ്റവും ഇഷ്ടപ്പെടാത്ത കാര്യങ്ങളിലൊന്ന്, ഉപയോഗിക്കുന്ന ഡാറ്റയുടെ ഗുണനിലവാരം പരിശോധിക്കുന്നതിനായി ഒരേ ചോദ്യങ്ങൾ വീണ്ടും വീണ്ടും പ്രവർത്തിപ്പിക്കുന്നതാണ്. നിങ്ങളുടെ മെറ്റാഡാറ്റ സ്‌ക്രാപ്പിംഗ് പൈപ്പ് ലൈനുകൾക്കൊപ്പം പ്രവർത്തിക്കാൻ ഷെഡ്യൂൾ ചെയ്യപ്പെടുന്ന ലളിതമായ SQL-ൽ മെട്രിക്‌സ് നിർവചിക്കാനുള്ള കഴിവിനെ തിമിംഗലം പിന്തുണയ്ക്കുന്നു. ഒരു സ്റ്റബ് ടേബിളിനുള്ളിൽ YAML ഫോർമാറ്റിൽ ഒരു മെട്രിക്സ് ബ്ലോക്ക് നിർവചിക്കുക, തിമിംഗലം സ്വയമേവ ഒരു ഷെഡ്യൂളിൽ പ്രവർത്തിക്കുകയും മെട്രിക്കുകളിൽ നെസ്റ്റഡ് അന്വേഷണങ്ങൾ പ്രവർത്തിപ്പിക്കുകയും ചെയ്യും.

```metrics
metric-name:
  sql: |
    select count(*) from table
```

ഗിത്തബുമായി സംയോജിപ്പിച്ച്, ഈ സമീപനം അർത്ഥമാക്കുന്നത് മെട്രിക് നിർവചനങ്ങൾക്ക് സത്യത്തിന്റെ എളുപ്പമുള്ള കേന്ദ്ര സ്രോതസ്സായി തിമിംഗലത്തിന് വർത്തിക്കാമെന്നാണ്. "~/" ഡയറക്‌ടറിയിൽ ഒരു ടൈംസ്റ്റാമ്പിനൊപ്പം മൂല്യങ്ങളും തിമിംഗലം സംഭരിക്കുന്നു. നിങ്ങൾക്ക് ഏതെങ്കിലും തരത്തിലുള്ള ഗ്രാഫ് അല്ലെങ്കിൽ ആഴത്തിലുള്ള ഗവേഷണം നടത്തണമെങ്കിൽ തിമിംഗലം/മെട്രിക്സ്".

ഭാവി

തിമിംഗലത്തിന്റെ ഞങ്ങളുടെ പ്രീ-റിലീസ് പതിപ്പുകളുടെ ഉപയോക്താക്കളുമായി സംസാരിച്ചതിന് ശേഷം, ആളുകൾക്ക് വിശാലമായ പ്രവർത്തനക്ഷമത ആവശ്യമാണെന്ന് ഞങ്ങൾ മനസ്സിലാക്കി. എന്തുകൊണ്ടാണ് ഒരു പട്ടിക തിരയൽ ഉപകരണം? എന്തുകൊണ്ട് ഒരു മെട്രിക്സ് തിരയൽ ഉപകരണം അല്ല? എന്തുകൊണ്ട് നിരീക്ഷിക്കുന്നില്ല? എന്തുകൊണ്ട് ഒരു SQL അന്വേഷണ ഉപകരണം അല്ല? തിമിംഗലം v1 യഥാർത്ഥത്തിൽ ഒരു ലളിതമായ CLI കമ്പാനിയൻ ടൂളായിരുന്നുവെങ്കിലും Dataportal/Amundsen, ഇത് ഇതിനകം തന്നെ പൂർണ്ണമായും പ്രവർത്തനക്ഷമമായ ഒറ്റപ്പെട്ട പ്ലാറ്റ്‌ഫോമായി വളർന്നു, കൂടാതെ ഇത് ഡാറ്റാ സയന്റിസ്റ്റിന്റെ ടൂൾകിറ്റിന്റെ അവിഭാജ്യ ഘടകമായി മാറുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു.

നിങ്ങൾ വികസനത്തിൽ കാണാൻ ആഗ്രഹിക്കുന്ന എന്തെങ്കിലും ഉണ്ടെങ്കിൽ, ഞങ്ങളുടെ ചേരുക സ്ലാക്ക് കമ്മ്യൂണിറ്റി, എന്നതിൽ പ്രശ്നങ്ങൾ തുറക്കുക സാമൂഹികം, അല്ലെങ്കിൽ നേരിട്ട് ബന്ധപ്പെടുക ലിങ്ക്ഡ്. ഞങ്ങൾക്ക് ഇതിനകം തന്നെ നിരവധി രസകരമായ ഫീച്ചറുകൾ ഉണ്ട് - ജിൻജ ടെംപ്ലേറ്റുകൾ, ബുക്ക്‌മാർക്കുകൾ, തിരയൽ ഫിൽട്ടറുകൾ, സ്ലാക്ക് അലേർട്ടുകൾ, ജൂപ്പിറ്റർ ഇന്റഗ്രേഷൻ, മെട്രിക്‌സിനായി ഒരു CLI ഡാഷ്‌ബോർഡ് പോലും - എന്നാൽ നിങ്ങളുടെ ഇൻപുട്ട് ഞങ്ങൾ ഇഷ്ടപ്പെടുന്നു.

തീരുമാനം

തിമിംഗലത്തെ വികസിപ്പിച്ചതും പിന്തുണയ്ക്കുന്നതും ഡാറ്റാഫ്രെയിം എന്ന സ്റ്റാർട്ടപ്പാണ്, മറ്റുള്ളവരുമായി ചേർന്ന് സ്ഥാപിക്കുന്നതിൽ എനിക്ക് ഈയിടെ സന്തോഷമുണ്ടായിരുന്നു. തിമിംഗലം ഡാറ്റാ സയന്റിസ്റ്റുകൾക്കായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുമ്പോൾ, ഡാറ്റാഫ്രെയിം ഡാറ്റാ സയൻസ് ടീമുകൾക്കായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു. നിങ്ങളിൽ കൂടുതൽ അടുത്ത് സഹകരിക്കാൻ ആഗ്രഹിക്കുന്നവർക്ക്, മടിക്കേണ്ടതില്ല വിലാസം, ഞങ്ങൾ നിങ്ങളെ വെയിറ്റിംഗ് ലിസ്റ്റിൽ ചേർക്കും.

ഒപ്പം പ്രൊമോ കോഡ് വഴിയും HABR, ബാനറിൽ സൂചിപ്പിച്ചിരിക്കുന്ന കിഴിവിൽ നിങ്ങൾക്ക് 10% അധികമായി ലഭിക്കും.

• ഡാറ്റ സയൻസ് ഓൺലൈൻ ബൂട്ട്ക്യാമ്പ്
• ഡാറ്റാ അനലിസ്റ്റിന്റെ തൊഴിൽ ആദ്യം മുതൽ പരിശീലിപ്പിക്കുന്നു
• ഡാറ്റ അനലിറ്റിക്സ് ഓൺലൈൻ ബൂട്ട്ക്യാമ്പ്
• ആദ്യം മുതൽ ഡാറ്റാ സയൻസ് പ്രൊഫഷൻ പഠിപ്പിക്കുന്നു
• വെബ് ഡെവലപ്‌മെന്റ് കോഴ്‌സിനായുള്ള പൈത്തൺ

കൂടുതൽ കോഴ്സുകൾ

• ഡാറ്റ അനലിറ്റിക്സ് കോഴ്സ്
• DevOps കോഴ്സ്
• പ്രൊഫഷണൽ വെബ് ഡെവലപ്പർ
• ആദ്യം മുതൽ തൊഴിൽ iOS ഡെവലപ്പർ
• പ്രൊഫഷൻ ആൻഡ്രോയിഡ് ഡെവലപ്പർ ആദ്യം മുതൽ
• ആദ്യം മുതൽ പ്രൊഫഷണൽ ജാവ ഡെവലപ്പർ
• ജാവാസ്ക്രിപ്റ്റ് കോഴ്സ്
• മെഷീൻ ലേണിംഗ് കോഴ്സ്
• കോഴ്‌സ് "ഡാറ്റ സയൻസിന് മാത്തമാറ്റിക്സും മെഷീൻ ലേണിംഗും"
• വിപുലമായ കോഴ്‌സ് "മെഷീൻ ലേണിംഗ് പ്രോ + ഡീപ് ലേണിംഗ്"

ഫീച്ചർ ചെയ്ത ലേഖനങ്ങൾ

• ഓൺലൈൻ കോഴ്‌സുകളില്ലാതെ എങ്ങനെ ഒരു ഡാറ്റാ സയന്റിസ്റ്റ് ആകാം
• 450 സൗജന്യ ഐവി ലീഗ് കോഴ്സുകൾ
• മെഷീൻ ലേണിംഗ് എങ്ങനെ ആഴ്ചയിൽ 5 ദിവസം തുടർച്ചയായി 9 മാസം പഠിക്കാം
• ഒരു ഡാറ്റാ അനലിസ്റ്റ് എത്രമാത്രം സമ്പാദിക്കുന്നു: 2020 ൽ റഷ്യയിലും വിദേശത്തുമുള്ള ശമ്പളത്തിന്റെയും ഒഴിവുകളുടെയും ഒരു അവലോകനം
• ഖനന വ്യവസായത്തിലെ മെഷീൻ ലേണിംഗ്, കമ്പ്യൂട്ടർ വിഷൻ

അവലംബം: www.habr.com