തിമിംഗലം ഉപയോഗിച്ച് എങ്ങനെ വേഗത്തിലും എളുപ്പത്തിലും ഡാറ്റ തിരയാം

ഈ ലേഖനം ലളിതവും വേഗതയേറിയതുമായ ഒരു ഡാറ്റ കണ്ടെത്തൽ ഉപകരണത്തെക്കുറിച്ചാണ് വിവരിക്കുന്നത്, അത് നിങ്ങൾക്ക് KDPV-യിൽ പ്രവർത്തനത്തിൽ കാണാൻ കഴിയും. രസകരമെന്നു പറയട്ടെ, ഒരു റിമോട്ട് Git സെർവറിൽ ഹോസ്റ്റ് ചെയ്യുന്നതിനാണ് Whale രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. വിശദാംശങ്ങൾ താഴെ.

Airbnb-യുടെ ഡാറ്റാ ഡിസ്കവറി ടൂൾ എന്റെ ജീവിതത്തെ എങ്ങനെ മാറ്റിമറിച്ചു

എന്റെ കരിയറിൽ, ചില രസകരമായ പ്രശ്നങ്ങളിൽ പ്രവർത്തിക്കാൻ എനിക്ക് ഭാഗ്യം ലഭിച്ചിട്ടുണ്ട്: എംഐടിയിൽ പിഎച്ച്ഡി സമയത്ത് ഞാൻ ഫ്ലോ മാത്തമാറ്റിക്സ് പഠിച്ചു, ഇൻക്രിമെന്റൽ മോഡലുകളിൽ പ്രവർത്തിച്ചു, ഒരു ഓപ്പൺ സോഴ്‌സ് പ്രോജക്റ്റിൽ പ്രവർത്തിച്ചു. പൈലിഫ്റ്റ് വേഫെയറിൽ, കൂടാതെ Airbnb-യിൽ പുതിയ ഹോംപേജ് ടാർഗെറ്റിംഗ് മോഡലുകളും CUPED മെച്ചപ്പെടുത്തലുകളും നടപ്പിലാക്കി. എന്നാൽ ഈ ജോലികളെല്ലാം ഒരിക്കലും ഗ്ലാമറസായിരുന്നില്ല - വാസ്തവത്തിൽ, ഞാൻ പലപ്പോഴും എന്റെ സമയത്തിന്റെ ഭൂരിഭാഗവും ഡാറ്റ തിരയുന്നതിനും പഠിക്കുന്നതിനും പരിശോധിക്കുന്നതിനും ചെലവഴിച്ചു. ജോലിസ്ഥലത്ത് ഇത് സ്ഥിരമായിരുന്നെങ്കിലും, Airbnb-ൽ എത്തുന്നതുവരെ ഇത് ഒരു പ്രശ്‌നമാണെന്ന് എനിക്ക് തോന്നിയില്ല, അവിടെ ഒരു ഡാറ്റ കണ്ടെത്തൽ ഉപകരണം ഉപയോഗിച്ച് ഇത് പരിഹരിച്ചു— ഡാറ്റാപോർട്ടൽ.

എനിക്ക് {{data}} എവിടെ കണ്ടെത്താനാകും? ഡാറ്റാപോർട്ടൽ.
ഈ കോളം എന്താണ് അർത്ഥമാക്കുന്നത്? ഡാറ്റാപോർട്ടൽ.
ഇന്ന് {{മെട്രിക്}} എങ്ങനെയുണ്ട്? ഡാറ്റാപോർട്ടൽ.
ജീവിതത്തിന്റെ അർത്ഥമെന്താണ്? ഡാറ്റാപോർട്ടൽ, ഒരുപക്ഷേ.

ശരി, നിങ്ങൾക്ക് ചിത്രം മനസ്സിലായി. ഡാറ്റ കണ്ടെത്തുന്നതിനും അതിന്റെ അർത്ഥം, അത് എങ്ങനെ സൃഷ്ടിച്ചു, എങ്ങനെ ഉപയോഗിക്കണം എന്നിവ മനസ്സിലാക്കുന്നതിനും മണിക്കൂറുകൾ അല്ല, മിനിറ്റുകൾ മാത്രമേ എടുക്കൂ. കുറിപ്പുകൾ പരിശോധിച്ച്, ആവർത്തിച്ചുള്ള SQL ചോദ്യങ്ങൾ എഴുതുന്നതിനും, സ്ലാക്കിലെ സഹപ്രവർത്തകരെ പരാമർശിക്കുന്നതിനും പകരം, ലളിതമായ നിഗമനങ്ങളിൽ എത്തിച്ചേരുന്നതിനോ പുതിയ അൽഗോരിതങ്ങൾ വികസിപ്പിക്കുന്നതിനോ (അല്ലെങ്കിൽ ഡാറ്റയെക്കുറിച്ചുള്ള ക്രമരഹിതമായ ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകുന്നതിനോ) എനിക്ക് എന്റെ സമയം ചെലവഴിക്കാൻ കഴിയും, മറ്റൊരാൾക്ക് ഇതിനകം ഉണ്ടായിരുന്ന സന്ദർഭം പുനഃസൃഷ്ടിക്കാൻ ശ്രമിക്കുന്നതിന് പകരം.

എന്താണ് പ്രശ്നം?

എന്റെ മിക്ക സുഹൃത്തുക്കൾക്കും അത്തരമൊരു ഉപകരണം ലഭ്യമല്ലെന്ന് ഞാൻ മനസ്സിലാക്കി. ഡാറ്റാപോർട്ടൽ പോലുള്ള ഒരു പ്ലാറ്റ്‌ഫോം നിർമ്മിക്കുന്നതിനും പരിപാലിക്കുന്നതിനുമായി വൻതോതിൽ വിഭവങ്ങൾ നീക്കിവയ്ക്കാൻ കുറച്ച് കമ്പനികൾ മാത്രമേ ആഗ്രഹിക്കുന്നുള്ളൂ. നിരവധി ഓപ്പൺ സോഴ്‌സ് പരിഹാരങ്ങൾ നിലവിലുണ്ടെങ്കിലും, അവ സാധാരണയായി സ്കേലബിളിറ്റിക്കായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നതിനാൽ, ഒരു സമർപ്പിത DevOps എഞ്ചിനീയർ ഇല്ലാതെ സജ്ജീകരണവും പരിപാലനവും ബുദ്ധിമുട്ടാക്കുന്നു. അതിനാൽ ഞാൻ പുതിയ എന്തെങ്കിലും നിർമ്മിക്കാൻ തീരുമാനിച്ചു.

തിമിംഗലം: വളരെ ലളിതമായ ഒരു ഡാറ്റ കണ്ടെത്തൽ ഉപകരണം

അതെ, മണ്ടത്തരമായി ലളിതം എന്ന് പറഞ്ഞാൽ, മണ്ടത്തരമായി ലളിതം എന്നാണ് ഞാൻ ഉദ്ദേശിക്കുന്നത്. തിമിംഗലത്തിന് രണ്ട് ഘടകങ്ങൾ മാത്രമേയുള്ളൂ:

1. മെറ്റാഡാറ്റ ശേഖരിച്ച് മാർക്ക്ഡൗണിലേക്ക് ഫോർമാറ്റ് ചെയ്യുന്ന ഒരു പൈത്തൺ ലൈബ്രറി.
2. ഈ ഡാറ്റ തിരയുന്നതിനുള്ള ഒരു റസ്റ്റ് കമാൻഡ് ലൈൻ ഇന്റർഫേസ്.

ആന്തരിക ഇൻഫ്രാസ്ട്രക്ചറിന്റെ കാര്യത്തിൽ, ഒരു കൂട്ടം ടെക്സ്റ്റ് ഫയലുകളും അവ അപ്ഡേറ്റ് ചെയ്യുന്നതിനുള്ള ഒരു പ്രോഗ്രാമും മാത്രമേയുള്ളൂ. അത്രമാത്രം, അതിനാൽ ഗിത്തബ് പോലുള്ള ഒരു ജിറ്റ് സെർവറിൽ ഹോസ്റ്റ് ചെയ്യുന്നത് നിസ്സാരമാണ്. പഠിക്കാൻ പുതിയ അന്വേഷണ ഭാഷയില്ല, മാനേജ്മെന്റ് ഇൻഫ്രാസ്ട്രക്ചറില്ല, ബാക്കപ്പുകളൊന്നുമില്ല. എല്ലാവർക്കും ജിറ്റ് അറിയാം, അതിനാൽ സിൻക്രൊണൈസേഷനും സഹകരണവും സൗജന്യമായി ഉൾപ്പെടുത്തിയിട്ടുണ്ട്. പ്രവർത്തനക്ഷമതയെക്കുറിച്ച് നമുക്ക് അടുത്തറിയാം. തിമിംഗലം v1.0.

git അടിസ്ഥാനമാക്കിയുള്ള പൂർണ്ണമായും പ്രവർത്തനക്ഷമമായ ഒരു GUI

ഒരു റിമോട്ട് ജിറ്റ് സെർവറിന്റെ സമുദ്രത്തിലൂടെ സഞ്ചരിക്കുന്നതിനാണ് തിമിംഗലം രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. വളരെ എളുപ്പമാണ് ഇഷ്ടാനുസൃതമാക്കാവുന്നത്: ചില കണക്ഷനുകൾ നിർവചിക്കുക, Github Actions സ്ക്രിപ്റ്റ് പകർത്തുക (അല്ലെങ്കിൽ നിങ്ങൾ തിരഞ്ഞെടുത്ത CI/CD പ്ലാറ്റ്‌ഫോമിനായി ഒന്ന് എഴുതുക), അപ്പോൾ നിങ്ങൾക്ക് തൽക്ഷണം ഒരു വെബ് അധിഷ്ഠിത ഡാറ്റ കണ്ടെത്തൽ ഉപകരണം ലഭിക്കും. നിങ്ങൾക്ക് Github-ൽ നേരിട്ട് നിങ്ങളുടെ പട്ടികകൾ തിരയാനും പ്രിവ്യൂ ചെയ്യാനും ഡോക്യുമെന്റ് ചെയ്യാനും പങ്കിടാനും കഴിയും.

Github Actions ഉപയോഗിച്ച് സൃഷ്ടിച്ച ഒരു പ്ലെയ്‌സ്‌ഹോൾഡർ പട്ടികയുടെ ഒരു ഉദാഹരണം. പൂർണ്ണമായി പ്രവർത്തിക്കുന്ന ഒരു ഡെമോ ലഭ്യമാണ്. ഈ വിഭാഗം കാണുക.

നിങ്ങളുടെ ശേഖരത്തിലുടനീളം മിന്നൽ വേഗത്തിലുള്ള CLI തിരയൽ

കമാൻഡ് ലൈനിൽ തിമിംഗലം ജീവിക്കുകയും ശ്വസിക്കുകയും ചെയ്യുന്നു, നിങ്ങളുടെ ടേബിളുകളിലുടനീളം മില്ലിസെക്കൻഡ് പോലുള്ള ശക്തമായ തിരയലുകൾ നൽകുന്നു. ദശലക്ഷക്കണക്കിന് ടേബിളുകൾ ഉണ്ടെങ്കിലും, ചില സമർത്ഥമായ കാഷിംഗ് മെക്കാനിസങ്ങൾ ഉപയോഗിച്ചും റസ്റ്റിലെ ബാക്കെൻഡ് പുനർനിർമ്മിച്ചും തിമിംഗലത്തെ അവിശ്വസനീയമാംവിധം പ്രകടനം കാഴ്ചവയ്ക്കാൻ ഞങ്ങൾക്ക് കഴിഞ്ഞു. തിരയലുകളിൽ ഒരു കാലതാമസവും നിങ്ങൾ ശ്രദ്ധിക്കില്ല [ഹലോ, ഗൂഗിൾ ഡിഎസ്].

തിമിംഗലങ്ങളുടെ ഡെമോ, ഒരു ദശലക്ഷം പട്ടികകളിലൂടെ തിരയുക.

ഓട്ടോമാറ്റിക് മെട്രിക്സ് കണക്കുകൂട്ടൽ [ബീറ്റയിൽ]

ഒരു ഡാറ്റാ സയന്റിസ്റ്റ് എന്ന നിലയിൽ എനിക്ക് ഏറ്റവും ഇഷ്ടപ്പെടാത്ത കാര്യങ്ങളിൽ ഒന്ന്, ഞാൻ ഉപയോഗിക്കുന്ന ഡാറ്റയുടെ ഗുണനിലവാരം പരിശോധിക്കുന്നതിനായി ഒരേ ചോദ്യങ്ങൾ വീണ്ടും വീണ്ടും പ്രവർത്തിപ്പിക്കുക എന്നതാണ്. പ്ലെയിൻ SQL-ൽ മെട്രിക്സ് നിർവചിക്കുന്നതിനെ Whale പിന്തുണയ്ക്കുന്നു, അത് നിങ്ങളുടെ മെറ്റാഡാറ്റ ക്ലീനപ്പ് പൈപ്പ്‌ലൈനുകൾക്കൊപ്പം ഷെഡ്യൂൾ ചെയ്യപ്പെടും. ഒരു സ്റ്റബ് ടേബിളിനുള്ളിൽ YAML ഫോർമാറ്റിൽ ഒരു മെട്രിക്സ് ബ്ലോക്ക് നിർവചിക്കുക, കൂടാതെ Whale ഒരു ഷെഡ്യൂളിൽ മെട്രിക്സ് ബ്ലോക്കിനുള്ളിൽ ഉള്ള ചോദ്യങ്ങൾ സ്വയമേവ പ്രവർത്തിപ്പിക്കും.

```metrics
metric-name:
  sql: |
    select count(*) from table
```

ഗിത്തബുമായി സംയോജിപ്പിച്ചാൽ, മെട്രിക് നിർവചനങ്ങൾക്കായി സത്യത്തിന്റെ ഒരു ഭാരം കുറഞ്ഞതും കേന്ദ്രവുമായ ഉറവിടമായി തിമിംഗലത്തിന് പ്രവർത്തിക്കാൻ കഴിയുമെന്നാണ് ഈ സമീപനം അർത്ഥമാക്കുന്നത്. ഒരു ഗ്രാഫ് സൃഷ്ടിക്കാനോ കൂടുതൽ ആഴത്തിൽ പഠിക്കാനോ നിങ്ങൾ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, തിമിംഗലം ഒരു ടൈംസ്റ്റാമ്പിനൊപ്പം മൂല്യങ്ങൾ പോലും "~/.whale/metrics" ഡയറക്ടറിയിൽ സംഭരിക്കുന്നു.

ഭാവി

Whale-ന്റെ പ്രീ-റിലീസ് പതിപ്പുകളുടെ ഉപയോക്താക്കളുമായി സംസാരിച്ചതിന് ശേഷം, ആളുകൾക്ക് കൂടുതൽ പ്രവർത്തനക്ഷമത ആവശ്യമാണെന്ന് ഞങ്ങൾ മനസ്സിലാക്കി. എന്തുകൊണ്ട് ഒരു ടേബിൾ സെർച്ച് ടൂൾ? എന്തുകൊണ്ട് ഒരു മെട്രിക്സ് സെർച്ച് ടൂൾ ആയിക്കൂടാ? എന്തുകൊണ്ട് ഒരു മോണിറ്ററിംഗ് ടൂൾ ആയിക്കൂടാ? എന്തുകൊണ്ട് ഒരു SQL ക്വറി എക്സിക്യൂഷൻ ടൂൾ ആയിക്കൂടാ? Whale v1 യഥാർത്ഥത്തിൽ ഒരു ലളിതമായ CLI കമ്പാനിയൻ ടൂൾ ആയിട്ടാണ് വിഭാവനം ചെയ്തതെങ്കിലും. Dataportal/Amundsen, ഇത് ഇതിനകം തന്നെ പൂർണ്ണമായും പ്രവർത്തനക്ഷമമായ ഒരു ഒറ്റപ്പെട്ട പ്ലാറ്റ്‌ഫോമായി പരിണമിച്ചു കഴിഞ്ഞു, കൂടാതെ ഇത് ഡാറ്റാ സയന്റിസ്റ്റിന്റെ ടൂൾകിറ്റിന്റെ അവിഭാജ്യ ഘടകമായി മാറുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു.

വികസനത്തിൽ നിങ്ങൾ കാണാൻ ആഗ്രഹിക്കുന്ന എന്തെങ്കിലും ഉണ്ടെങ്കിൽ, ദയവായി ഞങ്ങളുടെ കൂടെ ചേരൂ സ്ലാക്ക് കമ്മ്യൂണിറ്റി, ലക്കങ്ങൾ തുറക്കുക സാമൂഹികം, അല്ലെങ്കിൽ ഞങ്ങളെ നേരിട്ട് ബന്ധപ്പെടുക പോലും ലിങ്ക്ഡ്ജിൻജ ടെംപ്ലേറ്റുകൾ, ബുക്ക്‌മാർക്കുകൾ, സെർച്ച് ഫിൽട്ടറുകൾ, സ്ലാക്ക് നോട്ടിഫിക്കേഷനുകൾ, ജൂപ്പിറ്റർ ഇന്റഗ്രേഷൻ, മെട്രിക്‌സിനായുള്ള ഒരു CLI ഡാഷ്‌ബോർഡ് പോലും - എന്നിങ്ങനെ നിരവധി ആവേശകരമായ സവിശേഷതകൾ ഞങ്ങളുടെ പക്കലുണ്ട്, എന്നാൽ നിങ്ങളിൽ നിന്ന് കേൾക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു.

തീരുമാനം

ഡാറ്റാഫ്രെയിം ആണ് തിമിംഗലം വികസിപ്പിക്കുന്നതും പിന്തുണയ്ക്കുന്നതും. അടുത്തിടെ മറ്റുള്ളവരുമായി ചേർന്ന് സ്ഥാപിക്കാൻ എനിക്ക് അവസരം ലഭിച്ച ഒരു സ്റ്റാർട്ടപ്പാണിത്. തിമിംഗലം ഡാറ്റ ശാസ്ത്രജ്ഞർക്കായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുമ്പോൾ, ഡാറ്റാഫ്രെയിം ഡാറ്റ ടീമുകൾക്കായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു. കൂടുതൽ അടുത്ത് സഹകരിക്കാൻ ആഗ്രഹിക്കുന്നവർക്ക്, ഞങ്ങളോടൊപ്പം ചേരാൻ മടിക്കേണ്ട. വിലാസം, ഞങ്ങൾ നിങ്ങളെ വെയിറ്റിംഗ് ലിസ്റ്റിൽ ചേർക്കും.

പ്രൊമോ കോഡിനൊപ്പം HABR, ബാനറിൽ സൂചിപ്പിച്ചിരിക്കുന്ന കിഴിവിന് മുകളിൽ നിങ്ങൾക്ക് 10% അധികമായി ലഭിക്കും.

• ഡാറ്റ സയൻസ് ഓൺലൈൻ ബൂട്ട്ക്യാമ്പ്
• ഡാറ്റാ അനലിസ്റ്റിന്റെ തൊഴിൽ ആദ്യം മുതൽ പരിശീലിപ്പിക്കുന്നു
• ഡാറ്റ അനലിറ്റിക്സ് ഓൺലൈൻ ബൂട്ട്ക്യാമ്പ്
• ആദ്യം മുതൽ ഡാറ്റാ സയൻസ് പ്രൊഫഷൻ പഠിപ്പിക്കുന്നു
• വെബ് ഡെവലപ്‌മെന്റ് കോഴ്‌സിനായുള്ള പൈത്തൺ

കൂടുതൽ കോഴ്സുകൾ

• ഡാറ്റ അനലിറ്റിക്സ് കോഴ്സ്
• DevOps കോഴ്സ്
• പ്രൊഫഷണൽ വെബ് ഡെവലപ്പർ
• ആദ്യം മുതൽ തൊഴിൽ iOS ഡെവലപ്പർ
• തൊഴിൽ Android- ആദ്യം മുതൽ ഡെവലപ്പർ
• ആദ്യം മുതൽ പ്രൊഫഷണൽ ജാവ ഡെവലപ്പർ
• ജാവാസ്ക്രിപ്റ്റ് കോഴ്സ്
• മെഷീൻ ലേണിംഗ് കോഴ്സ്
• കോഴ്‌സ് "ഡാറ്റ സയൻസിന് മാത്തമാറ്റിക്സും മെഷീൻ ലേണിംഗും"
• വിപുലമായ കോഴ്‌സ് "മെഷീൻ ലേണിംഗ് പ്രോ + ഡീപ് ലേണിംഗ്"

ഫീച്ചർ ചെയ്ത ലേഖനങ്ങൾ

• ഓൺലൈൻ കോഴ്‌സുകളില്ലാതെ എങ്ങനെ ഒരു ഡാറ്റാ സയന്റിസ്റ്റ് ആകാം
• 450 സൗജന്യ ഐവി ലീഗ് കോഴ്സുകൾ
• മെഷീൻ ലേണിംഗ് എങ്ങനെ ആഴ്ചയിൽ 5 ദിവസം തുടർച്ചയായി 9 മാസം പഠിക്കാം
• ഒരു ഡാറ്റാ അനലിസ്റ്റ് എത്രമാത്രം സമ്പാദിക്കുന്നു: 2020 ൽ റഷ്യയിലും വിദേശത്തുമുള്ള ശമ്പളത്തിന്റെയും ഒഴിവുകളുടെയും ഒരു അവലോകനം
• ഖനന വ്യവസായത്തിലെ മെഷീൻ ലേണിംഗ്, കമ്പ്യൂട്ടർ വിഷൻ

അവലംബം: www.habr.com