🥇વ્હેલ સાથે ઝડપથી અને સરળતાથી ડેટા કેવી રીતે શોધવો

આ લેખ સૌથી સરળ અને ઝડપી ડેટા શોધ સાધન વિશે વાત કરે છે, જેનું કાર્ય તમે KDPV પર જુઓ છો. રસપ્રદ રીતે, વ્હેલને રિમોટ ગિટ સર્વર પર હોસ્ટ કરવા માટે ડિઝાઇન કરવામાં આવી છે. કટ હેઠળ વિગતો.

એરબીએનબીના ડેટા ડિસ્કવરી ટૂલે મારું જીવન કેવી રીતે બદલી નાખ્યું

મારી કારકિર્દીમાં, મને કેટલીક મનોરંજક સમસ્યાઓ પર કામ કરવાનો આનંદ મળ્યો છે: મેં MITમાં મારી ડિગ્રી કરતી વખતે પ્રવાહ ગણિતનો અભ્યાસ કર્યો, વધારાના મોડલ પર કામ કર્યું અને ઓપન સોર્સ પ્રોજેક્ટ સાથે pylift Wayfair પર, અને Airbnb પર નવા હોમપેજ લક્ષ્યીકરણ મોડલ અને CUPED સુધારાઓ અમલમાં મૂક્યા. પરંતુ આ બધું કામ ક્યારેય આકર્ષક નહોતું - વાસ્તવમાં, મેં ઘણીવાર મારો મોટાભાગનો સમય ડેટા શોધવામાં, સંશોધન કરવામાં અને માન્ય કરવામાં પસાર કર્યો હતો. જો કે કામ પર આ એક સતત સ્થિતિ હતી, મને એવું લાગ્યું ન હતું કે જ્યાં સુધી હું Airbnb ન પહોંચું ત્યાં સુધી આ કોઈ સમસ્યા હતી જ્યાં તેને ડેટા ડિસ્કવરી ટૂલ સાથે ઉકેલવામાં આવી હતી - ડેટાપોર્ટલ.

હું {{data}} ક્યાં શોધી શકું? ડેટાપોર્ટલ.
આ કૉલમનો અર્થ શું છે? ડેટાપોર્ટલ.
આજે {{metric}} કેવું ચાલે છે? ડેટાપોર્ટલ.
જીવનની ભાવના શું છે? IN ડેટાપોર્ટલ, કદાચ.

ઠીક છે, તમે ચિત્ર રજૂ કર્યું છે. ડેટા શોધવામાં અને તેનો અર્થ શું છે, તે કેવી રીતે બનાવવામાં આવ્યું હતું અને તેનો ઉપયોગ કેવી રીતે કરવો તે સમજવામાં કલાકો નહીં પણ થોડી મિનિટો લાગે છે. નોંધો ખોદવા, પુનરાવર્તિત SQL ક્વેરીઝ લખવા અને સંદર્ભને ફરીથી બનાવવા માટે Slack પર સહકર્મીઓનો ઉલ્લેખ કરવાને બદલે હું સરળ તારણો, અથવા નવા અલ્ગોરિધમ્સ, (… અથવા ડેટા વિશેના રેન્ડમ પ્રશ્નોના જવાબ આપવા)માં મારો સમય પસાર કરી શકું છું. .

સમસ્યા શું છે?

મને સમજાયું કે મારા મોટાભાગના મિત્રો પાસે આવા સાધનની ઍક્સેસ નથી. કેટલીક કંપનીઓ ડેટાપોર્ટલ જેવા પ્લેટફોર્મ ટૂલના નિર્માણ અને જાળવણી માટે વિશાળ સંસાધનો આપવા તૈયાર છે. અને જ્યારે કેટલાક ઓપન સોર્સ સોલ્યુશન્સ હોય છે, ત્યારે તે સ્કેલ કરવા માટે ડિઝાઇન કરવામાં આવે છે, જે સમર્પિત DevOps એન્જિનિયર વિના સેટઅપ અને જાળવણી મુશ્કેલ બનાવે છે. તેથી મેં કંઈક નવું બનાવવાનું નક્કી કર્યું.

વ્હેલ: એક મૂર્ખતાપૂર્વક સરળ ડેટા શોધ સાધન

અને હા, સિમ્પલ ટુ સ્ટુપિડિટી મારો મતલબ સિમ્પલ ટુ સ્ટુપિડિટી. વ્હેલમાં ફક્ત બે ઘટકો છે:

પાયથોન લાઇબ્રેરી જે મેટાડેટા એકત્રિત કરે છે અને તેને માર્કડાઉનમાં ફોર્મેટ કરે છે.
આ ડેટા દ્વારા શોધવા માટે રસ્ટ કમાન્ડ લાઇન ઇન્ટરફેસ.

જાળવણી માટેના આંતરિક માળખાના દૃષ્ટિકોણથી, ત્યાં ફક્ત ઘણી બધી ટેક્સ્ટ ફાઇલો અને એક પ્રોગ્રામ છે જે ટેક્સ્ટને અપડેટ કરે છે. બસ, તેથી ગીથબ જેવા ગિટ સર્વર પર હોસ્ટિંગ તુચ્છ છે. શીખવા માટે કોઈ નવી ક્વેરી ભાષા નથી, કોઈ મેનેજમેન્ટ ઈન્ફ્રાસ્ટ્રક્ચર નથી, કોઈ બેકઅપ નથી. દરેક વ્યક્તિ ગિટને જાણે છે, તેથી સમન્વય અને સહયોગ મફત છે. ચાલો કાર્યક્ષમતા પર નજીકથી નજર કરીએ વ્હેલ v1.0.

સંપૂર્ણ સુવિધાયુક્ત ગિટ-આધારિત GUI

વ્હેલને રિમોટ ગિટ સર્વરના સમુદ્રમાં તરવા માટે બનાવવામાં આવી છે. તેમણે અત્યંત સરળ રૂપરેખાંકિત: કેટલાક જોડાણો વ્યાખ્યાયિત કરો, ગીથબ એક્શન સ્ક્રિપ્ટની નકલ કરો (અથવા તમારા પસંદ કરેલા CI/CD પ્લેટફોર્મ માટે એક લખો) અને તમારી પાસે તરત જ ડેટા શોધ વેબ ટૂલ હશે. તમે ગીથબ પર સીધા જ તમારી સ્પ્રેડશીટ્સ શોધવા, જોવા, દસ્તાવેજ કરવા અને શેર કરવામાં સમર્થ હશો.

ગીથબ ક્રિયાઓનો ઉપયોગ કરીને જનરેટ કરાયેલ સ્ટબ ટેબલનું ઉદાહરણ. સંપૂર્ણ કામ ડેમો આ વિભાગમાં જુઓ.

તમારા ભંડાર માટે વીજળી ઝડપી CLI શોધ

વ્હેલ કમાન્ડ લાઇન પર જીવે છે અને શ્વાસ લે છે, તમારા ટેબલ પર શક્તિશાળી, મિલિસેકન્ડ લુકઅપ પ્રદાન કરે છે. લાખો કોષ્ટકો સાથે પણ, અમે કેટલીક ચતુર કેશીંગ મિકેનિઝમ્સનો ઉપયોગ કરીને અને રસ્ટમાં બેકએન્ડનું પુનઃનિર્માણ કરીને વ્હેલને અદ્ભુત રીતે પ્રભાવશાળી બનાવવામાં વ્યવસ્થાપિત છીએ. તમે શોધમાં વિલંબ જોશો નહીં [હેલો ગૂગલ ડીએસ].

વ્હેલ ડેમો, મિલિયન ટેબલ લુકઅપ.

મેટ્રિક્સની સ્વચાલિત ગણતરી [બીટામાં]

ડેટા સાયન્ટિસ્ટ તરીકે મારી સૌથી ઓછી મનપસંદ વસ્તુઓમાંની એક એ જ ક્વેરીઝનો ઉપયોગ કરવામાં આવી રહેલા ડેટાની ગુણવત્તાને તપાસવા માટે વારંવાર ચલાવી રહી છે. વ્હેલ સાદા SQL માં મેટ્રિક્સને વ્યાખ્યાયિત કરવાની ક્ષમતાને સમર્થન આપે છે જે તમારી મેટાડેટા ક્લિનઅપ પાઇપલાઇન્સ સાથે ચલાવવા માટે શેડ્યૂલ કરવામાં આવશે. સ્ટબ ટેબલની અંદર YAML મેટ્રિક્સ બ્લોક વ્યાખ્યાયિત કરો, અને વ્હેલ આપમેળે શેડ્યૂલ પર ચાલશે અને મેટ્રિક્સમાં નેસ્ટેડ ક્વેરીઝ ચલાવશે.

```metrics
metric-name:
  sql: |
    select count(*) from table
```

ગીથબ સાથે મળીને, આ અભિગમનો અર્થ છે કે વ્હેલ મેટ્રિક વ્યાખ્યાઓ માટે સત્યના સરળ કેન્દ્રિય સ્ત્રોત તરીકે સેવા આપી શકે છે. વ્હેલ "~/ માં ટાઇમસ્ટેમ્પ સાથે મૂલ્યોને પણ સાચવે છે. whale/metrics" જો તમે ચાર્ટિંગ અથવા વધુ ઊંડાણપૂર્વક સંશોધન કરવા માંગતા હોવ

ભવિષ્ય

વ્હેલના અમારા પૂર્વ-પ્રકાશન સંસ્કરણોના વપરાશકર્તાઓ સાથે વાત કર્યા પછી, અમને સમજાયું કે લોકોને વધુ કાર્યક્ષમતાની જરૂર છે. શા માટે ટેબલ લુકઅપ ટૂલ? શા માટે મેટ્રિક્સ શોધ સાધન નથી? મોનિટરિંગ કેમ નથી? શા માટે SQL ક્વેરી એક્ઝેક્યુશન ટૂલ નથી? જ્યારે વ્હેલ v1 ને મૂળ CLI સાથી સાધન તરીકે કલ્પના કરવામાં આવી હતી Dataportal/Amundsen, તે પહેલેથી જ સંપૂર્ણ સુવિધાયુક્ત સ્ટેન્ડઅલોન પ્લેટફોર્મ તરીકે વિકસિત થઈ ગયું છે, અને અમે આશા રાખીએ છીએ કે તે ડેટા સાયન્ટિસ્ટની ટૂલકીટનો અભિન્ન ભાગ બની જશે.

જો તમે વિકાસ પ્રક્રિયામાં કંઈક જોવા માંગો છો, તો અમારી સાથે જોડાઓ સ્લેક સમુદાય માટે, પર મુદ્દાઓ ખોલો Githubઅથવા તો સીધો સંપર્ક કરો LinkedIn. અમારી પાસે પહેલેથી જ અસંખ્ય શાનદાર સુવિધાઓ છે - જિન્જા ટેમ્પલેટ્સ, બુકમાર્ક્સ, સર્ચ ફિલ્ટર્સ, સ્લૅક ચેતવણીઓ, જ્યુપીટર એકીકરણ, મેટ્રિક્સ માટે CLI ડેશબોર્ડ પણ - પણ અમને તમારું ઇનપુટ ગમશે.

નિષ્કર્ષ

વ્હેલને ડેટાફ્રેમ દ્વારા વિકસિત અને જાળવવામાં આવે છે, જે એક સ્ટાર્ટઅપ છે જે મને તાજેતરમાં અન્ય લોકો સાથે સહ-સ્થાપિત કરવાનો આનંદ મળ્યો હતો. જ્યારે વ્હેલ ડેટા વૈજ્ઞાનિકો માટે બનાવવામાં આવે છે, જ્યારે ડેટાફ્રેમ ડેટા વૈજ્ઞાનિકો માટે બનાવવામાં આવે છે. તમારામાંથી જેઓ વધુ નજીકથી સહયોગ કરવા માગે છે, તેઓ માટે નિઃસંકોચ સરનામુંઅમે તમને પ્રતીક્ષા સૂચિમાં ઉમેરીશું.

અને પ્રોમો કોડ દ્વારા HABR, તમે બેનર પર દર્શાવેલ ડિસ્કાઉન્ટ પર વધારાના 10% મેળવી શકો છો.

વધુ અભ્યાસક્રમો

ફીચર્ડ લેખો

સોર્સ: www.habr.com