🥇कसरी छिटो र सजिलैसँग ह्वेलसँग डाटा खोज्ने

यो लेखले सबैभन्दा सरल र छिटो डाटा खोज उपकरणको बारेमा कुरा गर्छ, जसको काम तपाईंले KDPV मा देख्नुहुन्छ। चाखलाग्दो कुरा के छ भने, व्हेललाई रिमोट गिट सर्भरमा होस्ट गर्न डिजाइन गरिएको हो। कट अन्तर्गत विवरणहरू।

कसरी Airbnb डाटा डिस्कवरी उपकरणले मेरो जीवन परिवर्तन गर्यो

मेरो क्यारियरमा, मैले केही रमाइलो समस्याहरूमा काम गर्न पाउँदा खुसी छु: मैले MIT मा मेरो डिग्री गर्दै गर्दा प्रवाह गणित अध्ययन गरें, वृद्धिशील मोडेलहरूमा काम गरें, र खुला स्रोत परियोजनाको साथ। पाइलिफ्ट Wayfair मा, र Airbnb मा नयाँ गृहपृष्ठ लक्ष्यीकरण मोडेल र CUPED सुधारहरू लागू गर्यो। तर यो सबै काम कहिल्यै आकर्षक थिएन—वास्तवमा, मैले प्रायः मेरो धेरैजसो समय डेटा खोजी, अनुसन्धान र प्रमाणीकरणमा बिताएँ। यद्यपि यो काममा एक स्थिर अवस्था थियो, यो मलाई Airbnb मा नपुगेसम्म यो एक समस्या हो भन्ने लागेन जहाँ यसलाई डाटा खोज उपकरणको साथ समाधान गरिएको थियो - डाटापोर्टल.

मैले {{data}} कहाँ फेला पार्न सक्छु? डाटापोर्टल.
यो स्तम्भको अर्थ के हो? डाटापोर्टल.
आज {{metric}} कस्तो छ? डाटापोर्टल.
जीवनको भावना के हो? IN डाटापोर्टल, सायद।

ठीक छ, तपाईंले चित्र प्रस्तुत गर्नुभयो। डाटा फेला पार्न र यसको अर्थ के हो, यो कसरी सिर्जना गरियो र यसलाई कसरी प्रयोग गर्ने भनेर बुझ्न केही मिनेट मात्र लाग्छ, घण्टा होइन। मैले टिपोटहरू खन्ने, दोहोरिने SQL प्रश्नहरू लेख्ने, र सन्दर्भ पुन: सिर्जना गर्न Slack मा सहकर्मीहरूलाई उल्लेख गर्नुको सट्टा साधारण निष्कर्षहरू, वा नयाँ एल्गोरिदमहरू, (... वा डेटाको बारेमा अनियमित प्रश्नहरूको जवाफ दिन) मेरो समय खर्च गर्न सक्छु। जुन अरू कसैसँग पहिले नै थियो। ।

समस्या के हो?

मैले महसुस गरें कि मेरा धेरै साथीहरूसँग त्यस्तो उपकरणमा पहुँच छैन। थोरै कम्पनीहरू डाटापोर्टल जस्ता प्लेटफर्म उपकरण निर्माण र मर्मत गर्न ठूलो स्रोतहरू समर्पित गर्न इच्छुक छन्। र जब त्यहाँ केही खुला स्रोत समाधानहरू छन्, तिनीहरू मापन गर्न डिजाइन गरिएका हुन्छन्, यसले समर्पित DevOps इन्जिनियर बिना सेटअप र मर्मत गर्न गाह्रो बनाउँछ। त्यसैले मैले केहि नयाँ बनाउने निर्णय गरें।

ह्वेल: एक मूर्ख सरल डाटा खोज उपकरण

र हो, मूर्खतापूर्ण सरल भनेको मेरो मतलब मूर्ख रूपमा सरल हो। ह्वेल मा केवल दुई घटक छ:

पाइथन लाइब्रेरी जसले मेटाडाटा सङ्कलन गर्छ र यसलाई मार्कडाउनमा ढाँचा गर्छ।
रस्ट कमाण्ड लाइन इन्टरफेस यस डाटा को माध्यम बाट खोज को लागी।

मर्मतका लागि आन्तरिक पूर्वाधारको दृष्टिकोणबाट, त्यहाँ धेरै पाठ फाइलहरू र पाठ अद्यावधिक गर्ने कार्यक्रम मात्र छन्। त्यो हो, त्यसैले Gitub सर्भरमा होस्टिंग तुच्छ छ। सिक्नको लागि कुनै नयाँ क्वेरी भाषा छैन, कुनै व्यवस्थापन पूर्वाधार छैन, कुनै ब्याकअप छैन। सबैलाई Git थाहा छ, त्यसैले सिंक र सहयोग नि: शुल्क छ। कार्यक्षमतामा नजिकबाट हेरौं ह्वेल v1.0.

पूर्ण चित्रित git-आधारित GUI

ह्वेललाई रिमोट गिट सर्भरको समुन्द्रमा पौडी खेल्न डिजाइन गरिएको हो। उहाँले धेरै सजिलो कन्फिगर योग्य: केही जडानहरू परिभाषित गर्नुहोस्, Github कार्यहरू लिपि प्रतिलिपि गर्नुहोस् (वा तपाईंको छनौट गरिएको CI/CD प्लेटफर्मको लागि एउटा लेख्नुहोस्) र तपाईंसँग तुरुन्तै डाटा खोज वेब उपकरण हुनेछ। तपाईं Github मा सीधा आफ्नो स्प्रेडसिट खोज्न, हेर्न, कागजात र साझेदारी गर्न सक्षम हुनुहुनेछ।

Github कार्यहरू प्रयोग गरेर उत्पन्न गरिएको स्टब तालिकाको उदाहरण। पूर्ण काम गर्ने डेमो यस खण्डमा हेर्नुहोस्.

तपाईंको भण्डारको लागि बिजुली छिटो CLI खोज

ह्वेल कमाण्ड लाइनमा बाँच्छ र सास फेर्छ, तपाईंको टेबलहरूमा शक्तिशाली, मिलिसेकेन्ड लुकअपहरू प्रदान गर्दछ। लाखौं टेबलहरूको साथमा पनि, हामीले केही चलाख क्यासिङ मेकानिजमहरू प्रयोग गरेर र रस्टमा ब्याकइन्ड पुन: निर्माण गरेर ह्वेललाई अविश्वसनीय रूपमा प्रदर्शन गर्न व्यवस्थित गर्यौं। तपाईंले कुनै खोज ढिलाइ देख्नुहुने छैन [नमस्ते Google DS]।

व्हेल डेमो, मिलियन टेबल लुकअप।

मेट्रिक्सको स्वचालित गणना [बीटामा]

डेटा वैज्ञानिकको रूपमा मेरो सबैभन्दा कम मनपर्ने चीजहरू मध्ये एक प्रयोग भइरहेको डाटाको गुणस्तर जाँच गर्नको लागि उही प्रश्नहरू बारम्बार चलिरहेको छ। ह्वेलले सादा SQL मा मेट्रिक्स परिभाषित गर्ने क्षमतालाई समर्थन गर्दछ जुन तपाइँको मेटाडेटा क्लिनअप पाइपलाइनहरूसँग चल्ने समय तालिका हुनेछ। स्टब तालिका भित्र YAML मेट्रिक्स ब्लक परिभाषित गर्नुहोस्, र व्हेल स्वचालित रूपमा तालिकामा चल्नेछ र मेट्रिक्समा नेस्टेड क्वेरीहरू चलाउनेछ।

```metrics
metric-name:
  sql: |
    select count(*) from table
```

Github संग संयुक्त, यो दृष्टिकोण को मतलब ह्वेल मेट्रिक परिभाषा को लागी सत्य को एक सजिलो केन्द्रीय स्रोत को रूप मा सेवा गर्न सक्छ। ह्वेलले "~/" मा टाइमस्ट्याम्पको साथ मानहरू पनि बचत गर्दछ। whale/metrics" यदि तपाइँ केहि चार्टिङ वा थप गहिरो अनुसन्धान गर्न चाहनुहुन्छ भने।

भविष्य

ह्वेलका हाम्रा पूर्व-रिलीज संस्करणहरूको प्रयोगकर्ताहरूसँग कुरा गरेपछि, हामीले महसुस गर्यौं कि मानिसहरूलाई थप कार्यक्षमता चाहिन्छ। किन टेबल लुकअप उपकरण? मेट्रिक्स खोज उपकरण किन छैन? अनुगमन किन नगर्ने ? किन SQL क्वेरी कार्यान्वयन उपकरण छैन? जबकि ह्वेल v1 मूल रूपमा एक साधारण CLI साथी उपकरणको रूपमा कल्पना गरिएको थियो Dataportal/Amundsen, यो पहिले नै पूर्ण-विशेषतायुक्त स्ट्यान्डअलोन प्लेटफर्ममा विकसित भइसकेको छ, र हामी आशा गर्छौं कि यो डेटा वैज्ञानिकको टुलकिटको अभिन्न अंग बन्नेछ।

यदि तपाइँ विकास प्रक्रियामा केहि हेर्न चाहानुहुन्छ भने, हाम्रो सामेल हुनुहोस् स्ल्याक समुदायमा, मा मुद्दाहरू खोल्नुहोस् Githubवा सिधै सम्पर्क गर्नुहोस् LinkedIn। हामीसँग पहिले नै धेरै उत्कृष्ट सुविधाहरू छन् - जिन्जा टेम्प्लेटहरू, बुकमार्कहरू, खोज फिल्टरहरू, स्ल्याक अलर्टहरू, जुपिटर एकीकरण, मेट्रिक्सका लागि CLI ड्यासबोर्ड पनि - तर हामीलाई तपाईंको इनपुट मनपर्नेछ।

निष्कर्षमा

ह्वेल Dataframe द्वारा विकसित र मर्मत गरिएको छ, एक स्टार्टअप जुन मैले हालै अन्य व्यक्तिहरूसँग सह-संस्थापकको आनन्द पाएको छु। जबकि ह्वेल डाटा वैज्ञानिकहरूका लागि बनाइएको छ, डाटाफ्रेम डाटा वैज्ञानिकहरूका लागि बनाइएको छ। तपाईहरु मध्ये जो धेरै नजिकबाट सहयोग गर्न चाहानुहुन्छ, नहिचकिचाउनुहोस् ठेगानाहामी तपाईंलाई प्रतीक्षा सूचीमा थप्नेछौं।

र प्रोमो कोड द्वारा HABR, तपाइँ ब्यानरमा संकेत गरिएको छुटमा थप 10% प्राप्त गर्न सक्नुहुन्छ।

थप पाठ्यक्रमहरू

विशेष लेखहरू

स्रोत: www.habr.com

ह्वेल संग छिटो र सजिलै डाटा कसरी खोजी गर्न