🥇व्हेल के साथ डेटा को जल्दी और आसानी से कैसे खोजें

यह आलेख सबसे सरल और तेज़ डेटा खोज टूल के बारे में बात करता है, जिसका काम आप केडीपीवी पर देखते हैं। दिलचस्प बात यह है कि व्हेल को रिमोट गिट सर्वर पर होस्ट करने के लिए डिज़ाइन किया गया है। कट के अंतर्गत विवरण.

Airbnb के डेटा डिस्कवरी टूल ने मेरी जिंदगी कैसे बदल दी

मेरे करियर में, मुझे कुछ मजेदार समस्याओं पर काम करने का आनंद मिला है: मैंने एमआईटी में अपनी डिग्री करते हुए फ्लो मैथ का अध्ययन किया, वृद्धिशील मॉडल पर काम किया, और एक ओपन सोर्स प्रोजेक्ट के साथ पाइललिफ्ट Wayfair में, और Airbnb पर नए मुखपृष्ठ लक्ष्यीकरण मॉडल और CUPED सुधार लागू किए। लेकिन यह सारा काम कभी भी ग्लैमरस नहीं था—वास्तव में, मैं अक्सर अपना अधिकांश समय डेटा खोजने, शोध करने और मान्य करने में लगाता था। हालांकि यह काम पर एक स्थिर स्थिति थी, लेकिन जब तक मैं Airbnb नहीं गया, जहां इसे डेटा डिस्कवरी टूल के साथ हल किया गया था, तब तक मेरे दिमाग में यह बात नहीं आई थी - डेटापोर्टल.

मुझे {{डेटा}} कहां मिल सकता है? डेटापोर्टल.
इस कॉलम का क्या मतलब है? डेटापोर्टल.
आज {{metric}} कैसा चल रहा है? डेटापोर्टल.
जीवन का एहसास क्या है? में डेटापोर्टल, शायद।

ठीक है, आपने चित्र प्रस्तुत किया है। डेटा ढूंढना और समझना कि इसका क्या अर्थ है, इसे कैसे बनाया गया था और इसका उपयोग कैसे करना है, इसमें घंटों नहीं, बल्कि कुछ मिनट लगते हैं। मैं नोट्स के माध्यम से खुदाई करने, दोहराए जाने वाले SQL प्रश्नों को लिखने, और स्लैक पर सहयोगियों का उल्लेख करने और संदर्भ को फिर से बनाने के लिए उल्लेख करने के बजाय सरल निष्कर्ष निकालने, या नए एल्गोरिदम, (... या डेटा के बारे में यादृच्छिक प्रश्नों का उत्तर देने) में अपना समय व्यतीत कर सकता था। .

क्या समस्या है?

मुझे एहसास हुआ कि मेरे अधिकांश दोस्तों के पास ऐसे टूल तक पहुंच नहीं थी। कुछ कंपनियाँ डेटापोर्टल जैसे प्लेटफ़ॉर्म टूल के निर्माण और रखरखाव के लिए बड़े संसाधन खर्च करने को तैयार हैं। और जबकि कुछ खुले स्रोत समाधान हैं, वे बड़े पैमाने पर डिज़ाइन किए जाते हैं, जिससे एक समर्पित DevOps इंजीनियर के बिना इसे स्थापित करना और बनाए रखना मुश्किल हो जाता है। इसलिए मैंने कुछ नया बनाने का फैसला किया।

व्हेल: एक मूर्खतापूर्ण सरल डेटा खोज उपकरण

और हाँ, बेवकूफी से सरल मेरा मतलब बेवकूफी से सरल है। व्हेल के केवल दो घटक होते हैं:

एक पायथन लाइब्रेरी जो मेटाडेटा एकत्र करती है और इसे मार्कडाउन में स्वरूपित करती है।
इस डेटा के माध्यम से खोज के लिए रस्ट कमांड लाइन इंटरफ़ेस।

रखरखाव के लिए आंतरिक बुनियादी ढांचे के दृष्टिकोण से, केवल बहुत सारी टेक्स्ट फ़ाइलें और एक प्रोग्राम है जो टेक्स्ट को अपडेट करता है। बस इतना ही, इसलिए Github जैसे git सर्वर पर होस्ट करना मामूली बात है। सीखने के लिए कोई नई क्वेरी भाषा नहीं, कोई प्रबंधन संरचना नहीं, कोई बैकअप नहीं। Git को हर कोई जानता है, इसलिए समन्वयन और सहयोग मुफ़्त है। आइए कार्यक्षमता पर करीब से नज़र डालें व्हेल v1.0.

पूर्ण विशेषताओं वाला गिट-आधारित जीयूआई

व्हेल को रिमोट गिट सर्वर के समुद्र में तैरने के लिए डिज़ाइन किया गया है। वह बहुत आसान कॉन्फ़िगर करने योग्य: कुछ कनेक्शन परिभाषित करें, जीथब एक्शन स्क्रिप्ट की प्रतिलिपि बनाएँ (या अपने चुने हुए सीआई/सीडी प्लेटफ़ॉर्म के लिए एक लिखें) और आपके पास तुरंत एक डेटा खोज वेब टूल होगा। आप अपनी स्प्रैडशीट को सीधे Github पर खोज, देख, दस्तावेज़ और साझा करने में सक्षम होंगे।

गीथूब क्रियाओं का उपयोग करके उत्पन्न स्टब टेबल का एक उदाहरण। पूर्ण कार्यशील डेमो इस अनुभाग में देखें.

आपके भंडार के लिए बिजली की तेज़ सीएलआई खोज

व्हेल कमांड लाइन पर रहती है और सांस लेती है, आपकी टेबल पर शक्तिशाली, मिलीसेकंड लुकअप प्रदान करती है। लाखों तालिकाओं के साथ भी, हम कुछ चतुर कैशिंग तंत्रों का उपयोग करके और रस्ट में बैकएंड का पुनर्निर्माण करके व्हेल को अविश्वसनीय रूप से प्रदर्शन करने में कामयाब रहे। आपको कोई खोज विलंब नहीं दिखाई देगा [नमस्कार Google DS]।

व्हेल डेमो, मिलियन टेबल लुकअप।

मेट्रिक्स की स्वचालित गणना [बीटा में]

एक डेटा वैज्ञानिक के रूप में मेरी सबसे कम पसंदीदा चीजों में से एक है उपयोग किए जा रहे डेटा की गुणवत्ता की जांच करने के लिए बार-बार वही क्वेरी चलाना। व्हेल सादे SQL में मेट्रिक्स को परिभाषित करने की क्षमता का समर्थन करता है जिसे आपके मेटाडेटा क्लीनअप पाइपलाइनों के साथ चलाने के लिए शेड्यूल किया जाएगा। स्टब टेबल के अंदर एक YAML मेट्रिक्स ब्लॉक को परिभाषित करें, और व्हेल स्वचालित रूप से एक शेड्यूल पर चलेगी और मेट्रिक्स में नेस्टेड क्वेरीज़ चलाएगी।

```metrics
metric-name:
  sql: |
    select count(*) from table
```

जीथब के साथ संयुक्त, इस दृष्टिकोण का मतलब है कि व्हेल मीट्रिक परिभाषाओं के लिए सत्य का एक आसान केंद्रीय स्रोत के रूप में काम कर सकता है। व्हेल "~/" में टाइमस्टैम्प के साथ-साथ मानों को भी सहेजता है। व्हेल/मेट्रिक्स" यदि आप कुछ चार्टिंग या अधिक गहन शोध करना चाहते हैं।

द फ्यूचर

व्हेल के हमारे पूर्व-रिलीज़ संस्करणों के उपयोगकर्ताओं से बात करने के बाद, हमने महसूस किया कि लोगों को अधिक कार्यक्षमता की आवश्यकता है। टेबल लुकअप टूल क्यों? मेट्रिक्स सर्च टूल क्यों नहीं? मॉनिटरिंग क्यों नहीं? SQL क्वेरी निष्पादन उपकरण क्यों नहीं? जबकि व्हेल v1 को मूल रूप से एक साधारण सीएलआई सहयोगी उपकरण के रूप में माना गया था Dataportal/Amundsen, यह पहले से ही एक पूर्ण विशेषताओं वाले स्टैंडअलोन प्लेटफ़ॉर्म में विकसित हो चुका है, और हमें उम्मीद है कि यह डेटा साइंटिस्ट के टूलकिट का एक अभिन्न अंग बन जाएगा।

यदि आप विकास प्रक्रिया में कुछ देखना चाहते हैं, तो हमारे साथ जुड़ें सुस्त समुदाय के लिए, पर मुद्दे खोलें Githubया यहां तक कि सीधे संपर्क करें लिंक्डइन. हमारे पास पहले से ही कई शानदार विशेषताएं हैं - जिंजा टेम्प्लेट, बुकमार्क, सर्च फिल्टर, स्लैक अलर्ट, ज्यूपिटर इंटीग्रेशन, यहां तक कि मेट्रिक्स के लिए एक सीएलआई डैशबोर्ड - लेकिन हमें आपका इनपुट पसंद आएगा।

निष्कर्ष

व्हेल को डेटाफ़्रेम द्वारा विकसित और रखरखाव किया जाता है, एक स्टार्टअप जिसे मुझे हाल ही में अन्य लोगों के साथ सह-संस्थापक होने का सौभाग्य मिला है। जबकि व्हेल डेटा वैज्ञानिकों के लिए बनाई गई है, डेटाफ़्रेम डेटा वैज्ञानिकों के लिए बनाई गई है। आपमें से जो लोग अधिक निकटता से सहयोग करना चाहते हैं, वे बेझिझक ऐसा कर सकते हैं पताहम आपको प्रतीक्षा सूची में जोड़ देंगे।

और प्रोमो कोड द्वारा हाब्री, आप बैनर पर दर्शाई गई छूट के लिए अतिरिक्त 10% प्राप्त कर सकते हैं।

अधिक पाठ्यक्रम

प्रदर्शित लेख

स्रोत: www.habr.com