व्हेलसह डेटा जलद आणि सहज कसा शोधायचा

हा लेख सर्वात सोप्या आणि जलद डेटा शोध टूलबद्दल बोलतो, ज्याचे कार्य तुम्ही KDPV वर पाहता. विशेष म्हणजे, व्हेलला रिमोट गिट सर्व्हरवर होस्ट करण्यासाठी डिझाइन केले आहे. कट अंतर्गत तपशील.

एअरबीएनबीच्या डेटा डिस्कव्हरी टूलने माझे आयुष्य कसे बदलले

माझ्या कारकिर्दीत, काही मजेदार समस्यांवर काम करण्यासाठी मी पुरेसा भाग्यवान आहे: मी एमआयटीमध्ये पदवी घेत असताना प्रवाह गणिताचा अभ्यास केला, वाढीव मॉडेल्सवर काम केले आणि ओपन सोर्स प्रोजेक्टसह पायलिफ्ट Wayfair येथे, आणि Airbnb वर नवीन मुख्यपृष्ठ लक्ष्यीकरण मॉडेल आणि CUPED सुधारणा लागू केल्या. पण हे सर्व काम कधीच मोहक नव्हते—खरं तर, मी बहुतेकदा माझा बहुतेक वेळ डेटा शोधण्यात, संशोधन करण्यात आणि प्रमाणित करण्यात घालवला. कामाच्या ठिकाणी ही एक सतत स्थिती असली तरी, मी Airbnb वर पोहोचेपर्यंत ही समस्या माझ्या लक्षात आली नाही जिथे डेटा शोध साधनाने याचे निराकरण केले गेले - डेटापोर्टल.

मला {{data}} कुठे मिळेल? डेटापोर्टल.
या स्तंभाचा अर्थ काय? डेटापोर्टल.
आज {{metric}} कसे चालले आहे? डेटापोर्टल.
जीवनाची जाणीव म्हणजे काय? IN डेटापोर्टल, कदाचित.

ठीक आहे, आपण चित्र सादर केले आहे. डेटा शोधणे आणि त्याचा अर्थ काय आहे, ते कसे तयार केले गेले आणि ते कसे वापरायचे हे समजून घेण्यासाठी काही तास लागतात, तास नव्हे. मी माझा वेळ साधे निष्कर्ष काढण्यात, किंवा नवीन अल्गोरिदम, (… किंवा डेटाबद्दल यादृच्छिक प्रश्नांची उत्तरे देण्यात) घालवू शकतो, नोट्स शोधण्याऐवजी, पुनरावृत्ती SQL क्वेरी लिहिण्याऐवजी आणि संदर्भ पुन्हा तयार करण्यासाठी स्लॅकवर सहकाऱ्यांचा उल्लेख करण्यात. होते.

समस्या काय आहे?

माझ्या लक्षात आले की माझ्या बहुतेक मित्रांना अशा साधनात प्रवेश नाही. Dataportal सारखे प्लॅटफॉर्म साधन तयार करण्यासाठी आणि देखरेख करण्यासाठी काही कंपन्या प्रचंड संसाधने देण्यास इच्छुक आहेत. आणि काही ओपन सोर्स सोल्यूशन्स असताना, ते स्केल करण्यासाठी डिझाइन केलेले असतात, ज्यामुळे समर्पित DevOps अभियंताशिवाय सेट करणे आणि देखरेख करणे कठीण होते. म्हणून मी काहीतरी नवीन तयार करण्याचा निर्णय घेतला.

व्हेल: एक मूर्खपणाचे सोपे डेटा शोध साधन

आणि हो, स्टुपीडली सिंपल म्हणजे मला मूर्खपणाने साधे म्हणायचे आहे. व्हेलमध्ये फक्त दोन घटक असतात:

1. एक पायथन लायब्ररी जी मेटाडेटा संकलित करते आणि मार्कडाउनमध्ये स्वरूपित करते.
2. या डेटाद्वारे शोधण्यासाठी रस्ट कमांड लाइन इंटरफेस.

देखरेखीसाठी अंतर्गत पायाभूत सुविधांच्या दृष्टिकोनातून, फक्त बर्याच मजकूर फायली आणि एक प्रोग्राम आहे जो मजकूर अद्यतनित करतो. तेच आहे, म्हणून गिथब सारख्या गिट सर्व्हरवर होस्टिंग करणे क्षुल्लक आहे. शिकण्यासाठी कोणतीही नवीन क्वेरी भाषा नाही, व्यवस्थापन पायाभूत सुविधा नाही, बॅकअप नाही. प्रत्येकाला Git माहित आहे, म्हणून समक्रमण आणि सहयोग विनामूल्य आहे. चला कार्यक्षमता जवळून पाहू व्हेल v1.0.

पूर्ण वैशिष्ट्यीकृत git-आधारित GUI

व्हेलला रिमोट गिट सर्व्हरच्या समुद्रात पोहण्यासाठी डिझाइन केले आहे. तो खुप सोपे कॉन्फिगर करण्यायोग्य: काही कनेक्शन परिभाषित करा, Github क्रिया स्क्रिप्ट कॉपी करा (किंवा तुमच्या निवडलेल्या CI/CD प्लॅटफॉर्मसाठी एक लिहा) आणि तुमच्याकडे लगेच डेटा शोध वेब टूल असेल. तुम्ही Github वर थेट तुमच्या स्प्रेडशीट्स शोधण्यास, पाहण्यास, दस्तऐवज देण्यास आणि सामायिक करण्यात सक्षम असाल.

Github क्रिया वापरून व्युत्पन्न केलेल्या स्टब टेबलचे उदाहरण. पूर्ण कार्यरत डेमो या विभागात पहा.

तुमच्या भांडारासाठी विजेचा वेगवान CLI शोध

व्हेल कमांड लाइनवर जगते आणि श्वास घेते, तुमच्या टेबलवर शक्तिशाली, मिलिसेकंद लुकअप प्रदान करते. लाखो टेबलांसह, आम्ही काही हुशार कॅशिंग यंत्रणा वापरून आणि रस्टमध्ये बॅकएंड पुनर्बांधणी करून व्हेलला आश्चर्यकारकपणे कार्यक्षम बनविण्यात व्यवस्थापित केले. तुम्हाला कोणताही शोध विलंब लक्षात येणार नाही [hello Google DS].

व्हेल डेमो, मिलियन टेबल लुकअप.

मेट्रिक्सची स्वयंचलित गणना [बीटामध्ये]

डेटा सायंटिस्ट म्हणून माझ्या सर्वात आवडत्या गोष्टींपैकी एक म्हणजे वापरल्या जाणार्‍या डेटाची गुणवत्ता तपासण्यासाठी तीच क्वेरी पुन्हा पुन्हा चालू आहे. व्हेल साध्या SQL मध्ये मेट्रिक्स परिभाषित करण्याच्या क्षमतेस समर्थन देते जे तुमच्या मेटाडेटा क्लीनअप पाइपलाइनसह चालण्यासाठी शेड्यूल केले जाईल. स्टब टेबलमध्ये YAML मेट्रिक्स ब्लॉक परिभाषित करा आणि व्हेल स्वयंचलितपणे शेड्यूलवर धावेल आणि मेट्रिक्समध्ये नेस्ट केलेल्या क्वेरी रन करेल.

```metrics
metric-name:
  sql: |
    select count(*) from table
```

Github सह एकत्रित, या दृष्टिकोनाचा अर्थ व्हेल मेट्रिक व्याख्यांसाठी सत्याचा एक सोपा केंद्रीय स्रोत म्हणून काम करू शकतो. व्हेल "~/ मधील टाइमस्टॅम्पसह मूल्ये देखील जतन करते. व्हेल/मेट्रिक्स" तुम्हाला चार्टिंग किंवा अधिक सखोल संशोधन करायचे असल्यास.

भविष्य

व्हेलच्या आमच्या प्री-रिलीझ आवृत्त्यांच्या वापरकर्त्यांशी बोलल्यानंतर, आम्हाला जाणवले की लोकांना अधिक कार्यक्षमतेची आवश्यकता आहे. टेबल लुकअप टूल का? मेट्रिक्स शोध साधन का नाही? देखरेख का नाही? SQL क्वेरी एक्झिक्युशन टूल का नाही? व्हेल v1 ची मूलतः एक साधी CLI सहचर साधन म्हणून संकल्पना करण्यात आली होती Dataportal/Amundsen, हे आधीच पूर्ण वैशिष्ट्यीकृत स्टँडअलोन प्लॅटफॉर्ममध्ये विकसित झाले आहे आणि आम्हाला आशा आहे की ते डेटा सायंटिस्टच्या टूलकिटचा अविभाज्य भाग बनेल.

विकास प्रक्रियेत तुम्हाला काही बघायचे असेल तर आमच्यात सामील व्हा स्लॅक समुदायाला, येथे मुद्दे उघडा जिथूबकिंवा थेट संपर्क साधा संलग्न. आमच्याकडे आधीपासूनच अनेक छान वैशिष्ट्ये आहेत - जिन्जा टेम्पलेट्स, बुकमार्क, शोध फिल्टर, स्लॅक अॅलर्ट, ज्युपीटर इंटिग्रेशन, अगदी मेट्रिक्ससाठी एक CLI डॅशबोर्ड - पण आम्हाला तुमचे इनपुट आवडेल.

निष्कर्ष

व्हेल डेटाफ्रेमने विकसित आणि देखरेख केली आहे, एक स्टार्टअप ज्याचा मला अलीकडेच इतर लोकांसह सह-संस्थापना करण्याचा आनंद मिळाला. व्हेल डेटा सायंटिस्टसाठी बनवले जाते, तर डेटाफ्रेम डेटा सायंटिस्टसाठी बनवले जाते. तुमच्यापैकी ज्यांना अधिक जवळून सहकार्य करायचे आहे त्यांच्यासाठी मोकळ्या मनाने पत्ताआम्ही तुम्हाला प्रतीक्षा यादीत समाविष्ट करू.

आणि प्रोमो कोडद्वारे HABR, बॅनरवर दर्शविलेल्या सवलतीवर तुम्ही अतिरिक्त 10% मिळवू शकता.

• डेटा सायन्स ऑनलाइन बूटकॅम्प
• सुरवातीपासून डेटा विश्लेषक या व्यवसायाचे प्रशिक्षण
• डेटा विश्लेषण ऑनलाइन बूटकॅम्प
• डेटा सायन्सचा व्यवसाय सुरवातीपासून शिकवणे
• वेब डेव्हलपमेंट कोर्ससाठी पायथन

अधिक अभ्यासक्रम

• डेटा विश्लेषण अभ्यासक्रम
• DevOps कोर्स
• प्रोफेशन वेब डेव्हलपर
• व्यवसाय iOS विकासक सुरवातीपासून
• सुरवातीपासून प्रोफेशन अँड्रॉइड डेव्हलपर
• प्रोफेशन जावा डेव्हलपर सुरवातीपासून
• जावास्क्रिप्ट कोर्स
• मशीन लर्निंग कोर्स
• कोर्स "डेटा सायन्ससाठी गणित आणि मशीन लर्निंग"
• प्रगत अभ्यासक्रम "मशीन लर्निंग प्रो + डीप लर्निंग"

वैशिष्ट्यीकृत लेख

• ऑनलाइन अभ्यासक्रमांशिवाय डेटा सायंटिस्ट कसे व्हावे
• 450 मोफत आयव्ही लीग अभ्यासक्रम
• सलग 5 महिने आठवड्यातून 9 दिवस मशीन लर्निंगचा अभ्यास कसा करायचा
• डेटा विश्लेषक किती कमावतो: 2020 मध्ये रशिया आणि परदेशात पगार आणि रिक्त पदांचे विहंगावलोकन
• खाण उद्योगात मशीन लर्निंग आणि कॉम्प्युटर व्हिजन

स्त्रोत: www.habr.com