هي آرٽيڪل آسان ۽ تيز ترين ڊيٽا دريافت ڪرڻ واري اوزار بابت ڳالهائيندو آهي، جنهن جو ڪم توهان KDPV تي ڏسو. دلچسپ ڳالهه اها آهي ته وهيل کي ريموٽ گٽ سرور تي ميزباني ڪرڻ لاءِ ٺاهيو ويو آهي. ڪٽ جي هيٺان تفصيل.
ڪيئن ايئر بي اين بي جي ڊيٽا دريافت وارو اوزار منهنجي زندگي کي تبديل ڪيو
منهنجي ڪيريئر ۾، مان ڪافي خوشقسمت رهيو آهيان ته ڪجهه مزيدار مسئلن تي ڪم ڪريان: مون MIT ۾ ڊگري حاصل ڪرڻ دوران فلو ميٿ جو اڀياس ڪيو، انڪريمينٽل ماڊلز تي ڪم ڪيو، ۽ اوپن سورس پروجيڪٽ سان Wayfair تي، ۽ ايئر بي اين بي تي نئين هوم پيج ٽارگيٽنگ ماڊل ۽ CUPED بهتري تي عمل ڪيو. پر هي سڀ ڪم ڪڏهن به دلڪش نه رهيو آهي- حقيقت ۾، مون اڪثر وقت گذاريو آهي ڊيٽا ڳولڻ، تحقيق ڪرڻ، ۽ تصديق ڪرڻ ۾. جيتوڻيڪ اها ڪم تي هڪ مستقل حالت هئي، اهو مون کي نه ٿيو ته اهو هڪ مسئلو هو جيستائين آئون ايئر بي اين بي ڏانهن نه ويو جتي اهو ڊيٽا دريافت ڪرڻ واري اوزار سان حل ڪيو ويو - .
مان ڪٿي ڳولي سگهان ٿو {{data}}؟ ڊيٽا پورٽل.
هن ڪالمن جو مطلب ڇا آهي؟ ڊيٽا پورٽل.
اڄ ڪيئن آهي {{metric}}؟ ڊيٽا پورٽل.
زندگي جو احساس ڇا آهي؟ IN ڊيٽا پورٽل، شايد.
چڱو، توهان تصوير پيش ڪيو. ڊيٽا ڳولڻ ۽ سمجھڻ جو مطلب ڇا آھي، اھو ڪيئن ٺاھيو ويو ۽ ڪيئن استعمال ڪجي اھو سڀ ڪجھ منٽ لڳن ٿا، ڪلاڪ نه. مان پنهنجو وقت سادو نتيجو ڪڍڻ، يا نوان الگورتھم، (... يا ڊيٽا بابت بي ترتيب سوالن جا جواب ڏيڻ) ۾ گذاري سگهان ٿو، بجاءِ نوٽس جي ذريعي کوٽڻ، بار بار SQL سوالن کي لکڻ، ۽ ڪوشش ڪرڻ لاءِ Slack تي ساٿين جو ذڪر ڪرڻ ۽ سياق و سباق کي ٻيهر ٺاهڻ لاءِ. هئي.
مسئلو ڇا آهي؟
مون محسوس ڪيو ته منهنجي اڪثر دوستن کي اهڙي اوزار تائين رسائي نه هئي. ڪجھ ڪمپنيون وڏيون وسيلا وقف ڪرڻ لاءِ تيار آھن پليٽ فارم اوزار جي تعمير ۽ برقرار رکڻ لاءِ Dataportal. ۽ جڏهن ته ڪجھ اوپن سورس حل آهن، اهي پيماني تي ٺهيل هوندا آهن، بنا ڪنهن وقف DevOps انجنيئر کان سواءِ سيٽ اپ ۽ برقرار رکڻ ڏکيو هوندو آهي. تنهن ڪري مون ڪجهه نئين ٺاهڻ جو فيصلو ڪيو.
وهيل: هڪ بيوقوف سادو ڊيٽا دريافت ڪرڻ وارو اوزار
۽ ها، بيوقوفيءَ سان سادو منهنجو مطلب آهي بيوقوفيءَ سان سادو. وهيل ۾ فقط ٻه حصا آهن:
- هڪ Python لائبريري جيڪا ميٽا ڊيٽا گڏ ڪري ٿي ۽ ان کي مارڪ ڊائون ۾ فارميٽ ڪري ٿي.
- هن ڊيٽا ذريعي ڳولا لاء Rust ڪمان لائن انٽرفيس.
سار سنڀال لاءِ اندروني بنيادي ڍانچي جي نقطي نظر کان، اتي صرف ڪيتريون ئي ٽيڪسٽ فائلون آهن ۽ هڪ پروگرام آهي جيڪو متن کي اپڊيٽ ڪري ٿو. اھو اھو آھي، تنھنڪري ھڪڙي گٽ سرور تي ميزباني ڪرڻ جھڙوڪ گٿب آھي. سکڻ لاءِ ڪابه نئين ٻولي نه آهي، نه انتظامي انفراسٽرڪچر، نه بيڪ اپ. هرڪو ڄاڻي ٿو Git، تنهنڪري هم وقت سازي ۽ تعاون مفت آهي. اچو ته ڪارڪردگي تي وڌيڪ نظر رکون .
مڪمل خصوصيت گٽ تي ٻڌل GUI
وهيل کي ريموٽ گٽ سرور جي سمنڊ ۾ ترڻ لاءِ ٺاهيو ويو آهي. هن ترتيب ڏيڻ جي قابل: ڪجهه ڪنيڪشن جي وضاحت ڪريو، Github Actions اسڪرپٽ کي نقل ڪريو (يا پنھنجي چونڊيل CI/CD پليٽ فارم لاءِ ھڪڙو لکو) ۽ توھان وٽ ھاڻي ڊيٽا دريافت ڪرڻ وارو ويب اوزار ھوندو. توھان ڳولھڻ، ڏسڻ، دستاويز ڪرڻ ۽ پنھنجي اسپريڊ شيٽ کي سڌو سنئون Github تي شيئر ڪري سگھوٿا.
گٿب ايڪشن استعمال ڪندي ٺاهيل اسٽب ٽيبل جو هڪ مثال. مڪمل ڪم ڪندڙ ڊيمو .
تيز روشني CLI توهان جي مخزن جي ڳولا ڪريو
وهيل ڪمانڊ لائن تي رهي ٿي ۽ ساهه کڻي ٿي، توهان جي ٽيبلن تي طاقتور، مليسيڪنڊ لوڪ اپ مهيا ڪري ٿي. ايستائين جو لکين جدولن سان گڏ، اسان ڪجهه چالاڪ ڪيشنگ ميڪانيزم استعمال ڪندي ۽ زنگ ۾ پس منظر کي ٻيهر تعمير ڪندي وهيل کي ناقابل يقين حد تائين ڪارڪردگي بڻائڻ ۾ ڪامياب ٿي ويا. توهان ڪنهن به ڳولا جي دير کي نوٽيس نه ڪندا [هيلو گوگل ڊي ايس].
وهيل ڊيمو، ملين ٽيبل ڏسڻ.
ميٽرڪ جو خودڪار حساب [بيٽا ۾]
ڊيٽا سائنسدان جي طور تي منهنجي گهٽ ۾ گهٽ پسنديده شين مان هڪ ساڳيو سوالن کي بار بار هلائي رهيو آهي صرف ڊيٽا جي معيار کي جانچڻ لاءِ. Whale سادو SQL ۾ ميٽرڪس کي بيان ڪرڻ جي صلاحيت کي سپورٽ ڪري ٿو جيڪو توهان جي ميٽا ڊيٽا صاف ڪرڻ واري پائپ لائنن سان گڏ هلڻ لاء مقرر ڪيو ويندو. اسٽيب ٽيبل جي اندر YAML ميٽرڪس بلاڪ جي وضاحت ڪريو، ۽ Whale خودڪار طريقي سان ھڪڙي شيڊول تي ھلندي ۽ ميٽرڪس ۾ داخل ڪيل سوالن کي هلائي ويندي.
```metrics
metric-name:
sql: |
select count(*) from table
```
Github سان گڏ، هن نقطي جو مطلب آهي وهيل ميٽرڪ معنائون لاء سچائي جو هڪ آسان مرڪزي ذريعو طور ڪم ڪري سگهي ٿو. Whale جيتوڻيڪ "~/. whale/metrics" جيڪڏھن توھان چاھيو ٿا ڪجھ چارٽنگ يا وڌيڪ گہرا تحقيق.
مستقبل
استعمال ڪندڙن سان ڳالهائڻ کان پوءِ اسان جي پري رليز ٿيل نسخن جي وهيل، اسان محسوس ڪيو ته ماڻهن کي وڌيڪ ڪارڪردگي جي ضرورت آهي. ٽيبل ڳولڻ وارو اوزار ڇو؟ ڇو نه هڪ ميٽرڪ ڳولا وارو اوزار؟ ڇو نه نگراني؟ ڇو نه هڪ SQL سوال تي عمل ڪرڻ وارو اوزار؟ جڏهن ته whale v1 اصل ۾ هڪ سادي CLI ساٿي اوزار طور تصور ڪيو ويو Dataportal/Amundsen, اهو اڳ ۾ ئي هڪ مڪمل خصوصيت واري اسٽينڊل پليٽ فارم ۾ ترقي ڪري چڪو آهي، ۽ اسان کي اميد آهي ته اهو ڊيٽا سائنسدان جي ٽول ڪٽ جو هڪ لازمي حصو بڻجي ويندو.
جيڪڏھن توھان ڪجھھ ڏسڻ چاھيو ٿا ترقي جي عمل ۾، شامل ٿيو اسان جي , Open Issues at يا سڌو سنئون رابطو ڪريو . اسان وٽ اڳ ۾ ئي ڪيتريون ئي سٺيون خاصيتون آهن - جنجا ٽيمپليٽس، بک مارڪ، سرچ فلٽر، سليڪ الرٽ، جپائيٽر انٽيگريشن، ايستائين جو ميٽرڪس لاءِ هڪ CLI ڊيش بورڊ - پر اسان کي توهان جو ان پٽ پسند ايندو.
ٿڪل
وهيل ڊيٽا فريم پاران ٺاهيل ۽ برقرار رکيل آهي، هڪ شروعاتي جنهن کي مون تازو ئي ٻين ماڻهن سان سهڪار ڪرڻ جي خوشي حاصل ڪئي هئي. جڏهن ته وهيل ڊيٽا سائنسدانن لاءِ ٺاهيو ويو آهي، ڊيٽا فريم ڊيٽا سائنسدانن لاءِ ٺاهيو ويو آهي. توھان مان انھن لاءِ جيڪي وڌيڪ ويجھي تعاون ڪرڻ چاھين ٿا، آزاد محسوس ڪريو اسان توهان کي انتظار جي فهرست ۾ شامل ڪنداسين.
۽ پرومو ڪوڊ ذريعي HABR، توهان حاصل ڪري سگهو ٿا اضافي 10٪ رعايت تي ظاهر ڪيل بينر تي.
وڌيڪ ڪورس
خاص مضمون
جو ذريعو: www.habr.com