یہ مضمون سب سے آسان اور تیز ترین ڈیٹا دریافت کرنے والے ٹول کے بارے میں بات کرتا ہے، جس کا کام آپ KDPV پر دیکھتے ہیں۔ دلچسپ بات یہ ہے کہ وہیل کو ریموٹ گٹ سرور پر میزبانی کے لیے ڈیزائن کیا گیا ہے۔ کٹ کے نیچے تفصیلات۔
کیسے Airbnb کے ڈیٹا ڈسکوری ٹول نے میری زندگی بدل دی۔
اپنے کیریئر میں، میں کچھ تفریحی مسائل پر کام کرنے کے لیے کافی خوش قسمت رہا ہوں: میں نے MIT میں اپنی ڈگری کرتے ہوئے بہاؤ کی ریاضی کا مطالعہ کیا، انکریمنٹل ماڈلز پر کام کیا، اور اوپن سورس پروجیکٹ کے ساتھ۔ Wayfair پر، اور Airbnb میں نئے ہوم پیج ٹارگٹنگ ماڈلز اور CUPED بہتری کو نافذ کیا۔ لیکن یہ سب کام کبھی دلکش نہیں تھا — درحقیقت، میں نے اکثر اپنا زیادہ تر وقت ڈیٹا کی تلاش، تحقیق اور تصدیق کرنے میں صرف کیا۔ اگرچہ کام پر یہ ایک مستقل حالت تھی، لیکن یہ میرے ذہن میں نہیں آیا کہ یہ ایک مسئلہ ہے جب تک کہ میں Airbnb نہیں پہنچ گیا جہاں اسے ڈیٹا دریافت کرنے والے ٹول سے حل کیا گیا تھا۔ .
مجھے {{data}} کہاں مل سکتا ہے؟ ڈیٹا پورٹل.
اس کالم کا کیا مطلب ہے؟ ڈیٹا پورٹل.
آج {{metric}} کیسا چل رہا ہے؟ ڈیٹا پورٹل.
زندگی کا احساس کیا ہے؟ میں ڈیٹا پورٹل، شاید
ٹھیک ہے، آپ نے تصویر پیش کر دی ہے۔ ڈیٹا کو تلاش کرنے اور اس کا مطلب سمجھنے میں، اسے کیسے بنایا گیا اور اسے کیسے استعمال کیا جائے، یہ سب کچھ گھنٹے نہیں بلکہ چند منٹوں میں لگتا ہے۔ میں اپنا وقت سادہ نتائج اخذ کرنے، یا نئے الگورتھم، (... یا ڈیٹا کے بارے میں بے ترتیب سوالات کے جوابات دینے) میں صرف کر سکتا ہوں، بجائے اس کے کہ نوٹ کھود کر، بار بار SQL سوالات لکھنے، اور سیاق و سباق کو دوبارہ بنانے کی کوشش کرنے کے لیے Slack پر ساتھیوں کا تذکرہ کریں۔ جو کہ کسی اور کے پاس پہلے سے موجود تھا۔ .
مسئلہ کیا ہے؟
میں نے محسوس کیا کہ میرے زیادہ تر دوستوں کے پاس ایسے ٹول تک رسائی نہیں ہے۔ کچھ کمپنیاں ڈیٹا پورٹل جیسے پلیٹ فارم ٹول کی تعمیر اور دیکھ بھال کے لیے بہت زیادہ وسائل وقف کرنے کو تیار ہیں۔ اور جب کہ کچھ اوپن سورس حل موجود ہیں، ان کا رجحان پیمانے پر ڈیزائن کیا جاتا ہے، جس سے ڈیو اوپس انجینئر کے بغیر سیٹ اپ اور دیکھ بھال مشکل ہو جاتی ہے۔ تو میں نے کچھ نیا بنانے کا فیصلہ کیا۔
وہیل: ایک احمقانہ طور پر سادہ ڈیٹا دریافت کرنے والا ٹول
اور ہاں، احمقانہ طور پر سادہ سے میرا مطلب ہے احمقانہ طور پر سادہ۔ وہیل کے صرف دو اجزاء ہوتے ہیں:
- ایک Python لائبریری جو میٹا ڈیٹا اکٹھا کرتی ہے اور اسے MarkDown میں فارمیٹ کرتی ہے۔
- اس ڈیٹا کے ذریعے تلاش کرنے کے لیے رسٹ کمانڈ لائن انٹرفیس۔
دیکھ بھال کے لیے اندرونی انفراسٹرکچر کے نقطہ نظر سے، صرف بہت ساری ٹیکسٹ فائلیں اور ایک پروگرام ہے جو ٹیکسٹ کو اپ ڈیٹ کرتا ہے۔ بس، تو گٹب جیسے گٹ سرور پر ہوسٹنگ معمولی بات ہے۔ سیکھنے کے لیے کوئی نئی استفسار کی زبان نہیں، کوئی انتظامی ڈھانچہ نہیں، کوئی بیک اپ نہیں۔ ہر کوئی Git کو جانتا ہے، لہذا مطابقت پذیری اور تعاون مفت ہے۔ آئیے فعالیت کو قریب سے دیکھیں .
مکمل خصوصیات والی گٹ پر مبنی GUI
وہیل کو ریموٹ گٹ سرور کے سمندر میں تیرنے کے لیے ڈیزائن کیا گیا ہے۔ وہ قابل ترتیب: کچھ کنکشنز کی وضاحت کریں، گیتھب ایکشن اسکرپٹ کو کاپی کریں (یا اپنے منتخب کردہ CI/CD پلیٹ فارم کے لیے ایک لکھیں) اور آپ کے پاس ابھی ڈیٹا دریافت کرنے والا ویب ٹول ہوگا۔ آپ Github پر براہ راست اپنی اسپریڈ شیٹس کو تلاش کرنے، دیکھنے، دستاویز کرنے اور شیئر کرنے کے قابل ہو جائیں گے۔
گیتھب ایکشنز کا استعمال کرتے ہوئے تیار کردہ اسٹب ٹیبل کی ایک مثال۔ مکمل ورکنگ ڈیمو .
آپ کے ذخیرے کے لیے بجلی کی تیز رفتار CLI تلاش کریں۔
وہیل کمانڈ لائن پر رہتی ہے اور سانس لیتی ہے، جو آپ کی میزوں پر طاقتور، ملی سیکنڈ کی تلاش فراہم کرتی ہے۔ لاکھوں ٹیبلز کے ساتھ بھی، ہم نے کچھ ہوشیار کیشنگ میکانزم کا استعمال کرتے ہوئے اور رسٹ میں بیک اینڈ کو دوبارہ بنا کر وہیل کو ناقابل یقین حد تک پرفارمنس بنانے میں کامیاب ہو گئے۔ آپ کو تلاش میں کوئی تاخیر نظر نہیں آئے گی [ہیلو گوگل ڈی ایس]۔
وہیل ڈیمو، ملین ٹیبل تلاش.
میٹرکس کا خودکار حساب کتاب [بی ٹا میں]
ڈیٹا سائنسدان کے طور پر میری سب سے کم پسندیدہ چیزوں میں سے ایک صرف استعمال کیے جانے والے ڈیٹا کے معیار کو جانچنے کے لیے ایک ہی سوالات کو بار بار چلا رہی ہے۔ وہیل سادہ ایس کیو ایل میں میٹرکس کی وضاحت کرنے کی صلاحیت کو سپورٹ کرتی ہے جو آپ کے میٹا ڈیٹا کلین اپ پائپ لائنز کے ساتھ چلنے کے لیے شیڈول کیے جائیں گے۔ سٹب ٹیبل کے اندر YAML میٹرکس بلاک کی وضاحت کریں، اور وہیل خود بخود ایک شیڈول پر چلائے گی اور میٹرکس میں موجود سوالات کو چلائے گی۔
```metrics
metric-name:
sql: |
select count(*) from table
```
Github کے ساتھ مل کر، اس نقطہ نظر کا مطلب ہے کہ وہیل میٹرک تعریفوں کے لیے سچائی کے ایک آسان مرکزی ذریعہ کے طور پر کام کر سکتی ہے۔ وہیل یہاں تک کہ "~/ میں ٹائم اسٹیمپ کے ساتھ اقدار کو بھی محفوظ کرتی ہے۔ whale/metrics" اگر آپ کچھ چارٹنگ یا مزید گہرائی سے تحقیق کرنا چاہتے ہیں۔
مستقبل
وہیل کے ہمارے پری ریلیز ورژن کے صارفین سے بات کرنے کے بعد، ہم نے محسوس کیا کہ لوگوں کو مزید فعالیت کی ضرورت ہے۔ ٹیبل تلاش کرنے کا آلہ کیوں؟ میٹرکس سرچ ٹول کیوں نہیں؟ نگرانی کیوں نہیں؟ ایس کیو ایل استفسار پر عمل درآمد کا ٹول کیوں نہیں؟ جبکہ وہیل v1 کو اصل میں ایک سادہ CLI ساتھی ٹول کے طور پر تصور کیا گیا تھا۔ Dataportal/Amundsen، یہ پہلے ہی ایک مکمل خصوصیات والے اسٹینڈ اسٹون پلیٹ فارم میں تیار ہو چکا ہے، اور ہم امید کرتے ہیں کہ یہ ڈیٹا سائنٹسٹ کے ٹول کٹ کا ایک لازمی حصہ بن جائے گا۔
اگر آپ ترقیاتی عمل میں کچھ دیکھنا چاہتے ہیں تو ہمارے ساتھ شامل ہوں۔ ایشوز پر کھولیں۔ یا یہاں تک کہ براہ راست رابطہ کریں۔ . ہمارے پاس پہلے سے ہی بہت ساری عمدہ خصوصیات ہیں - جنجا ٹیمپلیٹس، بُک مارکس، سرچ فلٹرز، سلیک الرٹس، Jupyter انٹیگریشن، یہاں تک کہ میٹرکس کے لیے ایک CLI ڈیش بورڈ - لیکن ہمیں آپ کا ان پٹ پسند آئے گا۔
حاصل يہ ہوا
وہیل کو ڈیٹا فریم نے تیار کیا ہے اور اس کی دیکھ بھال کی ہے، یہ ایک اسٹارٹ اپ ہے جس کی مجھے حال ہی میں دوسرے لوگوں کے ساتھ مل کر خوشی ہوئی ہے۔ وہیل کو ڈیٹا سائنسدانوں کے لیے بنایا گیا ہے، جبکہ ڈیٹا فریم ڈیٹا سائنسدانوں کے لیے بنایا گیا ہے۔ آپ میں سے ان لوگوں کے لیے جو زیادہ قریب سے تعاون کرنا چاہتے ہیں، بلا جھجھک ہم آپ کو انتظار کی فہرست میں شامل کریں گے۔
اور پرومو کوڈ کے ذریعے ایچ اے بی آر، آپ بینر پر دی گئی رعایت پر اضافی 10% حاصل کر سکتے ہیں۔
مزید کورسز
نمایاں مضامین
ماخذ: www.habr.com