دا مقاله د ساده او ګړندۍ ډیټا کشف وسیلې په اړه خبرې کوي ، کوم کار چې تاسو یې په KDPV کې ګورئ. په زړه پورې خبره دا ده چې ویل ډیزاین شوي ترڅو په ریموټ ګیټ سرور کې کوربه شي. د کټ لاندې توضیحات.
څنګه د Airbnb ډیټا کشف وسیلې زما ژوند بدل کړ
زما په مسلک کې، ما د ځینې ساتیرۍ ستونزو په اړه د کار کولو خوښي درلوده: ما په MIT کې د خپلې درجې کولو پرمهال د فلو ریاضی زده کړه، په زیاتیدونکي موډلونو او د خلاصې سرچینې پروژې سره کار وکړ. په Wayfair کې، او په Airbnb کې د نوي کور پاڼې په نښه کولو ماډلونه او CUPED پرمختګونه پلي کړل. مګر دا ټول کار هیڅکله په زړه پوری نه و - په حقیقت کې، ما ډیری وخت زما ډیری وخت د معلوماتو په لټون، څیړنه، او اعتبار کولو کې تیر کړ. که څه هم دا په کار کې یو ثابت حالت و، دا ما ته ندی پیښ شوی چې دا یوه مسله وه تر هغه چې زه ایر بی این بی ته ورشم چیرې چې دا د ډیټا کشف وسیلې سره حل شوی و - .
زه {{ډاټا}} چیرته موندلی شم؟ ډیټاپورټل.
دا کالم څه معنی لري؟ ډیټاپورټل.
نن ورځ {{metric}} څنګه ده؟ ډیټاپورټل.
د ژوند احساس څه شی دی؟ IN ډیټاپورټل، شاید.
ښه، تاسو انځور وړاندې کړ. د ډیټا موندل او پوهیدل چې دا څه معنی لري ، دا څنګه رامینځته شوی او څنګه یې کارول کیږي دا ټول یوازې څو دقیقې وخت نیسي ، نه ساعتونه. زه کولی شم خپل وخت د ساده پایلو په انځورولو، یا نوي الګوریتمونو، (... یا د معلوماتو په اړه تصادفي پوښتنو ته ځواب ووایم) د دې پرځای چې د نوټونو له لارې کیندل، د تکراري SQL پوښتنو لیکلو، او په سلیک کې د همکارانو یادونه وکړم ترڅو هڅه وکړم او شرایط بیا جوړ کړم. .
ستونزه څه ده؟
زه پوهیدم چې زما ډیری ملګري داسې وسیلې ته لاسرسی نلري. لږ شرکتونه لیواله دي چې د ډیټاپورټل په څیر د پلیټ فارم وسیلې جوړولو او ساتلو لپاره لوی سرچینې وقف کړي. او پداسې حال کې چې یو څو خلاصې سرچینې حلونه شتون لري ، دوی د اندازې لپاره ډیزاین شوي ، د وقف شوي DevOps انجینر پرته تنظیم کول او ساتل ستونزمن کوي. نو ما پریکړه وکړه چې یو څه نوی جوړ کړم.
ویل: یو احمقانه ساده ډیټا کشف وسیله
او هو، د احمقانه ساده څخه زما مطلب د احمقانه ساده دی. ویل یوازې دوه برخې لري:
- د Python کتابتون چې میټاډاټا راټولوي او په مارک ډاون کې یې فارمیټ کوي.
- د دې معلوماتو له لارې لټون لپاره د زنګ کمانډ لاین انٹرفیس.
د ساتنې لپاره د داخلي زیربنا له نظره ، دلته یوازې ډیری متن فایلونه او یو برنامه شتون لري چې متن تازه کوي. دا دی ، نو د ګیټ سرور په څیر د ګیتوب کوربه کول کوچني دي. د زده کړې لپاره د پوښتنې نوې ژبه نشته، د مدیریت زیربنا نشته، بیک اپ نشته. هرڅوک Git پیژني، نو همغږي کول او همکاري وړیا ده. راځئ چې فعالیت ته نږدې کتنه وکړو .
بشپړ مشخص شوي git-based GUI
ویل د ریموټ ګیټ سرور په بحر کې د لامبو لپاره ډیزاین شوی. هغه د تنظیم وړ: ځینې اړیکې تعریف کړئ ، د ګیتوب ایکشن سکریپټ کاپي کړئ (یا د خپل غوره شوي CI/CD پلیټ فارم لپاره یو ولیکئ) او تاسو به سمدلاسه د ډیټا کشف ویب وسیله ولرئ. تاسو به وکولی شئ په مستقیم ډول په ګیتوب کې خپل سپریډ شیټونه وپلټئ ، وګورئ ، سند وکړئ او شریک کړئ.
د ګیتوب عملونو په کارولو سره رامینځته شوي د سټب میز بیلګه. بشپړ کاري ډیمو .
د بریښنا ګړندی CLI ستاسو د ذخیره کولو لټون
ویل ژوند کوي او په کمانډ لاین کې تنفس کوي، ستاسو په میزونو کې ځواکمن، ملیسیکنډ لیدونه چمتو کوي. حتی د ملیونونو میزونو سره ، موږ وکولی شو د ځینې هوښیار کیچ کولو میکانیزمونو په کارولو او په زنګ کې د بیک انډ بیا رغولو سره د ویلو په زړه پورې فعالیت ترسره کړو. تاسو به د لټون ځنډ ته پام ونه کړئ [سلام ګوګل DS].
د ویل ډیمو، ملیون میز لټون.
د میټریکونو اتوماتیک محاسبه [په بیټا کې]
د ډیټا ساینس پوه په توګه زما یو له خورا لږ غوره شیانو څخه یو ورته پوښتنې په مکرر ډول پرمخ وړي یوازې د کارول شوي ډیټا کیفیت چیک کولو لپاره. ویل په ساده SQL کې د میټریکونو تعریف کولو وړتیا ملاتړ کوي کوم چې ستاسو د میټاډاټا پاکولو پایپ لاینونو سره د چلولو لپاره ټاکل کیږي. د سټب جدول دننه د YAML میټریک بلاک تعریف کړئ ، او ویل به په اوتومات ډول په مهالویش کې وګرځي او په میټریک کې ځړول شوي پوښتنې پرمخ وړي.
```metrics
metric-name:
sql: |
select count(*) from table
```
د ګیتوب سره یوځای، دا طریقه پدې معنی ده چې ویل کولی شي د میټریک تعریفونو لپاره د حقیقت د اسانه مرکزي سرچینې په توګه خدمت وکړي. ویل حتی په "~/ کې د مهال ویش سره سره ارزښتونه خوندي کوي. whale/metrics" که تاسو غواړئ یو څه چارټینګ یا ډیر ژور تحقیق وکړئ.
راتلونکی
زموږ د وییل د خپریدو دمخه نسخو کاروونکو سره د خبرو کولو وروسته ، موږ پوه شو چې خلک ډیر فعالیت ته اړتیا لري. ولې د میز لټون کولو وسیله؟ ولې د میټریک لټون وسیله نه ده؟ ولې څارنه نه کوي؟ ولې د SQL پوښتنې اجرا کولو وسیله نه ده؟ پداسې حال کې چې ویل v1 په اصل کې د ساده CLI ملګري وسیلې په توګه تصور شوی و Dataportal/Amundsen، دا لا دمخه په یو بشپړ ځانګړتیا لرونکي سټنډرډ پلیټ فارم کې رامینځته شوی ، او موږ امید لرو چې دا به د ډیټا ساینس پوه اوزار کټ یوه لازمي برخه شي.
که داسې څه وي چې تاسو غواړئ د پرمختیا په بهیر کې وګورئ، زموږ سره یوځای شئ پرانیزئ مسایل په کې یا حتی مستقیم اړیکه ونیسئ . موږ لا دمخه یو شمیر غوره ځانګړتیاوې لرو - د جنجا ټیمپلیټونه، بک مارکونه، د لټون فلټرونه، سست خبرتیاوې، د جوپېټر ادغام، حتی د میټریکونو لپاره د CLI ډشبورډ - مګر موږ ستاسو انډول خوښوو.
پایلې
ویل د ډیټا فریم لخوا رامینځته شوی او ساتل کیږي ، یو پیل چې ما پدې وروستیو کې د نورو خلکو سره د ګډ بنسټ کولو خوښي درلوده. پداسې حال کې چې ویل د ډیټا ساینس پوهانو لپاره جوړ شوي ، ډیټا فریم د ډیټا ساینس پوهانو لپاره جوړ شوی. ستاسو د هغو کسانو لپاره چې غواړي ډیر نږدې همکاري وکړي، وړیا احساس وکړئ موږ به تاسو د انتظار لیست کې اضافه کړو.
او د پرومو کوډ لخوا HABR، تاسو کولی شئ په بینر کې ښودل شوي تخفیف ته اضافي 10٪ ترلاسه کړئ.
نور کورسونه
ځانګړي شوي مقالې
سرچینه: www.habr.com