🥇איך לחפש נתונים במהירות ובקלות עם לוויתן

מאמר זה מדבר על הכלי הפשוט והמהיר ביותר לגילוי נתונים, שאת עבודתו אתה רואה ב-KDPV. מעניין, לווייתן תוכנן להתארח בשרת git מרוחק. פרטים מתחת לחתוך.

כיצד כלי גילוי הנתונים של Airbnb שינה את חיי

בקריירה שלי, התמזל מזלי לעבוד על כמה בעיות מהנות: למדתי מתמטיקה זרימה תוך כדי התואר שלי ב-MIT, עבדתי על מודלים מצטברים ועם פרויקט קוד פתוח pylift ב-Wayfair, והטמיע מודלים חדשים של מיקוד לדפי הבית ושיפורי CUPED ב-Airbnb. אבל כל העבודה הזו מעולם לא הייתה זוהרת - למעשה, לעתים קרובות ביליתי את רוב זמני בחיפוש, מחקר ואימות נתונים. למרות שזה היה מצב קבוע בעבודה, לא עלה בדעתי שזו בעיה עד שהגעתי ל-Airbnb שם היא נפתרה עם כלי לגילוי נתונים - פורטל נתונים.

היכן אוכל למצוא את {{נתונים}}? פורטל נתונים.
מה המשמעות של הטור הזה? פורטל נתונים.
מה מצבו של {{metric}} היום? פורטל נתונים.
מהי תחושת חיים? IN פורטל נתונים, כנראה.

אוקיי, הצגת את התמונה. מציאת נתונים והבנה של משמעותם, כיצד הם נוצרו וכיצד להשתמש בהם, כל זה לוקח דקות ספורות, לא שעות. יכולתי להשקיע את זמני בהסקת מסקנות פשוטות, או אלגוריתמים חדשים, (...או לענות על שאלות אקראיות לגבי הנתונים), במקום לחפור בהערות, לכתוב שאילתות SQL חוזרות, ולהזכיר עמיתים ב-Slack כדי לנסות ולשחזר הקשר. שמישהו אחר כבר היה.

מה הבעיה?

הבנתי שלרוב החברים שלי אין גישה לכלי כזה. חברות מעטות מוכנות להקדיש משאבים אדירים לבנייה ותחזוקה של כלי פלטפורמה כמו Dataportal. ולמרות שיש כמה פתרונות קוד פתוח, הם נוטים להיות מתוכננים בקנה מידה, מה שמקשה על הגדרה ותחזוקה ללא מהנדס DevOps מסור. אז החלטתי ליצור משהו חדש.

לווייתן: כלי פשוט לגילוי נתונים

וכן, בפשטות מטופשת אני מתכוון לפשוט מטופש. ללווייתן יש רק שני מרכיבים:

ספריית Python שאוספת מטא נתונים ומעצבת אותם ב-MarkDown.
ממשק שורת הפקודה Rust לחיפוש בנתונים אלה.

מבחינת התשתית הפנימית לתחזוקה, יש רק הרבה קבצי טקסט ותוכנית שמעדכנת את הטקסט. זהו, אז אירוח בשרת git כמו Github הוא טריוויאלי. אין שפת שאילתה חדשה ללמוד, אין תשתית ניהול, אין גיבויים. כולם מכירים את Git, כך שהסנכרון ושיתוף הפעולה הם בחינם. בואו נסתכל מקרוב על הפונקציונליות לוויתן v1.0.

GUI מבוסס Git עם תכונות מלאות

לווייתן נועד לשחות באוקיינוס של שרת git מרוחק. הוא קל מאוד ניתן להגדרה: הגדר כמה חיבורים, העתק את הסקריפט של Github Actions (או כתוב אחד עבור פלטפורמת ה-CI/CD שבחרת) ויהיה לך כלי אינטרנט לגילוי נתונים מיד. תוכל לחפש, להציג, לתעד ולשתף את הגיליונות האלקטרוניים שלך ישירות ב-Github.

דוגמה לטבלת stub שנוצרה באמצעות Github Actions. הדגמה מלאה לעבודה ראה בסעיף זה.

חיפוש CLI מהיר ברק עבור המאגר שלך

לוויתן חי ונושם בשורת הפקודה, ומספק חיפושים עוצמתיים של אלפיות שניות על פני השולחנות שלך. אפילו עם מיליוני טבלאות, הצלחנו לגרום ללווייתן לביצועים מדהימים על ידי שימוש בכמה מנגנוני מטמון חכמים וגם על ידי בנייה מחדש של ה-backend ב-Rust. לא תבחין בעיכוב בחיפוש [שלום Google DS].

הדגמת לוויתן, חיפוש שולחן מיליון.

חישוב אוטומטי של מדדים [בגרסת בטא]

אחד הדברים הפחות אהובים עלי כמדען נתונים הוא להריץ את אותן שאילתות שוב ושוב רק כדי לבדוק את איכות הנתונים בשימוש. לוויתן תומך ביכולת להגדיר מדדים ב-SQL רגיל שיתוזמנו לפעול יחד עם צינורות ניקוי המטא נתונים שלך. הגדר בלוק מדדי YAML בתוך טבלת הסטאב, ולווייתן יפעל אוטומטית לפי לוח זמנים ויריץ שאילתות המקוננות במדדים.

```metrics
metric-name:
  sql: |
    select count(*) from table
```

בשילוב עם Github, גישה זו פירושה שלווייתן יכול לשמש מקור מרכזי קל של אמת להגדרות מטריות. לוויתן אפילו שומר את הערכים יחד עם חותמת הזמן ב"~/. לווייתן/מדדים" אם אתה רוצה לעשות תרשימים או מחקר מעמיק יותר.

העתיד

לאחר שדיברנו עם משתמשים של גרסאות קדם-ההוצאה שלנו של לווייתן, הבנו שאנשים צריכים יותר פונקציונליות. למה כלי חיפוש טבלה? למה לא כלי חיפוש מדדים? למה לא לפקח? למה לא כלי לביצוע שאילתות SQL? בעוד לווייתן v1 נוצר במקור ככלי נלווה פשוט ל-CLI Dataportal/Amundsen, היא כבר התפתחה לפלטפורמה עצמאית בעלת תכונות מלאות, ואנו מקווים שהיא תהפוך לחלק בלתי נפרד מערך הכלים של מדען הנתונים.

אם יש משהו שאתה רוצה לראות בתהליך הפיתוח, הצטרף אלינו לקהילת סלאק, פתח גיליונות ב GitHubאו אפילו לפנות ישירות לינקדין. יש לנו כבר מספר פיצ'רים מגניבים - תבניות Jinja, סימניות, מסנני חיפוש, התראות Slack, אינטגרציה של Jupyter, אפילו לוח מחוונים של CLI למדדים - אבל נשמח לתשובתכם.

מסקנה

Whale פותח ומתוחזק על ידי Dataframe, סטארטאפ שלאחרונה היה לי העונג להקים יחד עם אנשים אחרים. בעוד לוויתן נוצר עבור מדעני נתונים, Dataframe מיועד למדעני נתונים. לאלו מכם שרוצים לשתף פעולה באופן הדוק יותר, מוזמנים לעשות זאת לטפלנוסיף אותך לרשימת ההמתנה.

ולפי קוד הטבה HABR, ניתן לקבל תוספת של 10% להנחה המצוינת על הבאנר.

קורסים נוספים

מאמרים מומלצים

מקור: www.habr.com

כיצד לחפש נתונים במהירות ובקלות עם לוויתן