ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

אני מציע לך לקרוא את התמליל של הדו"ח לשנת 2017 של איגור סטריהר "ClickHouse - ניתוח נתונים מהיר ויזואלי ברור בטאביקס."

ממשק אינטרנט עבור ClickHouse בפרויקט Tabix.
תכונות עיקריות:

  • עובד עם ClickHouse ישירות מהדפדפן, ללא צורך בהתקנת תוכנה נוספת;
  • עורך שאילתות עם הדגשת תחביר;
  • השלמה אוטומטית של פקודות;
  • כלים לניתוח גרפי של ביצוע שאילתה;
  • ערכות צבעים לבחירה.
    ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר


ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

אני המנהל הטכני של SMI2. אנחנו צובר חדשות של חילופי חדשות. אנו מאחסנים נתונים רבים שאנו מקבלים מהשותפים שלנו ורושמים אותם ב-ClickHouse - כ-30 בקשות בשנייה.

מדובר בנתונים כגון:

  • קליקים על חדשות.
  • חדשות מוצגות בצבר.
  • הצגת באנרים ברשת שלנו.
  • ואנחנו רושמים אירועים מהדלפק שלנו, שדומה ל-Yandex.Metrica. זו המיקרו-אנליטיקה שלנו.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

היו לנו חיים קדחתניים מאוד לפני קליקהאוס. סבלנו מאוד, ניסינו לאחסן את הנתונים האלה איפשהו ואיכשהו לנתח אותם.

החיים לפני קליקהאוס – infiniDB

הדבר הראשון שהיה לנו היה infiniDB. היא גרה איתנו 4 שנים. השקנו אותו בקושי.

  • זה לא תומך באשכולות או ריסוק. כברירת מחדל לא יצאו דברים חכמים כאלה מהקופסה.
  • היא מתקשה לטעון נתונים. רק כלי עזר ספציפי למסוף שיכול לטעון רק קבצי CSV ורק בצורה מאוד לא ברורה.
  • מסד הנתונים הוא חוט יחיד. אתה יכול לכתוב או לקרוא. אבל זה איפשר לעבד כמות גדולה של נתונים.
  • והיה לה גם קב מעניין. כל לילה היה צריך לאתחל את השרת, אחרת זה לא יעבוד.

היא עבדה אצלנו עד סוף 2016, אז עברנו לגמרי לקליקהאוס.

החיים לפני קליקהאוס - קסנדרה

מכיוון ש-infiniDB היה עם חוטים בודדים, החלטנו שאנחנו צריכים איזשהו מסד נתונים מרובה חוטים שבו נוכל לכתוב שרשורים רבים בו-זמנית.

ניסינו הרבה דברים מעניינים. ואז החלטנו לנסות את קסנדרה. הכל היה נהדר עם קסנדרה. 10 בקשות לשנייה להצעה. 000 בקשות איפשהו לקריאה.

אבל היו לה גם תחומי עניין משלה. פעם בחודש או פעם בחודשיים היא חוותה ביטול סנכרון של מסד נתונים. והייתי צריך להתעורר ולרוץ לתקן את קסנדרה. השרתים הופעלו מחדש אחד אחד. והכל נעשה חלק ויפה.

החיים לפני קליקהאוס - דרואיד

ואז הבנו שאנחנו צריכים לכתוב עוד יותר נתונים. ב-2016 התחלנו לצפות ב-Druid.

Druid היא תוכנת קוד פתוח הכתובה ב-Java. מאוד ספציפי. וזה התאים לקליקסטרים, כשאנחנו צריכים לאחסן איזשהו זרם של אירועים ואז לבצע עליהם צבירה או לעשות דוחות אנליטיים.

ל-Druid הייתה גרסה 0.9.X.

את מסד הנתונים עצמו קשה מאוד לפרוס. זו המורכבות של התשתית. כדי לפרוס אותו, היה צורך להתקין הרבה, הרבה ברזל. וכל פיסת חומרה הייתה אחראית לתפקיד הנפרד שלה.

כדי לטעון לתוכו נתונים, היה צורך להשתמש בסוג של שמאניזם. יש פרויקט OpenSource - Tranquility, שאיבד מאיתנו נתונים בזרם. כשהעמסנו נתונים לתוכו, הוא איבד אותם.

אבל איכשהו התחלנו ליישם את זה. אנחנו, כמו קיפודים שלקחו סמים אבל המשכנו לאכול קקטוס, התחלנו להציג אותו. לקח לנו כחודש להכין את כל התשתיות לכך. כלומר, להזמין שרתים, להגדיר תפקידים ולהפוך את הפריסה לאוטומטית. כלומר, במקרה של כשל באשכול, האשכול השני ייפרס אוטומטית.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

אבל אז קרה נס. הייתי בחופשה והקולגות שלי שלחו לי קישור ל האבר, שאומר שיאנדקס החליטה לפתוח את ClickHouse. אני אומר בואו ננסה.

וממש תוך יומיים פרסנו אשכול בדיקות של ClickHouse. התחלנו לטעון לתוכו נתונים. בהשוואה ל-infiniDB, זה אלמנטרי; לעומת Druid, זה אלמנטרי. בהשוואה לקסנדרה, זה גם אלמנטרי. כי אם אתה טוען נתונים מ-PHP לתוך Cassandra, אז זה לא אלמנטרי.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

מה קיבלנו? ביצועים במהירות. ביצועים באחסון נתונים. כלומר, נעשה שימוש בהרבה פחות שטח דיסק. ClickHouse הוא מהיר, הוא מהיר מאוד בהשוואה למוצרים אחרים.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

בזמן ההשקה, כאשר Yandex פרסמה את ClickHouse ב-OpenSource, היה רק ​​לקוח קונסולה. אנחנו בחברה שלנו SMI2 החלטנו לנסות לעשות לקוח מקורי לרשת, כדי שנוכל לפתוח דף מדפדפן, לכתוב בקשה ולקבל את התוצאה, כי התחלנו לכתוב הרבה בקשות. כתיבה בקונסולה קשה. והכנו את הגרסה הראשונה שלנו.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

ואיפשהו קרוב יותר לחורף של שנה שעברה, החלו להופיע כלים של צד שלישי לעבודה עם ClickHouse. אלו כלים כגון:

אני אסתכל על כמה מהכלים האלה, כלומר אלה שעבדתי איתם.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

כלי טוב, אבל עבור דרואיד. כשדרואיד יושם, בדקתי את SuperSet. אני חיבבתי אותו. עבור דרואיד זה מהיר מאוד.

זה לא מתאים לקליקהאוס. כלומר, זה מתאים, זה מתחיל, אבל מוכן לעבד רק שאילתות אלמנטריות כמו: SELECT event, GROUP BY event. הוא אינו תומך בתחביר המורכב יותר של ClickHouse.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

הכלי הבא הוא Apache Zeppelin. זה דבר טוב ומעניין. עובד. הוא תומך במחברות, לוחות מחוונים ותומך במשתנים. אני יודע שמישהו בקהילת ClickHouse משתמש בזה.

אבל אין תמיכה בתחביר ClickHouse, כלומר תצטרך לכתוב שאילתות במסוף או במקום אחר. לאחר מכן, בדוק שהכל עובד. זה פשוט לא נוח. אבל יש לו תמיכה טובה בלוח המחוונים.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

הכלי הבא הוא Redash.IO. Redash מתארח באינטרנט. כלומר, בניגוד לכלים קודמים, אין צורך להתקין אותו. וזהו לוח מחוונים עם היכולת לאחד נתונים ממקורות נתונים שונים. כלומר, ניתן להוריד מ-ClickHouse, מ-MySQL, מ-PostgreSQL וממאגרי מידע נוספים.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

רק לפני חודש (מרץ 2017), הופיעה תמיכה בגרפאנה. כאשר אתה בונה דוחות בגראפאנה, למשל, על מצב החומרה שלך או על מדדים מסוימים, כעת אתה יכול לבנות את אותו גרף או איזשהו פאנל מנתונים מ-ClickHouse ישירות. זה מאוד נוח, ואנחנו משתמשים בזה בעצמנו. זה מאפשר לך למצוא חריגות. כלומר, אם משהו קורה וחומרה כלשהי נופלת או מתאמצת, אז אתה יכול להסתכל על הסיבה אם הנתונים האלה הצליחו להיכנס לקליקהאוס.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

היה לי מאוד מביך לכתוב בכלים האלה או בקונסולה. והחלטתי לשפר את הממשק הראשון שלנו. וקיבלתי את הרעיון מ-EventSQL, SeperSet, Zeppelin.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

מה רצית? רציתי להשיג גרפיקה, עורך משופר וליישם תמיכה במילוני רמז. כי ל-ClickHouse יש תכונה מצוינת - מילונים. אבל קשה לעבוד עם מילונים, כי אתה צריך לזכור את הפורמט של הערכים המאוחסנים, כלומר האם זה מספר או מחרוזת וכו'. ומכיוון שלעתים קרובות אנו משתמשים במילונים בווריאציות השונות שלהם, היה די קשה לכתוב שאילתות.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

3 חודשים חלפו מאז יציאת הגרסה הראשונה שלנו. עשיתי כ-330 התחייבויות לסניף פרטי והתברר שזה טביקס.

בניגוד לגרסה הקודמת, שנקראה ClickHouse-Frontend, החלטתי לשנות את שמה לשם פשוט. והתברר שטביקס.

מה הופיע?

מצייר גרפים. תומך בתחביר SQL של ​​ClickHouse. נותן עצות לגבי פונקציות ויכול לעשות הרבה דברים מעניינים.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

כך נראית ערכת Tabix הכללית. משמאל עץ. במרכז נמצא עורך השאילתות. ולהלן התוצאה של בקשה זו.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

הבא אני אראה לך איך עובד עורך השאילתות.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

כאן השלמה אוטומטית פועלת אוטומטית על הטבלה ומבקשת, בהתאם, השלמה אוטומטית עבור השדות. ורמזים על פונקציות. אם תלחץ על ctrl enter, הבקשה תתבצע או תיכשל עם שגיאה. הבקשה הפשוטה ביותר נשלחת לטאביקס ומתקבלת התוצאה, כלומר ניתן לעבוד במהירות עם ClickHouse.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

מילונים, כפי שכבר אמרתי, הם דבר מאוד מעניין שאנחנו עובדים איתו הרבה. וזה איפשר לנו לעשות הרבה דברים. נניח שאנו מאחסנים את כל הערים במילונים. אנו מאחסנים את מזהה העיר ושם העיר, קו הרוחב והאורך שלה. ובבסיס הנתונים אנו מאחסנים רק את מזהה העיר. בהתאם לכך, אנו דוחסים את הנתונים בצורה חזקה מאוד.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

זה נראה דבר פשוט, אבל זה עוזר ב-ClickHouse בצורה מאוד מעניינת. בשל העובדה ש-ClickHouse תומך רק בצירופים מקוננים, השאילתה גדלה כלפי מטה ורחבה מספיק. וכשהסוגריים נפתחים ומגיע ביטוי ארוך כלשהו, ​​אז משהו פשוט כמו כיווץ השאילתה מקל על העבודה עם השאילתה עצמה. כי כשהשאילתה היא באורך של 200-300 שורות ורוחב עצום מאוד, זה מאוד מועיל לכווץ את השאילתה ואז למצוא מקום כלשהו או איכשהו לבצע לוקליזציה.

עץ אובייקטים, ריבוי שאילתות וכרטיסיות (וידאו 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

הבא אני אראה לך על העץ והכרטיסיות. בצד שמאל יש עץ; למעלה אתה יכול ליצור מספר כרטיסיות. כרטיסיות הן כמו סביבת עבודה. אתה יכול ליצור מספר כרטיסיות ולתת שם לכל אחת מהן בצורה שונה. זה כמו מיני מערכת לבניית דו"ח.

כרטיסיות נשמרות אוטומטית. אם תפעיל מחדש את הדפדפן או תסגור או תפתח את Tabix, כל זה יישמר.

מקש קיצור - נוח (וידאו 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

ישנם מקשי קיצור ויש די הרבה מהם. הוצאתי כמה מהם כאן כדוגמה. זה החלפת כרטיסיות, ביצוע בקשה או ביצוע של מספר בקשות.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

אני אראה לך איך לעבוד עם התוצאה. אנחנו שולחים בקשה. הנה אני מצייר חטא, cos ו-tg. אתה יכול להדגיש את התוצאה, כלומר לצייר מפה טיפוסית עבור עמודה. אתה יכול להדגיש ערכים חיוביים או שליליים. או פשוט צבע אלמנט טבלה ספציפי. זה נוח כאשר השולחן ענק ואתה צריך למצוא איזו חריגה בעיניים. כשחיפשתי חריגות, הדגשתי כמה קווים, כמה אלמנטים בירוק או אדום.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

יש שם הרבה דברים מעניינים. לדוגמה, כיצד להעתיק ל-Redmine Markdown. אם אתה צריך להעתיק את התוצאה למקום כלשהו, ​​זה מאוד נוח. אתה יכול פשוט לבחור אזור, לומר "העתק ל-Redmine" והוא יועתק ל-Redmine Markdown או ליצור שאילתת Where.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

הבא הוא אופטימיזציה של שאילתות. פעם שכחתי לציין את השדה "תאריך". והבקשה שלי בקליקהאוס לא טופלה מאוד מאוד מהר, אלא מהר, כלומר פחות משנייה. כשראיתי כמה שורות הוא עבר, נבהלתי. אנחנו לא כותבים כל כך הרבה שורות לטבלה הזו ביום. התחלתי לנתח את הבקשה וראיתי שפספסתי דייט במקום אחד. כלומר, שכחתי לציין שאני לא צריך נתונים עבור כל הטבלה, אלא לתקופה מסוימת.

ל-Tabix יש לשונית "סטטיסטיקה", המאחסנת את כל ההיסטוריה של בקשות שנשלחו, כלומר שם תוכלו לראות כמה שורות נקראו על ידי בקשה זו וכמה זמן לקח לביצוע. זה מאפשר אופטימיזציה.

אתה יכול לבנות טבלת ציר מעל תוצאת השאילתה. שלחת בקשה ל- ClickHouse וקיבלת כמה נתונים. ואז אתה יכול להעביר את הנתונים האלה עם העכבר שלך ולבנות איזושהי טבלת ציר.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

הדבר המעניין הבא הוא תכנון. נניח שיש לנו את הבקשה הבאה: עבור sin, cos מ-0 עד 299. וכדי לצייר אותו, אתה צריך לבחור בלשונית "צייר" ותקבל גרף עם החטא וה-cos שלך.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

אתה יכול לפצל את זה לצירים שונים, כלומר אתה יכול לצייר שני גרפים זה לצד זה בבת אחת. כתוב פקודה אחת ופקודה שנייה.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

אתה יכול לצייר היסטוגרמות.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

אתה יכול לחלק את זה למטריצה ​​של גרפים.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

אתה יכול לבנות מפת חום.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

אתה יכול לבנות לוח שנה תרמי. אגב, זה דבר מאוד נוח כשאתה צריך לנתח חריגות במשך שנה, כלומר למצוא קוצים או טיפות. הדמיית נתונים זו עזרה לי בכך.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

הבא הוא Treemap.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

Sankeys הוא תרשים מעניין. הוא או Streamgrahps או ריבר. אבל אני קורא לזה ריבר. זה גם מאפשר לך לחפש חריגות כלשהן. זה מאוד נוח. אני ממליץ להשתמש בו לחיפוש.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

הדבר המעניין הבא הוא ציור מפה דינמית. אם אתה מאחסן קו רוחב, קו אורך במסד הנתונים שלך, נגיד, מאחסן יעד, אם, למשל, יש לך משאיות או מטוסים שטסים, אז אתה יכול לצייר נתיבי יעד. גם שם אתה יכול להגדיר את המהירות והגודל של העצמים האלה שאליהם הם עפים.

אבל הבעיה במפה הזו היא שהיא רק מצייר מפה של העולם, אין פירוט.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

מאוחר יותר הוספתי את מפת גוגל. אם אתה מאחסן קו רוחב, קו אורך, אז אתה יכול לצייר את התוצאה על מפת גוגל, אבל ללא תמיכה במטוס.

דנו בפונקציות העיקריות של עבודה עם תוצאות ושאילתות בטאביקס.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

הבא הוא ניתוח של שרת ClickHouse שלך. יש כרטיסייה נפרדת "מדדים", שבה אתה יכול לראות את גודל הנתונים המאוחסנים עבור כל עמודה. צילום המסך מראה ששדה "מפנה" זה תופס כ-730 ג'יגה-בייט. אם נזנח את התחום הזה, נחסוך שלושה רסיסים של 700 גיגה-בייט כל אחד, כלומר כ-2 TB שאנחנו לא צריכים.

יש לנו גם שדה "request_id" אותו אנו מאחסנים במחרוזת. אבל אם נתחיל לאחסן אותו בצורה מספרית, השדה הזה יתכווץ מאוד.

זה גם מציג את תצורת השרת ורשימת צמתים באשכול שלך.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

הכרטיסייה הבאה היא מדדים. הם נכנסים לזמן אמת עם ClickHouse ופשוט מאפשרים לך לנתח את מצב השרת ולהבין מה קורה לו. זה לא תחליף לגרפאנה המלאה. זה הכרחי לניתוח מהיר.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

הכרטיסייה הבאה היא תהליכים. מהם אפשר להבין מה קורה בשרת. תבין מה קורה שם. הייתה לי בקשה שצרכה 200 GB של קריאה בכל פעם. ראיתי את זה בזכות הממשק הזה. תפסתי אותו ותיקנתי אותו. והתברר שזה בערך 30 GB, כלומר ביצועים לפעמים.

ClickHouse - ניתוח נתונים מהיר ואינטואיטיבי מבחינה ויזואלית בטאביקס. איגור סטריהר

תודה! וזה ב-OpenSource

סיימתי. ודרך אגב, זה OpenSource, זה בחינם ואתה אפילו לא צריך להוריד אותו. פתח אותו בדפדפן והכל יעבוד.

שאלות

איגור, מה הלאה? היכן תפתחו את הכלי הזה?

לאחר מכן, יופיעו לוחות מחוונים, כלומר, אולי לוחות מחוונים יופיעו. אינטגרציה עם מסדי נתונים אחרים. עשיתי את זה, אבל עדיין לא פרסמתי את זה ב-OpenSource. זהו MySQL ואולי PostgreSQL. כלומר, ניתן יהיה לשלוח בקשות מטאביקס לא רק לקליקהאוס, אלא גם לכלים אחרים.

ברור שנעשתה כמות עצומה של עבודה. התברר שזה רעיון שלם למדי. זה נעשה בדפדפן, כנראה, כדי לחסל קביים על כל מיני צירים ולזרוק במהירות את כל העניין. שמעתי שאתה על php עובד, אז הדרך הקלה ביותר היא להקליד את זה בדפדפן וזה יעבוד בכל מקום. אין שאלות בנושא זה. השאלה היא זו. באמת נעשו שם הרבה. כמה אנשים עבדו על זה? וכמה זמן כל זה לקח? מכיוון שלכלים מותאמים אישית אין בדרך כלל כל כך הרבה פונקציונליות.

אדם אחד מהצוות שלנו עבד מהקיץ ועד הסתיו. זו הייתה הגרסה הראשונה. ואז עשיתי 330 התחייבויות לבד. מה שאתה רואה, אני ועמיתי עשינו את זה בחצי. תוך 3 חודשים, מהגרסה הראשונה ועד האחרונה, עשיתי את זה בעיקר לבד. אבל אני לא מכיר טוב את Javascript. זה היה פרויקט ה-Javascript היחיד שלי, ואני מקווה, האחרון שלי איתו עבדתי. הבנתי, הסתכלתי - הו, זוועה. אבל מאוד רציתי לסיים את המוצר וזה מה שקרה.

תודה רבה על הדיווח! זהו כלי נהדר. עם תמונת חיה האם השוואת?

תודה. לכן קראתי לזה טביקס, כי האותיות הראשונות זהות.

כי אתה מתחרה?

תהיה הרבה השקעה, אנחנו נתחרה.

איך אתה יכול להציע למכור לאנליסטים פנימיים שהכלי הזה יחליף לחלוטין *תְמוּנָה חַיָה*? מה יהיו הטיעונים?

עובד באופן מקורי עם ClickHouse. ניסיתי את Tableau, אבל אי אפשר לכתוב שם תמיכה במילונים וכדומה. אני יודע איך אנשים עובדים עם טאביקס. הם כותבים שאילתה, מעלים אותה ל-CSV ומעלים אותה ל-BI. והם כבר עושים שם משהו. אבל אני מתקשה לדמיין איך הם עושים את זה, כי זה כלי גרפי. זה יכול לפרוק 5 שורות, מקסימום 000 שורות, אבל לא יותר, אחרת הדפדפן לא יתמודד.

כלומר, יש כמה מגבלות רציניות על כמות הנתונים, נכון?

כן. אני לא יכול לדמיין שתרצה להעלות 10 שורות לטבלה שלך למסך הדפדפן שלך. בשביל מה?

האם זה אומר שזהו ממשק לצפייה מהירה בנתונים? לסובב את זה קצת, לסובב את זה?

כן, מהר לראות איך זה עובד ופשוט לבנות גרף סיכום. ואז לתת את זה איפשהו. יש לנו מערכת דיווח משלנו, משם אני פשוט לוקח את הבקשה הזו. אני מצייר בטאביקס ושולח את זה לדיווח שלנו.

ועוד שאלה. ניתוח עוקבות?

אם יש בקשות, נוסיף אותן.

מתי בדיוק התחלת להשתמש בו? ClickHouse, כמה זמן נמשך ההטמעה? קליקהאוס ומביאים ל מצב ייצור?

כפי שאמרתי, הטמענו אשכול בדיקה תוך זמן קצר מאוד. פרסנו את זה תוך יומיים. ובדקנו את זה עוד כמה שבועות. והגענו לייצור תוך 3 חודשים. אבל היה לנו ETL משלנו, כלומר כלי להקלטת נתונים. והוא כתב בכל מה שיכל. הוא יכול לכתוב ב- MongoDB, Cassandra, MySQL. היה קל ללמד אותו איך לכתוב בקליקהאוס. הייתה לנו תשתית מוכנה ליישום מהיר. תוך 3 חודשים התחלנו לזרוק את הרכיב הראשון. תוך 6 חודשים נטשנו לחלוטין את כל השאר. נשאר לנו רק קליקהאוס אחד.

איגור, תודה רבה על הדיווח. אהבתי מאוד את הפונקציונליות של בניית נתיבים באמצעות מפות. האם יש תוכניות לאינטגרציה עם Yandex.Maps ובפרט עם Yandex.Maps מותאמים אישית?

ניסיתי לשלב במקום Google map, אבל לא מצאתי ערכת נושא כהה ב-Yandex.Maps. לא אמרתי לך חתיכה אחת. אני אחורה כדי להוסיף.

שקופית – מפת גוגל. ישנה פקודה "DRAW_GMAPS", שמציירת מפה. יש פקודה "DRAW_YMAPS", כלומר היא יכולה לצייר Yandex.Map. אבל למעשה, תחת הפקודה הזו יש Javascript, כלומר את הנתונים שאתה מקבל מ-ClickHouse ניתן להעביר ל-Javascript, שאתה כותב כאן. ויש לך אזור פלט שבו צריך לצייר אותו. אתה יכול לצייר כל גרף, כלומר כל גרף, מפה, אתה יכול לצייר רכיב משלך. לפני זה, הייתה לי עוד ספרייה לציור הגרפים עצמם.

כלומר, האם יש כלי להתאמה אישית של פונקציונליות התצוגה?

כל. אתה יכול לקחת ולצבוע מחדש את הנקודות האלה, מה שהופך אותן לא אדומות, אלא כחולות, ירוקות.

תודה על הדיווח! הייתה לך שקופית שהציגה כלי שאילתה חלופיים קליקהאוס לבניית לוחות מחוונים ודוחות אנליטיים. אני מבין את זה ברגע שהתחלת לעבוד עם ClickHouse, לא נכתבו מתאמים לכלים אלה. ואני תוהה למה החלטתם להכין כלי משלכם, במקום לכתוב מתאם לאיזה כלי מוכן? אני חושב ששינוי עורך הבדיקה הוא מהיר. למה החלטת לעשות כל כך הרבה עבודה?

יש כאן נקודה מעניינת - העובדה היא שאני מנהל טכני, לא מדען נתונים. עד שהתחלנו ליישם את Druid, במפת הדרכים שלי היו בערך 50% מהמשימות - בוא נחשב את זה, או בוא נחשב את זה, או ננתח את זה. והתברר שהטמענו את ClickHouse. והוא החל לבנות הכל במהירות, לספור, וסגר במהירות את מפת הדרכים שלו. ועד אז הבנתי שחסר לי ידע ב-Data Science והדמיית נתונים. Tabix הוא סוג של שיעורי הבית שלי ללימוד הדמיית נתונים. בדקתי איך משלימים את זפלין. יש לי סלידה קלה מהתכנות שלו. רדש הסתכלתי איך להוסיף את זה, אבל עורך רגיל הספיק לי. וגם SuperSet כתוב בשפה שאני לא ממש אוהב. וכך החלטתי לרכוב על אופניים, וזה מה שקרה.

איגור, האם אתה מקבל בקשות משיכה?

כן.

תודה רבה על הדיווח! ושתי שאלות. ראשית, אתה לא מדבר בצורה מאוד מחמיאה על Javascript. כתבת ב-Javascript חשוף או שזה סוג של מסגרת?*

עדיף ב-Javascript חשוף.

אז איזו מסגרת?

זוויתי.

זה ברור. והשאלה השנייה. האם שקלת R и *מַברִיק**?*

שקל את זה. שיחק.

אתה יכול גם פשוט לכתוב מתאם.

הוא. זה נראה כאילו הקהילה הצליחה, אבל, כפי שעניתי על השאלה הקודמת, רציתי לנסות את זה בעצמי.

*לא, לגבי הדמיה, זה גם שם.

אתה אומר שיש דבר כזה וזה יצייר לך גרף. פתחתי ספר על הדמיית נתונים. וחשבתי: "תן לי לנסות לדמיין את הנתונים האלה. אני אכתוב לו כדי שהוא יוכל לבנות מחדש את הנתונים". והתחלתי להבין טוב יותר את טכנולוגיית אספקת הנתונים. ואם הייתי לוקח רכיב מוכן, אני אישית הייתי לומד יותר גרוע איך להשתמש בו, כלומר הדמיה. אבל כן, אהבתי את R, אבל עדיין לא קראתי את הספר "R for Dummies".

תודה לך!

שאלה פשוטה. האם יש דרכים להעלות במהירות שלט או לוח זמנים?

ניתן להעלות ל-CSV או Excel.

לא נתונים, אלא צלחת מוכנה, גרף מוכן? למשל, להראות לבוס.

יש כפתור "העלה" ויש כפתור "העלה גרף ב-png, ב-jpg".

תודה לך!

PS Mini-הוראות להתקנת Tabix

מקור: www.habr.com

הוספת תגובה