חטיבת הנתונים. שנת 2013. רֶטרוֹספֶּקטִיבִי

בשנת 2013 תסמונת המעי הרגיז, שנראה אז יוצרת חטיבת הנתונים, ביקשו ממני לעשות בריינדמפ כזה (בהתבסס בלעדית על ניסיון של אינטראקציה עם לקוחות נפט וגז ארגוניים) בנוגע לאזור הבעייתי של ביג דאטה, ודאטה בכלל. אז נתקלתי בזה 7 שנים מאוחר יותר וחשבתי שזה מצחיק. יש דברים ברורים. חלקם התבררו כלא נכונים, אבל... עברו 7 שנים.

כתבתי באנגלית ועכשיו חשבתי לתרגם את זה לרוסית. מה אם משהו עדיין רלוונטי עכשיו? (אני אתרגם את העלונים, אבל השאר את השלטים באנגלית מתוך עצלות. ירוק זה טוב, אדום זה מסוכן, כחול זה חלום).

אני אסדר את ההערות המינימליות מ"היום" אִיטַלְקִיתכך שיהיה ברור ומובחן.

אז, נתונים! נתונים עבורנו...

חטיבת הנתונים היא חטיבת הדם, מכיוון שניתן להשוות נתונים, למשל, לדם העובר בוורידים ובעורקים של גוף עסקי. עם זאת, למרות שהדם זהה, האורגניזמים שונים ולכן ייצור קשה מאוד, אבל זה גם מייצג הזדמנות להתפתחות.

יש אנשים שהנתונים קופצים להם ישר לעיניים – אלו הם אנחנו.
ויש אנשים שלמרבה הצער, לא רואים את נקודת הנתונים ריקה. זה, שוב, אבוי, הוא שלנו לקוחות!

לפיכך, עקרונות עסקיים...

1. אנחנו מוכרים עֵסֶקולא זה (שכל מומחי ה-IT יסלחו לי בבת אחת) כי אנחנו פותרים את הבעיות של העולם, ובכן, יותר כסף.
2. כל הבעיות העסקיות מרוכזות סביב ענפי תעשייה נושאיים וידרשו הולם התמחויות.
3. ניסיונות להוכיח הערך של "נתונים" או, אפילו יותר קשה, הערך של "ניהול נתונים" לעסק הוא סבל וכאב נצחיים. בעצם, זה כמו לבוא אל אדם שמרגיש טוב ולהגיד: "אחי, אנחנו נטפל בדם שלך עכשיו, ואחי, זה יקר!"
4. "החלום הרטוב" שלי הוא למכור "חילוץ נתונים" ו"ניתוחים" בתוך מודל ה-SaaS עסקים קטנים ובינונייםשנכנסו ל-123 שירותי ענן עם ממשקים מגניבים: ניהול פרויקטים, עזרה-דסק, הנהלת חשבונות, CRM, שכר, דיווח זמן, שיווק, ... בשם זה, וקברו את עצמם בנתונים. Youcalc וגורמי הצלחה (כנראה שכבר אין) זה טוב!
5. חפש אנשים שאוהבים להתעסק "לִכסוֹס" עם נתונים. הם נדירים ומוזרים (כמו עלי תה), אבל מפתח לעסקים. משורר, למשל, יכול להיות טוב מאוד בקורלציה.
6. מהנדסים נָחוּץ! צריך להפוך בעיות שקראנצ'רס שלפו מהנתונים לפתרונות. וההצלחה או הכישלון של ההחלטה תלויים לחלוטין בהם.
7. פיתוח opensource לפרויקטים ערך רב ומאפשר "להרכיב" פתרונות מורכבים מעשית מאפס.
8. אבל... אסור לשכוח ש-Hadoop היא ספרייה, ולוצ'ן היא גם ספרייה, והמרחק בין ספרייה ומוצר תעשייתי הַרבֵּה!
9. הפתרונות הבנויים יצטרכו להיות מותאמים באופן משמעותי, כי מודולריות и אינטגרליות - נקודות מפתח.
10. זריז (אלוהים סלח לי) היא טכניקת מפתח באינטראקציה עם הלקוח ובאימות השערות, מהם יהיו רבים.
11. במיוחד אפשר והכרחי לבצע מיקור חוץ של כל הקידוד והממשק. כל הניתוחים והמפרטים העסקיים אחורי צריך לעזוב בתוך ונחשב כיכולת ליבה.
12. על מקבלי החלטות עסקיות יש "לעדכן" כל הזמן הצורך לעבוד נכון עם נתונים ומחפשים כל הזמן דרכים חדשות לנתח אותם. השילוב בין יכולות טכניות ועסקיות של העובדים שלנו יסייע להעלות את מעמד הארגון כולו.
13. האינטרנט - יש מקור אינסופי של השראה (לא היו כל כך הרבה חתולים אז) ביחס לגישות לניהול נתונים ארגוניים, אם כי היעדים וההיקף משתנים באופן משמעותי.

הנחות טכנולוגיות...

1. יש בו פוטנציאל פיתוח עצום פישוט איך הנתונים מוצגים לאנשים. אתה יכול לקרוא לזה המילה "iPhonization".
2. למרות העובדה שספקי BI טוענים שהם ישירות להביא ניתוח למשתמשי הקצה, (והם בהחלט מתקדמים בכיוון הזה) - פריצת הדרך עדיין לא התרחשה. אנשים פשוט לא מבינים טוב רַב מֵמָדִים הנתונים.
3. ממשק משתמש המייצג נתונים מורכבים יותר או פחות, בעלי מבנה רופף פנים טופס - גם מציג מספר אינסופי של בעיות. מסקנה: כמה שיותר שטוח יותר טוב.
4. פלטפורמה הבנויה על בסיס חילוץ נתונים אוטומטי ממקורות (שלא תמיד מיועדים לחילוץ כזה) תלויה משמעותית במקורות, ביציבות המחברים ובתשתית. הפלטפורמה (מסנג'ר) תמיד תואשם באי מתן תוצאות. אמון - הון של פלטפורמות מסוג זה. הון שקשה להרוויח וקל להפסיד.
5. מנקודת מבט עסקית, אין הבדל בין ניתוח Big Data לבין רק נתונים. לעתים קרובות מאחורי מספרים פשוטים כמו 2x2 מסתתרות הזדמנויות בשווי מיליוני דולרים. דוגמה טובה היא נתונים על סוף החיים של רכיבי תשתית על המדף הנורבגי. מתי כל התאריכים של מכסים עתידיים. תיקונים של כל הציוד הוכנסו על ציר אחד והם גילו שבעוד N שנים המדף ארמגדון מגיע - איש עשיר אחד קם מכיסאו והשתחווה בחופזה מהחדר במילים: "סליחה, אני לא. יש לי הרבה זמן, אני צריך להכין את הצי..."
6. לאקסל, ובעצם הצגה טבלה ברורה ותמציתית של נתונים, יש כוח עצום ועתיד גדול. אני מאמין בשולחנות יפים (ועדיין) וזה הכל!
7. הקשת העיקרית של כל ה"אנליטיקה" הזו היא אוטומציה של החלטות. יש את ההזדמנויות הכי גדולות, אבל גם הסיכונים הכי גבוהים, בגלל זה ההזדמנויות עשירות, בגלל זה יש סיכונים, בגלל זה יש הזדמנויות, בגלל זה הם טופי... 🙂 ניהול קידוחי באר, למשל...
8. אם "אינטגרטיביות" היא תכונה מרכזית, אז הנתונים צריכים להיות מוצגים דה פקטו כשירות. REST כללים, אבל אסור לנו לשכוח אופטימיזציה ביצועים, אשר כיום מוקרבת לעתים קרובות למען אינטגרליות כאשר כוח המחשוב ממשיך לגדול.
9. קובץ מקור - זה מה שצריך להיות מקומי, לחלץ, לתקנן לפני שמתייחסים לבעיות עסקיות כלשהן. נתונים מאסטר הם קטנים, אבל הבעיות איתם גדולות! כמו שאחי הסמנטיקה אומרים, 50% מכל הבעיות בעולם נובעות מכך שאנשים קוראים לאותם דברים בשמות שונים, ו-50% האחרים הם בגלל שהם קוראים לדברים שונים באותו השם.
10. כל כימוס ברמת האחסון, זה מגביל את פתיחות הפתרון ומוביל ל-SILO-fication. זה טוב אם אתה ספק גדול, אחרת זה כך-כך. (כאן אנחנו מדברים כמובן לא על רמת הבלוק ולא על AWS S3 שכבר אז היה בן 6, אלא על קבצים).
11. מודלים יחסיים נתונים הם כבר לא חבר שלנו. RDF וערך מפתח - מגניב! ראינו טרנספורמציות קסומות של מסדי נתונים יחסיים עם מודלים של 2000 טבלאות ל-15 טבלאות, ואף אחד מהמשתמשים לא איבד כלום.
12. האינטרנט עובד כי הוא קיים כתובת האתר כשיטת התייחסות מאוחדת. החשיבות של URL או יותר נכון URI עבור משאבי מידע ארגוניים קשה להפריז.
13. כריית טקסט ו-NLP הם פופולריים. באינטרנט. אבל גם במגזר הארגוני, ניתן להשיג הצלחה גדולה על ידי חילוץ נתונים מובנים מנתונים ארגוניים לא מובנים.
14. סינרגיה בין נתונים מובנים למידע המופק מנתונים לא מובנים, כלומר. קבצים - קלונדייק אנליטית.
15. בעת חילוץ נתונים, אל תשכח על זכויות ו זכויות יוצרים.
16. על חברת מיצוי הנתונים ליצור אמחלקת האקרים, במובן הטוב של המילה. בהשראת הקרב במעלה הגבעה נגד מערכות הגנת בוטים לסורקים של דפי זהב.
17. לפני עבודה עם נתונים, יש צורך "לִרְאוֹת" בשלמותו. קשה להסביר. צורות טבלאות עולות בראש. עבור חלק, ייצוגים גרפיים, אבל כל גרף הוא כבר פרשנות. כך או אחרת... "רואים"!
18. חזרה על נושא ה"אמון" של המשתמש ב-frontend. אמון במחברים/תהליכי יצירת נתונים, אמון בנתונים, אמון בהחלטות שהתקבלו.

מקור: www.habr.com