في 2013 العام IBS، والتي يبدو أنها قد خلقت قسم البيانات، طلب مني القيام بمثل هذا التفريغ العقلي (فقط بناءً على تجربة التفاعل مع عملاء النفط والغاز من الشركات) حول منطقة مشكلة البيانات الضخمة ، والبيانات بشكل عام. لذلك عثرت عليها بعد 7 سنوات وبدا الأمر مضحكًا. بعض الأشياء واضحة. تبين أن بعضها ليس صحيحًا تمامًا ، لكن ... مرت 7 سنوات.
كتبت بالإنجليزية والآن أفكر في ترجمتها إلى الروسية. هل هناك أي شيء ذي صلة الآن؟ (سأترجم النشرات ، وسأترك اللافتات بالإنجليزية من الكسل. الأخضر جيد ، والأحمر خطير ، والأزرق حلم).
سأصدر الحد الأدنى من التعليقات من "اليوم" مائلأن يكون واضحًا ومتميزًا.
حتى البيانات! لدينا بيانات ...
قسم البيانات هو قسم الدم ، لأنه يمكن مقارنة البيانات ، على سبيل المثال ، بالدم الذي يمر عبر الأوردة والشرايين لكائن الأعمال. ومع ذلك ، على الرغم من أن الدم واحد ، فإن الكائنات الحية مختلفة وبالتالي إنتاجية صعب للغاية ، لكنه يمثل أيضًا فرصة للتنمية.
هناك أشخاص يتم إلقاء البيانات عليهم مباشرة - هذا هو نحن.
وهناك أشخاص ، للأسف ، لا يرون البيانات. هذا ، مرة أخرى ، للأسف ، لدينا الزبائن!
وهكذا، مبادئ العمل ...
- باع اعمالوليس IT (قد يغفر لي جميع العاملين في مجال تكنولوجيا المعلومات مرة واحدة) لأننا نحل مشاكل العالم ، حسنًا ، المزيد من المال.
- تتركز جميع مشاكل العمل حول قطاعات الصناعة المواضيعية وستتطلب ما يكفي التخصصات.
- محاولات لإثبات قيمة "البيانات" أو ، الأمر الأكثر صعوبة ، أن قيمة "إدارة البيانات" للأعمال التجارية هي المعاناة والألم الأبديان. في الواقع ، إنه مثل الذهاب إلى شخص يشعر بالرضا وقول: "يا صاح ، سنعالج دمك الآن ، يا صاح ، إنه مكلف!"
- حلمي المباشر هو بيع "استخراج البيانات" و "التحليلات" ضمن نموذج SaaS الأعمال الصغيرة والمتوسطة، الذي دخل إلى 123 خدمة سحابية مع واجهات رائعة: إدارة المشاريع ، ومكتب المساعدة ، والمحاسبة ، وإدارة علاقات العملاء ، وكشوف المرتبات ، وتقارير الوقت ، والتسويق ، ... سمها ما شئت ، وحفر في البيانات. Youcalc و Successfactors (ربما لا يوجد أي) هذا جيد!
- ابحث عن الأشخاص الذين يحبون العبث سحق مع البيانات. هم نادرون وغريبون (مثل العرافين على القهوة) ، لكنهم مفتاح العمل. الشاعر ، على سبيل المثال ، يمكن أن يكون جيدًا جدًا في فهم الارتباط.
- المهندسين ضروري! هناك حاجة لتحويل المشاكل التي سحبها Crunchers من البيانات إلى حلول. ونجاح أو فشل القرار يعتمد كليا عليهم.
- تنمية المصادر المفتوحة المشاريع ذات قيمة كبيرة وتجعل من الممكن "تجميع" الحلول المعقدة تقريبا "من الصفر".
- لكن ... يجب ألا ننسى أن Hadoop هي مكتبة ، وأن Lucene هي أيضًا مكتبة ، والمسافة بينها مكتبة والمنتجات الصناعية كثيراً!
- يجب أن تتكيف الحلول المبنية بشكل كبير ، لأن نمطية и التكامل - النقاط الرئيسية.
- رشيق (ربي اغفر لي) هي تقنية أساسية في التفاعل مع العميل والتحقق الفرضيات، والتي ستكون كثيرة.
- من الممكن والضروري بشكل خاص الاستعانة بمصادر خارجية لأي تشفير و UI. جميع تحليلات الأعمال والمواصفات الخلفية يجب تركه داخل وتعتبر من الكفاءات الأساسية.
- يحتاج صناع القرار في مجال الأعمال إلى أن يكونوا "مطلعين" باستمرار على ذلك الحاجة إلى العمل بشكل صحيح مع البيانات والبحث الدائم عن طرق جديدة لتحليلها. سيساعد الجمع بين الكفاءات الفنية والتجارية لموظفينا في رفع مكانة المنظمة بأكملها ككل.
- الإنترنت - هناك مصدر إلهام لا نهاية له (لم يكن هناك الكثير من القطط في ذلك الوقت) فيما يتعلق بمناهج إدارة بيانات الشركة ، على الرغم من حقيقة أن الأهداف والنطاق يختلفان بشكل كبير.
المسلمات التكنولوجية ...
- هناك إمكانات تطوير ضخمة في تبسيط كيف تظهر البيانات للناس. يمكنك أن تسميها كلمة "إيفون".
- على الرغم من حقيقة أن بائعي BI يدعون أنهم مباشرة جلب التحليلات للمستخدمين النهائيين، (وهم يتحركون بالتأكيد في هذا الاتجاه) - لم يحدث الاختراق بعد. الناس فقط لا يفهمون متعدد الأبعاد البيانات.
- واجهة مستخدم تمثل بيانات منظمة بشكل غير محكم بدرجة أو بأخرى معقدة بتنسيق الأوجه الشكل - يعرض أيضًا عددًا لا حصر له من المشكلات. الخلاصة: كلما كان أكثر تملقًا - كان ذلك أفضل.
- يعتمد النظام الأساسي الذي تم إنشاؤه على أساس الاستخراج التلقائي للبيانات من المصادر (التي لم يتم تصميمها دائمًا لمثل هذا الاستخراج) اعتمادًا كبيرًا على المصادر واستقرار الموصل والبنية التحتية. سيتم دائمًا إلقاء اللوم على الفشل في تقديم نتيجة على المنصة (برنامج المراسلة). ثقة - عاصمة هذه المنصات. رأس مال يصعب كسبه ويسهل خسارته.
- من منظور الأعمال التجارية ، لا يوجد فرق بين تحليل البيانات الضخمة و مجرد بيانات. غالبًا ما تكمن وراء أرقام بسيطة مثل 2 × 2 ملايين الدولارات من الفرص. وخير مثال على ذلك هو البيانات المتعلقة بنهاية العمر الافتراضي لعناصر البنية التحتية على الجرف النرويجي. عندما تكون جميع تواريخ الغطاء المستقبلي. تم وضع إصلاحات جميع المعدات على محور واحد واكتشفت أنه في غضون N سنوات كان هناك رف هرمجدون - قام شخص ثري جدًا من كرسيه وانحنى على عجل من الغرفة قائلاً: "آسف ، ليس لدي الكثير من الوقت ، أحتاج إلى إعداد الأسطول ... "
- يمتلك برنامج Excel ، وفي الواقع عرضًا جدوليًا واضحًا ودقيقًا للبيانات ، قوة كبيرة ومستقبلًا عظيمًا. أنا أؤمن بالطاولات الجميلة (ولايزال) وهذا كل شيء!
- القوس الرئيسي لكل هذه "التحليلات" هو أتمتة صنع القرار. هناك أكثر الفرص بدانة ، ولكن أيضًا أعلى المخاطر ، ولهذا السبب تكون الفرص سمينًا ، ولهذا السبب فإن المخاطر ، ولهذا السبب الفرص ، ولهذا السبب الحلويات ... 🙂 إدارة حفر الآبار ، على سبيل المثال ...
- إذا كانت "القابلية للتكامل" سمة أساسية ، فيجب تقديم البيانات بحكم الواقع كخدمة. REST محركات الأقراص ، ولكن يجب ألا ننسى التحسين إنتاجية، والتي غالبًا ما يتم التضحية بها من أجل التكامل مع استمرار قوة الحوسبة في النمو.
- البيانات الرئيسية - هذا هو ما تحتاجه للترجمة والاستخراج والتوحيد قبل معالجة أي أسئلة تجارية. البيانات الرئيسية صغيرة ، لكن المشاكل فيها كبيرة! كما يقول الأخوة في علم الدلالات ، فإن 50٪ من جميع مشاكل العالم ترجع إلى حقيقة أن الناس يسمون نفس الأشياء بأسماء مختلفة ، و 50٪ أخرى من حقيقة أنهم يسمون أشياء مختلفة بنفس الاسم.
- أي التغليف على مستوى التخزين يحد من انفتاح الحل ويؤدي إلى التلميح SILO. حسنًا ، إذا كنت بائعًا كبيرًا ، وإلا - كذا. (نحن هنا نتحدث ، بالطبع ، ليس عن مستوى الكتلة وليس عن AWS S3 ، الذي كان عمره 6 سنوات بالفعل ، ولكن عن الملفات).
- النمذجة العلائقية البيانات لم تعد صديقتنا. RDF وقيمة المفتاح رائعة! لقد رأينا التحول السحري لقواعد البيانات العلائقية مع النماذج في 2000 جدول إلى 15 جدولًا ، ولم يفقد أي من المستخدمين أي شيء.
- يعمل الإنترنت لأنه يوجد URL كطريقة عنونة واحدة. أهمية URL أو بالأحرى URI من الصعب المبالغة في تقدير موارد المعلومات الخاصة بالمؤسسة.
- يعد تعدين النص و البرمجة اللغوية العصبية شائعين. في الإنترنت. ولكن في قطاع الشركات ، يمكن تحقيق مكاسب ضخمة من خلال استخراج البيانات المنظمة من بيانات الشركة غير المهيكلة.
- التعاضد بين البيانات المهيكلة والمعلومات المستخرجة من البيانات غير المهيكلة ، أي ملفات - كلوندايك التحليلي.
- عند استخراج البيانات ، لا تنسى الحقوق و حقوق النشر.
- يجب أن تشكل شركة التنقيب عن البيانات ملفقسم الهاكرزبالمعنى الجيد للكلمة. مستوحاة من دفاعات الصفحات الصفراء القوية ضد روبوتات البحث.
- قبل العمل مع البيانات - يجب أن يكونوا كذلك "يرى" في مجمله. من الصعب شرح ذلك. تتبادر إلى ذهني الأشكال المجدولة. بالنسبة للبعض ، التمثيلات الرسومية ، ولكن أي رسم بياني هو تفسير بالفعل. بطريقة أو بأخرى ... "انظر"!
- تكرار موضوع "ثقة" المستخدمين في الواجهة الأمامية. الثقة في الموصلات / عمليات توليد البيانات ، الثقة في البيانات ، الثقة في القرارات.
المصدر: www.habr.com