🥇 डेटा विभाग. वर्ष 2013. पूर्वलक्षी

2013 वर्षी आयबीएस, जे नंतर तयार होत असल्याचे दिसत होते डेटा विभाग, मला बिग डेटा आणि सर्वसाधारणपणे डेटाच्या समस्या क्षेत्राबाबत (केवळ कॉर्पोरेट तेल आणि गॅस ग्राहकांशी संवाद साधण्याच्या अनुभवावर आधारित) असे ब्रेनडंप करण्यास सांगितले. म्हणून मला ते 7 वर्षांनंतर सापडले आणि मला वाटले की ते मजेदार आहे. काही गोष्टी उघड आहेत. काही पूर्णपणे खरे नाहीत, परंतु... 7 वर्षे उलटून गेली आहेत.

मी इंग्रजीत लिहिले आणि आता मी ते रशियनमध्ये भाषांतरित करण्याचा विचार केला. आता काहीतरी संबंधित असल्यास काय? (मी बुलेटिनचे भाषांतर करेन, परंतु आळशीपणामुळे इंग्रजीतील चिन्हे सोडा. हिरवे चांगले, लाल धोकादायक, निळे हे स्वप्न आहे).

मी "आज" पासून किमान टिप्पण्या औपचारिक करीन इटालियनजेणेकरून ते स्पष्ट आणि वेगळे करता येईल.

तर, डेटा! आमच्यासाठी डेटा...

डेटा विभाग हा रक्त विभाग आहे, कारण डेटाची तुलना केली जाऊ शकते, उदाहरणार्थ, एखाद्या व्यावसायिक संस्थेच्या शिरा आणि धमन्यांमधून वाहणाऱ्या रक्ताशी. तथापि, रक्त समान असले तरी, जीव भिन्न आहेत आणि म्हणून उत्पादन खूप कठीण आहे, परंतु ते विकासाची संधी देखील दर्शवते.

असे लोक आहेत ज्यांच्यासाठी डेटा थेट त्यांच्या डोळ्यात उडी मारतो - हे आहेत आम्ही.
आणि असे लोक आहेत ज्यांना, दुर्दैवाने, डेटा पॉइंट रिक्त दिसत नाही. हे, पुन्हा, अरेरे, आमचे आहे ग्राहक!

त्यामुळे व्यवसायाची तत्त्वे...

आम्ही विकतो व्यवसायपण नाही ИТ (सर्व आयटी तज्ञ मला एकाच वेळी माफ करतील) कारण आपण जगाच्या समस्या सोडवत आहोत, आणि, अधिक पैसा.
सर्व व्यवसाय समस्या थीमॅटिक इंडस्ट्री वर्टिकलवर केंद्रित आहेत आणि त्यांना पुरेशी आवश्यकता असेल स्पेशलायझेशन.
सिद्ध करण्याचा प्रयत्न "डेटा" चे मूल्य किंवा, त्याहूनही कठीण, व्यवसायासाठी "डेटा व्यवस्थापन" चे मूल्य म्हणजे चिरंतन दुःख आणि वेदना. मुळात, हे एखाद्या व्यक्तीकडे येण्यासारखे आहे ज्याला चांगले वाटत आहे आणि म्हणायचे आहे: "मित्रा, आम्ही आता तुमच्या रक्तावर उपचार करणार आहोत आणि मित्रा, ते महाग आहे!"
माझे "वेट ड्रीम" म्हणजे SaaS मॉडेलमध्ये "डेटा एक्स्ट्रॅक्शन" आणि "विश्लेषण" विकणे लहान आणि मध्यम व्यवसायज्यांनी छान इंटरफेससह 123 क्लाउड सेवांमध्ये चढाई केली: प्रोजेक्ट मॅनेजमेंट, हेल्पडेस्क, अकाउंटिंग, सीआरएम, पेरोल, टाइम रिपोर्टिंग, मार्केटिंग, ... तुम्ही नाव द्या आणि डेटामध्ये स्वतःला दफन केले. Youcalc आणि यशस्वी घटक (कदाचित यापुढे नाहीत) हे चांगले आहे!
टिंकर करायला आवडते लोक शोधा "क्रंच" डेटासह. ते दुर्मिळ आणि विचित्र आहेत (चहाच्या पानांसारखे), परंतु व्यवसायाची गुरुकिल्ली. उदाहरणार्थ, एक कवी परस्परसंबंधात खूप चांगला असू शकतो.
अभियंते आवश्यक आहे! क्रंचर्सने डेटामधून सोल्युशन्समध्ये खेचलेल्या समस्यांचे रूपांतर करणे आवश्यक आहे. आणि निर्णयाचे यश किंवा अपयश हे सर्वस्वी त्यांच्यावर अवलंबून असते.
विकास मुक्त स्रोत प्रकल्प खूप मोलाचे आहेत आणि सुरुवातीपासून व्यावहारिकदृष्ट्या जटिल निराकरणे "एकत्र करणे" शक्य करते.
पण... आपण हे विसरता कामा नये की हडूप ही एक लायब्ररी आहे, आणि ल्युसीन हे लायब्ररी देखील आहे आणि यामधील अंतर लायब्ररी आणि औद्योगिक उत्पादन खूप!
बिल्ट सोल्यूशन्सला लक्षणीय रुपांतर करावे लागेल, कारण मॉड्यूलरिटी и अखंडता - मुख्य मुद्दे.
चपळ (देव मला माफ कर) हे ग्राहकांशी संवाद साधण्याचे आणि पडताळणीचे प्रमुख तंत्र आहे गृहीतके, ज्यापैकी बरेच असतील.
सर्व कोडिंग आणि UI आउटसोर्स करणे विशेषतः शक्य आणि आवश्यक आहे. सर्व व्यवसाय विश्लेषणे आणि तपशील बॅकएंड सोडणे आवश्यक आहे आत आणि मुख्य सक्षमता मानली जाते.
व्यवसाय निर्णय घेणार्‍यांना सतत "माहित" असणे आवश्यक आहे डेटासह योग्यरित्या कार्य करण्याची आवश्यकता आणि त्यांचे विश्लेषण करण्यासाठी सतत नवीन मार्ग शोधत आहे. आमच्या कर्मचार्‍यांच्या तांत्रिक आणि व्यावसायिक क्षमतांचे संयोजन संपूर्ण संस्थेचा दर्जा उंचावण्यास मदत करेल.
इंटरनेट - प्रेरणाचा अंतहीन स्त्रोत आहे (तेव्हा इतक्या मांजरी नव्हत्या) एंटरप्राइझ डेटा व्यवस्थापनाच्या दृष्टिकोनाच्या संबंधात, जरी उद्दिष्टे आणि व्याप्ती लक्षणीयरीत्या भिन्न आहेत.

तांत्रिक सूत्रे...

मध्ये विकासाची प्रचंड क्षमता आहे सरलीकरण लोकांना डेटा कसा दाखवला जातो. तुम्ही याला “iPhonization” हा शब्द म्हणू शकता.
बीआय विक्रेत्यांचा दावा असूनही ते थेट आहेत अंतिम वापरकर्त्यांसाठी विश्लेषण आणा, (आणि ते नक्कीच या दिशेने वाटचाल करत आहेत) - अद्याप प्रगती झालेली नाही. लोकांना फक्त नीट समजत नाही बहुआयामी डेटा.
एक वापरकर्ता इंटरफेस जो कमी-अधिक जटिल, सैल संरचित डेटाचे प्रतिनिधित्व करतो पैलू असलेला फॉर्म - असंख्य समस्या देखील सादर करते. निष्कर्ष: जितकी चापलूस तितकी चांगली.
स्त्रोतांकडून स्वयंचलित डेटा काढण्याच्या आधारावर तयार केलेले प्लॅटफॉर्म (जे नेहमी अशा निष्कर्षणासाठी डिझाइन केलेले नसतात) स्त्रोत, कनेक्टरची स्थिरता आणि पायाभूत सुविधांवर लक्षणीय अवलंबून असते. प्लॅटफॉर्म (मेसेंजर) नेहमी परिणाम वितरीत करण्यात अपयशी ठरेल. ट्रस्ट - या प्रकारच्या प्लॅटफॉर्मचे भांडवल. भांडवल जे मिळवणे कठीण आणि गमावणे सोपे आहे.
व्यवसायाच्या दृष्टिकोनातून, बिग डेटा विश्लेषण आणि यामध्ये कोणताही फरक नाही फक्त डेटा. सहसा 2x2 सारख्या साध्या संख्येच्या मागे लाखो डॉलर्सच्या संधी असतात. नॉर्वेजियन शेल्फवरील पायाभूत घटकांच्या आयुष्याच्या समाप्तीचा डेटा हे एक चांगले उदाहरण आहे. भविष्यातील कॅप्सच्या सर्व तारखा कधी आहेत. सर्व उपकरणांची दुरुस्ती एका अक्षावर ठेवली गेली आणि त्यांना कळले की शेल्फ आर्मगेडॉन एन वर्षांत येत आहे - एक अतिशय श्रीमंत माणूस त्याच्या खुर्चीवरून उठला आणि घाईघाईने या शब्दांसह खोलीतून बाहेर पडला: “माफ करा, मला नाही. खूप वेळ आहे, मला फ्लीट तयार करायचा आहे..."
एक्सेल, आणि मूलत: डेटाचे स्पष्ट आणि संक्षिप्त सारणी सादरीकरण, प्रचंड शक्ती आणि उत्कृष्ट भविष्य आहे. मी सुंदर टेबलवर विश्वास ठेवतो (आणि अजूनही करतो) आणि तेच!
या सर्व "विश्लेषण" चे मुख्य धनुष्य आहे निर्णय ऑटोमेशन. सर्वात मोठ्या संधी आहेत, परंतु सर्वात जास्त जोखीम देखील आहेत, म्हणूनच संधी समृद्ध आहेत, म्हणूनच जोखीम आहेत, म्हणूनच संधी आहेत, म्हणूनच ते टॉफी आहेत... 🙂 वेल ड्रिलिंग व्यवस्थापन, उदाहरणार्थ...
जर "अखंडता" हे प्रमुख वैशिष्ट्य असेल, तर डेटा वास्तविकपणे सेवा म्हणून सादर केला पाहिजे. उर्वरित नियम, परंतु आम्ही ऑप्टिमायझेशनबद्दल विसरू नये उत्पादकता, जे आता संगणकीय शक्ती वाढत असल्याने अखंडतेसाठी बलिदान दिले जाते.
मास्टर डेटा - कोणत्याही व्यावसायिक समस्यांचे निराकरण करण्यापूर्वी हे स्थानिकीकरण, काढणे, प्रमाणित करणे आवश्यक आहे. मास्टर डेटा लहान आहे, परंतु त्यातील समस्या मोठ्या आहेत! शब्दार्थाचे भाऊ म्हणतात त्याप्रमाणे, जगातील सर्व समस्यांपैकी 50% समस्या लोक एकाच गोष्टीला वेगवेगळ्या नावाने हाक मारल्यामुळे आहेत आणि इतर 50% समस्या वेगवेगळ्या गोष्टींना एकाच नावाने हाक मारल्यामुळे आहेत.
कोणतीही encapsulation स्टोरेज स्तरावर, ते सोल्यूशनच्या मोकळेपणास मर्यादित करते आणि SILO-फिकेशनकडे नेले जाते. तुम्ही मोठे विक्रेते असाल तर ते चांगले आहे, अन्यथा तसे आहे. (येथे आम्ही अर्थातच ब्लॉक लेव्हलबद्दल बोलत नाही आणि AWS S3 बद्दल नाही, जे आधीपासून 6 वर्षांचे होते, परंतु फायलींबद्दल.).
रिलेशनल मॉडेलिंग डेटा आता आमचा मित्र नाही. आरडीएफ आणि की-व्हॅल्यू - मस्त! आम्ही 2000 टेबल्सच्या मॉडेल्ससह 15 टेबलांमध्ये रिलेशनल डेटाबेसचे जादुई रूपांतर पाहिले आहे आणि कोणत्याही वापरकर्त्याने काहीही गमावले नाही.
इंटरनेट कार्य करते कारण ते अस्तित्वात आहे URL संबोधित करण्याची एक एकीकृत पद्धत म्हणून. URL चे महत्त्व किंवा त्याऐवजी यूआरआय एंटरप्राइझसाठी माहिती संसाधनांचा अतिरेक करणे कठीण आहे.
मजकूर खाण आणि NLP लोकप्रिय आहेत. इंटरनेट मध्ये. परंतु कॉर्पोरेट क्षेत्रातही, असंरचित कॉर्पोरेट डेटामधून संरचित डेटा काढून मोठे यश मिळू शकते.
सिनर्जी संरचित डेटा आणि असंरचित डेटामधून काढलेली माहिती, उदा. फाइल्स - विश्लेषणात्मक क्लोंडाइक.
डेटा काढताना, अधिकारांबद्दल विसरू नका आणि कॉपीराइट.
डेटा एक्स्ट्रॅक्शन कंपनीने ए तयार करणे आवश्यक आहेहॅकर्स विभाग, शब्दाच्या चांगल्या अर्थाने. येलो पेजेस क्रॉलर बॉट संरक्षण प्रणालींविरुद्धच्या चढाईतून प्रेरित.
डेटासह कार्य करण्यापूर्वी, हे करणे आवश्यक आहे "पहा" संपूर्णपणे. हे स्पष्ट करणे कठीण आहे. टॅब्युलर फॉर्म्स मनात येतात. काहींसाठी, ग्राफिकल प्रतिनिधित्व, परंतु कोणताही आलेख आधीपासूनच एक व्याख्या आहे. एक ना एक मार्ग... "पाहा"!
फ्रंटएंडमध्ये वापरकर्त्याच्या "विश्वास" च्या समस्येची पुनरावृत्ती. कनेक्टर्स/डेटा जनरेशन प्रक्रियेवर विश्वास ठेवा, डेटावर विश्वास ठेवा, घेतलेल्या निर्णयांवर विश्वास ठेवा.

स्त्रोत: www.habr.com

डेटा विभाग. वर्ष 2013. पूर्वलक्षी

एक टिप्पणी जोडा Отменить ответ