बिग डेटा एनालिटिक्स - रूस और दुनिया में वास्तविकताएं और संभावनाएं

आज केवल उन्हीं लोगों ने बड़े डेटा के बारे में नहीं सुना है जिनका बाहरी दुनिया से कोई बाहरी संबंध नहीं है। हैबे पर बिग डेटा एनालिटिक्स और संबंधित विषयों का विषय लोकप्रिय है। लेकिन गैर-विशेषज्ञों के लिए जो खुद को बिग डेटा के अध्ययन के लिए समर्पित करना चाहते हैं, यह हमेशा स्पष्ट नहीं होता है कि इस क्षेत्र में क्या संभावनाएं हैं, जहां बिग डेटा एनालिटिक्स लागू किया जा सकता है और एक अच्छा विश्लेषक किस पर भरोसा कर सकता है। आइए इसे जानने का प्रयास करें।

मनुष्यों द्वारा उत्पन्न जानकारी की मात्रा हर साल बढ़ती है। 2020 तक, संग्रहीत डेटा की मात्रा बढ़कर 40-44 ज़ेटाबाइट्स (1 ZB ~ 1 बिलियन जीबी) हो जाएगी। 2025 तक - लगभग 400 ज़ेटाबाइट्स तक। तदनुसार, आधुनिक प्रौद्योगिकियों का उपयोग करके संरचित और असंरचित डेटा का प्रबंधन एक ऐसा क्षेत्र है जो तेजी से महत्वपूर्ण होता जा रहा है। व्यक्तिगत कंपनियाँ और संपूर्ण देश दोनों ही बड़े डेटा में रुचि रखते हैं।

वैसे, सूचना उछाल और मानव-जनित डेटा को संसाधित करने के तरीकों की चर्चा के दौरान ही बिग डेटा शब्द का उदय हुआ। ऐसा माना जाता है कि इसे पहली बार 2008 में नेचर पत्रिका के संपादक क्लिफोर्ड लिंच द्वारा प्रस्तावित किया गया था।

तब से, बिग डेटा बाज़ार में सालाना कई दसियों प्रतिशत की वृद्धि हो रही है। और विशेषज्ञों के अनुसार यह प्रवृत्ति जारी रहेगी। इस प्रकार, कंपनी के अनुमान के अनुसार फ्रॉस्ट एंड सुलिवन 2021 में, कुल वैश्विक बिग डेटा एनालिटिक्स बाज़ार बढ़कर $67,2 बिलियन हो जाएगा। वार्षिक वृद्धि लगभग 35,9% होगी।

हमें बिग डेटा एनालिटिक्स की आवश्यकता क्यों है?

यह आपको संरचित या असंरचित डेटा सेट से अत्यंत मूल्यवान जानकारी की पहचान करने की अनुमति देता है। इसके लिए धन्यवाद, एक व्यवसाय, उदाहरण के लिए, रुझानों की पहचान कर सकता है, उत्पादन प्रदर्शन की भविष्यवाणी कर सकता है और अपनी लागत का अनुकूलन कर सकता है। यह स्पष्ट है कि लागत कम करने के लिए कंपनियां नवीनतम समाधान लागू करने के लिए तैयार हैं।

बिग डेटा का विश्लेषण करने के लिए उपयोग की जाने वाली प्रौद्योगिकियाँ और विश्लेषण विधियाँ:

• डेटा खनन;
• क्राउडसोर्सिंग;
• डेटा मिश्रण और एकीकरण;
• यंत्र अधिगम;
• कृत्रिम तंत्रिका प्रसार;
• पैटर्न मान्यता;
• भविष्य बतानेवाला विश्लेषक;
• सिमुलेशन मॉडलिंग;
• त्रिविमीय विश्लेषण;
• सांख्यिकीय विश्लेषण;
• विश्लेषणात्मक डेटा का विज़ुअलाइज़ेशन।

दुनिया में बिग डेटा एनालिटिक्स

बिग डेटा एनालिटिक्स का उपयोग अब दुनिया भर में 50% से अधिक कंपनियों द्वारा किया जाता है। इस तथ्य के बावजूद कि 2015 में यह आंकड़ा केवल 17% था। दूरसंचार और वित्तीय सेवा क्षेत्रों में काम करने वाली कंपनियों द्वारा बिग डेटा का सबसे अधिक सक्रिय रूप से उपयोग किया जाता है। फिर ऐसी कंपनियाँ भी हैं जो स्वास्थ्य देखभाल प्रौद्योगिकी में विशेषज्ञ हैं। शैक्षिक कंपनियों में बिग डेटा एनालिटिक्स का न्यूनतम उपयोग: ज्यादातर मामलों में, इस क्षेत्र के प्रतिनिधियों ने निकट भविष्य में प्रौद्योगिकी का उपयोग करने के अपने इरादे की घोषणा की।

संयुक्त राज्य अमेरिका में, बिग डेटा एनालिटिक्स का सबसे अधिक सक्रिय रूप से उपयोग किया जाता है: विभिन्न क्षेत्रों की 55% से अधिक कंपनियां इस तकनीक के साथ काम करती हैं। यूरोप और एशिया में, बड़े डेटा एनालिटिक्स की मांग बहुत कम नहीं है - लगभग 53%।

और रूस के बारे में क्या?

आईडीसी विश्लेषकों के अनुसार, बिग डेटा एनालिटिक्स समाधान के लिए रूस सबसे बड़ा क्षेत्रीय बाजार है. मध्य और पूर्वी यूरोप में ऐसे समाधानों के लिए बाज़ार की वृद्धि काफी सक्रिय है, यह आंकड़ा हर साल 11% बढ़ जाता है। 2022 तक मात्रात्मक दृष्टि से यह 5,4 बिलियन डॉलर तक पहुंच जाएगा।

कई मायनों में, बाज़ार का यह तीव्र विकास रूस में इस क्षेत्र के विकास के कारण है। 2018 में, रूसी संघ में प्रासंगिक समाधानों की बिक्री से प्राप्त राजस्व पूरे क्षेत्र में बिग डेटा प्रोसेसिंग प्रौद्योगिकियों में कुल निवेश का 40% था।

रूसी संघ में, बैंकिंग और सार्वजनिक क्षेत्रों, दूरसंचार उद्योग और उद्योग की कंपनियां बिग डेटा प्रोसेसिंग पर सबसे अधिक खर्च करती हैं।

एक बिग डेटा विश्लेषक क्या करता है और वह रूस में कितना कमाता है?

एक बड़ा डेटा विश्लेषक अर्ध-संरचित और असंरचित दोनों तरह की बड़ी मात्रा में जानकारी की जांच करने के लिए जिम्मेदार होता है। बैंकिंग संगठनों के लिए ये लेनदेन हैं, ऑपरेटरों के लिए - कॉल और ट्रैफ़िक, खुदरा में - ग्राहक का दौरा और खरीदारी। जैसा कि ऊपर उल्लेख किया गया है, बिग डेटा विश्लेषण हमें "कच्ची सूचना इतिहास" में विभिन्न कारकों के बीच संबंध खोजने की अनुमति देता है, उदाहरण के लिए, एक उत्पादन प्रक्रिया या एक रासायनिक प्रतिक्रिया। विश्लेषण डेटा के आधार पर, विनिर्माण से लेकर चिकित्सा तक - विभिन्न क्षेत्रों में नए दृष्टिकोण और समाधान विकसित किए जाते हैं।

बिग डेटा विश्लेषक के लिए आवश्यक कौशल:

• जिस क्षेत्र के लिए विश्लेषण किया जा रहा है, उसकी विशेषताओं को शीघ्रता से समझने और वांछित क्षेत्र के पहलुओं में खुद को डुबोने की क्षमता। यह खुदरा, तेल और गैस उद्योग, चिकित्सा आदि हो सकता है।
• सांख्यिकीय डेटा विश्लेषण के तरीकों का ज्ञान, गणितीय मॉडल का निर्माण (तंत्रिका नेटवर्क, बायेसियन नेटवर्क, क्लस्टरिंग, प्रतिगमन, कारक, विचरण और सहसंबंध विश्लेषण, आदि)।
• विभिन्न स्रोतों से डेटा निकालने, उसे विश्लेषण के लिए बदलने और एक विश्लेषणात्मक डेटाबेस में लोड करने में सक्षम हो।
• एसक्यूएल में कुशल.
• तकनीकी दस्तावेज़ीकरण को आसानी से पढ़ने के लिए पर्याप्त स्तर पर अंग्रेजी का ज्ञान।
• पायथन का ज्ञान (कम से कम मूल बातें), बैश (काम की प्रक्रिया में इसके बिना करना बहुत मुश्किल है), साथ ही जावा और स्काला की मूल बातें जानना वांछनीय है (स्पार्क के सक्रिय उपयोग के लिए आवश्यक, इनमें से एक) बड़े डेटा के साथ काम करने के लिए सबसे लोकप्रिय रूपरेखा)।
• Hadoop के साथ काम करने की क्षमता.

खैर, एक बिग डेटा विश्लेषक कितना कमाता है?

बिग डेटा विशेषज्ञ अब कम आपूर्ति में हैं; मांग आपूर्ति से अधिक है। ऐसा इसलिए है क्योंकि व्यवसाय को यह समझ आ रही है: विकास के लिए नई तकनीकों की आवश्यकता होती है, और प्रौद्योगिकी विकास के लिए विशेषज्ञों की आवश्यकता होती है।

तो, संयुक्त राज्य अमेरिका में डेटा वैज्ञानिक और डेटा एनालिटिक्स 3 के शीर्ष 2017 सर्वश्रेष्ठ व्यवसायों में प्रवेश किया भर्ती एजेंसी ग्लासडोर के अनुसार। अमेरिका में इन विशेषज्ञों का औसत वेतन $100 हजार प्रति वर्ष से शुरू होता है।

रूस में, मशीन लर्निंग विशेषज्ञों को प्रति माह 130 से 300 हजार रूबल, बड़े डेटा विश्लेषकों को - 73 से 200 हजार रूबल प्रति माह मिलते हैं। यह सब अनुभव और योग्यता पर निर्भर करता है। बेशक, कम वेतन वाली रिक्तियां हैं, और अन्य उच्च वेतन वाली हैं। मॉस्को और सेंट पीटर्सबर्ग में बड़े डेटा विश्लेषकों की अधिकतम मांग। मॉस्को, जो आश्चर्य की बात नहीं है, लगभग 50% सक्रिय रिक्तियों (hh.ru के अनुसार) के लिए जिम्मेदार है। मिन्स्क और कीव में बहुत कम मांग है। यह ध्यान देने योग्य है कि कुछ रिक्तियां लचीले घंटे और दूरस्थ कार्य की पेशकश करती हैं। लेकिन सामान्य तौर पर, कंपनियों को कार्यालय में काम करने वाले विशेषज्ञों की आवश्यकता होती है।

समय के साथ, हम बिग डेटा विश्लेषकों और संबंधित विशिष्टताओं के प्रतिनिधियों की मांग में वृद्धि की उम्मीद कर सकते हैं। जैसा कि ऊपर उल्लेख किया गया है, प्रौद्योगिकी क्षेत्र में कर्मियों की कमी को रद्द नहीं किया गया है। लेकिन, निश्चित रूप से, एक बिग डेटा विश्लेषक बनने के लिए, आपको ऊपर सूचीबद्ध और अतिरिक्त कौशल दोनों में सुधार करते हुए अध्ययन और काम करने की आवश्यकता है। बिग डेटा एनालिस्ट की राह शुरू करने का एक अवसर है Geekbrains से एक कोर्स के लिए साइन अप करें और बड़े डेटा के साथ काम करने में अपना हाथ आज़माएं।

स्रोत: www.habr.com