बिग डेटा विश्लेषणे - रशिया आणि जगातील वास्तविकता आणि संभावना

आज फक्त ज्या लोकांचा बाहेरच्या जगाशी कोणताही बाह्य संबंध नाही त्यांनी बिग डेटा ऐकला नाही. Habré वर, बिग डेटा विश्लेषणाचा विषय आणि संबंधित विषय लोकप्रिय आहेत. परंतु बिग डेटाच्या अभ्यासासाठी स्वत:ला झोकून देऊ इच्छिणार्‍या गैर-तज्ञांसाठी, या क्षेत्रामध्ये काय शक्यता आहे, कुठे बिग डेटा विश्लेषण लागू केले जाऊ शकते आणि एक चांगला विश्लेषक कशावर अवलंबून राहू शकतो हे नेहमीच स्पष्ट नसते. चला ते शोधण्याचा प्रयत्न करूया.

मानवाकडून व्युत्पन्न केलेल्या माहितीचे प्रमाण दरवर्षी वाढते. 2020 पर्यंत, संग्रहित डेटाचे प्रमाण 40-44 झेटाबाइट्स (1 ZB ~ 1 अब्ज GB) पर्यंत वाढेल. 2025 पर्यंत - अंदाजे 400 झेटाबाइट्स पर्यंत. त्यानुसार, आधुनिक तंत्रज्ञानाचा वापर करून संरचित आणि असंरचित डेटा व्यवस्थापित करणे हे एक क्षेत्र आहे जे अधिकाधिक महत्त्वाचे होत आहे. वैयक्तिक कंपन्या आणि संपूर्ण देश दोन्ही मोठ्या डेटामध्ये स्वारस्य आहेत.

तसे, माहितीची भरभराट आणि मानवी-व्युत्पन्न डेटावर प्रक्रिया करण्याच्या पद्धतींबद्दलच्या चर्चेदरम्यानच बिग डेटा हा शब्द उद्भवला. असे मानले जाते की 2008 मध्ये नेचर या जर्नलचे संपादक क्लिफर्ड लिंच यांनी प्रथम प्रस्तावित केले होते.

तेव्हापासून, बिग डेटा मार्केट दरवर्षी अनेक दहा टक्क्यांनी वाढत आहे. आणि हा कल, तज्ञांच्या मते, चालू राहील. अशा प्रकारे, कंपनीच्या अंदाजानुसार फ्रॉस्ट आणि सलिव्हन 2021 मध्ये, एकूण जागतिक डेटा विश्लेषण बाजार $67,2 अब्ज पर्यंत वाढेल. वार्षिक वाढ सुमारे 35,9% असेल.

आम्हाला मोठ्या डेटा विश्लेषणाची आवश्यकता का आहे?

हे तुम्हाला संरचित किंवा असंरचित डेटा संचांमधून अत्यंत मौल्यवान माहिती ओळखण्यास अनुमती देते. याबद्दल धन्यवाद, व्यवसाय, उदाहरणार्थ, ट्रेंड ओळखू शकतो, उत्पादन कामगिरीचा अंदाज लावू शकतो आणि स्वतःच्या खर्चास अनुकूल करू शकतो. हे स्पष्ट आहे की खर्च कमी करण्यासाठी, कंपन्या नवीनतम उपाय लागू करण्यास तयार आहेत.

बिग डेटाचे विश्लेषण करण्यासाठी वापरल्या जाणार्‍या तंत्रज्ञान आणि विश्लेषण पद्धती:

• डेटा मायनिंग;
• क्राउडसोर्सिंग;
• डेटा मिश्रण आणि एकत्रीकरण;
• मशीन लर्निंग;
• कृत्रिम न्यूरल नेटवर्क;
• नमुना ओळख;
• भविष्यसूचक विश्लेषणे;
• सिम्युलेशन मॉडेलिंग;
• अवकाशीय विश्लेषण;
• सांख्यिकीय विश्लेषण;
• विश्लेषणात्मक डेटाचे व्हिज्युअलायझेशन.

जगातील बिग डेटा विश्लेषण

बिग डेटा अॅनालिटिक्स आता जगभरातील ५०% पेक्षा जास्त कंपन्या वापरतात. 50 मध्ये हा आकडा केवळ 2015% होता. दूरसंचार आणि वित्तीय सेवा क्षेत्रात कार्यरत कंपन्यांद्वारे बिग डेटाचा सर्वाधिक सक्रियपणे वापर केला जातो. मग अशा कंपन्या आहेत ज्या आरोग्यसेवा तंत्रज्ञानामध्ये तज्ञ आहेत. शैक्षणिक कंपन्यांमध्ये बिग डेटा विश्लेषणाचा कमीत कमी वापर: बहुतेक प्रकरणांमध्ये, या क्षेत्रातील प्रतिनिधींनी नजीकच्या भविष्यात तंत्रज्ञान वापरण्याचा त्यांचा हेतू जाहीर केला.

युनायटेड स्टेट्समध्ये, बिग डेटा विश्लेषणे सर्वात सक्रियपणे वापरली जातात: विविध क्षेत्रातील 55% पेक्षा जास्त कंपन्या या तंत्रज्ञानासह कार्य करतात. युरोप आणि आशियामध्ये, मोठ्या डेटा विश्लेषणाची मागणी फारशी कमी नाही - सुमारे 53%.

आणि रशियाचे काय?

IDC विश्लेषकांच्या मते, बिग डेटा विश्लेषण समाधानासाठी रशिया ही सर्वात मोठी प्रादेशिक बाजारपेठ आहे. मध्य आणि पूर्व युरोपमधील अशा सोल्यूशन्सच्या बाजारपेठेची वाढ जोरदार सक्रिय आहे, ही संख्या दरवर्षी 11% वाढते. 2022 पर्यंत, ते परिमाणात्मक दृष्टीने $5,4 अब्जपर्यंत पोहोचेल.

बर्याच मार्गांनी, बाजाराचा हा वेगवान विकास रशियामधील या क्षेत्राच्या वाढीमुळे आहे. 2018 मध्ये, रशियन फेडरेशनमधील संबंधित उपायांच्या विक्रीतून मिळालेला महसूल संपूर्ण प्रदेशातील बिग डेटा प्रोसेसिंग तंत्रज्ञानातील एकूण गुंतवणुकीच्या 40% इतका होता.

रशियन फेडरेशनमध्ये, बँकिंग आणि सार्वजनिक क्षेत्रातील कंपन्या, दूरसंचार उद्योग आणि उद्योग बिग डेटा प्रक्रियेवर सर्वाधिक खर्च करतात.

मोठा डेटा विश्लेषक काय करतो आणि तो रशियामध्ये किती कमावतो?

एक मोठा डेटा विश्लेषक अर्ध-संरचित आणि असंरचित अशा मोठ्या प्रमाणात माहितीचे परीक्षण करण्यासाठी जबाबदार असतो. बँकिंग संस्थांसाठी हे व्यवहार आहेत, ऑपरेटरसाठी - कॉल आणि रहदारी, रिटेलमध्ये - ग्राहकांच्या भेटी आणि खरेदी. वर नमूद केल्याप्रमाणे, बिग डेटा विश्लेषण आम्हाला "कच्च्या माहितीच्या इतिहास" मधील विविध घटकांमधील कनेक्शन शोधण्याची परवानगी देते, उदाहरणार्थ, उत्पादन प्रक्रिया किंवा रासायनिक प्रतिक्रिया. विश्लेषण डेटाच्या आधारे, उत्पादनापासून औषधापर्यंत - विविध क्षेत्रांमध्ये नवीन दृष्टिकोन आणि उपाय विकसित केले जातात.

बिग डेटा विश्लेषकासाठी आवश्यक कौशल्ये:

• ज्या क्षेत्रासाठी विश्लेषण केले जात आहे त्या क्षेत्रातील वैशिष्ट्ये त्वरीत समजून घेण्याची आणि इच्छित क्षेत्राच्या पैलूंमध्ये स्वतःला विसर्जित करण्याची क्षमता. हे किरकोळ, तेल आणि वायू उद्योग, औषध इत्यादी असू शकते.
• सांख्यिकीय डेटा विश्लेषणाच्या पद्धतींचे ज्ञान, गणितीय मॉडेल्सचे बांधकाम (न्यूरल नेटवर्क, बायेसियन नेटवर्क, क्लस्टरिंग, प्रतिगमन, घटक, भिन्नता आणि सहसंबंध विश्लेषण इ.).
• विविध स्रोतांमधून डेटा काढण्यात, विश्लेषणासाठी त्याचे रूपांतर करण्यात आणि विश्लेषणात्मक डेटाबेसमध्ये लोड करण्यात सक्षम व्हा.
• SQL मध्ये निपुण.
• तांत्रिक दस्तऐवज सहजपणे वाचण्यासाठी पुरेसे इंग्रजीचे ज्ञान.
• पायथनचे ज्ञान (किमान मूलभूत गोष्टी), बॅश (कामाच्या प्रक्रियेत त्याशिवाय करणे खूप कठीण आहे), तसेच जावा आणि स्काला (स्पार्कच्या सक्रिय वापरासाठी आवश्यक, यापैकी एक) च्या मूलभूत गोष्टी जाणून घेणे इष्ट आहे. मोठ्या डेटासह कार्य करण्यासाठी सर्वात लोकप्रिय फ्रेमवर्क).
• Hadoop सह काम करण्याची क्षमता.

बरं, बिग डेटा विश्लेषक किती कमावतो?

बिग डेटा विशेषज्ञ आता कमी पुरवठ्यात आहेत; मागणी पुरवठ्यापेक्षा जास्त आहे. याचे कारण असे की व्यवसायाला समज येत आहे: विकासासाठी नवीन तंत्रज्ञान आवश्यक आहे आणि तंत्रज्ञानाच्या विकासासाठी तज्ञांची आवश्यकता आहे.

तर, यूएसए मधील डेटा सायंटिस्ट आणि डेटा अॅनालिटिक्स 3 च्या शीर्ष 2017 सर्वोत्तम व्यवसायांमध्ये प्रवेश केला भर्ती एजन्सी Glassdoor त्यानुसार. अमेरिकेतील या तज्ञांचा सरासरी पगार प्रति वर्ष $100 हजार पासून सुरू होतो.

रशियामध्ये, मशीन लर्निंग तज्ञांना दरमहा 130 ते 300 हजार रूबल मिळतात, मोठ्या डेटा विश्लेषकांना - 73 ते 200 हजार रूबल प्रति महिना. हे सर्व अनुभव आणि पात्रतेवर अवलंबून असते. अर्थात, कमी पगारासह रिक्त पदे आहेत आणि इतर जास्त आहेत. मॉस्को आणि सेंट पीटर्सबर्गमधील मोठ्या डेटा विश्लेषकांची कमाल मागणी. मॉस्को, जे आश्चर्यकारक नाही, सक्रिय रिक्त पदांपैकी सुमारे 50% खाते (hh.ru नुसार). मिन्स्क आणि कीवमध्ये खूप कमी मागणी आहे. हे लक्षात घेण्यासारखे आहे की काही रिक्त पदे लवचिक तास आणि दूरस्थ काम देतात. परंतु सर्वसाधारणपणे, कंपन्यांना कार्यालयात काम करणाऱ्या तज्ञांची आवश्यकता असते.

कालांतराने, आम्ही बिग डेटा विश्लेषक आणि संबंधित वैशिष्ट्यांच्या प्रतिनिधींच्या मागणीत वाढ होण्याची अपेक्षा करू शकतो. वर नमूद केल्याप्रमाणे, तंत्रज्ञान क्षेत्रातील कर्मचा-यांची कमतरता रद्द केली गेली नाही. परंतु, अर्थातच, बिग डेटा विश्लेषक होण्यासाठी, तुम्हाला वर सूचीबद्ध केलेली कौशल्ये आणि अतिरिक्त कौशल्ये सुधारून अभ्यास आणि कार्य करणे आवश्यक आहे. बिग डेटा विश्लेषक मार्ग सुरू करण्याची एक संधी आहे Geekbrains च्या कोर्ससाठी साइन अप करा आणि मोठ्या डेटासह काम करण्याचा प्रयत्न करा.

स्त्रोत: www.habr.com