பெரிய தரவு பகுப்பாய்வு - ரஷ்யா மற்றும் உலகில் உள்ள உண்மைகள் மற்றும் வாய்ப்புகள்

இன்று வெளி உலகத்துடன் எந்த வெளியுலக தொடர்பும் இல்லாதவர்கள் மட்டுமே பெரிய தரவுகளை கேள்விப்பட்டதில்லை. ஹப்ரேயில், பிக் டேட்டா அனலிட்டிக்ஸ் மற்றும் தொடர்புடைய தலைப்புகள் பிரபலமானது. ஆனால் பிக் டேட்டாவின் ஆய்வில் தங்களை ஈடுபடுத்திக் கொள்ள விரும்பும் வல்லுநர்கள் அல்லாதவர்களுக்கு, இந்தப் பகுதியில் என்ன வாய்ப்புகள் உள்ளன, பெரிய தரவு பகுப்பாய்வுகளை எங்கு பயன்படுத்தலாம் மற்றும் ஒரு நல்ல ஆய்வாளர் எதை நம்பலாம் என்பது எப்போதும் தெளிவாக இருக்காது. அதை கண்டுபிடிக்க முயற்சி செய்யலாம்.

மனிதர்கள் உருவாக்கும் தகவல்களின் அளவு ஒவ்வொரு ஆண்டும் அதிகரிக்கிறது. 2020 ஆம் ஆண்டளவில், சேமிக்கப்படும் தரவுகளின் அளவு 40-44 ஜெட்டாபைட்டுகளாக (1 ZB ~ 1 பில்லியன் ஜிபி) அதிகரிக்கும். 2025க்குள் - தோராயமாக 400 ஜெட்டாபைட்டுகள் வரை. அதன்படி, நவீன தொழில்நுட்பங்களைப் பயன்படுத்தி கட்டமைக்கப்பட்ட மற்றும் கட்டமைக்கப்படாத தரவை நிர்வகித்தல் என்பது பெருகிய முறையில் முக்கியத்துவம் பெற்று வருகிறது. தனிப்பட்ட நிறுவனங்கள் மற்றும் முழு நாடுகளும் பெரிய தரவுகளில் ஆர்வமாக உள்ளன.

மூலம், தகவல் ஏற்றம் மற்றும் மனிதனால் உருவாக்கப்பட்ட தரவை செயலாக்கும் முறைகள் பற்றிய விவாதத்தின் போது பிக் டேட்டா என்ற சொல் எழுந்தது. இது முதன்முதலில் 2008 இல் நேச்சர் இதழின் ஆசிரியர் கிளிஃபோர்ட் லிஞ்சால் முன்மொழியப்பட்டது என்று நம்பப்படுகிறது.

அப்போதிருந்து, பிக் டேட்டா சந்தை ஆண்டுதோறும் பல பத்து சதவீதம் அதிகரித்து வருகிறது. இந்த போக்கு, நிபுணர்களின் கூற்றுப்படி, தொடரும். இவ்வாறு, நிறுவனத்தின் மதிப்பீடுகளின்படி ஃப்ரோஸ்ட் & சல்லிவன் 2021 ஆம் ஆண்டில், மொத்த உலகளாவிய பெரிய தரவு பகுப்பாய்வு சந்தை ஆண்டு வளர்ச்சி 67,2% ஆக இருக்கும்.

நமக்கு ஏன் பெரிய தரவு பகுப்பாய்வு தேவை?

கட்டமைக்கப்பட்ட அல்லது கட்டமைக்கப்படாத தரவுத் தொகுப்புகளிலிருந்து மிகவும் மதிப்புமிக்க தகவலை அடையாளம் காண இது உங்களை அனுமதிக்கிறது. இதற்கு நன்றி, ஒரு வணிகம், எடுத்துக்காட்டாக, போக்குகளை அடையாளம் காணவும், உற்பத்தி செயல்திறனைக் கணிக்கவும் மற்றும் அதன் சொந்த செலவுகளை மேம்படுத்தவும் முடியும். செலவுகளைக் குறைக்க, நிறுவனங்கள் சமீபத்திய தீர்வுகளைச் செயல்படுத்தத் தயாராக உள்ளன என்பது தெளிவாகிறது.

பெரிய தரவை பகுப்பாய்வு செய்யப் பயன்படுத்தப்படும் தொழில்நுட்பங்கள் மற்றும் பகுப்பாய்வு முறைகள்:

• டேட்டா மைனிங்;
• கூட்ட நெரிசல்;
• தரவு கலவை மற்றும் ஒருங்கிணைப்பு;
• இயந்திர வழி கற்றல்;
• செயற்கை நரம்பியல் நெட்வொர்க்குகள்;
• மாதிரி வகை அறிதல்;
• முன்கணிப்பு பகுப்பாய்வு;
• உருவகப்படுத்துதல் மாடலிங்;
• இடஞ்சார்ந்த பகுப்பாய்வு;
• புள்ளிவிவர பகுப்பாய்வு;
• பகுப்பாய்வு தரவு காட்சிப்படுத்தல்.

உலகில் பெரிய தரவு பகுப்பாய்வு

பெரிய தரவு பகுப்பாய்வு இப்போது உலகளவில் 50% நிறுவனங்களால் பயன்படுத்தப்படுகிறது. 2015 இல் இந்த எண்ணிக்கை 17% மட்டுமே என்ற போதிலும். தொலைத்தொடர்பு மற்றும் நிதிச் சேவைத் துறைகளில் செயல்படும் நிறுவனங்களால் பிக் டேட்டா மிகவும் தீவிரமாகப் பயன்படுத்தப்படுகிறது. பின்னர் சுகாதார தொழில்நுட்பத்தில் நிபுணத்துவம் பெற்ற நிறுவனங்கள் உள்ளன. கல்வி நிறுவனங்களில் பிக் டேட்டா பகுப்பாய்வுகளின் குறைந்தபட்ச பயன்பாடு: பெரும்பாலான சந்தர்ப்பங்களில், இந்தத் துறையின் பிரதிநிதிகள் எதிர்காலத்தில் தொழில்நுட்பத்தைப் பயன்படுத்துவதற்கான தங்கள் விருப்பத்தை அறிவித்தனர்.

யுனைடெட் ஸ்டேட்ஸில், பிக் டேட்டா அனலிட்டிக்ஸ் மிகவும் தீவிரமாகப் பயன்படுத்தப்படுகிறது: பல்வேறு துறைகளைச் சேர்ந்த 55% க்கும் அதிகமான நிறுவனங்கள் இந்தத் தொழில்நுட்பத்துடன் வேலை செய்கின்றன. ஐரோப்பா மற்றும் ஆசியாவில், பெரிய தரவு பகுப்பாய்வுக்கான தேவை மிகவும் குறைவாக இல்லை - சுமார் 53%.

ரஷ்யாவில் என்ன?

ஐடிசி ஆய்வாளர்களின் கூற்றுப்படி, பெரிய தரவு பகுப்பாய்வு தீர்வுகளுக்கான மிகப்பெரிய பிராந்திய சந்தை ரஷ்யா. மத்திய மற்றும் கிழக்கு ஐரோப்பாவில் இத்தகைய தீர்வுகளுக்கான சந்தையின் வளர்ச்சி மிகவும் சுறுசுறுப்பாக உள்ளது, இந்த எண்ணிக்கை ஒவ்வொரு ஆண்டும் 11% அதிகரிக்கிறது. 2022 ஆம் ஆண்டில், இது அளவு அடிப்படையில் $5,4 பில்லியனை எட்டும்.

பல வழிகளில், சந்தையின் இந்த விரைவான வளர்ச்சி ரஷ்யாவில் இந்த பகுதியின் வளர்ச்சியின் காரணமாகும். 2018 ஆம் ஆண்டில், ரஷ்ய கூட்டமைப்பில் தொடர்புடைய தீர்வுகளின் விற்பனையின் வருவாய் முழு பிராந்தியத்திலும் பெரிய தரவு செயலாக்க தொழில்நுட்பங்களில் மொத்த முதலீட்டில் 40% ஆகும்.

ரஷ்ய கூட்டமைப்பில், வங்கி மற்றும் பொதுத் துறைகள், தொலைத்தொடர்புத் துறை மற்றும் தொழில்துறையைச் சேர்ந்த நிறுவனங்கள் பிக் டேட்டா செயலாக்கத்தில் அதிகம் செலவிடுகின்றன.

ஒரு பெரிய தரவு ஆய்வாளர் என்ன செய்கிறார் மற்றும் அவர் ரஷ்யாவில் எவ்வளவு சம்பாதிக்கிறார்?

அரை-கட்டமைக்கப்பட்ட மற்றும் கட்டமைக்கப்படாத பரந்த அளவிலான தகவல்களை ஆய்வு செய்வதற்கு ஒரு பெரிய தரவு ஆய்வாளர் பொறுப்பு. வங்கி நிறுவனங்களுக்கு இவை பரிவர்த்தனைகள், ஆபரேட்டர்களுக்கு - அழைப்புகள் மற்றும் போக்குவரத்து, சில்லறை விற்பனையில் - வாடிக்கையாளர் வருகைகள் மற்றும் கொள்முதல். மேலே குறிப்பிட்டுள்ளபடி, பிக் டேட்டா பகுப்பாய்வு "மூல தகவல் வரலாற்றில்" பல்வேறு காரணிகளுக்கு இடையேயான தொடர்புகளைக் கண்டறிய அனுமதிக்கிறது, எடுத்துக்காட்டாக, ஒரு உற்பத்தி செயல்முறை அல்லது இரசாயன எதிர்வினை. பகுப்பாய்வு தரவுகளின் அடிப்படையில், புதிய அணுகுமுறைகள் மற்றும் தீர்வுகள் பல்வேறு பகுதிகளில் உருவாக்கப்படுகின்றன - உற்பத்தி முதல் மருத்துவம் வரை.

ஒரு பெரிய தரவு ஆய்வாளருக்குத் தேவையான திறன்கள்:

• பகுப்பாய்வு மேற்கொள்ளப்படும் பகுதியில் உள்ள அம்சங்களை விரைவாகப் புரிந்துகொள்ளும் திறன் மற்றும் விரும்பிய பகுதியின் அம்சங்களில் உங்களை மூழ்கடிக்கும் திறன். இது சில்லறை விற்பனை, எண்ணெய் மற்றும் எரிவாயு தொழில், மருத்துவம் போன்றவையாக இருக்கலாம்.
• புள்ளியியல் தரவு பகுப்பாய்வு முறைகள், கணித மாதிரிகளின் கட்டுமானம் (நரம்பியல் நெட்வொர்க்குகள், பேய்சியன் நெட்வொர்க்குகள், கிளஸ்டரிங், பின்னடைவு, காரணி, மாறுபாடு மற்றும் தொடர்பு பகுப்பாய்வு போன்றவை) பற்றிய அறிவு.
• வெவ்வேறு மூலங்களிலிருந்து தரவைப் பிரித்தெடுக்கவும், பகுப்பாய்வுக்காக மாற்றவும், பகுப்பாய்வு தரவுத்தளத்தில் ஏற்றவும் முடியும்.
• SQL இல் தேர்ச்சி பெற்றவர்.
• தொழில்நுட்ப ஆவணங்களை எளிதாகப் படிக்க போதுமான அளவில் ஆங்கில அறிவு.
• பைதான் பற்றிய அறிவு (குறைந்தபட்சம் அடிப்படைகள்), பாஷ் (வேலையின் செயல்பாட்டில் அது இல்லாமல் செய்வது மிகவும் கடினம்), மேலும் ஜாவா மற்றும் ஸ்காலாவின் அடிப்படைகளை அறிந்து கொள்வது விரும்பத்தக்கது (ஸ்பார்க்கின் செயலில் பயன்பாட்டிற்குத் தேவையானது. பெரிய தரவுகளுடன் வேலை செய்வதற்கான மிகவும் பிரபலமான கட்டமைப்புகள்).
• ஹடூப் உடன் பணிபுரியும் திறன்.

சரி, ஒரு பெரிய தரவு ஆய்வாளர் எவ்வளவு சம்பாதிக்கிறார்?

பிக் டேட்டா வல்லுநர்கள் இப்போது பற்றாக்குறை விநியோகத்தில் உள்ளனர்; வணிகம் ஒரு புரிதலுக்கு வருவதே இதற்குக் காரணம்: வளர்ச்சிக்கு புதிய தொழில்நுட்பங்கள் தேவை, தொழில்நுட்ப வளர்ச்சிக்கு நிபுணர்கள் தேவை.

எனவே, அமெரிக்காவில் டேட்டா சயின்டிஸ்ட் மற்றும் டேட்டா அனலிட்டிக்ஸ் 3 இன் முதல் 2017 சிறந்த தொழில்களில் நுழைந்தது ஆட்சேர்ப்பு நிறுவனம் Glassdoor படி. அமெரிக்காவில் இந்த நிபுணர்களின் சராசரி சம்பளம் வருடத்திற்கு $100 ஆயிரத்தில் இருந்து தொடங்குகிறது.

ரஷ்யாவில், இயந்திர கற்றல் வல்லுநர்கள் மாதத்திற்கு 130 முதல் 300 ஆயிரம் ரூபிள் வரை பெறுகிறார்கள், பெரிய தரவு ஆய்வாளர்கள் - மாதத்திற்கு 73 முதல் 200 ஆயிரம் ரூபிள் வரை. இது அனைத்தும் அனுபவம் மற்றும் தகுதிகளைப் பொறுத்தது. நிச்சயமாக, குறைந்த சம்பளத்துடன் கூடிய காலியிடங்கள் உள்ளன, மற்றவை அதிகமானவை. மாஸ்கோ மற்றும் செயின்ட் பீட்டர்ஸ்பர்க்கில் பெரிய தரவு ஆய்வாளர்களுக்கான அதிகபட்ச தேவை. மாஸ்கோ, இது ஆச்சரியமல்ல, செயலில் உள்ள காலியிடங்களில் சுமார் 50% (hh.ru படி) உள்ளது. மின்ஸ்க் மற்றும் கியேவில் தேவை குறைவாக உள்ளது. சில காலியிடங்கள் நெகிழ்வான நேரம் மற்றும் தொலைதூர வேலைகளை வழங்குகின்றன என்பது குறிப்பிடத்தக்கது. ஆனால் பொதுவாக, நிறுவனங்களுக்கு அலுவலகத்தில் பணிபுரியும் நிபுணர்கள் தேவை.

காலப்போக்கில், பிக் டேட்டா ஆய்வாளர்கள் மற்றும் தொடர்புடைய சிறப்புகளின் பிரதிநிதிகளுக்கான தேவை அதிகரிக்கும் என்று எதிர்பார்க்கலாம். மேலே குறிப்பிட்டுள்ளபடி, தொழில்நுட்பத் துறையில் பணியாளர்கள் பற்றாக்குறை ரத்து செய்யப்படவில்லை. ஆனால், நிச்சயமாக, ஒரு பெரிய தரவு ஆய்வாளராக மாற, நீங்கள் படித்து வேலை செய்ய வேண்டும், மேலே பட்டியலிடப்பட்டுள்ள திறன்கள் மற்றும் கூடுதல் திறன்கள் இரண்டையும் மேம்படுத்த வேண்டும். பிக் டேட்டா ஆய்வாளரின் பாதையைத் தொடங்குவதற்கான வாய்ப்புகளில் ஒன்று Geekbrains இலிருந்து ஒரு பாடத்திற்கு பதிவு செய்யவும் மற்றும் பெரிய தரவுகளுடன் வேலை செய்ய முயற்சி செய்யுங்கள்.

ஆதாரம்: www.habr.com